WO2019187581A1 - 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
WO2019187581A1
WO2019187581A1 PCT/JP2019/002706 JP2019002706W WO2019187581A1 WO 2019187581 A1 WO2019187581 A1 WO 2019187581A1 JP 2019002706 W JP2019002706 W JP 2019002706W WO 2019187581 A1 WO2019187581 A1 WO 2019187581A1
Authority
WO
WIPO (PCT)
Prior art keywords
information processing
instruction
command
processing apparatus
user
Prior art date
Application number
PCT/JP2019/002706
Other languages
English (en)
French (fr)
Inventor
匡伸 中村
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP19775919.4A priority Critical patent/EP3780644A4/en
Priority to JP2020509729A priority patent/JP7279706B2/ja
Priority to US16/979,337 priority patent/US11558482B2/en
Publication of WO2019187581A1 publication Critical patent/WO2019187581A1/ja
Priority to US18/069,383 priority patent/US11949753B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H11/00—Self-movable toy figures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/40—Control within particular dimensions
    • G05D1/43—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/562—Brokering proxy services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom

Definitions

  • the present disclosure relates to an information processing apparatus, an information processing system, an information processing method, and an information processing program.
  • Patent Documents 1 to 3 also consider performing processing in cooperation between information processing apparatuses.
  • This disclosure is intended to provide an information processing apparatus, an information processing system, an information processing method, and an information processing program that realize smooth communication between the information processing apparatus and a user.
  • the information processing apparatus When the instruction from the user designates another information processing apparatus as an instruction target, the information processing apparatus has a control unit that executes instruction substitution processing.
  • the information processing system includes an information processing apparatus that receives an instruction from a user and executes an instruction proxy process when the instruction designates another information processing apparatus as an instruction target.
  • This is an information processing method that executes a command substitution process when a command from a user designates another information processing apparatus as a command target.
  • This is an information processing program that causes a computer to execute an instruction substitution process when an instruction from a user designates another information processing apparatus as an instruction target.
  • the present disclosure it is possible to perform smooth communication between an information processing apparatus that is an instruction target and a user.
  • the effects described here are not necessarily limited, and may be any effects described in the present disclosure. Further, the contents of the present disclosure are not construed as being limited by the exemplified effects.
  • FIG. 1 is a diagram for explaining a usage situation of an information processing system according to the embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of the mobile terminal according to the embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of the robot according to the embodiment.
  • FIG. 4 is a diagram for explaining a usage situation of the information processing system according to the embodiment.
  • FIG. 5 is a flowchart showing a command proxy process executed by the mobile terminal according to the embodiment.
  • FIG. 6 is a flowchart showing a first state confirmation process executed by the mobile terminal according to the embodiment.
  • FIG. 7 is a flowchart showing a second state confirmation process executed by the mobile terminal according to the embodiment.
  • FIG. 8 is a diagram for explaining a usage situation of the information processing system according to the embodiment.
  • FIG. 9 is a flowchart showing instruction destination change processing executed by the mobile terminal according to the embodiment.
  • FIG. 10 is a diagram for explaining a usage state of the information processing system according to the embodiment.
  • FIG. 1 is a diagram for explaining a usage situation of an information processing system according to the embodiment.
  • a user X has a portable terminal 1 at home and uses a robot 2 that can walk (move).
  • a communication facility that can be connected to a communication network C such as the Internet is provided in the house.
  • a router 3 connected to the communication network C and an access point 4 connected to the router are provided.
  • the mobile terminal 1 and the robot 2 can communicate with the information processing server 5 or the like connected to the communication network C by performing wireless communication with the access point 4.
  • FIG. 2 is a block diagram illustrating a configuration of the mobile terminal 1 according to the embodiment.
  • the mobile terminal 1 of the present embodiment is a so-called information processing apparatus such as a smartphone or a tablet.
  • the portable terminal 1 executes a command substitution process, which will be described later.
  • the apparatus that performs the command substitution process is not limited to the portable terminal 1, but a robot, a smart speaker (AI speaker), a television, and the like. It is possible to use various information processing apparatuses.
  • the mobile terminal 1 of this embodiment includes a control unit 11, an operation unit 19, a camera 12, a communication unit 14, a GPS (Global Positioning System) receiving unit 15, a touch panel display unit 16, a speaker 17, and a microphone 18. ing.
  • GPS Global Positioning System
  • the control unit 11 includes a CPU (Central Processing Unit) that can execute various programs, a ROM that stores various programs and data, a RAM, and the like, and is a part that controls the mobile terminal 1 in an integrated manner.
  • the operation unit 19 is a part that receives operations from the user, such as a power button and a volume button.
  • the camera 12 is a part that is provided on the front surface, the rear surface, or both of the mobile terminal 1 and captures a still image or a moving image in accordance with a user operation or the like.
  • the communication unit 14 is a part that communicates with various external devices.
  • the communication unit 14 uses the Wifi standard in order to communicate with the access point 4.
  • the communication unit 14 uses a portable communication means that can be connected to the communication network C via the portable communication network instead of the access point 4. May be.
  • the GPS receiver 15 is a position detector that can determine the position (latitude, longitude) of the mobile terminal 1 by receiving a signal from a satellite.
  • a position detection unit in the portable terminal 1 in addition to the GPS receiving unit 15, indoor positioning for detecting an indoor position, or the surrounding environment is stored as mapping data, and imaging of the portable terminal 1 is performed by imaging with the camera 12. The position may be determined.
  • the touch panel display unit 16 is a user interface in which a display unit using liquid crystal, organic EL, or the like and a touch panel using a pressure-sensitive method, a capacitance method, or the like are superimposed, and various displays can be performed on the display unit. It is. In addition, various inputs from the user can be received by performing touch input on various objects displayed on the display unit.
  • the speaker 17 can notify the user by sound.
  • the microphone 18 can capture ambient sounds of the mobile terminal 1.
  • FIG. 3 is a block diagram showing a configuration of the robot 2 according to the embodiment.
  • the robot 2 of the present embodiment is a pet-type (dog-type) robot 2 that can communicate with a user in various ways.
  • the robot 2 that can be walked (moved) is taken as an example of the command target of the user X, but is not limited to the robot 2, and various information processing devices that can receive commands, for example, a robot that does not move, A smart speaker (AI speaker), a television, or the like can be used.
  • a smart speaker AI speaker
  • the robot 2 includes a control unit 21, an operation unit 22, a camera 23, a contact sensor 24, a communication unit 25, a GPS reception unit 26, a display unit 27, a speaker 28, a microphone 29, and a plurality of actuators 30a, 30b, .. and configured.
  • the form of the robot 2 is merely an example, and various forms can be adopted.
  • the control unit 21 includes a CPU that can execute various programs, various programs, ROM (Read-only Memory) that stores data, RAM (Random Access Memory), and the like, and controls the robot 2 in an integrated manner.
  • the operation unit 22 is a part that receives an operation from the user, such as a power button.
  • the camera 23 is a sensor that is provided on the head of the robot 2 and captures and captures the surrounding environment.
  • the contact sensor 24 is a sensor that is provided on the head, abdomen, back, and the like of the robot 2 and can detect contact by the user.
  • the communication unit 25 is a part that communicates with various external devices.
  • the communication unit 25 uses the Wifi standard in order to communicate with the access point 4.
  • the communication unit 25 includes a short-distance communication means such as Bluetooth (registered trademark), infrared communication, etc., and a portable communication that can be connected to the communication network C via the portable communication network instead of the access point 4. It is also possible to use means.
  • the display unit 27 is a display unit using a liquid crystal or an organic EL provided at the eye position on the head of the robot 2, and can express the emotion of the robot 2 by changing display contents. is there.
  • the display unit 27 can be provided in addition to this. For example, by providing an LED (Light Emitting Diode) or the like, various states of the robot 2 (for example, a battery state, a communication state, etc.) can be externally provided. It is good also as notification possible.
  • the speaker 28 can notify the user by sound. For example, the speaker 28 can express the emotion of the robot 2 by emitting a cry.
  • the microphone 18 can capture the ambient sound of the mobile terminal 1. For example, the microphone 18 can capture various commands performed by capturing a command uttered by the user.
  • Actuators 30a and 30b are provided at joints, necks, tails and the like of the limbs of the robot 2 and are driven by commands of the control unit 21.
  • the robot 2 can walk (move) by driving an actuator provided at a joint of the limb.
  • FIG. 1 shows an environment in which the mobile terminal 1 and the robot 2 described in FIGS. 2 and 3 are used in the home.
  • the user X can communicate with the robot 2 by giving a voice command to the robot 2.
  • the robot 2 is in a power-off state, a resting state due to a battery exhaustion, or the state where the robot 2 is in the room B and cannot receive the voice of the user X sufficiently, the user X issues a command. Even if it goes, there is a situation where the robot 2 cannot react to it.
  • the information processing system can smoothly communicate with various information processing apparatuses that the user can communicate with, such as the robot 2, by suppressing the loss of interaction between users.
  • the command substitution process is performed on the command issued to the robot 2 in the portable terminal 1 which is a separate body other than the robot 2 that is the command target individual.
  • this instruction substitution process will be described taking the situation of FIG. 1 as an example.
  • user X who is a mother is preparing a meal in room A (kitchen), but cannot see the state of room B (living room) because his hands are not available.
  • the user X who is about to finish the meal preparation, issues a command to call the child to the robot 2 in the room A in order to call the child.
  • the robot 2 is named “Robo”.
  • the utterance content of the user X is “Robo, call the child.” By combining “Robo” indicating the target of the command and “Call the child”, which is the command content, It has become.
  • the robot 2 is in a sleep state and cannot receive the command.
  • the command substitution process is executed, and it is possible to substitute for the command issued to the robot 2.
  • FIG. 5 is a flowchart showing a command proxy process executed by the mobile terminal 1 according to the embodiment.
  • an information processing apparatus including the mobile terminal 1 and the robot 2 may be simply referred to as “terminal”.
  • the command substitution process of the present embodiment is a process executed in the mobile terminal 1, and during the execution, the voice input to the microphone 18 is analyzed to determine whether or not a command has been received (S101).
  • the instruction is composed of a combination of the instruction target and the instruction content, it is possible to clearly determine the instruction target. Not only such a form but also an instruction without an instruction target may be used. In that case, it is conceivable to determine the command target based on various situations such as analysis of the utterance content itself, analysis of past conversation content, or surrounding situations photographed by the camera 23.
  • a notification that prompts the user X to reoccur is given by performing a voice notification or the like from the speaker 17 (S103).
  • the mobile terminal 1 “cannot specify the target of the command. “Specify the target of the command.” Or the like is notified to the user X by voice or display.
  • the command command that remains ambiguous in the command target is, for example, an environment in which the number of terminals that can be commanded within a range of radius N meters of the portable terminal 1 is other than one (0 or more).
  • this refers to the case where an utterance is made without an instruction target attached. More specifically, this is an instruction such as “to do” that does not explicitly utter the command target in a space in which there are two or more individuals to be commanded.
  • the command target is limited in the received command (S102: Yes)
  • the communication unit 14 is used to acquire the state of the other terminal (S106).
  • the status of the robot 2 may be acquired directly by both communicating wirelessly via the access point 4, or the information processing server 5.
  • the situation of the robot 2 may be uploaded to the mobile terminal 1, and the mobile terminal 1 may indirectly acquire the situation of the robot 2 by accessing the information processing server 5. Or when it cannot acquire directly, it is good also as using both together, such as acquiring indirectly.
  • the other terminal After acquiring the status of the other terminal, it is determined whether or not the other terminal can execute the command (S107). If the instruction can be executed (S107: Yes), the instruction is processed by another terminal, and the process returns to the head of the instruction substitution process. On the other hand, when the other terminal cannot execute the command (S107: No), it is determined whether or not the other terminal is in the vicinity of the mobile terminal 1 (S108). The determination of whether or not the vehicle is in the vicinity can be made by referring to the positional information included in the acquired situation of the robot 2 and the positional information determined by the GPS receiver 15 of the mobile terminal 1. When both pieces of position information are within the predetermined distance, it is determined that the user is in the vicinity (S108: Yes), and the first state confirmation process (S200) is executed. On the other hand, when both pieces of position information are outside the predetermined distance, it is determined that they are not in the vicinity (S108: No), and the second state confirmation process (S300) is executed.
  • the situation in FIG. 1 is a case where a command is issued to the robot 2 by the user X. However, since the robot 2 is at rest, it is determined that the command from the user X cannot be executed (S107: No). is there. In addition, the mobile terminal 1 and the robot 2 are determined to be in the vicinity. Therefore, in the situation of FIG. 1, the first state confirmation process (S200) is executed.
  • FIG. 6 is a flowchart showing a first state confirmation process (S200) executed by the mobile terminal according to the embodiment.
  • the status of the other terminal acquired in S106 is classified into three states, that is, (1) a state in which another command is being executed, and (2) the user X in order to shift the other terminal to the command accepting state.
  • a state in which the user's intervention is necessary for example, hibernation, power-off state
  • (3) a state in which user X's intervention is not required to shift the other terminal to the command-acceptable state for example, a sleep state
  • It is classified into.
  • the first state confirmation process it is determined which of the three states the other terminal is in (S201).
  • the other command is interrupted at another terminal and the command can be accepted (S204).
  • the command acceptable state means that the other terminal can accept the command of the user X and can execute the command.
  • the command held in the portable terminal 1 that is, the command received in S101 is transmitted to another terminal (S205).
  • the execution of another command is not interrupted (S203: No)
  • the command from the user X is rejected (S206).
  • the instruction cannot be executed, that is, the instruction is executed by interrupting another instruction, or the terminal to be instructed is paused as described later.
  • the received command is rejected.
  • the mobile terminal 1 may notify the user X that the instruction has been rejected and the reason why the instruction has been rejected.
  • FIG. 1 shows an example in which the robot 2 is at rest.
  • the robot 2 is executing another command when the user X utters a command
  • the user X is asked to interrupt execution of the other command. (S202).
  • S203: Yes if there is an input from the user X to interrupt (S203: Yes), a command that has already been uttered is transmitted to the robot 2 (S205). Therefore, the user X does not have to repeat the same command again and can speak smoothly with the robot 2.
  • FIG. 4 is a diagram for explaining a usage situation of the information processing system according to the embodiment. 4 shows a case where the robot 2 is in a room B different from the user X, and the other terminal (robot 2) is not in the vicinity of the portable terminal 1. In such a case, it is conceivable that the command uttered by the user X cannot be received by the robot 2, and the command of the user X is wasted, that is, the interaction loss between the user X and the robot 2 is lost. It is possible that this will occur.
  • the second state confirmation process has three states, that is, (1) a state in which another command is executed, (2) A state in which user X needs to intervene in order to shift the other terminal to the command accepting state, for example, sleep, power-off state, and (3) user X's to shift the other terminal to the command accepting state. It is classified into a state where no intervention is necessary, for example, a sleep state. In the first state confirmation process, it is determined which of the three states the other terminal is in (S301).
  • the portable terminal 1 After inputting that the execution of another command is interrupted, it is determined in the portable terminal 1 whether the other terminal is a movable body, that is, a movable terminal such as the robot 2 (S305). For this determination, it is conceivable that information on other terminals is stored in advance in the mobile terminal 1 or is acquired together when the state of the other terminals is acquired in S106. When it determines with a movable body (S305: Yes), another terminal is moved to the vicinity of the user X, ie, the vicinity of the portable terminal 1 (S306). In the case of FIG. 4, the robot 2 is moved from the room B to the room A where the mobile terminal 1 is located.
  • a movable terminal such as the robot 2
  • the command held in the portable terminal 1, that is, the command received in S101 is transmitted to another terminal (S307).
  • the other terminal is not a movable body (S305: No)
  • the command received in S101 is transmitted to the other terminal without moving the other terminal (S307).
  • the other terminal when the other terminal is a movable body, the other terminal is moved to the vicinity of the mobile terminal 1, that is, the vicinity of the user X, and then the instruction from the user X is executed by the other terminal.
  • Communication with other terminals in the case of FIG. 4, the robot 2) can be appropriately performed at a short distance.
  • the portable terminal 1 may perform a notification process for notifying the user X of the status of the robot 2.
  • the portable terminal 1 shifts the other terminal to a command acceptable state by communicating with the other terminal that is the target of the command (S309). ). Thereafter, by executing the processing of S310 to 312 which is the same processing as S305 to 307, when the other terminal is a movable body (S310: Yes), the other terminal is moved to the vicinity of the user X (S311). After that, the command received in S101 is transmitted to another terminal (S312). On the other hand, when the other terminal is not a movable body (S310: No), the command received in S101 is transmitted to the other terminal without moving the other terminal (S312).
  • the information processing system according to the first embodiment has been described above, but in the information processing system according to the present embodiment, an information processing apparatus other than the information processing apparatus (the robot 2 in FIG. 1) to be commanded ( In the case of FIG. 1, by executing the command substitution process in the mobile terminal 1), it is possible to suppress interaction loss and realize smooth communication between the user and the information processing apparatus to be commanded. Become.
  • FIG. 8 is a diagram for explaining a usage situation of the information processing system according to the embodiment.
  • the case where there is one robot 2 to be commanded has been described.
  • the robot 2 becomes widespread, it is conceivable to use a plurality of robots 2 in one home.
  • the second embodiment is a case where such a situation is taken into consideration, and shows a situation where a plurality of robots 2a and 2b are used in the home.
  • the robot 2a in the room A is in a state where the command can be received, and the robot 2b in the room B is in a resting state.
  • the name of the robot 2a is “robo a”
  • the name of the robot 2b is “robo b”.
  • the user X utters “Robo b, call the child” to the robot 2b, for example, as in the first embodiment. Since the robot 2b is located in the room B away from the user X and is in a resting state, the robot 2b cannot process the command of the user X.
  • the robot 2a can execute a command for the robot 2b instead of the robot 2b.
  • FIG. 9 is a flowchart showing instruction destination change processing executed by the mobile terminal according to the embodiment.
  • the instruction destination change process in the first state confirmation process (S200) described with reference to FIG. 6 or the second state confirmation process (S300) described with reference to FIG. It is monitored whether or not (S351).
  • the case where the instruction becomes unexecutable is a case where the instruction cannot be processed in any way at the terminal that is the instruction destination, and the first state confirmation process (S200) and the second state confirmation process (S300).
  • S351 the case where the instruction becomes unexecutable is a case where the instruction cannot be processed in any way at the terminal that is the instruction destination
  • the state of the other terminal is in a paused state or a power-off state (S201: paused
  • S300 when it is instructed not to interrupt the execution of another command (S303: No), when the state of the other terminal is in a sleep state or in a power-off state (S301: This is equivalent to “pause and power off”.
  • the presence of another terminal capable of executing the instruction is determined (S356).
  • the vicinity of the user X that is, another terminal close to the mobile terminal 1 is selected as a candidate.
  • the presence of another terminal for the user and the instruction may be executed on behalf of the user. Is notified to the user X and the user X is confirmed (S358).
  • the user X utters “Robo b, call the child” to the robot 2b.
  • the mobile terminal 1 reads “Robo b is inactive.
  • the user X is notified of the content “Do you want Robo a to perform the process?” (S358).
  • the portable terminal 1 transmits a command for the robot 2b to the robot 2a (S360).
  • the user X gives an instruction not to substitute (S359: No)
  • the command to the robot 2b is rejected (S357).
  • FIG. 10 is a diagram for explaining a usage state of the information processing system according to the embodiment.
  • the portable terminal 1 possessed by the user X is used as the information processing apparatus that executes the instruction substitution process and the instruction destination change process.
  • information processing devices that can interact with a user interactively in the home are not limited to the portable terminal 1a, but may include a television 1b and a speaker 1c (sometimes referred to as a smart speaker or an AI speaker).
  • various controls can be performed by the voice of the user X.
  • Prioritize wearable devices The reason for giving priority to wearable devices is that it is assumed that it is close to the user's mouth, it is easy to recognize the user's utterance, and it is assumed that the user's conversation is always accepted. . When there are a plurality of wearable devices, it may be possible to select a device that is assumed to be closer to the user's mouth according to the type of the wearable device.
  • Communication is performed between a plurality of information processing apparatuses, and one information processing apparatus is determined. In that case, it may be determined in consideration of the conditions described in the above (1) to (3).
  • the information processing server 5 determines one information processing apparatus.
  • the information processing server 5 may acquire information related to a plurality of information processing apparatuses and determine an information processing apparatus suitable for executing the instruction substitution process and the instruction destination change process.
  • the user it is preferable to recognize the user as the request source and store it in association with the command. Further, there may be a case where it is not preferable that the instruction is interrupted by another user. Therefore, when the execution of another command is interrupted, it may be inquired of the requesting user whether the execution of the command is interrupted.
  • the voice command is used as the command to the robot 2, but not only the voice command but also the user who uses the remote control device, the gesture, etc. It is good also as issuing the command with respect to the robot 2 by operation.
  • both the robot 2a and the robot 2b are in an instruction executable state.
  • the robot 2b moves from the room B to the room A and then executes the command.
  • the room A there is a robot 2a in an instruction executable state. It is conceivable that the robot 2a closer to the user X executes the command than the robot 2b moves from the room B to the room A and executes the command. Therefore, by transmitting the user X command to another terminal that can execute the command earlier, the user X command can be processed quickly.
  • the user may be allowed to select the robot to be substituted in addition to the mode in which the mobile terminal 1 automatically selects the optimum robot. For example, in the mobile terminal 1, the user confirms “Robo b is specified but Robo a is in the vicinity. What do you want to do?” And selects which robot 2a, 2b is to execute the command. It is good as well.
  • the notification to the user X by the portable terminal 1 is preferably at the end of the utterance of the user X, and even if the utterance of the user X ends, there is still ambiguity in the command to the terminal itself It is desirable that the mobile terminal 1 does not transmit a command to the terminal.
  • a determination method in which a reliability score is remarkably low and an instruction outside the acceptable instruction set has been recognized can be considered.
  • the present disclosure can also be realized by an apparatus, a method, a program, a system, and the like.
  • a program that performs the function described in the above-described embodiment can be downloaded, and a device that does not have the function described in the embodiment downloads the program, thereby performing the control described in the embodiment in the device. It becomes possible.
  • the present disclosure can also be realized by a server that distributes such a program.
  • the items described in each embodiment and modification can be combined as appropriate.
  • An information processing apparatus comprising: a control unit that receives an instruction from a user and executes an instruction proxy process when the instruction designates another information processing apparatus as an instruction target.
  • a control unit that receives an instruction from a user and executes an instruction proxy process when the instruction designates another information processing apparatus as an instruction target.
  • the command substitution process is executed when a state of the information processing device as a command target is acquired and a command cannot be executed by the information processing device.
  • the information processing device according to (1) or (2), wherein the command substitution process shifts the information processing device that is a command target to a command acceptable state.
  • the instruction substitution process transmits the instruction received from a user to the information processing apparatus that is the instruction target, after the information processing apparatus that is the instruction target shifts to an instruction acceptable state. Processing equipment.
  • An information processing system comprising: an information processing apparatus that receives an instruction from a user and executes an instruction proxy process when the instruction specifies another information processing apparatus as an instruction target. (12) The information processing system according to (11), wherein the command proxy process is executed in any one of the information processing apparatuses when there are a plurality of the information processing apparatuses capable of executing the command proxy process. (13) An information processing method that receives an instruction from a user and executes an instruction proxy process when the instruction designates another information processing apparatus as an instruction target. (14) An information processing program that receives a command from a user and causes a computer to execute a command substitution process when the command specifies another information processing apparatus as a command target.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Manipulator (AREA)
  • Selective Calling Equipment (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する制御部を有する情報処理装置である。 図１

Description

情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
　本開示は、情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムに関する。
　現在、生活やビジネスにおいて各種情報処理装置が利用される機会は増加している。例えば、宅内においても複数台の各種情報処理装置が設置されるケースがある。また、情報処理装置としては、ユーザとコミュニケーションするスマートスピーカ、あるいは、コミュニケーションするとともに、自律走行（移動）も可能とするロボットも開発、製品化されている。このように複数台の情報処理装置が、宅内あるいはオフィス内で使用される中、特許文献１～３には、情報処理装置間で連携を取って処理を実行することも検討されている。
特開２００３－３４５４３５号公報 特開２０１７－５２０７５号公報 特開２００２－１７８２３３号公報
　このような分野では、ロボットを含む各種情報処理装置とユーザとの間で円滑にコミュニケーションを図ることが望まれている。
　本開示は、情報処理装置とユーザとの間で円滑なコミュニケーションを実現する情報処理装置、情報処理システム、情報処理方法及び情報処理プログラムを提供することを目的の一つとする。
　本開示は、例えば、
　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する制御部を有する
　情報処理装置である。
　本開示は、例えば、
　ユーザからの命令を受信し、命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する情報処理装置を有する
　情報処理システムである。
　本開示は、例えば、
　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する
　情報処理方法である。
　本開示は、例えば、
　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理をコンピュータに実行させる
　情報処理プログラムである。
　本開示の少なくとも一つの実施形態によれば、命令対象である情報処理装置とユーザとの間で円滑なコミュニケーションを行うことが可能となる。ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれの効果であっても良い。また、例示された効果により本開示の内容が限定して解釈されるものではない。
図１は、実施形態に係る情報処理システムの利用状況を説明するための図である。 図２は、実施形態に係る携帯端末の構成を示すブロック図である。 図３は、実施形態に係るロボットの構成を示すブロック図である。 図４は、実施形態に係る情報処理システムの利用状況を説明するための図である。 図５は、実施形態に係る携帯端末で実行される命令代行処理を示すフロー図である。 図６は、実施形態に係る携帯端末で実行される第１状態確認処理を示すフロー図である。 図７は、実施形態に係る携帯端末で実行される第２状態確認処理を示すフロー図である。 図８は、実施形態に係る情報処理システムの利用状況を説明するための図である。 図９は、実施形態に係る携帯端末で実行される命令先変更処理を示すフロー図である。 図１０は、実施形態に係る情報処理システムの利用状況を説明するための図である。
　以下、本開示の実施形態等について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施形態＞
＜２．第２の実施形態＞
＜３．変形例＞
　以下に説明する実施形態等は本開示の好適な具体例であり、本開示の内容がこれらの実施形態に限定されるものではない。
＜１．第１の実施形態＞
　図１は、実施形態に係る情報処理システムの利用状況を説明するための図である。本実施形態では、宅内でユーザＸは携帯端末１を所持しており、歩行（移動）可能なロボット２を使用している状況を想定している。宅内には、インターネット等の通信網Ｃに接続可能な通信設備が設けられている。通信設備としては、通信網Ｃに接続されるルータ３、ルータに接続されるアクセスポイント４が設けられている。携帯端末１、ロボット２は、アクセスポイント４と無線通信を行うことで、通信網Ｃに接続されている情報処理サーバ５等と通信を行うことが可能となっている。
　図２は、実施形態に係る携帯端末１の構成を示すブロック図である。本実施形態の携帯端末１は、いわゆる、スマートフォン、タブレット等の情報処理装置である。携帯端末１では、後で説明する命令代行処理を実行することになるが、命令代行処理をする装置としては、携帯端末１に限られるものではなく、ロボット、スマートスピーカ（ＡＩスピーカ）、テレビ等の各種情報処理装置を使用することが可能である。本実施形態の携帯端末１は、制御部１１、操作部１９、カメラ１２、通信部１４、ＧＰＳ（Global Positioning System）受信部１５、タッチパネル表示部１６、スピーカ１７、マイクロホン１８を有して構成されている。
　制御部１１は、各種プログラムを実行可能なＣＰＵ（Central Processing Unit）、各種プログラム、データを記憶するＲＯＭ、ＲＡＭ等を有して構成され、携帯端末１を統括して制御する部位である。操作部１９は、電源ボタン、音量ボタン等、ユーザからの操作を受け付ける部位である。カメラ１２は、携帯端末１の前面、もしくは、後面、あるいはその両方に設けられ、ユーザの操作等に応じて静止画あるいは動画を取り込む部位である。
　通信部１４は、外部の各種装置と通信を行う部位であって、本実施形態では、アクセスポイント４と通信を行うため、Wifi規格を使用した形態としている。通信部１４には、この他、Bluetooth（登録商標）、赤外線通信等による近距離通信手段の他、アクセスポイント４ではなく、携帯通信網を介して通信網Ｃに接続可能な携帯通信手段を使用してもよい。
　ＧＰＳ受信部１５は、衛星からの信号を受信することで、携帯端末１の位置（緯度、経度）を判定可能な位置検出部である。携帯端末１における位置検出部としては、ＧＰＳ受信部１５の他、屋内での位置を検出する屋内測位、あるいは、周囲環境をマッピングデータとして記憶しておき、カメラ１２による撮像によって、携帯端末１の位置を割り出すこととしてもよい。
　タッチパネル表示部１６は、液晶、有機ＥＬ等を使用した表示部と、感圧方式、静電容量方式等によるタッチパネルを重畳させたユーザインタフェイスであって、表示部に各種表示を行うことが可能である。また、表示部に表示される各種オブジェクトに対して、タッチ入力することで、ユーザからの各種入力を受け付けることが可能となっている。スピーカ１７は、ユーザに対して音による通知を行うことが可能である。マイクロホン１８は、携帯端末１の周囲音を取り込むことが可能である。
　図３は、実施形態に係るロボット２の構成を示すブロック図である。本実施形態のロボット２は、ペット型（犬型）のロボット２であって、ユーザと各種コミュニケーションを図ることが可能なロボット２である。本実施形態では、ユーザＸの命令対象として歩行（移動）可能なロボット２を例としているが、ロボット２に限られるものではなく、命令を受信可能な各種情報処理装置、例えば、移動しないロボット、スマートスピーカ（ＡＩスピーカ）、テレビ等を使用することが可能である。
　本実施形態において、ロボット２は、制御部２１、操作部２２、カメラ２３、接触センサ２４、通信部２５、ＧＰＳ受信部２６、表示部２７、スピーカ２８、マイクロホン２９、複数のアクチュエータ３０ａ、３０ｂ・・・を有して構成されている。なお、ロボット２の形態は、あくまでも一例であって、各種形態を採用することが可能である。
　制御部２１は、各種プログラムを実行可能なＣＰＵ、各種プログラム、データを記憶するＲＯＭ（Read-only Memory）、ＲＡＭ（Random Access Memory）等を有して構成され、ロボット２を統括して制御する。操作部２２は、電源ボタン等、ユーザからの操作を受け付ける部位である。カメラ２３は、ロボット２の頭部等に設けられ、周囲の環境を撮影して取り込むセンサである。接触センサ２４は、ロボット２の頭部、腹部、背部等に設けられ、ユーザによる接触を検出可能なセンサである。
　通信部２５は、外部の各種装置と通信を行う部位であって、本実施形態では、アクセスポイント４と通信を行うため、Wifi規格を使用した形態としている。通信部２５には、携帯端末１と同様、Bluetooth（登録商標）、赤外線通信等による近距離通信手段の他、アクセスポイント４ではなく、携帯通信網を介して通信網Ｃに接続可能な携帯通信手段を使用することも可能である。
　表示部２７は、ロボット２の頭部において目の位置に設けられた液晶、あるいは、有機ＥＬ等による表示手段であって、表示内容を変化させることでロボット２の感情を表現することが可能である。表示部２７としては、この他にも設けることが可能であって、例えば、ＬＥＤ（Light Emitting Diode）等を設けることで、ロボット２の各種状態（例えば、バッテリーの状態、通信状態等）を外部に通知可能としてもよい。スピーカ２８は、ユーザに対して音による通知を行うことが可能であって、例えば、鳴き声等を放音することで、ロボット２の感情を表現することが可能である。マイクロホン１８は、携帯端末１の周囲音を取り込むことが可能であり、例えば、ユーザが発声した命令を取り込んで、各種処理を実行することが可能である。
　アクチュエータ３０ａ、３０ｂは、ロボット２の手足の関節、首、尾等に設けられ、制御部２１の命令により駆動される。特に、手足の関節に設けられているアクチュエータを駆動することで、ロボット２は歩行（移動）することが可能となっている。
　図１には、図２、図３で説明した携帯端末１、ロボット２を宅内で使用する環境が示されている。従来、宅内等においてロボット２を利用する場合、ユーザＸは、ロボット２に対して音声による命令を行うことで、ロボット２とのコミュニケーションを取ることが可能である。しかしながら、ロボット２が電源オフとなっている状態、バッテリー切れ等による休止状態、あるいは、その所在が部屋Ｂであって、ユーザＸの声を十分に受信できない状態等の場合、ユーザＸが命令を行っても、ロボット２は、それに対して反応できない状況がある。
　このような状況において、ユーザＸは、何故、自分の命令に対してロボット２が反応しなかったのか分からない場合もあり、再度、命令を行う等、ユーザＸとロボット２と間のインタラクションのロスが生じてしまう。本実施形態の情報処理システムは、このような状況の下、ロボット２等、ユーザがコミュニケーションを行うことが可能な各種情報処理装置と、ユーザ間のインタラクションのロスを抑制し、円滑なコミュニケーションすることを一つの目的としている。
　そのため、本実施形態の情報処理システムでは、命令対象個体となるロボット２以外の別個体である携帯端末１において、ロボット２に対して行われた命令に対して命令代行処理を行うこととしている。以下に、この命令代行処理について、図１の状況を例として説明を行う。
　図１において、母親であるユーザＸは、部屋Ａ（キッチン）で食事の準備をしているが、手が空かないため部屋Ｂ（リビング）の様子を見ることができない。食事の準備が終わりそうになったユーザＸは、子どもを呼ぶために、部屋Ａにいるロボット２に対して、子どもを呼ぶ命令を発声する。ここで、ロボット２には「ロボ」と名付けられていることとする。ユーザＸの発声内容は「ロボ、子どもを呼んできて。」であり、命令対象を示す「ロボ」と、命令内容である「子どもを呼んできて。」を組み合わせることで、ロボット２に対する命令となっている。ユーザＸにより命令は発声された際、ロボット２は、スリープ中であって、命令を受信することができない状況となっている。
　このような状況下、ユーザＸが携帯する携帯端末１では、命令代行処理が実行されており、ロボット２に対して発せられた命令に対して代行することが可能となっている。
　図５は、実施形態に係る携帯端末１で実行される命令代行処理を示すフロー図である。なお、本説明では、携帯端末１、ロボット２を含む情報処理装置を単に「端末」と呼ぶことがある。本実施形態の命令代行処理は、携帯端末１において実行される処理であり、その実行中、マイクロホン１８に入力される音声を解析し、命令を受信したか否かを判定する（Ｓ１０１）。本実施形態では、先に説明したように、命令対象と命令内容の組み合わせで命令が構成されているため、命令対象を明確に判定することが可能となっている。このような形態のみならず、命令対象が付されていない命令であってもよい。その場合、発声内容自体の解析、過去の会話内容の解析、あるいはカメラ２３で撮影した周囲状況等、各種状況に基づいて、命令対象を判定することが考えられる。
　受信した命令対象が限定されない場合（Ｓ１０２：Ｎｏ）、本実施形態では、スピーカ１７から音声による通知等を行うことで、ユーザＸに再発声を促す通知を行うこととしている（Ｓ１０３）。例えば、ロボット２が複数体存在する空間内において、命令対象が付されていない命令、あるいは命令対象に曖昧性が残る命令を発声した場合には、携帯端末１において「命令の対象が特定できません。命令対象を指定してください。」等のようにユーザＸに音声、あるいは、表示にて通知することとしている。ここで、命令対象に曖昧性の残る命令コマンドとは、例えば、携帯端末１の半径Ｎメートルの範囲内において、命令対象となり得る端末の数が１体以外（０体もしくは２体以上）の環境下において、命令対象が付されずに発話された場合等のことをいう。具体的には，命令対象の個体が２体以上存在する空間内において、命令対象を明示的に発声しない「～して」という命令等がこれに該当する。
　一方、受信した命令中、命令対象が限定される場合（Ｓ１０２：Ｙｅｓ）、自端末（この場合、携帯端末１）に対する命令か、他端末に対する命令かが判定される（Ｓ１０４）。自端末への命令である場合（Ｓ１０４：Ｎｏ）には、携帯端末１において命令が実行される（Ｓ１０５）。一方、他端末に対する命令である場合（Ｓ１０４：Ｙｅｓ）、通信部１４を使用して、他端末の状態を取得する（Ｓ１０６）。図１の場合、携帯端末１からロボット２の状況を取得する場合、両者がアクセスポイント４を介して無線通信することで、ロボット２の状況を直接、取得してもよいし、情報処理サーバ５にロボット２の状況をアップロードしておき、携帯端末１は、情報処理サーバ５にアクセスすることでロボット２の状況を間接的に取得することとしてもよい。あるいは、直接、取得できない場合、間接的に取得する等、両者を併用することとしてもよい。
　他端末の状況を取得した後、他端末は命令を実行可能か否かが判定される（Ｓ１０７）。命令を実行可能な場合（Ｓ１０７：Ｙｅｓ）、命令は他端末によって処理されることになるため、命令代行処理の先頭に戻る。一方、他端末が命令を実行できない場合（Ｓ１０７：Ｎｏ）、他端末が携帯端末１の近傍にいるか否かが判定される（Ｓ１０８）。近傍にいるか否かの判断は、取得したロボット２の状況に含まれる位置情報と、携帯端末１のＧＰＳ受信部１５で判定した位置情報を参照することで判定することが可能である。両方の位置情報が所定距離内にある場合には近傍にいると判定（Ｓ１０８：Ｙｅｓ）され、第１状態確認処理（Ｓ２００）が実行される。一方、両方の位置情報が所定距離外にある場合には近傍にいないと判定（Ｓ１０８：Ｎｏ）され、第２状態確認処理（Ｓ３００）が実行される。
　図１の状況は、ユーザＸにより、ロボット２に対する命令が発声された場合であるが、ロボット２は休止中であるため、ユーザＸによる命令を実行できない（Ｓ１０７：Ｎｏ）と判定された場合である。また、携帯端末１とロボット２は近傍にいると判定された場合となっている。したがって、図１の状況では第１状態確認処理（Ｓ２００）が実行されることになる。
　図６は、実施形態に係る携帯端末で実行される第１状態確認処理（Ｓ２００）を示すフロー図である。本実施形態では、Ｓ１０６で取得した他端末の状況を３つの状態、すなわち、（１）別の命令を実行している状態、（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、例として、休止、電源オフの状態、（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、例として、スリープの状態、に分類している。第１状態確認処理では、他端末の状態がこれら３つの状態中、何れの状態かを判定する（Ｓ２０１）。
　（１）他端末が別の命令を実行している状態の場合（Ｓ２０１：別の命令を実行中）、まず、携帯端末１のスピーカ１７からの音声、あるいは、携帯端末１のタッチパネル表示部１６を使用して、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知が行われる（Ｓ２０２）。
　音声による返答、あるいは、タッチパネル表示部１６に対する入力によって、ユーザＸから別命令の実行を中断する旨の入力があった場合（Ｓ２０３：Ｙｅｓ）、他端末において別命令を中断させ、命令受理可能状態に移行させる（Ｓ２０４）。ここで、命令受理可能状態とは、他端末がユーザＸの命令を受理でき，かつその命令を実行可能な状態になっていることを意味する。そして、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ２０５）。一方、別命令の実行が中断されない場合（Ｓ２０３：Ｎｏ）、ユーザＸからの命令は棄却される（Ｓ２０６）。このように、本実施形態では、命令対象となる端末において、命令が実行不能、すなわち、別命令を中断して命令を実行する、あるいは、後で説明するように命令対象となる端末が休止、あるいは、電源オフの場合には、受信した命令を棄却することとしている。命令を棄却する場合、携帯端末１からユーザＸに対して、命令が棄却された旨、命令が棄却された理由を通知することとしてもよい。
　図１は、ロボット２は休止中の例を示しているが、ユーザＸによる命令の発声時、ロボット２が別命令を実行している場合には、ユーザＸに別命令の実行中断が問われる（Ｓ２０２）。そして、ユーザＸから、中断する旨の入力があった場合（Ｓ２０３：Ｙｅｓ）には、既に発声された命令がロボット２に対して送信される（Ｓ２０５）。したがって、ユーザＸは、同じ命令を再度繰り返して発声する必要が無く、ロボット２との円滑なコミュニケーションを図ることが可能となる。
　（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、ここでは、他端末が休止、電源オフの状態の場合（Ｓ２０１：休止、電源オフ）、ユーザＸの命令は棄却される（Ｓ２０６）。この場合、ユーザは他端末（図１の場合ではロボット２）に対して命令を発声したにもかかわらず、ロボット２から反応、あるいは、応答が得られないことから、携帯端末１において、ロボット２の状況をスピーカ１７からの音声、あるいは、タッチパネル表示部１６の表示によって、ユーザＸに通知する通知処理を行うこととしてもよい。
　（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、ここでは、他端末がスリープの状態の場合（Ｓ２０１：スリープ）、携帯端末１は、命令の対象としている他端末と通信することで、当該他端末を命令受理可能状態に移行させる（Ｓ２０７）。他端末を命令可能状態に移行させた後、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ２０８）。この場合、（１）他端末が別の命令を実行している状態と同様、ユーザＸは、同じ命令を再度繰り返して発声する必要が無く、ロボット２との円滑なコミュニケーションを図ることが可能となる。
　次に、第２状態確認処理（Ｓ３００）、すなわち、他端末は携帯端末１の近傍にいない場合（Ｓ１０８：Ｎｏ）について説明する。図４は、実施形態に係る情報処理システムの利用状況を説明するための図である。図４の状況は、ユーザＸと異なる部屋Ｂにロボット２がいる場合であって、他端末（ロボット２）は、携帯端末１の近傍にいない場合を示している。このような場合、ユーザＸから発声された命令が、ロボット２で受信できない場合が考えられ、ユーザＸの命令が無駄になってしまう、すなわち、ユーザＸとロボット２との間のインタラクションのロスが生じることが考えられる。
　第２状態確認処理（Ｓ３００）は、第１状態確認処理（Ｓ２００）の場合と同様、他端末の状況を３つの状態、すなわち、（１）別の命令を実行している状態、（２）他端末を命令受理可能状態に移行するためにユーザＸの介入が必要である状態、例として、休止、電源オフの状態、（３）他端末を命令受理可能状態に移行するためにユーザＸの介入が不要である状態、例として、スリープの状態、に分類している。第１状態確認処理では、他端末の状態がこれら３つの状態中、何れの状態かを判定する（Ｓ３０１）。
　（１）他端末が別の命令を実行している状態の場合（Ｓ３０１：別の命令を実行中）、まず、携帯端末１のスピーカ１７からの音声、あるいは、携帯端末１のタッチパネル表示部１６を使用して、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知を行う（Ｓ３０２）。
　音声による返答、あるいは、タッチパネル表示部１６に対する入力によって、ユーザＸから別命令の実行を中断する旨の入力があった場合（Ｓ３０３：Ｙｅｓ）、他端末において別命令を中断させ、命令受理可能状態に移行させる（Ｓ３０４）。一方、別命令の実行が中断されない場合（Ｓ３０３：Ｎｏ）、ユーザからの命令は棄却される（Ｓ３０８）。
　別命令の実行を中断する旨が入力された後、携帯端末１において、他端末は可動体、すなわち、ロボット２のように移動可能な端末か否かが判定される（Ｓ３０５）。この判定は、予め携帯端末１において他端末の情報を記憶しておく、あるいは、Ｓ１０６において他端末の状態を取得する際、併せて取得すること等が考えられる。可動体と判定された場合（Ｓ３０５：Ｙｅｓ）、他端末をユーザＸの近傍、すなわち、携帯端末１の近傍に移動させる（Ｓ３０６）。図４の場合、ロボット２は部屋Ｂから、携帯端末１のある部屋Ａに移動させることになる。移動完了後、携帯端末１で保持している命令、すなわち、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３０７）。一方、他端末が可動体では無い場合（Ｓ３０５：Ｎｏ）、他端末を移動させることなく、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３０７）。
　このように、他端末が可動体の場合、他端末を携帯端末１の近傍、すなわち、ユーザＸの近傍に移動させた後、ユーザＸからの命令を他端末に実行させることで、ユーザＸと他端末（図４の場合、ロボット２）との間のコミュニケーションを、近距離で適切に行わせることが可能となる。
　（２）他端末が休止、電源オフの状態の場合（Ｓ３０１：休止、電源オフ）、ユーザの命令は棄却される（Ｓ３０８）。この場合、第１状態確認処理の場合と同様、携帯端末１において、ユーザＸにロボット２の状況を通知する通知処理を行うこととしてもよい。
　（３）他端末がスリープの状態の場合（Ｓ３０１：スリープ）、携帯端末１は、命令の対象となっている他端末と通信することで、当該他端末を命令受理可能状態に移行させる（Ｓ３０９）。その後、Ｓ３０５～３０７と同様の処理であるＳ３１０～３１２の処理を実行することで、他端末が可動体の場合（Ｓ３１０：Ｙｅｓ）には、他端末をユーザＸの近傍に移動（Ｓ３１１）させた後、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３１２）。一方、他端末が可動体で無い場合（Ｓ３１０：Ｎｏ）には、他端末を移動させることなく、Ｓ１０１で受信した命令を他端末に送信する（Ｓ３１２）。
　以上、第１の実施形態に係る情報処理システムについて説明を行ったが、本実施形態の情報処理システムでは、命令対象となる情報処理装置（図１の場合、ロボット２）以外の情報処理装置（図１の場合、携帯端末１）において、命令代行処理を実行することで、ユーザと命令対象となる情報処理装置との間で、インタラクションロスを抑制し、円滑なコミュニケーションを実現することが可能となる。
＜２．第２の実施形態＞
　図８は、実施形態に係る情報処理システムの利用状況を説明するための図である。第１の実施形態では、命令対象となるロボット２が１台の場合について説明を行った。今後、ロボット２が普及するに従い、１家庭で複数のロボット２を利用することが考えられる。第２の実施形態は、このような状況を鑑みた場合であって、複数のロボット２ａ、２ｂが宅内で利用される状況を示している。
　図８の例では、部屋Ａにいるロボット２ａは命令受理可能状態にあり、部屋Ｂにいるロボット２ｂは休止中となっている。ここで、ロボット２ａの名前を「ロボａ」、ロボット２ｂの名前を「ロボｂ」とする。ユーザＸは、ロボット２ｂに対し、例えば、第１の実施形態と同様、「ロボｂ、子どもを呼んできて。」と発声したとする。ロボット２ｂはユーザＸから離れた部屋Ｂに位置しており、かつ、休止中であるため、ユーザＸの命令を処理することができない。複数台のロボット２ａ、２ｂが存在する第２の実施形態では、ロボット２ｂに対する命令を、ロボット２ｂに代わってロボット２ａが実行することが可能となっている。
　図９は、実施形態に係る携帯端末で実行される命令先変更処理を示すフロー図である。命令先変更処理では、図６で説明した第１状態確認処理（Ｓ２００）、あるいは、図７で説明した第２状態確認処理（Ｓ３００）において、命令先となる他端末において命令実行が不能となったか否かを監視する（Ｓ３５１）。ここで、命令が実行不能となった場合とは、命令先となる端末において、如何様にも命令が処理できない場合であって、第１状態確認処理（Ｓ２００）、第２状態確認処理（Ｓ３００）において、ユーザの命令を棄却する場合に相当する。
　例えば、第１状態確認処理（Ｓ２００）において、別命令の実行を中断しないと指示された場合（Ｓ２０３：Ｎｏ）、他端末の状態が休止、あるいは電源オフの状態にある場合（Ｓ２０１：休止、電源オフ）、第２状態確認処理（Ｓ３００）において、別命令の実行を中断しないと指示された場合（Ｓ３０３：Ｎｏ）、他端末の状態が休止、あるいは電源オフの状態にある場合（Ｓ３０１：休止、電源オフ）がこれに相当する。
　このような命令先となっている端末（他端末）での命令実行が不能と判断された場合（Ｓ３５１：Ｙｅｓ）、命令を実行可能な別端末の存在が判定される（Ｓ３５６）。命令を実行可能な別端末が複数存在する場合、ユーザＸの近傍、すなわち、携帯端末１に近い別端末が候補として選定される。別端末において実行する場合、ユーザＸの命令と異なる端末で実行されることになるため、本実施形態では、ユーザに別端末の存在、並びに、別端末で命令を代行して実行してもよいかをユーザＸに通知して、ユーザＸに確認を取ることとしている（Ｓ３５８）。ユーザＸから、別端末で命令を実行する指示が入力された場合（Ｓ３５９：Ｙｅｓ）、別端末にユーザの命令を送信し、別端末で命令を実行させる（Ｓ３６０）。一方、別端末で命令を実行しない指示が入力された場合（Ｓ３５９：Ｎｏ）、ユーザの命令は棄却される（Ｓ３５７）。
　図８の例では、ユーザＸは、ロボット２ｂに対し、「ロボｂ、子どもを呼んできて。」と発声したが、ロボット２ｂは休止中であるため、携帯端末１は、「ロボｂは休止中です。ロボａに処理を代行させますか？」という内容をユーザＸに対して通知する（Ｓ３５８）。ユーザＸが、代行させる内容の指示を行った場合（Ｓ３５９：Ｙｅｓ）、携帯端末１は、ロボット２ｂに対する命令はロボット２ａに送信される（Ｓ３６０）。一方、ユーザＸが、代行させない内容の指示を行った場合（Ｓ３５９：Ｎｏ）、ロボット２ｂに対する命令は棄却される（Ｓ３５７）。
　このように複数台のロボット２ａ、２ｂが存在する第２の実施形態では、ロボット２ｂに対する命令を、ロボット２ｂに代わってロボット２ａが実行することが可能となっている。
＜３．変形例＞
　以上、本開示の複数の実施形態について具体的に説明したが、本開示の内容は上述した実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。以下、変形例について説明する。
（複数台の情報処理装置が存在する場合）
　図１０は、実施形態に係る情報処理システムの利用状況を説明するための図である。第１の実施形態、第２の実施形態では、命令代行処理、命令先変更処理を実行する情報処理装置として、ユーザＸが所持する携帯端末１を使用することとしていた。現在、家庭内において、ユーザとインタラクティブな対応が可能な情報処理装置は、携帯端末１ａのみならず、テレビ１ｂ、スピーカ１ｃ（スマートスピーカ、ＡＩスピーカ等と呼ばれることがある）が考えられる。このような情報処理装置では、ユーザＸの発声により各種制御を行うことが可能である。情報処理装置が複数台、使用される環境下では、何れか１の情報処理装置において、命令代行処理、命令先変更処理を実行することが好ましい。
　例えば、下記に示すような設定によって、命令代行処理、命令先変更処理を実行する１の情報処理装置を選択することが可能である。
　（１）ユーザが予め設定しておく。ロボット２に対する命令代行処理、命令先変更処理を実行する情報処理装置をユーザ自身で設定しておくことで、命令代行処理、命令先変更処理を実行する１の情報処理装置を決定することが可能である。
　（２）ウェラブルデバイスを優先する。ウェアラブルデバイスを優先する理由はユーザの口元に近いことが想定され、ユーザの発声を認識しやすいこと、そして、ユーザの会話を常時受け付け状態となっていることが多いことが想定されるためである。複数のウェアラブルデバイスが存在する場合、ウェアラブルデバイスの種別に応じて、よりユーザの口元に近いことが想定されるものを選択することが考えられる。
　（３）ユーザに近い位置に位置する情報処理装置を優先する。情報処理装置に設けられるＧＰＳ受信部、カメラ、あるいは、赤外線センサ等、各種センサを使用して、情報処理装置とユーザとの間の距離を測定し、ユーザに最も近く位置する情報処理装置を選択することが考えられる。なお、マイクロホンを有する情報処理装置では、ユーザからの声をより大きく受信可能な情報処理装置を、ユーザに近く位置する情報処理装置として判断することも可能である。
　（４）複数の情報処理装置間で通信を行い、１の情報処理装置を決定する。その際、上述する（１）～（３）で説明した条件を考慮して決定することとしてもよい。
　（５）情報処理サーバ５で、１の情報処理装置を決定する。情報処理サーバ５において、複数の情報処理装置に関する情報を取得し、命令代行処理、命令先変更処理を実行するのに適切な情報処理装置を決定することとしてもよい。
（ユーザが複数人いる場合）
　例えば、図６で説明した第１状態確認処理（Ｓ２００）において、ロボット２が別の命令を実行している場合、現在、他端末で実行中の命令（別命令）を中止するか否かをユーザＸに問う通知が行われる（Ｓ２０２）。ユーザが複数人いる場合、別命令の依頼元であるユーザと、今回の命令の依頼元であるユーザが異なることが考えられる。そのため、Ｓ２０２の通知では、別命令の依頼元のユーザを併せて通知することが好ましい。その際、命令を受信する場合には、依頼元のユーザの命令発話を用いた話者認識、あるいは、依頼元のユーザの顔画像を用いた顔認識等，あるいはその両方を使用して、命令の依頼元となるユーザを認識して、命令に対応付けて記憶しておくことが好ましい。また、他のユーザによって命令が中断されることが好ましくない場合も考えられる。そのため、別命令の実行を中断する際には、依頼元のユーザに対して命令の実行中断可否を問い合わせることとしてもよい。
（音声以外による命令）
　第１の実施形態、第２の実施形態では、ロボット２に対する命令として、音声による命令を使用して説明したが、音声による命令のみならず、例えば、リモートコントロール装置、ジェスチャ等を使用したユーザの操作によってロボット２に対する命令を発行することとしてもよい。
（命令先変更処理の変形例）
　図９で説明した命令先変更処理では、命令先となっている端末での命令実行が不能な場合（Ｓ３５１）、命令を実行可能な別端末を探索し、別端末が存在する場合、別端末にユーザの命令を送信することとしていた。命令先変更処理では、このような形態に代え、命令先となっている端末が命令実行できる場合であっても、より早く命令が実行できる別端末が存在する場合、ユーザの命令を別端末に送信することとしてもよい。
　図８の状況において、ロボット２ａ、ロボット２ｂは共に命令実行可能状態にあるとする。このような状況で、ユーザＸが、ロボット２ｂに対し、「ロボｂ、今日の天気は？」と発声した場合、ロボット２ｂは、部屋Ｂから部屋Ａに移動した後、命令を実行することになる。一方、部屋Ａには、命令実行可能状態にあるロボット２ａが存在している。ロボット２ｂが部屋Ｂから部屋Ａに移動して命令を実行するよりも、ユーザＸに近いロボット２ａが命令を実行した方が早いことが考えられる。したがって、より早く命令が実行できる別端末にユーザＸの命令を送信することで、ユーザＸの命令を迅速に処理することが可能となる。この場合においても、ユーザＸに別端末の存在、並びに、別端末で命令を代行して実行してもよいかをユーザＸに通知して、ユーザＸに確認を取ることが好ましい。また、代行して命令を実行する場合、携帯端末１にて最適なロボットを自動選択する形態の他、代行するロボットをユーザに選択させることとしてもよい。例えば、携帯端末１において、「ロボｂを指定しましたが、近傍にロボａが居ます。どうしますか？」とユーザに確認を取り、どちらのロボット２ａ、２ｂに命令を実行させるか選択させることとしてもよい。
（曖昧性を有する命令の変形例）
　図５で説明した命令代行処理において、命令対象が限定されない場合、ユーザに再発声を促すこととしている。この他、曖昧性を有する命令として、命令対象は特定されているものの、命令内容自体に曖昧性が残る場合がある。例えば、ユーザＸが「ロボ、えーっと、あれ取って来て、あれ。」等のような発声を行った場合がこれに相当する。このような場合、命令対象は明らかとなっているため、図５で説明した命令代行処理において、携帯端末１が命令対象となっている端末の状態を取得する処理（Ｓ１０６）を実行しても問題は無い。ただし、携帯端末１によるユーザＸへの通知は、ユーザＸの発声終了時であることが望ましく、仮にユーザＸの発声が終了しても、端末への命令自体に曖昧性が残っていた場合には、携帯端末１による端末への命令送信は行わないことが望ましい。なお、曖昧性の残る命令かどうかを判定するためには、例えば、信頼度スコアが顕著に低く、受理可能な命令セット外の命令が認識された、等の判定方法が考えられる。
　本開示は、装置、方法、プログラム、システム等により実現することもできる。例えば、上述した実施形態で説明した機能を行うプログラムをダウンロード可能とし、実施形態で説明した機能を有しない装置が当該プログラムをダウンロードすることにより、当該装置において実施形態で説明した制御を行うことが可能となる。本開示は、このようなプログラムを配布するサーバにより実現することも可能である。また、各実施形態、変形例で説明した事項は、適宜組み合わせることが可能である。
　本開示は、以下の構成も採ることができる。
（１）
　ユーザからの命令を受信し、前記命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する制御部を有する
　情報処理装置。
（２）
　前記命令代行処理は、命令対象である前記情報処理装置の状態を取得し、当該情報処理装置で命令が実行できない状態となっている場合に実行される
　（１）に記載の情報処理装置。
（３）
　前記命令代行処理は、命令対象である前記情報処理装置を命令受理可能状態に移行させる
　（１）または（２）に記載の情報処理装置。
（４）
　前記命令代行処理は、命令対象である前記情報処理装置が命令受理可能状態に移行した後、ユーザから受信した前記命令を、命令対象である前記情報処理装置に送信する
　（３）に記載の情報処理装置。
（５）
　前記命令代行処理は、命令対象である前記情報処理装置が別命令を実行している際、別命令の実行中断をユーザに問い合わせる
　（１）から（４）の何れか１に記載の情報処理装置。
（６）
　前記命令代行処理は、別命令の実行中断がユーザから指示された場合、ユーザから受信した前記命令を、命令対象である前記情報処理装置に送信する
　（５）に記載の情報処理装置。
（７）
　前記命令代行処理は、命令対象である前記情報処理装置において前記命令が実行不能と判断された場合、ユーザから受信した前記命令を棄却する
　（１）から（６）の何れか１に記載の情報処理装置。
（８）
　前記命令代行処理は、命令対象である前記情報処理装置が可動体である場合、命令対象である前記情報処理装置を移動させる
　（１）から（７）の何れか１に記載の情報処理装置。
（９）
　前記命令代行処理は、自己の位置に近付くように、命令対象である前記情報処理装置を移動させる
　（８）に記載の情報処理装置。
（１０）
　命令対象である前記情報処理装置以外に、ユーザから受信した命令を実行可能な情報処理装置がある場合、当該情報処理装置に命令を送信する
　（１）から（９）の何れか１に記載の情報処理装置。
（１１）
　ユーザからの命令を受信し、前記命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する情報処理装置を有する
　情報処理システム。
（１２）
　命令代行処理を実行可能な前記情報処理装置が複数存在する場合、何れか１の前記情報処理装置において命令代行処理が実行される
　（１１）に記載の情報処理システム。
（１３）
　ユーザからの命令を受信し、前記命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する
　情報処理方法。
（１４）
　ユーザからの命令を受信し、前記命令が他の情報処理装置を命令対象として指定している場合、命令代行処理をコンピュータに実行させる
　情報処理プログラム。
１：携帯端末（情報処理装置）　　　　　　　１７：スピーカ
１ａ：携帯端末　　　　　　　　　　　　　　１８：マイクロホン
１ｂ：テレビ　　　　　　　　　　　　　　　１９：操作部
１ｃ：スピーカ　　　　　　　　　　　　　　２１：制御部
２（２ａ、２ｂ）：ロボット　　　　　　　　２２：操作部
３：ルータ　　　　　　　　　　　　　　　　２３：カメラ
４：アクセスポイント　　　　　　　　　　　２４：接触センサ
５：情報処理サーバ　　　　　　　　　　　　２５：通信部
１１：制御部　　　　　　　　　　　　　　　２６：ＧＰＳ受信部
１２：カメラ　　　　　　　　　　　　　　　２７：表示部
１４：通信部　　　　　　　　　　　　　　　２８：スピーカ
１５：ＧＰＳ受信部　　　　　　　　　　　　２９：マイクロホン
１６：タッチパネル表示部　　　　　　　　　３０ａ、３０ｂ・・・：アクチュエータ

Claims (14)

  1. 　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する制御部を有する
    　情報処理装置。
  2. 　前記命令代行処理は、命令対象である前記情報処理装置の状態を取得し、当該情報処理装置で命令が実行できない状態となっている場合に実行される
    　請求項１に記載の情報処理装置。
  3. 　前記命令代行処理は、命令対象である前記情報処理装置を命令受理可能状態に移行させる
    　請求項１に記載の情報処理装置。
  4. 　前記命令代行処理は、命令対象である前記情報処理装置が命令受理可能状態に移行した後、ユーザから受信した前記命令を、命令対象である前記情報処理装置に送信する
    　請求項３に記載の情報処理装置。
  5. 　前記命令代行処理は、命令対象である前記情報処理装置が別命令を実行している際、別命令の実行中断をユーザに問い合わせる
    　請求項１に記載の情報処理装置。
  6. 　前記命令代行処理は、別命令の実行中断がユーザから指示された場合、ユーザから受信した前記命令を、命令対象である前記情報処理装置に送信する
    　請求項５に記載の情報処理装置。
  7. 　前記命令代行処理は、命令対象である前記情報処理装置において前記命令が実行不能と判断された場合、ユーザから受信した前記命令を棄却する
    　請求項１に記載の情報処理装置。
  8. 　前記命令代行処理は、命令対象である前記情報処理装置が可動体である場合、命令対象である前記情報処理装置を移動させる
    　請求項１に記載の情報処理装置。
  9. 　前記命令代行処理は、自己の位置に近付くように、命令対象である前記情報処理装置を移動させる
    　請求項８に記載の情報処理装置。
  10. 　命令対象である前記情報処理装置以外に、ユーザから受信した命令を実行可能な情報処理装置がある場合、当該情報処理装置に命令を送信する
    　請求項１に記載の情報処理装置。
  11. 　ユーザからの命令を受信し、前記命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する情報処理装置を有する
    　情報処理システム。
  12. 　命令代行処理を実行可能な前記情報処理装置が複数存在する場合、何れか１の前記情報処理装置において命令代行処理が実行される
    　請求項１１に記載の情報処理システム。
  13. 　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理を実行する
    　情報処理方法。
  14. 　ユーザからの命令が他の情報処理装置を命令対象として指定している場合、命令代行処理をコンピュータに実行させる
    　情報処理プログラム。
PCT/JP2019/002706 2018-03-28 2019-01-28 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム WO2019187581A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP19775919.4A EP3780644A4 (en) 2018-03-28 2019-01-28 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING PROCESS, AND INFORMATION PROCESSING PROGRAM
JP2020509729A JP7279706B2 (ja) 2018-03-28 2019-01-28 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
US16/979,337 US11558482B2 (en) 2018-03-28 2019-01-28 Information processing apparatus, information processing system, and information processing method
US18/069,383 US11949753B2 (en) 2018-03-28 2022-12-21 Information processing apparatus, information processing system, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018061209 2018-03-28
JP2018-061209 2018-03-28

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/979,337 A-371-Of-International US11558482B2 (en) 2018-03-28 2019-01-28 Information processing apparatus, information processing system, and information processing method
US18/069,383 Continuation US11949753B2 (en) 2018-03-28 2022-12-21 Information processing apparatus, information processing system, and information processing method

Publications (1)

Publication Number Publication Date
WO2019187581A1 true WO2019187581A1 (ja) 2019-10-03

Family

ID=68061364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002706 WO2019187581A1 (ja) 2018-03-28 2019-01-28 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム

Country Status (4)

Country Link
US (2) US11558482B2 (ja)
EP (1) EP3780644A4 (ja)
JP (2) JP7279706B2 (ja)
WO (1) WO2019187581A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002178233A (ja) 2000-12-15 2002-06-25 Fuji Xerox Co Ltd 工程編成装置
JP2003345435A (ja) 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2005167637A (ja) * 2003-12-02 2005-06-23 Canon Inc 印刷システム、印刷制御方法および印刷システムの制御方法
JP2015201739A (ja) * 2014-04-08 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数機器の音声操作システム、音声操作方法及び、プログラム
JP2017052075A (ja) 2015-09-11 2017-03-16 シャープ株式会社 応答装置および調整装置
JP2017139962A (ja) * 2013-02-05 2017-08-10 三菱電機株式会社 家庭用電力制御システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7107442B2 (en) * 2003-08-20 2006-09-12 Apple Computer, Inc. Method and apparatus for implementing a sleep proxy for services on a network
US20070205910A1 (en) * 2006-02-22 2007-09-06 Parker-Hannifin Corporation Wireless motion control system
KR101553521B1 (ko) * 2008-12-11 2015-09-16 삼성전자 주식회사 지능형 로봇 및 그 제어방법
US8818556B2 (en) * 2011-01-13 2014-08-26 Microsoft Corporation Multi-state model for robot and user interaction
US9154312B2 (en) * 2011-07-20 2015-10-06 Qualcomm Incorporated Power save proxy in communication networks
KR101871430B1 (ko) * 2011-11-14 2018-06-26 한국전자통신연구원 소형 로봇의 다중 운용 방법 및 그 운용 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002178233A (ja) 2000-12-15 2002-06-25 Fuji Xerox Co Ltd 工程編成装置
JP2003345435A (ja) 2002-05-24 2003-12-05 Mitsubishi Heavy Ind Ltd ロボットおよびロボットシステム
JP2005167637A (ja) * 2003-12-02 2005-06-23 Canon Inc 印刷システム、印刷制御方法および印刷システムの制御方法
JP2017139962A (ja) * 2013-02-05 2017-08-10 三菱電機株式会社 家庭用電力制御システム
JP2015201739A (ja) * 2014-04-08 2015-11-12 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 複数機器の音声操作システム、音声操作方法及び、プログラム
JP2017052075A (ja) 2015-09-11 2017-03-16 シャープ株式会社 応答装置および調整装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3780644A4

Also Published As

Publication number Publication date
JP7279706B2 (ja) 2023-05-23
US20210006633A1 (en) 2021-01-07
EP3780644A1 (en) 2021-02-17
JPWO2019187581A1 (ja) 2021-04-08
US11558482B2 (en) 2023-01-17
JP2023104938A (ja) 2023-07-28
US20230118228A1 (en) 2023-04-20
US11949753B2 (en) 2024-04-02
EP3780644A4 (en) 2021-03-24

Similar Documents

Publication Publication Date Title
US10360907B2 (en) Smart necklace with stereo vision and onboard processing
US10015836B2 (en) Master device for using connection attribute of electronic accessories connections to facilitate locating an accessory
US9915545B2 (en) Smart necklace with stereo vision and onboard processing
JP4639343B2 (ja) ロボット遠隔操作システム
US9629774B2 (en) Smart necklace with stereo vision and onboard processing
KR102592769B1 (ko) 전자 장치 및 그의 동작 방법
JP6007836B2 (ja) 端末制御システム、端末制御方法及び電子機器
JP2009090420A (ja) ロボット遠隔操作システム
KR102629796B1 (ko) 음성 인식의 향상을 지원하는 전자 장치
KR20130060952A (ko) 서비스로봇 원격제어 시스템
US11950024B2 (en) Remote operation system, remote operation method, and program
KR20200101221A (ko) 사용자 입력 처리 방법 및 이를 지원하는 전자 장치
KR20210116897A (ko) 외부 장치의 음성 기반 제어를 위한 방법 및 그 전자 장치
JP7468423B2 (ja) 遠隔操作システム、遠隔操作移動体、遠隔操作方法、及び、プログラム
JP2002120184A (ja) ネットワーク上のロボット動作制御システム
WO2019187581A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2006262315A (ja) 携帯電話機能拡張装置
JP6237802B2 (ja) 端末制御システム、サーバ、そのサーバの制御方法及び電子機器
US20220122604A1 (en) Information equipment, information processing method, information processing program, control device, control method, and control program
KR100901482B1 (ko) 가상 메뉴 맵을 이용한 원격 제어 시스템 및 방법
KR20210019424A (ko) 정보 처리 장치, 정보 처리 방법
US20090235192A1 (en) User interface, method, and computer program for controlling apparatus, and apparatus
TW201349189A (zh) 基於無線網路之遠端互動方法與裝置
KR102229101B1 (ko) 긴급 상황 알림 시스템 및 그 방법
JP7006691B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775919

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509729

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019775919

Country of ref document: EP

Effective date: 20201028