WO2024201680A1 - 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム - Google Patents

制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム Download PDF

Info

Publication number
WO2024201680A1
WO2024201680A1 PCT/JP2023/012335 JP2023012335W WO2024201680A1 WO 2024201680 A1 WO2024201680 A1 WO 2024201680A1 JP 2023012335 W JP2023012335 W JP 2023012335W WO 2024201680 A1 WO2024201680 A1 WO 2024201680A1
Authority
WO
WIPO (PCT)
Prior art keywords
control model
user
control
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/012335
Other languages
English (en)
French (fr)
Inventor
俊明 久保
成治 小崎
史樹 長谷川
毅 今井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to CN202380095857.3A priority Critical patent/CN120898213A/zh
Priority to JP2024559720A priority patent/JP7651077B2/ja
Priority to PCT/JP2023/012335 priority patent/WO2024201680A1/ja
Publication of WO2024201680A1 publication Critical patent/WO2024201680A1/ja
Priority to JP2025011415A priority patent/JP2025065178A/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • This disclosure relates to a control model generation device, a robot control device, a control system, a control model generation method, and a program.
  • a device or virtual character that can interact with people is a humanoid. Humanoids are required to act and speak in a way that suits each individual so as not to cause stress when living together with people. However, generally, the same device (or virtual character) will act and speak in the same way regardless of the user, that is, the person with whom they are interacting, and even the same device (or virtual character) can cause stress depending on the user.
  • Patent Document 1 discloses a robot control device that controls the behavior of a robot so that the expected reaction of the robot's behavior matches the actual reaction of the user to that behavior, enabling the robot to build an affinity with the user.
  • the present disclosure has been made in consideration of the above, and aims to provide a control model generation device that can reduce the stress on a user caused by at least one of the actions and speech patterns of a humanoid.
  • the control model generation device disclosed herein comprises a data storage unit that stores personal behavior data, which is data related to the behavior of a person who has performed a cooperative action, and a learning unit that uses the personal behavior data stored in the data storage unit to generate a control model of a humanoid that allows a humanoid to perform a cooperative action with a user, the control model reflecting the personality of the person.
  • the personal behavior data includes data acquired when the user is performing a cooperative action with a cooperative action target with whom the user is familiar.
  • the control model generation device disclosed herein has the effect of reducing the stress of the user caused by at least one of the actions and speech patterns of the humanoid.
  • FIG. 1 is a diagram showing an example of a configuration of a collaborative operation system according to a first embodiment
  • FIG. 1 is a diagram showing an example of correction information according to the first embodiment
  • Schematic diagram showing an example of a neural network A flowchart showing an example of a processing procedure in a control model generating unit according to the first embodiment.
  • 1 is a flowchart showing an example of a processing procedure in a robot control unit according to the first embodiment.
  • FIG. 1 is a schematic diagram showing an example of acquiring personal behavior data in a first example
  • FIG. 13 is a schematic diagram showing an example of a cooperative operation between a user and a robot in the first example
  • FIG. 11 is a schematic diagram showing an example of acquiring personal behavior data in the second example
  • FIG. 11 is a schematic diagram showing an example of a cooperative operation between a user and a robot in a second example
  • FIG. 1 is a diagram showing an example of the configuration of a computer system that realizes a control system according to a first embodiment.
  • FIG. 13 is a diagram showing a configuration example of a cooperative operation system according to a second embodiment; A flowchart showing an example of a processing procedure in a control model generating unit according to the second embodiment.
  • FIG. 13 is a diagram showing a configuration example of a collaborative operation system according to a third embodiment. A flowchart showing an example of a control model update processing procedure in a control model generating unit according to the third embodiment.
  • FIG. 13 is a diagram showing a configuration example of a cooperative operation system according to a fourth embodiment.
  • FIG. 13 is a diagram showing a configuration example of a collaborative operation system according to a fifth embodiment.
  • FIG. 23 is a diagram showing a configuration example of a cooperative operation system according to a sixth embodiment.
  • control model generation device robot control device, control system, control model generation method, and program according to the embodiments are described in detail below with reference to the drawings.
  • Embodiment 1. 1 is a diagram showing an example of the configuration of a collaborative operation system according to the first embodiment.
  • the collaborative operation system 100 of the present embodiment includes a control system 1, a robot 7, a detection device 4, and a situation detection device 8.
  • the collaborative operation system 100 of this embodiment accumulates personal behavior data of the user 5 including collaborative operation data acquired when the robot 7 and the user 5 performed collaborative operation with the collaborative operation target 6 before the collaborative operation between the robot 7 and the user 5 is performed, and generates a control model for controlling the robot 7 using the accumulated personal behavior data.
  • the collaborative operation data is personal behavior data acquired while performing collaborative operation.
  • the acquired personal behavior data may be only collaborative operation data, or may include other than collaborative operation data.
  • the collaborative action includes, but is not limited to, at least one of, for example, conversation, work, games, and sports.
  • the collaborative action target 6 is another person who performs a collaborative action with the user 5 and is familiar with the user 5 in the collaborative action.
  • a person who is familiar with the user 5 in the collaborative action is, for example, a person who is not meeting the user for the first time and knows at least a little about the other person's personality or speech and behavior habits, and therefore, the user 5 feels that they are compatible in the collaborative action and is less likely to feel stressed when the user 5 performs a collaborative action together.
  • the collaborative action target 6 may be determined, for example, by the user 5, or may be determined by an operator of the collaborative action system 100 other than the user 5.
  • the collaborative action target 6 When determined by an operator of the collaborative action system 100, for example, a person who is clearly performing a collaborative action with the user 5 for a long period of time is determined as the collaborative action target 6.
  • the collaborative action target 6 may be one person or multiple people.
  • personal behavior data is acquired that includes collaborative action data when the user 5 collaborates with each of the collaborating action targets 6.
  • the collaborating action targets 6 include a first collaborating action target and a second collaborating action target
  • the personal behavior data of the user 5 includes collaborative action data acquired during collaboration between the first collaborating action target and the user 5, and collaborative action data acquired during collaboration between the second collaborating action target and the user 5.
  • the personal behavior data is data on the behavior of a person who has performed a cooperative action, and in this embodiment, since the personal behavior data of user 5 is acquired, the personal behavior data is data reflecting the personality of user 5. Since the personal behavior data of user 5 includes data acquired when user 5 is performing a cooperative action with a cooperative action target 6 with which user 5 is familiar, it can also be said that the data indirectly reflects the personality of the cooperative action target 6. Furthermore, since the control model is generated using personal data including data of user 5 acquired when user 5 is performing a cooperative action with a cooperative action target 6 with which user 5 is familiar, the personality of user 5 is reflected in the control model.
  • the personality of user 5 reflected in the control model is not simply the personality of user 5, but the personality of user 5 when performing a cooperative action with a cooperative action target 6 with which user 5 is familiar, so not only the personality of user 5 but also the personality of the cooperative action target 6 with which user 5 is familiar is indirectly reflected in the control model.
  • the indirectly reflected control refers to control that reflects the behavior or manner of speech of the collaborative action target 6 when interacting with the user 5, and can be said to be control that includes elements that are characteristic of the behavior or manner of speech that constitute the individuality of the collaborative action target 6. This allows the robot 7 to perform actions that do not cause stress to the user 5 when performing collaborative actions.
  • the personal behavior data is data including the behavioral habits of the user 5.
  • the behavior is assumed to be the object to be used for controlling the robot 7, and may include not only the movement but also at least one of the user 5's way of speaking and the position and posture of the user 5. That is, the behavior includes, for example, at least one of the movement, the speech, and at least one of the position and posture of the user 5.
  • the movement may not only indicate a continuous movement, but may also include at least one of the position and posture at a certain moment.
  • the behavioral habits include at least one of the movement habits and the speech habits.
  • the movement habits are, for example, at least one of the movement habits such as the movement trajectory and the movement speed, gestures, etc.
  • the speech habits are, for example, at least one of the speaking speed, catchphrases, speaking style, intonation, dialect, etc., but are not limited to these.
  • the movements, actions, speaking styles, habits, etc. of the user 5, the collaborative operation target person 6, and the robot 7 may be called behavior.
  • the robot 7 is an example of a humanoid that operates in cooperation with the user 5. It should be noted that a humanoid may also be referred to as a controlled object. More specifically, in this embodiment, the robot 7 is an example of a machine that operates in cooperation with the user 5.
  • the robot 7 may be humanoid, a machine that does not have any moving parts and only communicates with the user 5, an industrial machine equipped with a manipulator or the like, or something other than these, and there are no particular restrictions on its shape or function.
  • the control system 1 controls the robot 7.
  • the control system 1 includes a control model generation unit 2 that generates a control model of the robot 7, and a robot control unit 3 that controls the robot 7 using the control model generated by the control model generation unit 2 and situation data detected by a situation detection device 8.
  • the control model generation unit 2, which is a control model generation device, and the robot control unit 3, which is a robot control device, may be integrated together, or each may be provided separately.
  • the detection device 4 detects the behavior of the user 5 when the user 5 is performing a cooperative action with the cooperative action target 6 as personal behavior data, and transmits the personal behavior data to the control model generation unit 2.
  • the detection device 4 is, for example, a device that detects at least one of the position, speed, acceleration, posture, voice, pulse, blood pressure, body temperature, emotion, etc., and there may be multiple detection devices 4.
  • the detection device 4 may also detect psychological or internal information, such as biometric information or emotions, of the user 5 when the user 5 is performing a cooperative action with the cooperative action target 6, and include the information in the personal behavior data and transmit it to the control model generation unit 2.
  • psychological or internal information such as biometric information or emotions
  • the detection device 4 may be a wearable terminal that the user 5 can wear, or a mobile terminal that the user 5 can carry.
  • the detection device 4 may also be a device installed so as to be able to detect the motion of the user 5, or a device that detects motion in a virtual space such as the metaverse.
  • the detection device 4 may be a combination of these, or may be something else.
  • the detection device 4 may be a terminal capable of detecting at least one of its own position, speed, and acceleration, a terminal capable of detecting its own rotation, a terminal equipped with a microphone capable of collecting and recording sound, or a combination of these.
  • a GPS (Global Positioning System) receiver, an RFID (Radio Frequency IDentification) tag, or other devices may be used to detect the position of the wearable terminal.
  • a wearable terminal or a mobile terminal is used as the detection device 4, it is possible to obtain personal behavior data of the user 5 on a daily basis, not limited to the position of the user 5.
  • the detection device 4, the control model generation unit 2, or a device not shown in FIG. 1 performs voice recognition processing to extract the voice of the user 5.
  • the voice recognition processing may be any type of processing, but may also be, for example, a process in which the voice of the user 5 is acquired in advance and the voice made by the user 5 is identified using the previously acquired voice.
  • the device When a device installed so as to be able to detect the movements of the user 5 is used as the detection device 4, the device may be, for example, a photographing device such as a camera that photographs the location where the coordinated movements are performed, or a device such as a microphone that can collect and record sound at the location where the coordinated movements are performed, or a combination of these.
  • the detection device 4 is a photographing device
  • the control model generation unit 2 or a device not shown in FIG. 1 recognizes the user 5 in the video photographed by the photographing device, and detects the position, speed, acceleration, movement trajectory, etc. of the user 5.
  • the method of recognizing the user 5 may be a general image recognition method, such as using an image of the user 5 photographed in advance.
  • the detection device 4 may also recognize the user 5 and detect the position, speed, acceleration, movement trajectory, etc. of the user 5. General methods may also be used for detecting the position, speed, acceleration, movement trajectory, etc. of the user 5.
  • the detection device 4 is a device that detects movements in a virtual space such as the metaverse
  • the device may be, for example, a computer system that manages the virtual space, a terminal device that the user 5 uses to make his or her avatar move in the virtual space, or a device that records images in the virtual space.
  • the control model generation unit 2 or a device not shown in FIG. 1 recognizes the user 5 in the image captured by the imaging device, and detects the position, speed, acceleration, movement trajectory, etc. of the user 5.
  • the detection device 4 may include a device that detects the force that the user 5 applies to the object.
  • the control model generation unit 2 includes a basic model storage unit 21, a learning unit 22, a data storage unit 23, a data acquisition unit 24, and a correction information storage unit 25.
  • the basic model storage unit 21 stores a predetermined basic control model that serves as a reference for the control model for controlling the robot 7.
  • the basic control model is a general control model that does not depend on the user 5, i.e., does not reflect the individuality of the user 5, and is a model that defines the basic operations of the robot 7.
  • the basic control model may be stored in advance in the data storage unit 23 by the vendor of the control system 1 or the vendor of the robot 7, or may be transmitted from another device, received by a communication unit not shown in FIG. 1, and stored in the data storage unit 23.
  • the user 5 may operate the control system 1, which causes the control system 1 to receive a basic control model from an external server that provides a basic control model corresponding to the robot 7.
  • the basic control model may be provided for each type of robot 7, or may be provided according to the type of cooperative movement performed by the robot 7.
  • a basic control model corresponding to the type of cooperative movement performed by the robot 7 may be stored in the basic model storage unit 21, and the user 5 may select a basic control model corresponding to the type of cooperative movement performed by the robot 7 and the user 5.
  • an external server may provide a basic control model corresponding to the type of cooperative movement performed by the robot 7, and the user 5 may select and download a basic control model corresponding to the type of cooperative movement performed by the robot 7 and the user 5, thereby storing the basic control model in the basic model storage unit 21.
  • the basic control model and the control model include, for example, one or more control parameters for controlling the robot 7.
  • the control parameters include at least one of the following: parameters for controlling the movement of the robot 7, such as the trajectory, speed, and acceleration of the robot 7; parameters for controlling the movement of each part of the robot 7, such as the hands and joints of the robot 7; and parameters for controlling the way the robot 7 speaks, such as the speaking speed of the robot 7 and the pitch (frequency) of the voice emitted by the robot 7.
  • the data acquisition unit 24 acquires the personal behavior data of the user 5 from the detection device 4 and stores the acquired personal behavior data in the data storage unit 23.
  • processing such as image processing of the video acquired by the detection device 4 and voice recognition processing of the voice acquired by the detection device 4 may be performed.
  • other devices not shown
  • the data acquisition unit 24 acquires the personal behavior data from the other devices.
  • the data acquisition unit 24 may also perform extraction processing such as image processing of the video acquired by the detection device 4 and voice recognition processing of the voice acquired by the detection device 4.
  • the data acquisition unit 24 may perform extraction processing on the data acquired from the detection device 4 and store the processed data in the data storage unit 23 as personal behavior data, or the data itself acquired from the detection device 4 may be stored in the data storage unit 23 as personal behavior data, and the learning unit 22 may perform extraction processing in the process of generating a control model described later.
  • the data acquisition unit 24 acquires the personal behavior data by receiving the personal behavior data, but this is not limited to this, and the personal behavior data may be recorded on a recording medium or the like. In this case, the data acquisition unit 24 acquires personal behavior data by reading the personal data from the recording medium.
  • the correction information storage unit 25 stores correction information indicating correction contents for the basic control model according to the personal behavior data.
  • the correction information is, for example, information that associates one or more feature amounts indicated by the personal behavior data with the correction contents.
  • the feature amount indicates the personality of the person from whom the personal behavior data is acquired.
  • the personality includes, for example, at least one of behavior, catchphrases, intonation, dialect, and movement habits.
  • the correction contents are determined according to the personality of the user 5 so that the robot 7 performs an action that does not cause stress to the user 5 when performing a cooperative action with the robot 7.
  • the learning unit 22 uses the personal behavior data stored in the data storage unit 23, i.e., the accumulated personal behavior data, to generate a control model of the robot 7 for performing a cooperative action with the user 5, which reflects the personality of the user 5.
  • the learning unit 22 generates a control model using, for example, the basic control model stored in the basic model storage unit 21, the personal behavior data accumulated in the data storage unit 23, and the correction information stored in the correction information storage unit 25.
  • the personality of the user 5 is classified into types based on N (N is an integer equal to or greater than 1) feature amounts, and the correction information includes correction contents of parameters (control parameters) in the control model for each type.
  • the feature amount may be an angle indicating the direction of movement of the user 5 during cooperative movement from a reference direction, or a numerical value indicating the amount of movement from a reference point during cooperative movement of the user 5, or information obtained by frequency-converting time-series data of the position of the user 5 during cooperative movement, or the speaking speed of the user 5, or information obtained by frequency-converting the voice of the user 5.
  • the feature amount may be whether or not the user 5 has performed a specific predetermined movement, or the number of times the user 5 has performed a specific predetermined movement per unit time, or whether or not the user 5 has uttered a specific word, or the number of times a specific word has been uttered by the user 5 per unit time, etc.
  • a feature amount indicating the habits or personality of the user 5 for example, behaviors that tend to differ from person to person and that show a specific regularity may be extracted.
  • the feature amount may be the individual behavior data itself, or the collaborative action data in the individual behavior data itself.
  • the feature amount is not limited to the above example, and may be anything that indicates at least one of the characteristics of the user 5's way of moving and speaking, that is, the habits of the user 5. Note that while FIG. 2 shows an example in which N is 3 or more, this is not limiting, and N may be 1 or more.
  • the learning unit 22 extracts features from the personal behavior data stored in the data storage unit 23, identifies a type corresponding to the extracted features using the correction information, extracts correction content corresponding to the identified type from the correction information, and generates a control model by correcting the basic control model based on the extracted correction content.
  • the correction information may be determined manually in advance.
  • the correction information may be determined by a vendor or administrator of the robot 7 or the control system 1, or may be determined by learning through machine learning (pre-learning).
  • the vendor or administrator determines the modification information by inferring how the robot 7's behavior based on the basic control model should be modified for each type of user 5 according to the content of the collaborative behavior so that the user 5 does not feel stressed.
  • the robot 7 is made to perform a cooperative action with an arbitrary person, and for each cooperative action, a set of data is obtained that includes feature amounts extracted from the personal behavior data of the person who performed the cooperative action and the correction contents of each control parameter in the control model of the robot 7 (correction contents from the basic control model).
  • an evaluation is performed to indicate whether or not the person who performed the cooperative action with the robot 7 felt stress.
  • the person who performs the cooperative action at this time does not have to be the robot 7 itself that performs the cooperative action with the user 5, but may be another robot of the same type as the robot 7, or may be a different type of robot that can perform the same action as the robot 7.
  • a trained model is generated by supervised learning using the correction contents of each control parameter in the data set in which the evaluation result that no stress was felt was obtained by pre-learning as correct data.
  • Pre-learning may be performed by the learning unit 22, a pre-learning unit (not shown) of the control model generation unit 2, or a learning device separate from the control system 1.
  • the correction information is a trained model for inferring the correction contents of the control parameters from the features extracted from the personal behavior data, and the learning unit 22 can infer the correction contents of the control parameters suitable for the user 5 by inputting the features extracted from the personal behavior data of the user 5 into the trained model.
  • the learning unit 22 generates a control model by reflecting the inferred correction contents in the basic control model.
  • a neural network is composed of an input layer consisting of multiple neurons, an intermediate layer (hidden layer) consisting of multiple neurons, and an output layer consisting of multiple neurons.
  • the intermediate layer can be one layer, or two or more layers.
  • Figure 3 is a schematic diagram showing an example of a neural network.
  • a three-layer neural network as shown in Figure 3, when multiple inputs are input to the input layer (X1-X3), the values are multiplied by weight W1 (w11-w16) and input to the intermediate layer (Y1-Y2), and the result is further multiplied by weight W2 (w21-w26) and output from the output layer (Z1-Z3).
  • W1 weight 11-w16
  • Y1-Y2 intermediate layer
  • W2 w21-w26
  • This output result changes depending on the value of weight W1 and the value of weight W2.
  • the weights W1 and W2 are adjusted so that the output from the output layer when the feature extracted from the individual behavior data is input approaches the correction content of the control parameter, which is the correct data, and the relationship between the feature and the correct data is learned.
  • the machine learning algorithm is not limited to a neural network, and may be other algorithms such as a support vector machine.
  • the machine learning used to generate the trained model is not limited to supervised learning, and may be reinforcement learning, etc.
  • information in table format may be used as correction information.
  • information in table format may be used as correction information.
  • multiple input data are generated by changing the values of each feature, and control parameters obtained by inputting each input data into the trained model are inferred.
  • Input data in which the correction contents of the control parameters obtained by inference are all the same or the difference is within a certain range may be defined as one type, control parameters for each type may be determined, and correction information in table format as shown in FIG. 2 may be generated.
  • the movement of the robot 7 and the person who performs the cooperative movement may be appropriately changed to obtain multiple data sets with different conditions, and correction information may be determined using the obtained data sets and the corresponding evaluation results.
  • the values of the type classification thresholds X1, X2, etc. and the control parameters may be manually determined using the correction contents of each control parameter in a data set in which the evaluation result that no stress was felt is obtained and the feature amounts of the personal behavior data.
  • the cooperative action is an action in which the robot 7 and the user 5 cooperate to pull an object with a certain force
  • the cooperative action will fail unless the robot 7 increases the pulling force, which will cause stress for the user 5.
  • the cooperative action will fail unless the robot 7 decreases the pulling force, which will cause stress for the user 5.
  • the pulling force of the user 5 is acquired as individual behavior data, and the total force is defined as overall information. Then, the learning unit 22 calculates the pulling force of the robot 7 by subtracting the pulling force of the user 5 from the total force, and calculates the correction amount of the control parameter according to the calculated force.
  • the above-mentioned overall information is one example, and the overall information is not limited to the above-mentioned example.
  • the learning unit 22 outputs the generated control model to the robot control unit 3.
  • the robot control unit 3 includes an instruction sending unit 31, a situation acquisition unit 32, a control instruction generating unit 33, and a control model storage unit 34.
  • the robot control unit 3 is an example of a motion control unit (motion control device) that controls a humanoid.
  • the control model storage unit 34 stores the control model output from the learning unit 22.
  • the situation acquisition unit 32 acquires situation data indicating the situation of the cooperative operation between the robot 7 and the user 5 acquired by the situation detection device 8 by receiving it from the situation detection device 8, and outputs the acquired situation data to the control instruction generation unit 33.
  • the situation detection device 8 may be provided on the robot 7, may be provided in the vicinity of the robot 7, or may be provided on both the robot 7 and the vicinity of the robot 7.
  • the situation detection device 8 acquires situation data used for controlling the robot 7 according to the type of robot 7 and the content of the cooperative operation.
  • the situation detection device 8 may acquire the situation of the operation of the user 5, such as the voice uttered by the user 5 and the movement of the user 5. There may be multiple situation detection devices 8.
  • the situation detection device 8 may be, for example, a photographing device that detects the position of the robot 7, the state of the surroundings of the robot 7, etc., or may be an acceleration sensor, a force sensor, etc. Furthermore, the situation detection device 8 may be a photographing device for grasping the positional relationship between the target object and the robot 7 when the robot 7 moves the target object or applies a force to the target object.
  • the situation detection device 8 may be two or more of these, or may be other than these, and any sensor generally used for controlling the robot 7 may be used. Note that situation data does not need to be used for controlling the robot 7, in which case the situation detection device 8 does not need to be provided.
  • the control instruction generation unit 33 generates control instructions for the robot 7 using the situation data received from the situation acquisition unit 32 and the control model stored in the control model storage unit 34, and outputs the generated control instructions to the instruction transmission unit 31.
  • the instruction transmission unit 31 transmits the control instructions received from the control instruction generation unit 33 to the robot 7.
  • the robot 7 that receives the control instructions operates based on the control instructions.
  • the learning unit 22 generates a control model using personal behavior data from when the user 5 is performing a cooperative action with the familiar cooperative action target 6, and a control instruction based on the generated control model is transmitted to the robot 7. Because the control model is generated before the cooperative action between the user 5 and the robot 7, the robot 7 can perform actions that are the same as or similar to the actions of the cooperative action target 6 from the start of the cooperative action, thereby reducing stress on the user 5 caused by at least one of the actions and speech of the robot 7 during the cooperative action.
  • FIG. 4 is a flowchart showing an example of a processing procedure in the control model generation unit 2 of this embodiment.
  • the control model generation unit 2 acquires personal behavior data of the user 5 including cooperative action data acquired during cooperative action between the user 5 and the cooperative action target 6 (step S1).
  • the data acquisition unit 24 acquires the personal behavior data of the user 5 by receiving the personal behavior data from the detection device 4.
  • the data acquisition unit 24 may acquire the personal behavior data by a recording medium. Also, video or the like that is the source of the personal behavior data may be acquired by the detection device 4 and extraction processing may be performed.
  • the control model generation unit 2 stores the personal behavior data of the user 5 (step S2).
  • the data acquisition unit 24 stores the received personal behavior data in the data storage unit 23.
  • the control model generating unit 2 generates a control model using the accumulated individual behavior data (step S3).
  • the learning unit 22 extracts a feature value using the individual behavior data of the user 5 stored in the data storage unit 23, and generates a control model using the feature value and the basic control model stored in the basic model storage unit 21.
  • the accumulated individual behavior data is individual behavior data acquired for each cooperative action in one or more cooperative actions. If the feature value is, for example, the speaking speed of the user 5, when individual behavior data corresponding to multiple cooperative actions are accumulated, the average speed per character may be obtained using all the individual behavior data corresponding to the multiple cooperative actions.
  • the individual behavior data corresponding to the multiple cooperative actions may be used to calculate an average position at a specified time point in the cooperative action, and the difference between the average position and a predetermined standard position may be used as the feature value.
  • the method of calculating the feature value is not limited to the above example.
  • the control model generation unit 2 outputs the control model (step S4).
  • the learning unit 22 outputs the generated control model to the robot control unit 3.
  • the control model storage unit 34 of the robot control unit 3 stores the control model output from the learning unit 22.
  • FIG. 5 is a flowchart showing an example of a processing procedure in the robot control unit 3 of this embodiment. The processing shown in FIG. 5 is performed when the robot 7 and the user 5 perform a cooperative operation after the control model is generated by the control model generation unit 2.
  • the robot control unit 3 acquires situation data (step S11).
  • the situation acquisition unit 32 acquires situation data indicating the situation of the robot 7 acquired by the situation detection device 8 by receiving the situation data from the situation detection device 8, and outputs the acquired situation data to the control instruction generation unit 33.
  • the robot control unit 3 generates a control instruction using the situation data and the control model (step S12).
  • the control instruction generation unit 33 generates a control instruction for the robot 7 using the situation data received from the situation acquisition unit 32 and the control model stored in the control model storage unit 34, and outputs the generated control instruction to the instruction transmission unit 31.
  • the robot control unit 3 transmits a control instruction (step S13).
  • the instruction transmission unit 31 transmits the control instruction received from the control instruction generation unit 33 to the robot 7.
  • the robot 7 performs an operation based on the control instruction.
  • the cooperative operation is serving food.
  • A, B, C, and D all work at the same restaurant, and B sometimes serves food with A, sometimes serves food with C, and sometimes serves food with D.
  • B is able to perform a good job when serving food with A, and also when serving food with C.
  • B is unable to perform the serving task comfortably and feels stressed.
  • a and C are planning to retire, and after A and C retire, B is scheduled to perform the serving task with the robot 7.
  • FIG. 6 is a schematic diagram showing an example of acquiring personal behavior data in the first example.
  • user 5 and collaborative action target 6 serve plates placed on a serving counter 201 to tables 202 in the dining area of a restaurant.
  • personal behavior data of person B is acquired by detection device 4.
  • user 5 when user 5 is serving food together with collaborative action target 6, user 5 serves multiple small plates, and collaborative action target 6 serves large plates.
  • person D when user 5 is serving food together with person D, person D serves multiple small plates, and person B serves large plates.
  • the personal behavior data includes information indicating which dishes were served.
  • a detection device 4 may be used to detect the position of the user 5, and the time series data of the positions detected by the detection device 4 may be used as the personal behavior data.
  • the learning unit 22 may obtain a history of the movement of the user 5, and obtain the size of the plates served by the user 5 as a feature based on the obtained history and the positions of the small and large plates.
  • a detection device 4 capable of photographing the serving counter 201 may be used, and the size and number of plates served by the user 5 may be calculated as personal behavior data by the data acquisition unit 24 or another device by analyzing the image photographed by the detection device 4.
  • a detection device 4 capable of photographing the serving counter 201 may be used, and the image photographed by the detection device 4 may be used as personal behavior data, and the learning unit 22 may obtain the size of the plates served by the user 5 as a feature from the image.
  • the plates to be served in the serving task include large and small plates.
  • the size of the plates to be served, or the size and number of the plates to be served are included as feature quantities, and a type in which multiple small plates are served, or a type in which a large plate is served, are defined as a type in the modification information.
  • a numerical value is defined as a control parameter for setting the target of the robot 7 to be a large plate.
  • the control model includes a serving judgment model and a movement model
  • the serving judgment model includes a definition of the size of the plate to be served by the robot 7.
  • a modification content corresponding to the above-mentioned type in the modification information information is defined for setting a control parameter for setting the target of the serving to be a plate with a diameter of a certain value or more.
  • This allows the learning unit 22 of the control model generation unit 2 to generate a control model that causes the robot 7 to serve large plates.
  • the range of the plates to be served on the serving counter 201 may be defined as a control parameter.
  • FIG. 7 is a schematic diagram showing an example of cooperative operation between user 5 and robot 7 in the first example.
  • a control model has been generated to cause robot 7 to serve food on a large platter, and so robot 7 serves food on a large platter.
  • This allows user 5 to serve food efficiently with less stress, similar to when serving food together with cooperative action target 6, person A or person C.
  • control system 1 can learn a method of serving food that allows user 5, person B, to act efficiently, and generate a control model that reflects the results of the learning.
  • the robot 7 is, for example, an assembly robot, which is a type of industrial machine.
  • Person A, Person B, Person C, and Person D are all workers who perform assembly work, and Person B sometimes performs assembly work with Person A, sometimes performs assembly work with Person C, and sometimes performs assembly work with Person D.
  • Person B is able to perform the job well when performing assembly work with Person A, and also when performing assembly work with Person C.
  • Person B it is assumed that when Person B performs assembly work with Person D, Person B, who is the user 5, is unable to perform the assembly work comfortably and feels stressed.
  • Persons A and C are scheduled to be transferred, and after Person A and C are transferred, Person B is scheduled to perform assembly work with the robot 7.
  • individual behavior data including cooperative behavior data when Person B, who is the user 5, performs cooperative behavior with the cooperative behavior target person 6 is acquired.
  • the collaborative action targets 6 who are familiar with collaborative action with B are A and C.
  • FIG. 8 is a schematic diagram showing an example of acquiring individual behavior data in the second example.
  • user 5 and collaborative action target 6 cooperate to perform assembly work. More specifically, user 5 (Mr. B) places first part 204, and collaborative action target 6 (Mr. A or Ms. C) places second part 205 on top of first part 204.
  • Standard position 203 indicates the standard position where first part 204 is placed, and user 5 has a habit of placing first part 204 to the right of the standard position in FIG. 8.
  • User D who is not familiar with User 5, attempts to place the second part 205 on the assumption that the first part 204 will be placed in the standard position 203, which takes time to align and requires User 5 to change the position of the first part 204, making it difficult to assemble efficiently and causing User 5 to feel stressed.
  • the detection device 4 detects the location where the user 5 places the first part 204, or the position of the user 5's hand when the user 5 places the first part 204. Then, using the difference from the standard position 203 of the first part 204 as a feature amount, a type is defined in the correction information that the placement position of the first part 204 is shifted from the standard position 203 by a threshold value or more. Then, as the correction content corresponding to that type in the correction information, content is included that determines a control parameter so that the position of the second part 205 placed by the robot 7 is shifted by the same amount as the difference between the placement position of the first part 204 and the standard position 203. This allows the learning unit 22 of the control model generation unit 2 to generate a control model that causes the robot 7 to place the second part 205 according to the amount by which the user 5 has shifted the first part 204 from the standard position 203.
  • FIG. 9 is a schematic diagram showing an example of cooperative operation between user 5 and robot 7 in the second example.
  • a control model has been generated that causes robot 7 to place second part 205 in accordance with the amount by which user 5 has shifted first part 204 from standard position 203, so robot 7 places second part 205 shifted to the right. This allows user 5 to reduce stress and perform assembly work efficiently, just as when performing assembly work together with cooperative operation target person 6, Mr. A or Mr. C.
  • the robot 7 is able to work together with the user 5, taking into consideration the behavior of the user 5, Mr. B, and even in an environment where humans work together to reduce manpower, with the robot 7, an example of a humanoid, the user 5 can perform cooperative operations with reduced stress, such as difficulty in working and discomfort.
  • the cooperative operations performed using the cooperative operation system 100 described above are merely examples, and the cooperative operations performed using the cooperative operation system 100 are not limited to the above examples.
  • the cooperative action is not limited to being performed by two people, but may be performed by three or more people.
  • two robots 7 may be used, or the robot 7 and the cooperative action target person 6 may perform the cooperative action together with the user 5.
  • a control model is generated based on C's personal behavior data, and the robot 7 is controlled based on this control model.
  • FIG. 10 is a diagram showing an example of the configuration of a computer system that realizes the control system 1 of this embodiment.
  • this computer system includes a control unit 101, an input unit 102, a storage unit 103, a display unit 104, a communication unit 105, and an output unit 106, which are connected via a system bus 107.
  • the control unit 101 and the storage unit 103 form a processing circuit.
  • control unit 101 is, for example, a processor such as a CPU (Central Processing Unit), and executes a program in which the processing in the control system 1 of this embodiment is described.
  • a part of the control unit 101 may be realized by dedicated hardware such as a GPU (Graphics Processing Unit) or an FPGA (Field-Programmable Gate Array).
  • the input unit 102 may be an input means such as a button, a keyboard, a mouse, a joystick, a touchpad, or a game controller.
  • the storage unit 103 includes various memories such as a RAM (Random Access Memory) and a ROM (Read Only Memory), and a storage device such as a hard disk, and stores the program to be executed by the control unit 101, necessary data obtained in the process of processing, etc.
  • the storage unit 103 is also used as a temporary storage area for the program.
  • the display unit 104 is, for example, a display, as described above. Note that the display unit 104 and the input unit 102 may be integrated and realized by a touch panel, etc.
  • the communication unit 105 is a receiver and a transmitter that perform communication processing.
  • the output unit 106 is a speaker or the like. Note that FIG. 10 is an example, and the configuration of the computer system is not limited to the example of FIG. 10. For example, in this embodiment, the computer system that realizes the control system 1 does not need to include the output unit 106.
  • a computer program is installed in the storage unit 103 from a CD-ROM or DVD-ROM set in a CD (Compact Disc)-ROM drive or DVD (Digital Versatile Disc)-ROM drive (not shown). Then, when the program is executed, the program read from the storage unit 103 is stored in the main memory area of the storage unit 103. In this state, the control unit 101 executes processing as the control system 1 of this embodiment according to the program stored in the storage unit 103.
  • the program describing the processing in the control system 1 is provided on a CD-ROM or DVD-ROM as a recording medium, but this is not limiting.
  • a program provided via a transmission medium such as the Internet may be used.
  • the program of this embodiment causes a computer system to execute, for example, the steps of accumulating personal behavior data, which is data on the behavior of a person who has performed cooperative actions, and using the accumulated personal behavior data, generating a control model for a humanoid that allows the humanoid to perform cooperative actions with a user 5, the control model reflecting the personality of the person.
  • the learning unit 22 and control instruction generation unit 33 shown in FIG. 1 are realized by the control unit 101 shown in FIG. 10 executing a computer program stored in the storage unit 103 shown in FIG. 10.
  • the storage unit 103 shown in FIG. 10 is also used to realize the learning unit 22 and control instruction generation unit 33 shown in FIG. 1.
  • the data acquisition unit 24, instruction transmission unit 31, and status acquisition unit 32 shown in FIG. 1 are realized by the communication unit 105 shown in FIG. 10.
  • the data acquisition unit 24 may also be realized by a device that reads out a recording medium.
  • the basic model storage unit 21, data storage unit 23, correction information storage unit 25, and control model storage unit 34 shown in FIG. 1 are part of the storage unit 103 shown in FIG. 10.
  • the control system 1 shown in FIG. 1 may be realized by multiple computer systems.
  • the control system 1 may be realized by a cloud system.
  • the control model generation unit 2 and the robot control unit 3 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • the collaborative operation system 100 of this embodiment generates a control model for controlling the robot 7 using personal behavior data of the user 5, including collaborative operation data acquired when the user 5 and the collaborative operation target 6 performed collaborative operation, before the collaborative operation between the robot 7 and the user 5 is performed.
  • the robot 7 can perform actions that are the same as or similar to the actions of the collaborative operation target 6 from the start of the collaborative operation, and can reduce stress on the user 5 caused by at least one of the actions and speech of the robot 7 during the collaborative operation.
  • Embodiment 2. 11 is a diagram showing an example of the configuration of a collaborative system according to the second embodiment.
  • a collaborative system 100a according to the second embodiment is similar to the collaborative system 100 according to the first embodiment, except that it includes a control system 1a instead of the control system 1 and a detection device 4a instead of the detection device 4.
  • Components having the same functions as those in the first embodiment are given the same reference numerals as those in the first embodiment, and duplicated explanations will be omitted. Below, differences from the first embodiment will be mainly explained.
  • a control model is generated using personal behavior data of the user 5, including cooperative action data acquired when the user 5 and the cooperative action target 6 are performing cooperative actions.
  • a control model is generated using personal behavior data of the cooperative action target 6, including cooperative action data acquired when the user 5 and the cooperative action target 6 are performing cooperative actions.
  • the personal behavior data which is data on the actions of a person who has performed cooperative actions, is the personal behavior data of the cooperative action target 6. That is, the person from whom personal behavior data is acquired is the user 5 in the first embodiment, and the cooperative action target 6 in the present embodiment.
  • the cooperative action target 6 is a person with whom the user 5 is familiar, as in the first embodiment, and is a person with whom the user 5 is unlikely to feel stressed when performing cooperative actions together.
  • the detection device 4a acquires personal behavior data of the collaborative action subject 6 and transmits the personal behavior data to the control system 1a.
  • the personal behavior data may include psychological or internal information such as biological information or emotions of the collaborative action subject 6.
  • the detection device 4a is the same as the detection device 4 in the first embodiment, but acquires personal behavior data from the collaborative action subject 6.
  • the detection device 4a may be a wearable terminal that can be worn by the collaborative action subject 6, a portable terminal that can be carried by the collaborative action subject 6, a device installed so as to detect the actions of the collaborative action subject 6, a device that detects actions in a virtual space such as the metaverse, a combination of these, or other.
  • the personal behavior data includes, for example, at least one of data acquired by a wearable terminal and data recording the actions of a person in a virtual space.
  • the control system 1a is similar to the control system 1 of the first embodiment, except that it includes a control model generation unit 2a instead of the control model generation unit 2.
  • the control model generation unit 2a does not include a correction information storage unit 25, includes a learning unit 22a instead of the learning unit 22, and the data acquisition unit 24 acquires data from a detection device 4a instead of a detection device 4, but otherwise is similar to the control model generation unit 2 of the first embodiment.
  • the control model generation unit 2a and the robot control unit 3 may be provided as separate devices.
  • FIG. 12 is a flowchart showing an example of a processing procedure in the control model generating unit 2a of this embodiment.
  • the control model generating unit 2a acquires personal behavior data of the collaborating action subject 6 including cooperative action data acquired during cooperative action between the user 5 and the collaborating action subject 6 (step S21).
  • the data acquiring unit 24 acquires the personal behavior data of the collaborating action subject 6 by receiving the personal behavior data from the detection device 4a.
  • the data acquiring unit 24 may acquire the personal behavior data by a recording medium. Also, video or the like that is the source of the personal behavior data may be acquired by the detection device 4a and extraction processing may be performed.
  • the control model generating unit 2a stores the individual behavior data of the collaborative action target 6 (step S22).
  • the data acquiring unit 24 stores the received individual behavior data in the data storage unit 23.
  • the control model generating unit 2a generates a control model using the accumulated personal behavior data of the collaborative action target 6 (step S23).
  • the learning unit 22a extracts features using the personal behavior data of the collaborative action target 6 stored in the data storage unit 23, and generates a control model based on the features.
  • control parameters in the control model are set so that the robot 7 performs the action indicated by the feature.
  • This generates a control model for making the robot 7 perform the same action as the action reflecting the individuality of the collaborative action target person 6.
  • the feature can be the same as that in the first embodiment, but in this embodiment, information about the dialect, speaking habits (including catchphrases), and topics provided (genres that are often spoken) may be used as the feature.
  • the information about the dialect includes, for example, information on the presence or absence of a dialect, and if there is a dialect, what type (region) of dialect it is.
  • the dialect may be identified, for example, by storing a dictionary of dialects for each type of dialect in advance and using the dictionary, or by other methods.
  • the speaking habits may be, for example, the frequent use of a specific word at the end of a sentence, the frequent utterance of a specific word, intonation such as a higher pitch at the end of a sentence, the pitch of the voice, the speed of speech, and the like, but may be other than these.
  • the learning unit 22a extracts these speaking habits, for example, by performing voice recognition processing on the voice data obtained as the individual behavior data of the collaborative action target person 6.
  • step S24 is the same as in embodiment 1, where the learning unit 22a outputs the generated control model to the robot control unit 3.
  • the output control model is stored in the control model storage unit 34 of the robot control unit 3.
  • the operation of the robot control unit 3 is the same as in embodiment 1.
  • a control model is generated based on the personal behavior data of the collaborative operation target 6 so that the robot 7 performs an operation that reflects the individuality of the collaborative operation target 6. This allows the robot 7 to perform an operation that reflects the individuality of the collaborative operation target 6 that the user 5 is familiar with in collaborative operation with the user 5, and can reduce stress on the user 5 caused by at least one of the behavior and speaking style of the robot 7 in collaborative operation.
  • the robot 7 is a communication robot and the cooperative operation is a conversation.
  • Mr. A and Mr. B are a married couple, and Mr. B is accustomed to talking with Mr. A and does not feel stressed when talking with Mr. A. Mr. A is scheduled to work alone overseas, and during Mr. A's work alone, Mr. B plans to talk with the robot 7.
  • the user 5 of the robot 7 is Mr. B, Mr. A is set as the cooperative operation target person 6, and personal behavior data of Mr. A is acquired.
  • the control model generation unit 2a generates a control model based on the accumulated personal behavior data of Mr. A.
  • the basic control model includes a conversation model and a voice model, and the conversation model and voice model are modified so as to have characteristics similar to those of Mr. A based on the personal behavior data.
  • a control model is generated that reflects, for example, Mr. A's catchphrases, intonation, dialect, way of responding, and topic content.
  • robot 7 When user 5, B, converses with robot 7 as a cooperative operation while A is away from home, robot 7 is controlled using a control model based on the personal behavior data of A described above. This allows robot 7 to converse in a way that reflects A's personality, thereby reducing the stress of user 5, B.
  • the cooperative operation performed using cooperative operation system 100a described above is merely an example, and cooperative operation performed using cooperative operation system 100a is not limited to the above example.
  • the control system 1a of this embodiment is realized by a computer system, similar to the control system 1 of embodiment 1.
  • the control system 1a of this embodiment may also be realized by multiple computer systems, for example, by a cloud system.
  • the control model generation unit 2a and the robot control unit 3 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • the cooperative action is not limited to two people, but may be performed by three or more people.
  • two robots 7 may be used, or the robot 7 and the cooperative action target 6 may perform a cooperative action together with the user 5.
  • a control model is generated based on the personal behavior data of A and C, and the two robots 7 are controlled based on the respective control models.
  • the robot 7 and the cooperative action target 6 perform a cooperative action together with the user 5
  • the robot 7 may be controlled based on the control model corresponding to C
  • the robot 7 may be controlled based on the control model corresponding to A.
  • the collaborative operation system 100a of this embodiment generates a control model for controlling the robot 7 using personal behavior data of the collaborative operation target 6, including collaborative operation data acquired when the user 5 and the collaborative operation target 6 performed collaborative operation, before the collaborative operation between the robot 7 and the user 5 is performed.
  • the robot 7 can perform actions that are the same as or similar to the actions of the collaborative operation target 6 from the start of the collaborative operation, and can reduce stress on the user 5 caused by at least one of the actions and speech of the robot 7 during the collaborative operation.
  • Embodiment 3. 13 is a diagram showing an example of the configuration of a collaborative system according to the third embodiment.
  • a collaborative system 100b according to the third embodiment is similar to the collaborative system 100a according to the second embodiment, except that a control system 1b is provided instead of the control system 1a.
  • Components having the same functions as those in the second embodiment are given the same reference numerals as those in the second embodiment, and duplicated explanations will be omitted. Below, differences from the second embodiment will be mainly explained.
  • Control system 1b is similar to control system 1a of embodiment 2, except that it has control model generation unit 2b instead of control model generation unit 2a.
  • Control model generation unit 2b has an action result acquisition unit 26 added, and has learning unit 22b instead of learning unit 22a, but other than that it is similar to control model generation unit 2a of embodiment 2.
  • control model generation unit 2b and robot control unit 3 may be provided as separate devices.
  • control model generation unit 2b updates the control model based on the behavior result, which is the result of the cooperative action performed by the robot 7 and the user 5, and the control model corresponding to the behavior result.
  • the control model is generated so as to reduce the stress of the user 5, but in this embodiment, the behavior of the robot 7 can be made more suitable for the user 5 by updating the control model using the behavior result.
  • FIG. 14 is a flowchart showing an example of a control model update processing procedure in the control model generation unit 2b of this embodiment.
  • the control model generation unit 2b acquires an action result corresponding to the control model (step S31).
  • the action result acquisition unit 26 acquires an action result corresponding to a cooperative action (cooperative action between the robot 7 and the user 5) performed by control based on the control model stored in the robot control unit 3, and outputs the acquired action result to the learning unit 22b.
  • the behavior result indicates, for example, whether a positive result or a negative result has been obtained.
  • the behavior result is determined, for example, by the user 5 and input to the control model generation unit 2b.
  • the behavior result acquisition unit 26 has a function of accepting input from the user 5.
  • the user 5 may input the behavior result to another device, such as a user terminal (not shown), and the other device may transmit the behavior result to the control model generation unit 2b.
  • the behavior result acquisition unit 26 has a communication function for receiving the behavior result.
  • the behavior result is determined to be a positive result
  • the behavior result is determined to be a negative result
  • the behavior result may be determined by another means.
  • the task time may be measured, and if the measurement result is below a threshold, a person other than the user 5 may determine that the task was performed efficiently and the behavior result may be a positive result, and if the measurement result exceeds the threshold, the task may be determined that the task was not performed efficiently and the behavior result may be a negative result.
  • the behavior result may be input to the control model generation unit 2b or may be transmitted from another device. If the task is performed efficiently, it can be estimated that the stress on the user 5 is low, so the behavior result may be determined based on the measurement result of the task time in this way.
  • the control model generation unit 2b may also make a judgment based on the above-mentioned measurement result.
  • the behavior result acquisition unit 26 may receive the measurement result from a device that measures the task time and determine the behavior result using the received measurement result.
  • the method of determining the behavior result is not limited to the above-mentioned example.
  • the control model generating unit 2b determines whether the behavior result is a negative result (step S32).
  • the learning unit 22b determines whether the behavior result received from the behavior result acquiring unit 26 is a negative result.
  • step S32 No If the behavioral result is not a negative result (step S32 No), i.e., if the behavioral result is a positive result, the control model generation unit 2b ends the control model update process.
  • step S33 the control model generation unit 2b updates the control model (step S33) and repeats the process from step S31.
  • the learning unit 22b updates the control model and outputs the updated control model to the robot control unit 3. This updates the control model stored in the control model storage unit 34 of the robot control unit 3.
  • the learning unit 22b updates the control model, for example, by changing some of the control parameters in the control model.
  • the method of changing the control parameters may be determined in advance or may be specified by the user 5. For example, when updating a control parameter that changes the position of the robot 7, a rule for changing the position of the robot 7 may be determined in advance, or the user 5 may specify the direction and amount of change regarding the position of the robot 7.
  • the control model is updated, control is performed using the updated control model, and processing is performed again from step S31. If the behavioral result is a negative result, the control parameters are repeatedly changed until a positive result is obtained as the behavioral result.
  • the control model when the behavior result is a positive result, the control model is not changed and the current control model is used as the updated control model.
  • the control model may be updated by changing the current control parameter to a control parameter that is estimated to be better.
  • the control parameter that is estimated to be better is, for example, a control parameter that is changed in the opposite direction to the control parameter that was set when the behavior result was previously a negative result. For example, if the conversation speed is a first speed, the behavior result is negative, and changing the conversation speed to a second speed slower than the first speed results in a positive behavior result, the control model may be updated to change the conversation speed to a third speed slower than the second speed. Then, the behavior result is obtained again, and if the behavior result is negative, the control model is updated to return the conversation speed to the second speed.
  • control model update process is not limited to the procedure shown in FIG. 14, and the control parameters may be changed sequentially to obtain action results corresponding to the values of the control parameters, a data set of the control parameter values and the corresponding action results may be stored, and the control model may be updated using the multiple data sets.
  • the data sets in which the action results were positive may be extracted, one of the extracted data sets may be selected, and the control model may be updated using the control parameters in the selected data set.
  • the control model may also be updated by determining control parameters that improve the action results by machine learning using multiple data sets, with the action results and the corresponding control parameters as a set of data sets.
  • the learning unit 22b uses multiple data sets consisting of the action results and the control parameters that are the corresponding correct answer data to generate a learned model by the supervised learning described in the first embodiment. Then, at the time of inference, i.e., at the time of updating the control model, the learning unit 22b can infer control parameters that will result in a positive action result by inputting a value that will result in a positive action result as the action result.
  • the behavioral result is not limited to the binary values of positive and negative, but may be expressed as a number with three or more levels.
  • the behavioral result may be scored from 0 to 5, and a behavioral result of 5 may be defined as the least stressful for user 5, and a behavioral result of 0 may be defined as the most stressful for user 5.
  • the definition of the score is not limited to this example.
  • the learning unit 22b may determine whether the number indicates that the behavioral result is the most positive. Furthermore, when updating the control model using the above-mentioned multiple data sets, the learning unit 22b may select a data set with a number indicating that the behavioral result is the most positive.
  • the behavior result was the result of evaluating the entire control model, but it is not limited to this, and may be the result of evaluating the time-series movements of the robot 7 in sections.
  • the control instructions to the robot 7 may be recorded in an operation history storage unit (not shown), and the behavior result may be determined, for example, at regular intervals or for each section of the robot 7's movements.
  • the operation history storage unit may be provided in the robot control unit 3, in the control model generation unit 2b, or outside the control system 1b.
  • the behavior result acquisition unit 26 reads and acquires the control instructions for the period corresponding to the behavior result from the operation history storage unit together with the behavior result, and outputs the behavior result and the corresponding control instructions to the learning unit 22b. In this way, the learning unit 22b can obtain the behavior result of the movement in units of the movement of the robot 7 corresponding to the control instructions performed in the time series.
  • the collaborative action is a conversation
  • a result is obtained based on the individual behavior data of the collaborative action target 6 that the collaborative action target 6 often provides topics about the first and second genres as a feature of the collaborative action target 6, and a control model is generated based on this result.
  • the frequency of providing topics of the first and second genres is set to be approximately the same.
  • the time series includes a period in which the conversation of the first genre takes place and a period in which the conversation of the second genre takes place. These periods are distinguished based on a control instruction to the robot 7, and the behavior result of each is acquired by the behavior result acquisition unit 26.
  • control model is updated to increase the frequency of providing topics of the first genre and decrease the frequency of providing topics of the second genre.
  • the control model update process is not limited to the above example, and may be any method in which the learning unit 22b updates the control model based on the behavioral results so that the control model becomes more suitable for the user 5.
  • the control system 1b of this embodiment is realized by a computer system, similar to the control system 1a of the second embodiment.
  • the control system 1b of this embodiment may also be realized by multiple computer systems, for example, by a cloud system.
  • the control model generation unit 2b and the robot control unit 3 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • the collaborative operation system 100b of this embodiment performs the operations described in embodiment 2, and updates the control model based on the behavioral results that are the results of the collaborative operation between the robot 7 and the user 5. This provides the same effects as embodiment 2, and allows the robot 7 to perform operations that are more suitable for the user 5.
  • a control model update function is added to the collaborative operation system 100a of embodiment 2, but this is not limiting, and a control model update function may be added to the collaborative operation system 100 of embodiment 1.
  • the control model may be updated in the same manner as in the above example by adding an action result acquisition unit 26 to the control model generation unit 2 of the collaborative operation system 100 and providing the learning unit 22 with a control model update function similar to the learning unit 22b.
  • Embodiment 4. 15 is a diagram showing an example of the configuration of a collaborative system according to the fourth embodiment.
  • a collaborative system 100c according to the fourth embodiment is similar to the collaborative system 100b according to the third embodiment, except that a control system 1c is provided instead of the control system 1b.
  • Components having the same functions as those in the third embodiment are given the same reference numerals as those in the third embodiment, and duplicated explanations will be omitted. Below, differences from the third embodiment will be mainly explained.
  • the control system 1c is similar to the control system 1b of the third embodiment, except that it has a control model generation unit 2c instead of the control model generation unit 2b.
  • the control model generation unit 2c has an additional model selection receiving unit 27 and a basic model storage unit 21a instead of the basic model storage unit 21, but is otherwise similar to the control model generation unit 2b of the third embodiment.
  • the control model generation unit 2c and the robot control unit 3 may be provided as separate devices.
  • the basic model storage unit 21a stores a plurality of basic control models, i.e., a plurality of types of basic control models, in advance. These plurality of types of basic control models can be said to be typical patterns that characterize the collaborative action target 6.
  • a typical pattern that characterizes the collaborative action target 6 is a pattern that corresponds to speech and actions (behavior) based on a typical human personality, such as being impatient, easygoing, or meticulous.
  • the collaborative action includes a conversation
  • three basic control models, a moderate model, a solid model, and a leading model are stored in the basic model storage unit 21a.
  • the moderate model, solid model, and leading model each differ in at least one of, for example, the content of the conversation, the speed of the conversation, the frequency of speaking, and the genre of the topic provided.
  • the basic model storage unit 21a stores basic control models that behave in a manner that is based on typical work content that requires consideration for people working together, such as collaborative design work using engineering tools, collaborative precision work such as medical procedures (surgery), or collaborative work for long periods of time such as installing large equipment.
  • the basic control models i.e., typical patterns
  • the multiple control models may be classified based on typical characteristics of other objects that perform coordinated operations.
  • the multiple control models each correspond to a different personality (personality of operation).
  • the multiple basic control models are not limited to this example, and the number of basic control models is not limited to three.
  • the model selection receiving unit 27 receives from the user 5 a selection result indicating the basic control model selected by the user 5 from among the multiple basic control models.
  • the model selection receiving unit 27 may receive an input of the selection result from the user 5.
  • the user 5 may input the selection result to another device such as a user terminal (not shown), which may transmit the selection result to the control model generating unit 2c, and the model selection receiving unit 27 may receive the selection result, thereby receiving the selection result of the basic control model.
  • the user 5 selects a basic control model from among the multiple basic control models according to taste and compatibility.
  • the user 5 may select a basic control model that matches the collaborative motion target 6 from among the multiple basic control models.
  • the moderate model may be selected.
  • the control system 1c or an operator of the control system 1c may select the basic control model suitable for the collaborative action target person 6.
  • the model selection receiving unit 27 reads out the basic control model corresponding to the received selection result from the basic model storage unit 21a, and outputs the read basic control model to the learning unit 22b.
  • the learning unit 22b uses the basic control model received from the model selection receiving unit 27, i.e., the basic control model indicated by the selection result, and the personal behavior data to generate a control model, as in the third embodiment, and outputs the generated control model to the robot control unit 3. Also, the learning unit 22b updates the control model using the behavior result, as in the third embodiment.
  • the operation of this embodiment other than as described above is the same as in the third embodiment.
  • the control system 1c of this embodiment is realized by a computer system, similar to the control system 1b of the third embodiment.
  • the control system 1c of this embodiment may also be realized by multiple computer systems, for example, by a cloud system.
  • the control model generation unit 2c and the robot control unit 3 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • the collaborative operation system 100c of this embodiment generates a control model using a basic control model selected from a plurality of basic control models with different movement characteristics and personal behavior data. Furthermore, the collaborative operation system 100c of this embodiment updates the control model based on the behavioral results that are the result of collaborative operation between the robot 7 and the user 5. This provides the same effects as the third embodiment, and also makes it possible to cause the robot 7 to perform actions that are more in line with the preferences and compatibility of the user 5.
  • the collaborative operation system 100b of the third embodiment is added with a function of generating a control model using a basic control model selected from a plurality of basic control models, but this is not limited to the above.
  • a function of generating a control model using a basic control model selected from a plurality of basic control models may be added to the collaborative operation system 100 of the first embodiment.
  • a control model may be generated using a basic control model selected from a plurality of basic control models as in the above example.
  • a function of generating a control model using a basic control model selected from a plurality of basic control models may be added to the collaborative operation system 100a of the second embodiment.
  • a control model may be generated using a basic control model selected from a plurality of basic control models as in the above example.
  • Embodiment 5 is a diagram showing a configuration example of a collaborative system according to a fifth embodiment.
  • a collaborative system 100d includes a control system 1d, a detection device 4, and a situation detection device 8a.
  • the control system 1d generates a virtual space such as a metaverse, and transmits virtual space information to a terminal device 94 for allowing a user 5 to perceive the virtual space.
  • the terminal device 94 outputs an image in the virtual space to an image presentation device 95 based on the virtual space information received from the control system 1d, and outputs an audio in the virtual space to an audio presentation device 96.
  • the user 5 collaborates with a virtual character 902 via his or her own avatar 901 in the virtual space.
  • a robot 7 is given as an example of a humanoid that cooperates with a user 5, but in this embodiment, an example will be described in which the humanoid that cooperates with a user 5 is a virtual character 902 in a virtual space.
  • the virtual character 902 is controlled using a control model generated based on personal behavior data of the user 5 acquired in advance when the user 5 cooperates with a cooperative action target 6, as in the first embodiment.
  • Components having the same functions as in the first embodiment are given the same reference numerals as in the first embodiment, and duplicated explanations will be omitted. Below, the differences from the first embodiment will be mainly explained.
  • the terminal device 94 transmits video and audio to the video presentation device 95 and audio presentation device 96, respectively, via wireless communication, but one or more of the video and audio may be transmitted via wired communication.
  • the terminal device 94 may be included in the control system 1d, or the terminal device 94, video presentation device 95, and audio presentation device 96 may be included in the control system 1d.
  • the image presentation device 95 and the audio presentation device 96 are used as means for the user 5 to perceive the virtual space, but means capable of perceiving one or more of the sense of touch, smell, and taste may also be used.
  • the sense of touch may include information perceived by the skin, such as temperature, in addition to stress.
  • the image presentation device 95 and the audio presentation device 96 are used in FIG. 16, any of them may not be used. Furthermore, FIG.
  • the image presentation device 95 may be a display or a monitor
  • the audio presentation device 96 may be a speaker
  • specific examples of the image presentation device 95 and the audio presentation device 96 are not limited to the example shown in FIG. 16.
  • two or more of the terminal device 94, the image presentation device 95, and the audio presentation device 96 may be integrated.
  • the display of the terminal device 94 may be used as the image presentation device 95.
  • a head-mounted display having the functions of both the terminal device 94 and the image presentation device 95 may be used, or a head-mounted display with headphones may be used.
  • the situation detection device 8a acquires the situation of the user 5 in the cooperative action between the user 5 and the virtual character 902. For example, the situation detection device 8a detects the voice, movement, etc. of the user 5 and transmits the detection result to the terminal device 94. The terminal device 94 transmits the detection result received from the situation detection device 8a to the control system 1d. There may be multiple situation detection devices 8a. Also, for example, the voice presentation device 96 may be integrated with the situation detection device 8a by using a headset as the voice presentation device 96. Also, the terminal device 94 may be equipped with the situation detection device 8a. Also, the situation detection device 8a may be worn by the user 5, or may be provided near the user 5, such as a photographing device that photographs the user 5 from outside.
  • the control system 1d includes a control model generation unit 2 and a virtual space control unit 9 similar to those in the first embodiment.
  • the control model generation unit 2 and the virtual space control unit 9 may each be provided as separate devices.
  • the configuration and operation of the control model generation unit 2 are similar to those in the first embodiment, but the control model generated by the control model generation unit 2 is a control model for controlling the movement of the virtual character 902, and the basic control model stored in the basic model storage unit 21 is also a basic control model for controlling the movement of the virtual character 902.
  • the virtual space control unit 9 includes a transmission/reception unit 91, a virtual space generation unit 92, and a virtual character control unit 93.
  • the transmission/reception unit 91 communicates with the terminal device 94 and exchanges information with the terminal device 94.
  • the transmission/reception unit 91 for example, acquires situation data indicating the situation of the user 5 in the collaborative action from the terminal device 94, and outputs the acquired situation data to the virtual space generation unit 92 and the control instruction generation unit 33.
  • the transmission/reception unit 91 may receive situation data from the situation detection device 8a.
  • the transmission/reception unit 91 also transmits, for example, virtual space information received from the virtual space generation unit 92 (described later) to the terminal device 94.
  • the virtual space generating unit 92 generates a virtual space, generates virtual space information for allowing the user 5 to perceive the generated virtual space, and outputs the generated virtual space information to the transmitting/receiving unit 91.
  • the virtual space information includes data representing images (image data) and data representing sounds (audio data). Note that, depending on the collaborative action and the contents of the virtual space, the virtual space information may not include data representing sounds.
  • the virtual space information may also include at least one of information detectable by the user 5 through the sense of touch, smell, and taste.
  • the virtual space generating unit 92 also generates virtual space information so that the avatar 901 of the user 5 in the virtual space performs an action based on the situation data received from the transmitting/receiving unit 91.
  • the virtual space generating unit 92 receives a control instruction, which will be described later, from the virtual character control unit 93, it generates virtual space information so that the virtual character 902 performs an action based on the control instruction.
  • the virtual character control unit 93 is an example of a motion control unit (motion control device) that controls a humanoid.
  • the virtual character control unit 93 includes a control instruction generation unit 33 and a control model storage unit 34.
  • the control model storage unit 34 stores the control model generated by the control model generation unit 2.
  • this control model is a control model for controlling the motion of the virtual character 902.
  • the control instruction generation unit 33 generates control instructions for controlling the motion of the virtual character 902 using situation data indicating the situation of the user 5 received from the transmission/reception unit 91 and the control model stored in the control model storage unit 34, and outputs the generated control instructions to the virtual space generation unit 92.
  • the control target is a virtual character 902 instead of a robot 7, but similar to the first embodiment, before the virtual character 902 and user 5 perform a cooperative action, a control model is generated using personal behavior data of the user 5 including cooperative action data acquired when the user 5 and the cooperative action target 6 perform a cooperative action. Therefore, the virtual character 902 can perform actions that are the same as or similar to the actions of the cooperative action target 6 from the start of the cooperative action, and stress on the user 5 caused by at least one of the actions and speech of the virtual character 902 during the cooperative action can be reduced.
  • the virtual character control unit 93 is provided in the virtual space control unit 9, but this is not limiting, and for example, the virtual space control unit 9 may be provided as a separate virtual space control device outside the control system 1d.
  • the transmission/reception unit 91 and the virtual character control unit 93 are provided in the control system 1d
  • the virtual space generation unit 92 is provided in the virtual space control device.
  • the virtual space control device also has a transmission/reception unit 91, and the control instruction generated by the virtual character control unit 93 is transmitted to the virtual space control device via the transmission/reception unit 91 of the control system 1d, and the virtual space generation unit 92 of the virtual space control device receives the control instruction via the transmission/reception unit 91 of the virtual space control device.
  • the virtual space generation unit 92 of the virtual space control device transmits the generated virtual space information to the terminal device 94 via the transmission/reception unit 91 of the virtual space control device.
  • the transmission/reception unit 91 may also be provided in the virtual character control unit 93.
  • the virtual character control unit 93 and the control model generation unit 2 may also be provided as separate devices.
  • the control system 1d of this embodiment is realized by a computer system, similar to the control system 1 of the first embodiment.
  • the control system 1d of this embodiment may also be realized by multiple computer systems, for example, by a cloud system.
  • the control model generation unit 2 and the virtual space control unit 9 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • control model generation unit 2 of embodiment 1 generates a control model for controlling the virtual character 902, and the virtual character control unit 93 controls the virtual character 902 using the generated control model.
  • an action result acquisition unit 26 may be provided and the control model may be updated using the action result as in embodiment 3, or a basic control model to be used may be selected from a plurality of basic control models for controlling the virtual character 902 using the model selection reception unit 27 as in embodiment 4.
  • both updating of the control model using the action result and selection of the basic control model to be used from a plurality of basic control models may be performed.
  • Embodiment 6. 17 is a diagram showing a configuration example of a collaborative system according to the sixth embodiment.
  • the collaborative system 100e includes a control system 1e, a detection device 4a, and a situation detection device 8a.
  • the control system 1e generates a virtual space and transmits virtual space information to a terminal device 94 for allowing a user 5 to perceive the virtual space, as in the fifth embodiment.
  • the situation detection device 8a, the terminal device 94, the video presentation device 95, and the audio presentation device 96 are the same as in the fifth embodiment.
  • the terminal device 94 may be included in the control system 1e, or the terminal device 94, the video presentation device 95, and the audio presentation device 96 may be included in the control system 1e.
  • the control system 1e includes a control model generating unit 2a similar to that of the second embodiment, and a virtual space control unit 9 similar to that of the fifth embodiment.
  • the control model generating unit 2a and the virtual space control unit 9 may each be provided as separate devices.
  • the configuration and operation of the control model generating unit 2a are similar to those of the second embodiment, but the control model generated by the control model generating unit 2a is a control model for controlling the movement of the virtual character 902, and the basic control model stored in the basic model storage unit 21 is also a basic control model for controlling the movement of the virtual character 902.
  • Components having the same functions as those of the second or fifth embodiment are given the same reference numerals as those of the second or fifth embodiment, and duplicated explanations are omitted. Below, differences from the second or fifth embodiment are mainly explained.
  • control model generation unit 2a generates a control model based on the personal behavior data of the collaborative action subject 6 acquired by the detection device 4a while the collaborative action is being performed with the user 5.
  • This control model is a control model for controlling the action of the virtual character 902.
  • the virtual character control unit 93 of the virtual space control unit 9 uses the control model generated by the control model generation unit 2a to control the virtual character 902 in the same manner as embodiment 5.
  • the virtual space control unit 9 may be provided as a separate virtual space control device outside the control system 1e.
  • the control target is a virtual character 902 instead of a robot 7, but similar to the second embodiment, before the virtual character 902 and the user 5 perform a cooperative action, a control model is generated using personal behavior data of the cooperative action target 6, including cooperative action data acquired when the user 5 and the cooperative action target 6 performed a cooperative action. Therefore, the virtual character 902 can perform actions that are the same as or similar to the actions of the cooperative action target 6 from the start of the cooperative action, and stress on the user 5 caused by at least one of the actions and speech of the virtual character 902 during the cooperative action can be reduced.
  • the control system 1e of this embodiment is realized by a computer system, similar to the control system 1a of the second embodiment.
  • the control system 1e of this embodiment may also be realized by multiple computer systems, for example, by a cloud system.
  • the control model generation unit 2a and the virtual space control unit 9 may each be configured as separate devices, and in this case, each of the separate devices may also be realized by multiple computer systems.
  • the virtual characters 902 perform cooperative actions and the personal behavior data includes cooperative action data.
  • the applied actions are not limited to cooperative actions as long as the control model of the virtual characters 902 is generated using personal behavior data that indicates the personality of a specific person. That is, the personal behavior data, which is data related to the actions of a specific person, is stored in the data storage unit 23, and the learning unit 22a uses the personal behavior data to generate a control model of the virtual character 902 in the virtual space that reflects the personality of the specific person.
  • the user 5 sets a specific person, and the control model of the virtual character 902 is generated using the personal behavior data of the specific person, thereby generating a control model that reflects the personality of the specific person according to the desires of the user 5.
  • the method of setting a specific person is not limited to this example.
  • generating a control model for the virtual character 902 based on the personal behavioral data of a specific person it is possible to generate a control model that reflects at least one of the behavior and speaking style of the specific person, and it is possible to reflect at least one of the individual characteristics of the specific person's behavior and speaking style in the virtual character 902.
  • control model generating unit 2a of the second embodiment generates a control model for controlling the virtual character 902, and the virtual character control unit 93 controls the virtual character 902 using the generated control model.
  • an action result acquiring unit 26 may be provided and the control model may be updated using the action result as in the third embodiment, or a basic control model to be used may be selected from a plurality of basic control models for controlling the virtual character 902 using the model selection receiving unit 27 as in the fourth embodiment.
  • both updating of the control model using the action result and selection of the basic control model to be used from a plurality of basic control models may be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Manipulator (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示にかかる制御モデル生成部（２）は、協調動作を行ったことがある人物の動作に関するデータである個人行動データを記憶するデータ記憶部（２３）と、データ記憶部（２３）に記憶された個人行動データを用いて、ヒューマノイドがユーザ（５）と協調動作を行うためのヒューマノイドの制御モデルであって人物の個性が反映された制御モデルを生成する学習部（２２）と、を備え、個人行動データは、ユーザ（５）が、ユーザ（５）が慣れ親しんだ協調動作対象者（６）と協調動作を実施している際に取得されたデータを含む。

Description

制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム
　本開示は、制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラムに関する。
　近年、サービスロボット、スマートスピーカーなど人とのインタラクションが可能な装置の開発が進んでいる。また、メタバースなどのコンピュータ上のバーチャル空間（仮想空間）において、バーチャルキャラクタとユーザとのインタラクションも可能となっている。人とのインタラクションが可能な装置またはバーチャルキャラクタはヒューマノイドの例である。ヒューマノイドは、人と共同生活するなかでストレスを与えないように個々人にあった行動および言動を行うことが求められる。しかしながら、一般には同一の装置（またはバーチャルキャラクタ）であれば、ユーザ、すなわちインタラクションの相手によらず行動および話し方は同一であり、同一の装置（またはバーチャルキャラクタ）であっても、ユーザによってはストレスを感じることがある。
　特許文献１には、ユーザとの親和的な関係性をロボットが構築できるようにするために、ロボットの行動による期待反応と、当該行動に対するユーザの現実反応とが一致するようロボットの行動を制御するロボット制御装置が開示されている。
特開２０１３－０２７９３７号公報
　しかしながら、特許文献１に記載の技術では、ロボットの行動による期待反応と、当該行動に対するユーザの現実反応とが一致しなかった場合に、期待反応がユーザの現実反応に一致するようロボットの行動を制御している。すなわち、実際にロボットが動作してから、適切でなかった場合に、事後にロボットの行動を制御している。このため、適切でない動作が行われることになり、少なからずユーザはストレスを感じる。また、ユーザが、特定の人の行動および話し方のうちの少なくとも一方の個性をヒューマノイドに反映させることを望むことがある。
　本開示は、上記に鑑みてなされたものであって、ヒューマノイドの行動および話し方のうちの少なくとも一方に起因するユーザのストレスを軽減することが可能な制御モデル生成装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示にかかる制御モデル生成装置は、協調動作を行ったことがある人物の動作に関するデータである個人行動データを記憶するデータ記憶部と、データ記憶部に記憶された個人行動データを用いて、ヒューマノイドがユーザと協調動作を行うためのヒューマノイドの制御モデルであって人物の個性が反映された制御モデルを生成する学習部と、を備える。個人行動データは、ユーザが、ユーザが慣れ親しんだ協調動作対象者と協調動作を実施している際に取得されたデータを含む。
　本開示にかかる制御モデル生成装置は、ヒューマノイドの行動および話し方のうちの少なくとも一方に起因するユーザのストレスを軽減することができるという効果を奏する。
実施の形態１にかかる協調動作システムの構成例を示す図 実施の形態１の修正情報の一例を示す図 ニューラルネットワークの一例を示す模式図 実施の形態１の制御モデル生成部における処理手順の一例を示すフローチャート 実施の形態１のロボット制御部における処理手順の一例を示すフローチャート 第１の例における個人行動データの取得の一例を示す模式図 第１の例におけるユーザとロボットとの協調動作の一例を示す模式図 第２の例における個人行動データの取得の一例を示す模式図 第２の例におけるユーザとロボットとの協調動作の一例を示す模式図 実施の形態１の制御システムを実現するコンピュータシステムの構成例を示す図 実施の形態２にかかる協調動作システムの構成例を示す図 実施の形態２の制御モデル生成部における処理手順の一例を示すフローチャート 実施の形態３にかかる協調動作システムの構成例を示す図 実施の形態３の制御モデル生成部における制御モデルの更新処理手順の一例を示すフローチャート 実施の形態４にかかる協調動作システムの構成例を示す図 実施の形態５にかかる協調動作システムの構成例を示す図 実施の形態６にかかる協調動作システムの構成例を示す図
　以下に、実施の形態にかかる制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラムを図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００は、制御システム１と、ロボット７と、検出装置４と、状況検出装置８とを備える。
　本実施の形態の協調動作システム１００は、ロボット７とユーザ５との協調動作が行われる前に、協調動作対象者６と協調動作を行った際に取得された協調動作データを含むユーザ５の個人行動データを蓄積し、蓄積した個人行動データを用いてロボット７を制御するための制御モデルを生成する。協調動作データは、協調動作を行っているときに取得された個人行動データである。取得される個人行動データは、協調動作データだけであってもよいし、協調動作データ以外を含んでいてもよい。
　協調動作は、例えば、会話、作業、ゲームおよびスポーツのうちの少なくとも１つを含むが、これらに限定されない。協調動作対象者６は、協調動作をユーザ５と行う他の人であって、協調動作においてユーザ５と慣れ親しんだ人である。協調動作においてユーザ５と慣れ親しんだ人とは、例えば、初対面ではなく互いに相手の性格または言動の癖を少なからず分かっている間柄の人であって、そのため、協調動作においてユーザ５が相性がよいと感じ、ユーザ５が共に協調動作を行った際にストレスを感じにくい人である。協調動作対象者６は、例えば、ユーザ５によって決定されてもよいし、ユーザ５とは別の協調動作システム１００の運用者などによって決定されてもよい。協調動作システム１００の運用者などによって決定される場合には、例えば、ユーザ５と長期にわたって協調動作を行っていることが明らかな人などが協調動作対象者６として決定される。協調動作対象者６は、一人であってもよいし、複数であってもよい。協調動作対象者６が複数の場合には、ユーザ５が協調動作対象者６のそれぞれと協調動作を行ったときの協調動作データを含む個人行動データが取得される。例えば、協調動作対象者６に、第１の協調動作対象者と第２の協調動作対象者とが含まれる場合、ユーザ５の個人行動データは、第１の協調動作対象者とユーザ５との協調動作時に取得された協調動作データと、第２の協調動作対象者とユーザ５との協調動作時に取得された協調動作データと、を含む。
　個人行動データは、協調動作を行ったことがある人物の動作に関するデータであり、本実施の形態では、ユーザ５の個人行動データが取得されるため、個人行動データはユーザ５の個性を反映したデータである。ユーザ５の個人行動データは、ユーザ５が、ユーザ５が慣れ親しんだ協調動作対象者６と協調動作を実施している際に取得されたデータを含むため、協調動作対象者６の個性が間接的に反映されたデータであるとも言える。また、制御モデルは、ユーザ５が、ユーザ５と慣れ親しんだ協調動作対象者６と協調動作を行っている際に取得されたユーザ５のデータを含む個人データを用いて生成されるため、制御モデルには、ユーザ５の個性が反映される。ここで、制御モデルに反映されるユーザ５の個性は、単なるユーザ５の個性ではなく、ユーザ５と慣れ親しんだ協調動作対象者６と協調動作を行っている際のユーザ５の個性であることから、制御モデルには、ユーザ５の個性だけでなく、ユーザ５と慣れ親しんだ協調動作対象者６の個性も間接的に反映される。ここでの間接的に反映された制御とは、協調動作対象者６がユーザ５と関わるときの行動又は話し方が反映された制御であって、協調動作対象者６の個性をなす行動または話し方の特徴となる要素を含んだ制御ともいえる。これにより、ロボット７は、ユーザ５が協調動作を行う際にストレスを感じないような動作を行うことができる。
　また、個人行動データは、ユーザ５の動作の癖を含むデータである。ここでは、動作は、ロボット７の制御に用いられる対象となるものであるとし、動きだけでなくユーザ５の話し方やユーザ５の位置および姿勢のうちの少なくとも一方を含んでもよい。すなわち、動作は、例えば、動き方と話し方とユーザ５の位置および姿勢のうちの少なくとも一方とのうちの少なくとも１つを含む。また、動き方は、連続的な動きを示すものだけでなく、ある瞬間の位置および姿勢のうちの少なくとも一方を含んでいてもよい。動作の癖は、動き方の癖および話し方の癖のうちの少なくとも一方を含む。動き方の癖は、例えば、動く軌跡、動く速度といった動き方、しぐさなどのうちの少なくとも１つであり、話し方の癖は、例えば、話す速度、口癖、話し方、イントネーション、方言などのうちの少なくとも１つであるが、これらに限定されない。なお、ユーザ５、協調動作対象者６およびロボット７の動作、行動、話し方、癖などを振る舞いと呼んでもよい。
　ロボット７は、ユーザ５と協調動作を行うヒューマノイドの一例である。なお、ヒューマノイドを制御対象として呼んでもよい。より具体的には、本実施の形態では、ロボット７はユーザ５と協調動作を行う機械の一例である。ロボット７は、人型であってもよいし、可動部を備えずユーザ５とコミュニケーションのみを行う機械であってもよいし、マニピュレータなどを備える産業機械であってもよいし、これら以外であってもよく、形状および機能に特に制約はない。
　制御システム１は、ロボット７を制御する。制御システム１は、ロボット７の制御モデルを生成する制御モデル生成部２と、制御モデル生成部２によって生成された制御モデルと状況検出装置８によって検出された状況データとを用いてロボット７を制御するロボット制御部３とを備える。制御モデル生成装置である制御モデル生成部２と、ロボット制御装置であるロボット制御部３とは、一体化されていてもよいし、それぞれが個別に設けられてもよい。
　検出装置４は、ユーザ５が協調動作対象者６とともに協調動作を行っているときのユーザ５の行動を個人行動データとして検出し、個人行動データを制御モデル生成部２へ送信する。検出装置４は、例えば、位置、速度、加速度、姿勢、音声、脈拍、血圧、体温、感情などのうち少なくとも１つを検出する装置であり、検出装置４は複数であってもよい。
　また、検出装置４は、ユーザ５が協調動作対象者６とともに協調動作を行っているときのユーザ５の生体情報または感情といった心理的もしくは内面的な情報を検出し、個人行動データに含めて制御モデル生成部２へ送信するようにしてもよい。
　検出装置４は、ユーザ５が身に着けることが可能なウェアラブル端末であってもよいし、ユーザ５が携帯可能な携帯端末であってもよい。また、検出装置４は、ユーザ５の動作を検出可能に設置された装置であってもよいし、メタバースなどのバーチャル空間における動作を検出する装置であってもよい。検出装置４は、これらの組み合わせであってもよいし、これら以外であってもよい。検出装置４がウェアラブル端末または携帯端末である場合、検出装置４は、自身の位置、速度および加速度のうち少なくとも１つを検出可能な端末であってもよいし、自身の回転を検出可能な端末であってもよいし、音声を集音して録音することが可能なマイクなどを備えた端末であってもよいし、これらの組み合わせであってもよい。ウェアラブル端末位置の検出には、ＧＰＳ（Global　Positioning　System）受信機が用いられてもよいし、ＲＦＩＤ（Radio　Frequency　IDentification）タグが用いられてもよいし、これら以外の装置が用いられてもよい。検出装置４として、ウェアラブル端末または携帯端末を用いると、ユーザ５の位置に限らず、日常的にユーザ５の個人行動データを取得することができる。音声を録音する際には、ユーザ５以外の発した音が録音されることもあるが、検出装置４、制御モデル生成部２または図１に図示しない装置が、音声認識処理を実施することでユーザ５の音声を抽出する。音声認識処理は、どのような処理であってもよいが、例えば、あらかじめユーザ５の音声を取得しておき、あらかじめ取得した音声を用いてユーザ５の発した音声を識別する処理であってもよい。
　検出装置４としてユーザ５の動作を検出可能に設置された装置を用いる場合、例えば、当該装置は、協調動作を行う場所を撮影するカメラなどの撮影装置であってもよいし、協調動作を行う場所で集音して録音することが可能なマイクなどの装置であってもよいし、これらの組み合わせであってもよい。検出装置４が撮影装置である場合、制御モデル生成部２または図１に図示しない装置が、撮影装置によって撮影された映像におけるユーザ５を認識し、ユーザ５の位置、速度、加速度、移動の軌跡などを検出する。ユーザ５の認識方法は、あらかじめ撮影されたユーザ５の画像を用いるなど、一般的な画像認識の方法を用いることができる。また、検出装置４が、ユーザ５を認識し、ユーザ５の位置、速度、加速度、移動の軌跡などを検出してもよい。ユーザ５の位置、速度、加速度、移動の軌跡などの検出方法も一般的な方法を用いることができる。
　検出装置４としてメタバースなどのバーチャル空間における動作を検出する装置である場合、当該装置は、例えば、バーチャル空間を管理するコンピュータシステムであってもよいし、ユーザ５の分身をバーチャル空間において動作させるためにユーザ５が用いる端末装置であってもよいし、バーチャル空間における映像を記録する装置であってもよい。バーチャル空間における映像を記録する装置が検出装置４として用いられる場合、制御モデル生成部２または図１に図示しない装置が、撮影装置によって撮影された映像におけるユーザ５を認識し、ユーザ５の位置、速度、加速度、移動の軌跡などを検出する。
　また、協調動作に、なんらかの物体を移動させたり加工したりといった物体を用いた動作が含まれる場合、検出装置４として、ユーザ５が物体に対して与える力などを検出する装置が含まれていてもよい。
　制御モデル生成部２は、基本モデル記憶部２１、学習部２２、データ記憶部２３、データ取得部２４および修正情報記憶部２５を備える。基本モデル記憶部２１は、ロボット７を制御するための制御モデルの基準となるあらかじめ定められた基本制御モデルを記憶する。基本制御モデルは、ユーザ５に依らない、すなわちユーザ５の個性を反映していない一般的な制御モデルであり、ロボット７の基本的な動作を定義したモデルである。
　基本制御モデルは、制御システム１のベンダーまたはロボット７のベンダーなどによってあらかじめデータ記憶部２３に格納されていてもよいし、他の装置から送信され、図１では図示を省略した通信部によって受信され、データ記憶部２３に格納されていてもよい。例えば、ユーザ５が制御システム１を操作することによって、制御システム１が、ロボット７に応じた基本制御モデルを提供する外部のサーバなどから基本制御モデルを受信してもよい。また、基本制御モデルは、ロボット７の種別ごとに提供されてもよいし、ロボット７が行う協調動作の種類に応じて提供されてもよい。例えば、ロボット７が行う協調動作の種類に応じた基本制御モデルが基本モデル記憶部２１に記憶され、ユーザ５が、ロボット７がユーザ５とともに行う協調動作の種類に応じた基本制御モデルを選択してもよい。または、外部のサーバなどが、ロボット７が行う協調動作の種類に応じた基本制御モデルを提供し、ユーザ５が、ロボット７がユーザ５とともに行う協調動作の種類に応じた基本制御モデルを選択してダウンロードすることで基本制御モデルが基本モデル記憶部２１に記憶されてもよい。
　基本制御モデルおよび制御モデルは、例えば、ロボット７を制御するための１つ以上の制御パラメータを含む。制御パラメータは、例えば、ロボット７の軌跡、速度、加速度といったロボット７の移動を制御するためのパラメータ、ロボット７の手先や関節などロボット７の各部の動き方を制御するためのパラメータ、ロボット７の話す速度、ロボット７の発する音声の音の高さ（周波数）といったロボット７の話し方を制御するためのパラメータのうちの少なくとも１つを含む。
　データ取得部２４は、検出装置４から、ユーザ５の個人行動データを取得し、取得した個人行動データをデータ記憶部２３に格納する。上述したように、個人行動データを得るために、検出装置４が取得した映像に対する画像処理、検出装置４が取得した音声に対する音声認識処理などといった処理が行われる場合があるが、この場合、図示しない他の装置がこれらの処理を行い、データ取得部２４が当該他の装置から個人行動データを取得する。また、検出装置４が取得した映像に対する画像処理、検出装置４が取得した音声に対する音声認識処理などといった抽出処理をデータ取得部２４が行ってもよい。この場合、データ取得部２４は、検出装置４から取得したデータに抽出処理を施し、処理後のデータを個人行動データとしてデータ記憶部２３に格納してもよいし、検出装置４から取得したデータ自体を個人行動データとしてデータ記憶部２３に格納し、後述する制御モデルの生成の処理において、学習部２２が抽出処理を行ってもよい。なお、ここでは、データ取得部２４が、個人行動データを受信することで、個人行動データを取得したが、これに限らず、記録媒体などに個人行動データが記録されてもよい。この場合、データ取得部２４は、記録媒体から個人データを読み出すことで個人行動データを取得する。
　修正情報記憶部２５は、個人行動データに応じた基本制御モデルに対する修正内容を示す修正情報を記憶する。修正情報は、例えば、個人行動データが示す１つ以上の特徴量と、修正内容とを対応づけた情報である。特徴量は、個人行動データの取得の対象の人物の個性を示す。個性は、例えば、振る舞い、口癖、イントネーション、方言および動き方の癖のうち少なくとも１つを含む。修正内容は、ユーザ５の個性に応じて、ユーザ５がロボット７との協調動作を行う際にストレスを感じないような動作をロボット７が行うように定められる。学習部２２は、データ記憶部２３に記憶された個人行動データ、すなわち蓄積された個人行動データを用いて、ロボット７がユーザ５と協調動作を行うためのロボット７の制御モデルであってユーザ５の個性が反映された制御モデルを生成する。学習部２２は、例えば、基本モデル記憶部２１に格納されている基本制御モデルと、データ記憶部２３に蓄積された個人行動データと、修正情報記憶部２５に記憶されている修正情報とを用いて、制御モデルを生成する。
　図２は、本実施の形態の修正情報の一例を示す図である。図２に示した例では、Ｎ（Ｎは１以上の整数）個の特徴量に基づいてユーザ５の個性をタイプ分けし、修正情報は、タイプごとの、制御モデルにおけるパラメータ（制御パラメータ）の修正内容を含む。特徴量は、ユーザ５の協調動作時の移動の方向を基準方向からの角度で示したものであってもよいし、ユーザ５の協調動作時の基準点からの移動量を数値で示したものであってもよいし、ユーザ５の協調動作時の位置の時系列データを周波数変換して得られる情報であってもよいし、ユーザ５の話す速度であってもよいし、ユーザ５の音声を周波数変換して得られる情報であってもよい。また、特徴量は、特定のあらかじめ定めた動きをユーザ５が行ったか否かであってもよいし、特定のあらかじめ定めた動きをユーザ５が単位時間に行った回数であってもよいし、特定の単語などをユーザ５が発するか否かであってもよいし、ユーザ５が発した特定の単語の単位時間あたりの回数などであってもよい。また、ユーザ５の癖や個性を示す特徴量として、例えば、個々人ごとに異なる傾向が強い振る舞いのうち、特定の規則性が認められるものを抽出してもよい。また、特徴量は、個人行動データ自体であってもよいし、個人行動データにおける協調動作データ自体であってもよい。特徴量は、上記の例に限定されず、ユーザ５の動き方および話し方のうちの少なくとも一方の特徴、すなわちユーザ５の癖を示すものであればよい。なお、図２では、Ｎが３以上の例を示しているが、これに限らず、Ｎは１以上であればよい。
　図２では、修正情報がテーブル形式で定められる例を説明したが、修正情報の形式は図２に示した例に限定されない。図２に示した修正情報が用いられる場合、学習部２２は、データ記憶部２３に蓄積された個人行動データから特徴量を抽出し、修正情報を用いて抽出された特徴量に対応するタイプを特定し、特定したタイプに対応する修正内容を修正情報から抽出し、抽出した修正内容に基づいて基本制御モデルを修正することで、制御モデルを生成する。
　修正情報は、あらかじめ人手によって決定されてもよい。例えば、修正情報は、ロボット７または制御システム１の、ベンダーまたは管理者などによって決定されてもよいし、機械学習（事前学習）によって学習されることで決定されてもよい。
　前者の場合には、協調動作の内容に応じて、ユーザ５のタイプごとに、基本制御モデルに基づくロボット７の動作から、どのように修正すればユーザ５がストレスを感じないかを、ベンダーまたは管理者が推測することで修正情報が決定される。
　後者の場合には、例えば、ロボット７の運用開始前に、ロボット７に任意の人と協調動作を行わせ、協調動作ごとに、協調動作を行った人の個人行動データから抽出された特徴量とロボット７の制御モデルにおける各制御パラメータの修正内容（基本制御モデルからの修正内容）とが１組のデータセットとして取得される。また、各協調動作において、ロボット７と協調動作を行った人がストレスを感じたか否かを示す評価が行われる。ロボット７の動作と協調動作を行う人とを適宜変更して、条件の異なる複数のデータセットと対応する評価結果とが取得される。なお、このときに協調動作を行うのは、任意の人でよく、ユーザ５が含まれていてもよいし含まれていなくてもよい。また、このときに協調動作を行うのは、ユーザ５と協調動作を行うロボット７自体でなくてもよく、ロボット７と同じ型の他のロボットでもよくロボット７と同様の動作を行うことが可能な別の型のロボットでもよい。
　条件の異なる複数のデータセットと対応する正解データである評価結果とが取得されると、事前学習により、ストレスを感じなかったという評価結果が得られたデータセットにおける各制御パラメータの修正内容を正解データとして用いて、教師あり学習により学習済みモデルが生成される。事前学習は、学習部２２が行ってもよいし、制御モデル生成部２の図示しない事前学習部が行ってもよいし、制御システム１とは別の学習装置が行ってもよい。事前学習が行われる場合、修正情報は、個人行動データから抽出された特徴量から制御パラメータの修正内容を推論するための学習済みモデルであり、学習部２２は、学習済みモデルに、ユーザ５の個人行動データから抽出された特徴量を入力することで、ユーザ５に適した制御パラメータの修正内容を推論することができる。学習部２２は、推論した修正内容を基本制御モデルに反映させることで、制御モデルを生成する。
　教師あり学習のアルゴリズムとしては、どのようなものを用いてもよいが、例えば、ニューラルネットワークモデルを用いることもできる。ニューラルネットワークは、複数のニューロンからなる入力層、複数のニューロンからなる中間層（隠れ層）、および複数のニューロンからなる出力層で構成される。中間層は、１層、又は２層以上でもよい。
　図３は、ニューラルネットワークの一例を示す模式図である。例えば、図３に示すような３層のニューラルネットワークであれば、複数の入力が入力層（Ｘ１－Ｘ３）に入力されると、その値に重みＷ１（ｗ１１－ｗ１６）を掛けて中間層（Ｙ１－Ｙ２）に入力され、その結果にさらに重みＷ２（ｗ２１－ｗ２６）を掛けて出力層（Ｚ１－Ｚ３）から出力される。この出力結果は、重みＷ１の値と重みＷ２の値とによって変わる。
　本実施の形態においては、個人行動データから抽出された特徴量が入力されたときの出力層からの出力が正解データである制御パラメータの修正内容に近づくように、重みＷ１と重みＷ２とを調整することで、特徴量と正解データとの関係が学習される。なお、機械学習のアルゴリズムはニューラルネットワークに限定されず、サポートベクターマシンなど他のアルゴリズムであってもよい。また、学習済みモデルの生成に用いられる機械学習は教師あり学習に限定されず、強化学習などであってもよい。
　また、事前学習が行われる場合に、修正情報としてテーブル形式の情報が用いられてもよい。例えば、上述した学習済みモデルが生成された後、各特徴量の値を変更することで複数の入力データを生成し、各入力データを学習済みモデルに入力することで得られる制御パラメータを推論する。そして、推論により得られた制御パラメータの修正内容が全て同一または差が一定範囲内となる入力データを１つのタイプとして定義し、タイプごとの制御パラメータを定め、図２に例示したテーブル形式の修正情報を生成してもよい。
　また、教師あり学習、強化学習などが用いられない場合でも、ロボット７の動作と協調動作を行う人とを適宜変更して、条件の異なる複数のデータセットを取得し、取得したデータセットと対応する評価結果とを用いて修正情報が決定されてもよい。例えば、ストレスを感じなかったという評価結果が得られたデータセットにおける各制御パラメータの修正内容と個人行動データの特徴量とを用いて、タイプ分けのしきい値であるＸ１，Ｘ２などの値と制御パラメータとが人手により決定されてもよい。
　また、ここでは、修正情報を用いる例を説明したが、協調動作の内容によっては、修正情報の代わりに、協調動作における、ロボット７の動作により得られる指標とユーザ５の動作により得られる指標との合計値を示す全体情報が定義されてもよい。例えば、協調動作がロボット７とユーザ５とが協力しながら物体を一定の力で引っ張る動作である場合、ユーザ５が引っ張る力が弱い場合にはロボット７が引っ張る力を強くしないと協調動作に失敗し、ユーザ５のストレスとなる。また、ユーザ５が引っ張る力が強い場合にはロボット７が引っ張る力を弱くしないと協調動作に失敗し、ユーザ５のストレスとなる。このような協調動作の場合には、ユーザ５が引っ張る力を個人行動データとして取得し、合計の力を全体情報として定義しておく。そして、学習部２２は、合計の力からユーザ５が引っ張る力を引くことでロボット７が引っ張る力を算出し、算出した力に応じて制御パラメータの修正量を算出する。上述した全体情報は一例であり、全体情報は上述した例に限定されない。
　図１の説明に戻る。学習部２２は、生成した制御モデルをロボット制御部３へ出力する。ロボット制御部３は、指示送信部３１、状況取得部３２、制御指示生成部３３および制御モデル記憶部３４を備える。ロボット制御部３は、ヒューマノイドを制御する動作制御部（動作制御装置）の一例である。
　制御モデル記憶部３４は、学習部２２から出力された制御モデルを記憶する。状況取得部３２は、状況検出装置８によって取得されたロボット７とユーザ５との協調動作の状況を示す状況データを、状況検出装置８から受信することで取得し、取得した状況データを制御指示生成部３３へ出力する。状況検出装置８は、ロボット７に設けられてもよいし、ロボット７の周辺に設けられてもよいし、ロボット７とロボット７の周辺との両方に設けられてもよい。状況検出装置８は、ロボット７の種別と協調動作の内容とに応じて、ロボット７の制御に用いられる状況データを取得する。状況検出装置８は、ユーザ５の発する音声、ユーザ５の動きといったユーザ５の動作の状況を取得してもよい。状況検出装置８は、複数であってもよい。状況検出装置８は、例えば、ロボット７の位置、ロボット７の周囲の状態などを検出する撮影装置であってもよいし、加速度センサ、力覚センサなどであってもよい。また、状況検出装置８は、ロボット７が、対象物である物体を移動させたり、対象物に力を加えたりする場合に、対処物とロボット７との位置関係を把握するための撮影装置などであってもよい。状況検出装置８は、これらのうちの２つ以上であってもよいし、これら以外であってもよく、一般的にロボット７の制御に用いられる任意のセンサを用いることができる。なお、ロボット７の制御に、状況データを用いなくてもよく、この場合には、状況検出装置８が設けられなくてもよい。
　制御指示生成部３３は、状況取得部３２から受け取った状況データと、制御モデル記憶部３４に記憶されている制御モデルとを用いて、ロボット７に対する制御指示を生成し、生成した制御指示を指示送信部３１へ出力する。指示送信部３１は、制御指示生成部３３から受け取った制御指示をロボット７へ送信する。制御指示を受信したロボット７は、制御指示に基づき動作する。
　このように、本実施の形態では、学習部２２によってユーザ５が慣れ親しんだ協調動作対象者６と協調動作を行っているときの個人行動データを用いて制御モデルが生成され、生成された制御モデルに基づいた制御指示がロボット７に送信される。制御モデルは、ユーザ５とロボット７との協調動作より前に生成されているため、ロボット７は、協調動作の開始時から協調動作対象者６の動作と同じまたは類似する動作を行うことができ、協調動作におけるロボット７の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
　次に、本実施の形態の動作について説明する。図４は、本実施の形態の制御モデル生成部２における処理手順の一例を示すフローチャートである。制御モデル生成部２は、ユーザ５と協調動作対象者６との協調動作時に取得された協調動作データを含むユーザ５の個人行動データを取得する（ステップＳ１）。詳細には、データ取得部２４が、検出装置４から個人行動データを受信することでユーザ５の個人行動データを取得する。なお、上述したように、データ取得部２４は、個人行動データを記録媒体によって取得してもよい。また、個人行動データの元になる映像などが検出装置４によって取得されて抽出処理が行われてもよい。
　制御モデル生成部２は、ユーザ５の個人行動データを記憶する（ステップＳ２）。詳細には、データ取得部２４が、受信した個人行動データをデータ記憶部２３に格納する。
　制御モデル生成部２は、蓄積された個人行動データを用いて制御モデルを生成する（ステップＳ３）。詳細には、学習部２２が、データ記憶部２３に格納されているユーザ５の個人行動データを用いて特徴量を抽出し、特徴量と基本モデル記憶部２１に格納されている基本制御モデルとを用いて制御モデルを生成する。なお、蓄積された個人行動データは、１回以上の協調動作において、協調動作ごとに取得された個人行動データである。特徴量が、例えば、ユーザ５の話す速度であれば、複数回の協調動作に対応する個人行動データが蓄積されている場合には、複数回の協調動作に対応する個人行動データを全て用いて、１文字当たりの平均的な速度を求めてもよい。特徴量が、例えば、ユーザ５の移動の傾向を示すものである場合には、複数回の協調動作に対応する個人行動データを用いて、協調動作における定められた時点での平均化された位置を算出し、平均化された位置とあらかじめ定めた標準的な位置との差を特徴量としてもよい。特徴量の算出方法は、上述した例に限定されない。
　制御モデル生成部２は、制御モデルを出力する（ステップＳ４）。詳細には、学習部２２が、生成した制御モデルをロボット制御部３へ出力する。ロボット制御部３の制御モデル記憶部３４は、学習部２２から出力された制御モデルを記憶する。
　図５は、本実施の形態のロボット制御部３における処理手順の一例を示すフローチャートである。図５に示した処理は、制御モデル生成部２によって制御モデルが生成された後、ロボット７とユーザ５とが協調動作を行う際に実施される。
　ロボット制御部３は、状況データを取得する（ステップＳ１１）。詳細には、状況取得部３２が、状況検出装置８によって取得されたロボット７の状況を示す状況データを、状況検出装置８から受信することで取得し、取得した状況データを制御指示生成部３３へ出力する。
　ロボット制御部３は、状況データおよび制御モデルを用いて制御指示を生成する（ステップＳ１２）。詳細には、制御指示生成部３３が、状況取得部３２から受け取った状況データと、制御モデル記憶部３４に格納されている制御モデルとを用いて、ロボット７に対する制御指示を生成し、生成した制御指示を指示送信部３１へ出力する。
　ロボット制御部３は、制御指示を送信する（ステップＳ１３）。詳細には、指示送信部３１が、制御指示生成部３３から受け取った制御指示をロボット７へ送信する。これにより、ロボット７は、制御指示に基づく動作を行う。
　なお、一旦、制御モデルが生成されてロボット７とユーザ５とが協調動作を行った後に、ユーザ５と協調動作対象者６とが協調動作を行う場合、当該協調動作における協調動作データが取得され、取得された協調動作データを含む個人行動データに基づいて制御モデルが生成されてもよい。この場合、新たに生成された制御モデルを用いて、図５に示した処理が実施される。このように、一旦、制御モデルが生成された後に、新たな協調動作データを用いて制御モデルが更新されてもよい。これにより、ユーザ５の個性が変化した場合にも、最新の状態を反映してロボット７を制御することができる。
　次に、本実施の形態の協調動作システム１００を利用して行われる協調動作の例について説明する。まず、協調動作の第１の例として、ロボット７が、飲食店の配膳ロボットである場合を説明する。第１の例では、協調動作は、配膳作業である。例えば、Ａさん、Ｂさん、ＣさんおよびＤさんは、ともに同じ飲食店に勤めており、Ｂさんは、Ａさんとともに配膳作業をすることもあり、Ｃさんとともに配膳作業をすることもあり、Ｄさんとともに配膳作業をすることもある。Ｂさんは、Ａさんとともに配膳作業を行う際に良好に仕事を行うことができ、Ｃさんとともに配膳作業を行う際にも良好に仕事を行うことができたとする。一方で、ＢさんがＤさんとともに配膳作業を行う場合には、Ｂさんは配膳作業を快適に行うことができずストレスを感じていたとする。ＡさんおよびＣさんは退職を予定しており、ＡさんおよびＣさんの退職後は、Ｂさんが、ロボット７とともに配膳作業を行うことが予定されている。このような場合、ロボット７との協調動作に備えて、ユーザ５であるＢさんが協調動作対象者６とともに協調動作を行っているときの協調動作データを含む個人行動データが取得される。この場合、Ｂさんと協調動作において慣れ親しんでいる協調動作対象者６は、ＡさんおよびＣさんとなる。
　図６は、第１の例における個人行動データの取得の一例を示す模式図である。図６に示した例では、ユーザ５および協調動作対象者６は、提供カウンター２０１に置かれた皿を、飲食店のホールのテーブル２０２へ配膳する。図６に示すように、飲食店において、ユーザ５（Ｂさん）が、協調動作対象者６（ＡさんまたはＣさん）とともに、配膳作業を行っているときに、Ｂさんの個人行動データが検出装置４によって取得される。例えば、図６に示すように、ユーザ５は、協調動作対象者６とともに配膳作業を行っている場合には、ユーザ５が複数の小皿の配膳を行い、協調動作対象者６は大皿の配膳を行う。一方、ユーザ５がＤさんとともに配膳作業を行う場合には、Ｄさんが複数の小皿の配膳を行い、Ｂさんは大皿の配膳を行っていたとする。
　図６に示した例では、個人行動データは、どの皿の配膳を行ったかを示す情報を含む。例えば、厨房で作られた料理を配膳前に一時的に置く提供カウンター２０１において、小皿と大皿との置かれる位置があらかじめ概ね定まっている場合には、ユーザ５の位置を検出する検出装置４を用い、検出装置４によって検出された位置の時系列データを個人行動データとしてもよい。この場合、例えば、学習部２２が、ユーザ５の移動の履歴を求め、求めた履歴と小皿と大皿との置かれる位置とに基づいてユーザ５が配膳を行った皿の大きさを特徴量として求めてもよい。または、提供カウンター２０１を撮影可能な検出装置４を用いて、検出装置４によって撮影された映像を解析することでユーザ５が配膳した皿の大きさおよび数が、個人行動データとしてデータ取得部２４または他の装置によって算出されてもよい。または、提供カウンター２０１を撮影可能な検出装置４を用いて、検出装置４によって撮影された映像を個人行動データとし、学習部２２が、映像から、ユーザ５が配膳を行った皿の大きさを特徴量として求めてもよい。
　第１の例では、配膳作業において配膳の対象となる皿として、大皿と小皿とが含まれる前提である。このため、特徴量として、配膳する皿の大きさ、または配膳する皿の大きさおよび個数を含めておき、修正情報におけるタイプとして複数の小皿を配膳するというタイプ、または大皿を配膳するタイプを定義しておく。そして、修正情報において当該タイプに対応する修正内容として、ロボット７が配膳する対象を大皿とするための制御パラメータとなるような数値を定めておく。例えば、第１の例では、制御モデルは、配膳判断モデルおよび移動モデルを含み、配膳判断モデルにはロボット７が配膳の対象とする皿の大きさの定義を含めておく。そして、修正情報における上述したタイプに対応する修正内容として、配膳の対象を直径が一定値以上の皿とする制御パラメータを設定する情報を定めておく。これにより、制御モデル生成部２の学習部２２は、ロボット７に大皿の配膳を行わせる制御モデルを生成することができる。また、提供カウンター２０１において小皿と大皿との置かれる位置があらかじめ概ね定まっている場合には、皿の大きさを指定する代わりに、提供カウンター２０１における配膳の対象となる皿の存在する範囲を制御パラメータとして定めておいてもよい。
　図７は、第１の例におけるユーザ５とロボット７との協調動作の一例を示す模式図である。図７に示した例では、図６を用いて説明したように、ロボット７に大皿の配膳を行わせる制御モデルが生成されているため、ロボット７は大皿の配膳を行う。これにより、ユーザ５は、協調動作対象者６であるＡさんまたはＣさんとともに配膳作業を行っている場合と同様に、ストレスを軽減して効率的に配膳作業を行うことができる。このように、第１の例では、制御システム１は、ユーザ５であるＢさんが効率よく行動できる配膳の方法を学習し、学習した結果を反映した制御モデルを生成することができる。
　次に、協調動作の第２の例として、ロボット７とユーザ５とが組み立て作業を行う場合を説明する。第２の例では、ロボット７は、例えば、産業機械の１種である組み立てロボットである。例えば、Ａさん、Ｂさん、ＣさんおよびＤさんは、ともに組み立て作業を行う作業員であり、Ｂさんは、Ａさんとともに組み立て作業をすることもあり、Ｃさんとともに組み立て作業をすることもあり、Ｄさんとともに組み立て作業をすることもある。Ｂさんは、Ａさんとともに組み立て作業を行う際に良好に仕事を行うことができ、Ｃさんとともに組み立て作業を行う際にも良好に仕事を行うことができたとする。一方で、ＢさんがＤさんとともに組み立て作業を行う場合には、ユーザ５であるＢさんは組み立て作業を快適に行うことができずストレスを感じていたとする。ＡさんおよびＣさんは異動の予定であり、ＡさんおよびＣさんの異動後は、Ｂさんが、ロボット７とともに組み立て作業を行うことが予定されている。このような場合、第１の例と同様に、ロボット７との協調動作に備えて、ユーザ５であるＢさんが協調動作対象者６とともに協調動作を行っているときの協調動作データを含む個人行動データが取得される。この場合、Ｂさんと協調動作において慣れ親しんでいる協調動作対象者６は、ＡさんおよびＣさんとなる。
　図８は、第２の例における個人行動データの取得の一例を示す模式図である。図８に示した例では、ユーザ５および協調動作対象者６は、協力して組み立て作業を行う。より詳細には、ユーザ５（Ｂさん）が、第１の部品２０４を載置し、協調動作対象者６（ＡさんまたはＣさん）が、第１の部品２０４の上に、第２の部品２０５を配置する。標準位置２０３は、第１の部品２０４が載置される標準的な位置を示しており、ユーザ５は、標準的な位置より、図８における向かって右よりに第１の部品２０４を載置する癖がある。ユーザ５に慣れ親しんでいる協調動作対象者６は、ユーザ５が第１の部品２０４を載置する位置に合わせて第２の部品２０５を配置するので、効率的に組み立て作業を行うことができる。一方、ユーザ５に慣れ親しんでいないＤさんは、標準位置２０３に第１の部品２０４が載置される前提で第２の部品２０５を配置しようとするため、位置合わせに時間を要したり、ユーザ５が第１の部品２０４の位置を変更したりする必要が生じ、効率的に組み立て作業を行うことができず、ユーザ５はストレスを感じる。
　このような場合には、ユーザ５が第１の部品２０４を載置する場所、またはユーザ５が第１の部品２０４を載置した際のユーザ５の手の位置を検出装置４によって、検出する。そして、特徴量として、第１の部品２０４の標準位置２０３からの差分を用い、修正情報において、第１の部品２０４の載置位置が標準位置２０３からしきい値以上ずれているというタイプを定義しておく。そして、修正情報における当該タイプに対応する修正内容として、ロボット７が配置する第２の部品２０５の位置を第１の部品２０４の載置位置と標準位置２０３との差と同じ分だけずらすように制御パラメータを決定する内容を含めておく。これにより、制御モデル生成部２の学習部２２は、ロボット７に、ユーザ５が第１の部品２０４を標準位置２０３からずらした分に応じて第２の部品２０５の配置を行わせる制御モデルを生成することができる。
　図９は、第２の例におけるユーザ５とロボット７との協調動作の一例を示す模式図である。図９に示した例では、図８を用いて説明したように、ロボット７に、ユーザ５が第１の部品２０４を標準位置２０３からずらした分に応じて第２の部品２０５の配置を行わせる制御モデルが生成されているため、ロボット７は第２の部品２０５を右よりにずらして配置する。これにより、ユーザ５は、協調動作対象者６であるＡさんまたはＣさんとともに組み立て作業を行っている場合と同様に、ストレスを軽減して効率的に組み立て作業を行うことができる。
　第１の例、第２の例のいずれの例においても、ユーザ５であるＢさんの振る舞いを考慮してロボット７がユーザ５と一緒に働くことができるようになり、省人化のための人とヒューマノイドの一例であるロボット７とが共に働く環境であっても、ユーザ５は、働きづらさや不快感などのストレスが軽減された状態で協調動作を行うことができる。なお、上述した協調動作システム１００を利用して行われる協調動作は例示であり、協調動作システム１００を利用して行われる協調動作は上述した例に限定されない。
　なお、協調動作は、２人で行われるものに限定されず、３人以上で行われてもよい。例えば、３人で行う協調動作である場合は、ロボット７が２つ用いられてもよいし、ロボット７と協調動作対象者６とがユーザ５とともに協調動作を行ってもよい。この場合に、例えば、ユーザ５であるＢさんがＡさんおよびＣさんと協調動作を行ったときに、ＢさんおよびＡさんがストレスを感じなかったとすると、Ｃさんの個人行動データに基づいて制御モデルを生成しておき、ロボット７をこの制御モデルに基づいて制御する。
　次に、本実施の形態の各装置のハードウェア構成について説明する。図１に示した本実施の形態の制御システム１は、コンピュータシステム上で、制御システム１における処理が記述されたコンピュータプログラムであるプログラムが実行されることにより、コンピュータシステムが制御システム１として機能する。図１０は、本実施の形態の制御システム１を実現するコンピュータシステムの構成例を示す図である。図１０に示すように、このコンピュータシステムは、制御部１０１と入力部１０２と記憶部１０３と表示部１０４と通信部１０５と出力部１０６とを備え、これらはシステムバス１０７を介して接続されている。制御部１０１と記憶部１０３とは処理回路を構成する。
　図１０において、制御部１０１は、例えば、ＣＰＵ（Central　Processing　Unit）等のプロセッサであり、本実施の形態の制御システム１における処理が記述されたプログラムを実行する。なお、制御部１０１の一部が、ＧＰＵ（Graphics　Processing　Unit）、ＦＰＧＡ（Field－Programmable　Gate　Array）などの専用ハードウェアにより実現されてもよい。入力部１０２は、ボタン、キーボード、マウス、ジョイスティック、タッチパッド、ゲームコントローラなどの入力手段であってもよい。記憶部１０３は、ＲＡＭ（Random　Access　Memory），ＲＯＭ（Read　Only　Memory）などの各種メモリおよびハードディスクなどのストレージデバイスを含み、上記制御部１０１が実行すべきプログラム、処理の過程で得られた必要なデータ、などを記憶する。また、記憶部１０３は、プログラムの一時的な記憶領域としても使用される。表示部１０４は、上述したように、例えば、ディスプレイなどである。なお、表示部１０４と入力部１０２とは、一体化されてタッチパネルなどにより実現されてもよい。通信部１０５は、通信処理を実施する受信機および送信機である。出力部１０６は、スピーカなどである。なお、図１０は一例であり、コンピュータシステムの構成は図１０の例に限定されない。例えば、本実施の形態では、制御システム１を実現するコンピュータシステムは、出力部１０６を備えていなくてもよい。
　ここで、本実施の形態のプログラムが実行可能な状態になるまでのコンピュータシステムの動作例について説明する。上述した構成をとるコンピュータシステムには、たとえば、図示しないＣＤ（Compact　Disc）－ＲＯＭドライブまたはＤＶＤ（Digital　Versatile　Disc）－ＲＯＭドライブにセットされたＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭから、コンピュータプログラムが記憶部１０３にインストールされる。そして、プログラムの実行時に、記憶部１０３から読み出されたプログラムが記憶部１０３の主記憶領域に格納される。この状態で、制御部１０１は、記憶部１０３に格納されたプログラムに従って、本実施の形態の制御システム１としての処理を実行する。
　なお、上記の説明においては、ＣＤ－ＲＯＭまたはＤＶＤ－ＲＯＭを記録媒体として、制御システム１における処理を記述したプログラムを提供しているが、これに限らず、コンピュータシステムの構成、提供するプログラムの容量などに応じて、たとえば、インターネットなどの伝送媒体により提供されたプログラムを用いることとしてもよい。
　本実施の形態のプログラムは、例えば、コンピュータシステムに、協調動作を行ったことがある人物の動作に関するデータである個人行動データを蓄積するステップと、蓄積された個人行動データを用いて、ヒューマノイドがユーザ５と協調動作を行うためのヒューマノイドの制御モデルであって人物の個性が反映された制御モデルを生成するステップと、を実行させる。
　図１に示した学習部２２および制御指示生成部３３は、図１０に示した記憶部１０３に記憶されたコンピュータプログラムが図１０に示した制御部１０１により実行されることにより実現される。図１に示した学習部２２および制御指示生成部３３の実現には、図１０に示した記憶部１０３も用いられる。図１に示したデータ取得部２４、指示送信部３１および状況取得部３２は、図１０に示した通信部１０５により実現される。また、データ取得部２４は、記録媒体を読み出す装置により実現されてもよい。図１に示した基本モデル記憶部２１、データ記憶部２３、修正情報記憶部２５および制御モデル記憶部３４は、図１０に示した記憶部１０３の一部である。
　図１に示した制御システム１は複数のコンピュータシステムにより実現されてもよい。例えば、制御システム１は、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２と、ロボット制御部３とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　以上述べたように、本実施の形態の協調動作システム１００は、ロボット７とユーザ５との協調動作が行われる前に、ユーザ５と協調動作対象者６とが協調動作を行った際に取得された協調動作データを含むユーザ５の個人行動データを用いてロボット７を制御するための制御モデルを生成する。ロボット７は、協調動作の開始時から協調動作対象者６の動作と同じまたは類似する動作を行うことができ、協調動作におけるロボット７の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
実施の形態２．
　図１１は、実施の形態２にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００ａは、制御システム１の代わりに制御システム１ａを備え検出装置４の代わりに検出装置４ａを備える以外は、実施の形態１の協調動作システム１００と同様である。実施の形態１と同様の機能を有する構成要素は、実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。
　実施の形態１では、ユーザ５と協調動作対象者６とが協調動作を行っているときに取得された協調動作データを含むユーザ５の個人行動データを用いて制御モデルが生成された。本実施の形態では、ユーザ５と協調動作対象者６とが協調動作を行っているときに取得された協調動作データを含む協調動作対象者６の個人行動データを用いて制御モデルが生成される。本実施の形態では、協調動作を行ったことがある人物の動作に関するデータである個人行動データは、協調動作対象者６の個人行動データである。すなわち、個人行動データの取得の対象となる人物は、実施の形態１ではユーザ５であり、本実施の形態では、協調動作対象者６である。協調動作対象者６は、実施の形態１と同様に、ユーザ５が慣れ親しんだ人であり、ユーザ５が、ともに協調動作を行う際にストレスを感じにくい人である。
　検出装置４ａは、協調動作対象者６の個人行動データを取得し、個人行動データを制御システム１ａへ送信する。なお、実施の形態１と同様に、個人行動データには、協調動作対象者６の生体情報または感情といった心理的もしくは内面的な情報を含めてもよい。検出装置４ａは、装置自体は実施の形態１の検出装置４と同様であるが、個人行動データの取得の対象が協調動作対象者６となる。検出装置４ａは、協調動作対象者６が身に着けることが可能なウェアラブル端末であってもよいし、協調動作対象者６が携帯可能な携帯端末であってもよいし、協調動作対象者６の動作を検出可能に設置された装置であってもよいし、メタバースなどのバーチャル空間における動作を検出する装置であってもよいし、これらの組み合わせであってもよいし、これら以外であってもよい。すなわち、個人行動データは、例えば、ウェアラブル端末により取得されたデータ、およびバーチャル空間における人物の動作が記録されたデータのうち少なくとも１つを含む。
　制御システム１ａは、制御モデル生成部２の代わりに制御モデル生成部２ａを備える以外は、実施の形態１の制御システム１と同様である。制御モデル生成部２ａは、修正情報記憶部２５を備えず、学習部２２の代わりに学習部２２ａを備え、データ取得部２４のデータの取得元が検出装置４の代わりに検出装置４ａとなるが、これら以外は、実施の形態１の制御モデル生成部２と同様である。本実施の形態においても、制御モデル生成部２ａとロボット制御部３とが個別の装置として設けられてもよい。
　次に、本実施の形態の制御モデル生成部２ａの動作について説明する。図１２は、本実施の形態の制御モデル生成部２ａにおける処理手順の一例を示すフローチャートである。制御モデル生成部２ａは、ユーザ５と協調動作対象者６との協調動作時に取得された協調動作データを含む協調動作対象者６の個人行動データを取得する（ステップＳ２１）。詳細には、データ取得部２４が、検出装置４ａから個人行動データを受信することで協調動作対象者６の個人行動データを取得する。なお、実施の形態１と同様に、データ取得部２４は、個人行動データを記録媒体によって取得してもよい。また、個人行動データの元になる映像などが検出装置４ａによって取得されて抽出処理が行われてもよい。
　制御モデル生成部２ａは、協調動作対象者６の個人行動データを記憶する（ステップＳ２２）。詳細には、データ取得部２４が、受信した個人行動データをデータ記憶部２３に格納する。
　制御モデル生成部２ａは、蓄積された協調動作対象者６の個人行動データを用いて制御モデルを生成する（ステップＳ２３）。詳細には、学習部２２ａが、データ記憶部２３に格納されている協調動作対象者６の個人行動データを用いて特徴量を抽出し、特徴量に基づいて制御モデルを生成する。
　本実施の形態では、特徴量として示される動作をロボット７が行うように制御モデルにおける制御パラメータが設定される。これにより、協調動作対象者６の個性が反映された動作と同様の動作をロボット７に行わせるための制御モデルが生成される。特徴量は、実施の形態１と同様の特徴量を用いることができるが、本実施の形態では、特徴量として、方言に関する情報、話し方の癖（口癖を含む）、話題の提供内容（よく話すジャンル）などが用いられてもよい。方言に関する情報は、例えば、方言の有無、方言がある場合にはどの種類の（どの地方の）方言であるかといった情報を含む。方言の識別は、例えば、あらかじめ方言の種類ごとに方言の辞書を記憶しておき、当該辞書を用いて行われてもよいし、他の方法で行われてもよい。話し方の癖は、例えば、語尾に特定の語句を使用する回数が多い、特定の語句をよく発する、語尾の音が高くなるといったイントネーションの付け方、音声の音の高さ、会話の速度などであるが、これら以外であってもよい。学習部２２ａは、例えば、協調動作対象者６の個人行動データとして得られた音声データに音声認識処理を行うことでこれらの話し方の癖を抽出する。
　ステップＳ２３の後の、ステップＳ２４は実施の形態１と同様であり、学習部２２ａは、生成した制御モデルをロボット制御部３へ出力する。出力された制御モデルは、ロボット制御部３の制御モデル記憶部３４に記憶される。ロボット制御部３の動作は、実施の形態１と同様である。本実施の形態では、協調動作対象者６の個人行動データに基づいて、協調動作対象者６の個性が反映された動作を行うように制御モデルが生成される。これにより、ロボット７は、ユーザ５との協調動作において、ユーザ５が慣れ親しんだ協調動作対象者６の個性を反映した動作を行うことができ、協調動作におけるロボット７の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
　次に、本実施の形態の協調動作システム１００ａを利用して行われる協調動作の例について説明する。一例として、ロボット７が、コミュニケーションロボットであり、協調動作が会話である例を説明する。ＡさんとＢさんとは夫婦であり、Ｂさんは、Ａさんとの会話に慣れ親しんでおり、Ａさんと会話しているときにはストレスを感じにくい。Ａさんは海外に単身赴任の予定であり、Ａさんの単身赴任中は、Ｂさんはロボット７と会話を行う予定である。この場合、ロボット７のユーザ５はＢさんであり、協調動作対象者６としてＡさんが設定され、Ａさんの個人行動データが取得される。制御モデル生成部２ａは、蓄積されたＡさんの個人行動データに基づいて制御モデルを生成する。例えば、基本制御モデルには、会話モデルおよび音声モデルが含まれ、個人行動データに基づいてＡさんの特徴と同様の特徴を有するように会話モデルおよび音声モデルが修正される。これにより、例えば、Ａさんの口癖、イントネーション、方言、受け答え方、話題の提供内容などが反映された制御モデルが生成される。
　ユーザ５であるＢさんが、Ａさんの単身赴任中に、ロボット７と協調動作として会話を行う場合、上述したＡさんの個人行動データに基づいた制御モデルを用いてロボット７が制御される。これにより、ロボット７は、Ａさんの個性を反映した会話を行うことができ、ユーザ５であるＢさんのストレスを軽減することができる。なお、上述した協調動作システム１００ａを利用して行われる協調動作は例示であり、協調動作システム１００ａを利用して行われる協調動作は上述した例に限定されない。
　本実施の形態の制御システム１ａは、実施の形態１の制御システム１と同様に、コンピュータシステムにより実現される。本実施の形態の制御システム１ａも、複数のコンピュータシステムにより実現されてもよく、例えば、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２ａと、ロボット制御部３とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　なお、協調動作は、２人で行われるものに限定されず、３人以上で行われてもよい。例えば、３人で行う協調動作である場合は、ロボット７が２つ用いられてもよいし、ロボット７と協調動作対象者６とがユーザ５とともに協調動作を行ってもよい。この場合に、例えば、ユーザ５であるＢさんがＡさんおよびＣさんと協調動作を行ったときにストレスを感じなかったとすると、ＡさんおよびＣさんの個人行動データに基づいてそれぞれ制御モデルを生成しておき、２つのロボット７をそれぞれの制御モデルに基づいて制御する。また、ロボット７と協調動作対象者６とがユーザ５とともに協調動作を行う場合には、協調動作を行う協調動作対象者６がＡさんであるときには、Ｃさんに対応する制御モデルに基づいてロボット７を制御し、協調動作を行う協調動作対象者６がＣさんであるときには、Ａさんに対応する制御モデルに基づいてロボット７を制御してもよい。
　以上述べたように、本実施の形態の協調動作システム１００ａは、ロボット７とユーザ５との協調動作が行われる前に、ユーザ５と協調動作対象者６とが協調動作を行った際に取得された協調動作データを含む協調動作対象者６の個人行動データを用いてロボット７を制御するための制御モデルを生成する。ロボット７は、協調動作の開始時から協調動作対象者６の動作と同じまたは類似する動作を行うことができ、協調動作におけるロボット７の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
実施の形態３．
　図１３は、実施の形態３にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００ｂは、制御システム１ａの代わりに制御システム１ｂを備える以外は実施の形態２の協調動作システム１００ａと同様である。実施の形態２と同様の機能を有する構成要素は、実施の形態２と同一の符号を付して重複する説明を省略する。以下、実施の形態２と異なる点を主に説明する。
　制御システム１ｂは、制御モデル生成部２ａの代わりに制御モデル生成部２ｂを備える以外は、実施の形態２の制御システム１ａと同様である。制御モデル生成部２ｂは、行動結果取得部２６が追加され、学習部２２ａの代わりに学習部２２ｂを備えるが、これら以外は、実施の形態２の制御モデル生成部２ａと同様である。本実施の形態においても、制御モデル生成部２ｂとロボット制御部３とが個別の装置として設けられてもよい。
　次に、本実施の形態の制御モデル生成部２ｂの動作について説明する。制御モデル生成部２ｂにおける制御モデルの生成処理は、図１２を用いて説明した実施の形態２における処理と同様である。本実施の形態では、制御モデル生成部２ｂは、制御モデルが生成された後に、ロボット７とユーザ５とが行った協調動作の結果である行動結果と行動結果に対応する制御モデルとに基づいて、制御モデルを更新する。実施の形態２で述べたように制御モデルは、ユーザ５のストレスを軽減するように生成されるが、本実施の形態では、行動結果を用いて制御モデルを更新することで、ロボット７の動作を、よりユーザ５に適したものとすることができる。
　図１４は、本実施の形態の制御モデル生成部２ｂにおける制御モデルの更新処理手順の一例を示すフローチャートである。まず、制御モデル生成部２ｂは、制御モデルに対応する行動結果を取得する（ステップＳ３１）。詳細には、行動結果取得部２６が、ロボット制御部３に記憶されている制御モデルに基づいた制御によって行われた協調動作（ロボット７とユーザ５との協調動作）に対応する行動結果を取得し、取得した行動結果を学習部２２ｂへ出力する。
　行動結果は、例えば、ポジティブな結果を得たか、ネガティブな結果を得たかを示す。行動結果は、例えば、ユーザ５によって決定され、制御モデル生成部２ｂに入力される。この場合、行動結果取得部２６は、ユーザ５からの入力を受付ける機能を有する。または、ユーザ５が、行動結果を、図示しないユーザ端末などの他の装置に入力し、当該他の装置が行動結果を制御モデル生成部２ｂへ送信してもよい。この場合、行動結果取得部２６は、行動結果を受信する通信機能を有する。ユーザ５は、例えば、ロボット７との協調動作に関して、快適に協調動作を行うことができたと感じたり、ストレスがなかったと感じたり、効率的であったと感じた場合に、行動結果をポジティブな結果とし、ストレスを感じたり、不愉快であったと感じたり、効率的でなかったと感じた場合に、行動結果をネガティブな結果とする。
　また、例えば、協調動作が作業などである場合には、行動結果が別の手段で決定されてもよい。例えば、協調動作が定められた手順の作業である場合には、当該作業の作業時間を計測し、ユーザ５以外の人が、計測結果がしきい値以下であれば、効率的に作業が行われたと判断して行動結果をポジティブな結果とし、計測結果がしきい値を超えている場合には、効率的に作業が行われなかったと判断して行動結果をネガティブな結果としてもよい。この場合も、行動結果は、制御モデル生成部２ｂに入力されてもよいし、他の装置から送信されてもよい。効率的に作業が行われた場合には、ユーザ５のストレスも少ないと推定できるため、このように作業時間の計測結果に基づいて行動結果が決定されてもよい。また、上述した計測結果に基づく判断を制御モデル生成部２ｂが行ってもよい。例えば、行動結果取得部２６が、作業時間を計測する装置から計測結果を受信し、受信した計測結果を用いて行動結果を決定してもよい。行動結果の決定方法は上述した例に限定されない。
　制御モデル生成部２ｂは、行動結果がネガティブな結果であるか否かを判断する（ステップＳ３２）。詳細には、学習部２２ｂが、行動結果取得部２６から受け取った行動結果がネガティブな結果であるか否かを判断する。
　行動結果がネガティブな結果でない場合（ステップＳ３２　Ｎｏ）、すなわち行動結果がポジティブな結果である場合、制御モデル生成部２ｂは、制御モデルの更新処理を終了する。
　行動結果がネガティブな結果である場合（ステップＳ３２　Ｙｅｓ）、制御モデル生成部２ｂは、制御モデルを更新し（ステップＳ３３）、ステップＳ３１からの処理を繰り返す。ステップＳ３３では、詳細には、学習部２２ｂが、制御モデルを更新し、更新した制御モデルをロボット制御部３へ出力する。これにより、ロボット制御部３の制御モデル記憶部３４に記憶される制御モデルが更新される。学習部２２ｂは、例えば、制御モデルにおける制御パラメータの一部を変更することで制御モデルを更新する。制御パラメータの変更方法は、あらかじめ定めておいてもよいし、ユーザ５によって指定されてもよい。例えば、ロボット７の位置を変更する制御パラメータを更新する場合には、ロボット７の位置を変更する規則をあらかじめ定めておいてもよいし、ユーザ５がロボット７の位置に関する変更する方向および量を指定してもよい。
　以上のように、行動結果がネガティブな結果であった場合、制御モデルが更新され、更新された制御モデルを用いた制御が行われ、再度、ステップＳ３１からの処理が行われる。行動結果がネガティブな結果であった場合、制御パラメータの変更が繰り返されることで、行動結果としてポジティブな結果が得られるようになる。
　なお、上述した例では、行動結果がポジティブな結果であった場合には、制御モデルを変更せずに現在の制御モデルをそのまま更新された制御モデルとしたが、これに限らず、現在の制御パラメータをよりよいと推定される制御パラメータに変更することで制御モデルを更新してもよい。よりよいと推定される制御パラメータは、例えば、それ以前に行動結果がネガティブな結果となったときに設定していた制御パラメータと、逆の方向に変更した制御パラメータである。例えば、会話の速度が第１の速度であったときに、行動結果がネガティブな結果であり、会話の速度を第１の速度より遅い第２の速度に変更すると行動結果がポジティブな結果となったとすると、会話の速度を第２の速度より遅い第３の速度に変更するように制御モデルを更新してもよい。そして、再度、行動結果を取得し、行動結果がネガティブな結果になった場合には、会話の速度を第２の速度に戻すように制御モデルを更新する。
　または、制御モデルの更新処理は、図１４に示した手順に限定されず、制御パラメータを順次変更して、それぞれの制御パラメータの値に対応する行動結果を取得し、制御パラメータの値と対応する行動結果とのデータセットを記憶しておき、複数のデータセットを用いて制御モデルを更新してもよい。例えば、行動結果がポジティブな結果であったデータセットを抽出し、抽出したデータセットのなかから１つを選択し、選択したデータセットにおける制御パラメータを用いて制御モデルを更新してもよい。また、行動結果と対応する制御パラメータとを１組のデータセットとし、複数のデータセットを用いて、機械学習により行動結果が良くなるような制御パラメータを決定することで、制御モデルを更新してもよい。例えば、学習部２２ｂは、行動結果と対応する正解データである制御パラメータとで構成されるデータセットを複数用いて、実施の形態１で述べた教師あり学習により、学習済モデルを生成する。そして、学習部２２ｂは、推論時、すなわち制御モデルの更新時には、行動結果として行動結果がポジティブである値を入力することで、行動結果がポジティブとなる制御パラメータを推論することができる。
　また、行動結果はポジティブとネガティブとの２値に限定されず、３段階以上の数値で表されてもよい。例えば、行動結果を０から５までの点数とし、行動結果が５であるときは最もユーザ５のストレスがなく、行動結果が０であるときに最もストレスを感じると定義しておいてもよい。なお、点数の定義はこの例に限定されない。３段階以上の数値で表した場合には、図１４に示した処理では、ステップＳ３２において、学習部２２ｂは、行動結果が最もポジティブであることを示す数値であるか否かを判断するようにすればよい。また、上述した複数のデータセットを用いて制御モデルを更新する場合には、学習部２２ｂは、行動結果が最もポジティブであることを示す数値となるデータセットを選択すればよい。
　また、上記の例では、行動結果は制御モデル全体を評価した結果であったが、これに限らず、ロボット７の時系列の動作を区切って評価した結果であってもよい。例えば、ロボット７への制御指示を図示しない動作履歴記憶部に記録しておき、例えば、一定時間ごと、またはロボット７の動作の区切りごとに、行動結果が決定されてもよい。この場合、動作履歴記憶部は、ロボット制御部３に設けられてもよいし、制御モデル生成部２ｂに設けられてもよいし、制御システム１ｂ外に設けられてもよい。この場合、行動結果取得部２６は、行動結果とともに当該行動結果に対応する期間の制御指示を動作履歴記憶部から読み出して取得し、行動結果と対応する制御指示とを学習部２２ｂへ出力する。これにより、学習部２２ｂは、時系列で行った制御指示に対応するロボット７の動作の単位で、当該動作の行動結果を得ることができる。
　例えば、協調動作が会話であった場合に、協調動作対象者６の個人行動データに基づいて協調動作対象者６の特徴量として第１のジャンルと第２のジャンルとについて話題を提供することが多いという結果が得られ、これに基づいて制御モデルが生成されたとする。制御モデルの生成時には、第１のジャンルと第２のジャンルとの話題の提供頻度を同程度に設定したとする。会話においては、時系列には、第１のジャンルの会話が行われる期間と第２のジャンルの会話が行われる期間とがある。ロボット７への制御指示に基づいてこれらの期間を区別して、それぞれの行動結果を行動結果取得部２６が取得する。例えば、第１のジャンルの会話の期間の行動結果がポジティブな結果であり、第２のジャンルの会話の期間の行動結果がネガティブな結果であった場合には、第１のジャンルの話題の提供の頻度を増やし、第２のジャンルの話題の提供の頻度を低下させるように制御モデルを更新する。
　制御モデルの更新処理は、上述した例に限定されず、学習部２２ｂが、行動結果に基づいて、よりユーザ５に適した制御モデルとなるように制御モデルの更新を行う方法であればよい。
　本実施の形態の制御システム１ｂは、実施の形態２の制御システム１ａと同様に、コンピュータシステムにより実現される。本実施の形態の制御システム１ｂも、複数のコンピュータシステムにより実現されてもよく、例えば、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２ｂと、ロボット制御部３とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　以上述べたように、本実施の形態の協調動作システム１００ｂは、実施の形態２で述べた動作を行うとともに、ロボット７とユーザ５との協調動作の結果である行動結果に基づいて、制御モデルを更新するようにした。このため、実施の形態２と同様の効果を奏するとともに、よりユーザ５に適した動作をロボット７に行わせることができる。
　なお、上述した例では、実施の形態２の協調動作システム１００ａに、制御モデルの更新機能を追加したが、これに限らず、実施の形態１の協調動作システム１００に制御モデルの更新機能を追加してもよい。例えば、協調動作システム１００の制御モデル生成部２に行動結果取得部２６を追加するとともに学習部２２に学習部２２ｂと同様に制御モデルの更新機能を持たせることで、上述した例と同様に制御モデルが更新されてもよい。
実施の形態４．
　図１５は、実施の形態４にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００ｃは、制御システム１ｂの代わりに制御システム１ｃを備える以外は実施の形態３の協調動作システム１００ｂと同様である。実施の形態３と同様の機能を有する構成要素は、実施の形態３と同一の符号を付して重複する説明を省略する。以下、実施の形態３と異なる点を主に説明する。
　制御システム１ｃは、制御モデル生成部２ｂの代わりに制御モデル生成部２ｃを備える以外は、実施の形態３の制御システム１ｂと同様である。制御モデル生成部２ｃは、モデル選択受付部２７が追加され、基本モデル記憶部２１の代わりに基本モデル記憶部２１ａを備えるが、これら以外は、実施の形態３の制御モデル生成部２ｂと同様である。本実施の形態においても、制御モデル生成部２ｃとロボット制御部３とが個別の装置として設けられてもよい。
　基本モデル記憶部２１ａは、複数の、すなわち複数種類の基本制御モデルをあらかじめ記憶する。これらの複数種類の基本制御モデルは、協調動作対象者６を特徴付ける典型パターンともいえる。協調動作対象者６を特徴付ける典型パターンとは、例えば、人を模した基本制御モデルであれば、せっかち、おおらか、又は、几帳面、といった人の典型的な性格に基づいた言動（振る舞い）に対応するパターンである。つまり、例えば、協調動作が、会話を含むものであれば、穏健モデル、堅実モデル、牽引モデルの３つの基本制御モデルが基本モデル記憶部２１ａに記憶される。穏健モデル、堅実モデル、牽引モデルのそれぞれは、例えば、会話の内容、会話の速度、話す頻度、提供する話題のジャンルのうちの少なくとも１つが異なっている。
　また、例えば、産業機械に適用する基本制御モデルであれば、人とのインタラクションとして、エンジニアリングツール等の共同で設計作業をするもの、医療行為（手術）等の共同で精密作業をするもの、または、大型機材の据え付け等の共同で長時間作業をするものなど、共同作業する人への配慮を要する典型的な作業内容に基づいた言動（振る舞い）をする基本制御モデルがそれぞれ基本モデル記憶部２１ａに記憶される。
　また、基本制御モデルすなわち典型パターンは、その他の協調動作する対象の典型的な特徴などで分類されてもよい。このように、複数の制御モデルは、それぞれ異なる個性（動作の個性）に対応する。なお、複数の基本制御モデルはこの例に限定されず、基本制御モデルの数も３に限定されない。
　モデル選択受付部２７は、ユーザ５から、複数の基本制御モデルのなかからユーザ５が選択した基本制御モデルを示す選択結果を受付ける。例えば、モデル選択受付部２７は、ユーザ５からの選択結果の入力を受付けてもよい。また、図示しないユーザ端末などの他の装置にユーザ５が選択結果を入力し、当該他の装置が選択結果を制御モデル生成部２ｃへ送信し、モデル選択受付部２７が選択結果を受信することで、基本制御モデルの選択結果を受付けてもよい。ユーザ５は、趣向や相性に応じて、複数の基本制御モデルのなかから基本制御モデルを選択する。例えば、ユーザ５は、複数の基本制御モデルのなかから協調動作対象者６に合致する基本制御モデルを選択してもよい。例えば、穏健モデル、堅実モデル、牽引モデルの３つの基本制御モデルが基本モデル記憶部２１ａに記憶されており、ユーザ５が慣れ親しんだ協調動作対象者６が穏健な性格である場合には、穏健モデルを選択してもよい。なお、ユーザ５が選択するのではなく、制御システム１ｃまたは制御システム１ｃのオペレータなどが協調動作対象者６に適した基本制御モデルを選択してもよい。
　モデル選択受付部２７は、受け付けた選択結果に対応する基本制御モデルを基本モデル記憶部２１ａから読み出し、読み出した基本制御モデルを学習部２２ｂに出力する。学習部２２ｂは、モデル選択受付部２７から受け取った基本制御モデル、すなわち選択結果により示される基本制御モデルと個人行動データとを用いて、実施の形態３と同様に、制御モデルを生成し、生成した制御モデルをロボット制御部３へ出力する。また、学習部２２ｂは、実施の形態３と同様に、行動結果を用いて制御モデルを更新する。以上述べた以外の本実施の形態の動作は実施の形態３と同様である。
　本実施の形態の制御システム１ｃは、実施の形態３の制御システム１ｂと同様に、コンピュータシステムにより実現される。本実施の形態の制御システム１ｃも、複数のコンピュータシステムにより実現されてもよく、例えば、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２ｃと、ロボット制御部３とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　以上述べたように、本実施の形態の協調動作システム１００ｃは、動作の個性の異なる複数の基本制御モデルから選択された基本制御モデルと、個人行動データとを用いて制御モデルを生成する。また、本実施の形態の協調動作システム１００ｃは、ロボット７とユーザ５との協調動作の結果である行動結果に基づいて、制御モデルを更新する。このため、実施の形態３と同様の効果を奏するとともに、よりユーザ５の趣向や相性に応じた動作をロボット７に行わせることができる。
　なお、上述した例では、実施の形態３の協調動作システム１００ｂに、複数の基本制御モデルから選択された基本制御モデルを用いて制御モデルを生成する機能を追加したが、これに限らず、実施の形態１の協調動作システム１００に複数の基本制御モデルから選択された基本制御モデルを用いて制御モデルを生成する機能を追加してもよい。例えば、協調動作システム１００の制御モデル生成部２にモデル選択受付部２７を追加するとともに基本モデル記憶部２１の代わりに基本モデル記憶部２１ａを備えることで、上述した例と同様に複数の基本制御モデルから選択された基本制御モデルを用いて制御モデルが生成されてもよい。また、実施の形態２の協調動作システム１００ａに複数の基本制御モデルから選択された基本制御モデルを用いて制御モデルを生成する機能を追加してもよい。例えば、協調動作システム１００の制御モデル生成部２ａにモデル選択受付部２７を追加するとともに基本モデル記憶部２１の代わりに基本モデル記憶部２１ａを備えることで、上述した例と同様に複数の基本制御モデルから選択された基本制御モデルを用いて制御モデルが生成されてもよい。
実施の形態５．
　図１６は、実施の形態５にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００ｄは、制御システム１ｄ、検出装置４および状況検出装置８ａを備える。制御システム１ｄは、メタバースなどのバーチャル空間を生成し、バーチャル空間をユーザ５に知覚させるためのバーチャル空間情報を端末装置９４へ送信する。端末装置９４は、制御システム１ｄから受信したバーチャル空間情報に基づいてバーチャル空間における映像を映像提示装置９５へ出力し、仮想空間における音声を音声提示装置９６へ出力する。ユーザ５は、バーチャル空間における自身のアバター９０１を介してバーチャルキャラクタ９０２と協調動作を行う。
　実施の形態１～４では、ユーザ５と協調動作するヒューマノイドとしてロボット７を例に挙げたが、本実施の形態では、ユーザ５と協調動作するヒューマノイドがバーチャル空間におけるバーチャルキャラクタ９０２である例について説明する。本実施の形態では、ユーザ５がバーチャルキャラクタ９０２と協調動作を行う際に、実施の形態１と同様に事前に協調動作対象者６との協調動作を行っているときに取得されたユーザ５の個人行動データに基づいて生成された制御モデルを用いてバーチャルキャラクタ９０２を制御する。実施の形態１と同様の機能を有する構成要素は、実施の形態１と同一の符号を付して重複する説明を省略する。以下、実施の形態１と異なる点を主に説明する。
　図１６では、端末装置９４が無線通信により映像および音声をそれぞれ映像提示装置９５および音声提示装置９６へ伝達する例を示しているが、映像および音声のうち１つ以上が有線通信により伝達されてもよい。なお、端末装置９４を制御システム１ｄに含めてもよいし、端末装置９４、映像提示装置９５および音声提示装置９６を制御システム１ｄに含めてもよい。
　また、図１６では、ユーザ５が、バーチャル空間を知覚するための手段として映像提示装置９５および音声提示装置９６が用いられているが、さらに、力触覚、臭覚、および味覚のうち１つ以上を知覚することが可能な手段が用いられてもよい。力触覚には、応力以外にも温度など肌で知覚する情報を含んでもよい。また、図１６では、映像提示装置９５および音声提示装置９６が用いられているが、これらのうちのいずれかが用いられなくてもよい。また、図１６では、映像提示装置９５としてＶＲゴーグル、ヘッドマウントディスプレイが用いられ、音声提示装置９６としてヘッドフォンが用いられる例を示しているが、これに限らず、例えば、映像提示装置９５はディスプレイ、モニタであってもよく、音声提示装置９６はスピーカであってもよく、映像提示装置９５および音声提示装置９６の具体例は図１６に示した例に限定されない。また、端末装置９４、映像提示装置９５および音声提示装置９６のうちの２つ以上が一体化されていてもよい。例えば、映像提示装置９５として、端末装置９４のディスプレイが用いられてもよい。また、例えば、端末装置９４と映像提示装置９５との両方の機能を有するヘッドマウントディスプレイが用いられてもよいし、ヘッドフォン付きのヘッドマウントディスプレイが用いられてもよい。
　状況検出装置８ａは、ユーザ５とバーチャルキャラクタ９０２との協調動作におけるユーザ５の状況を取得する。例えば、状況検出装置８ａは、ユーザ５の音声、動きなどを検出し検出結果を端末装置９４へ送信する。端末装置９４は、状況検出装置８ａから受信した検出結果を制御システム１ｄへ送信する。状況検出装置８ａは、複数であってもよい。また、例えば、音声提示装置９６としてヘッドセットを用いることで、音声提示装置９６と状況検出装置８ａとが一体化されていてもよい。また、端末装置９４が状況検出装置８ａを備えていてもよい。また、状況検出装置８ａは、ユーザ５が身に着けるものであってもよいし、ユーザ５を外部から撮影する撮影装置などのようにユーザ５の周辺に設けられてもよい。
　制御システム１ｄは、実施の形態１と同様の制御モデル生成部２と、バーチャル空間制御部９とを備える。制御モデル生成部２と、バーチャル空間制御部９とが、それぞれ個別の装置として設けられてもよい。制御モデル生成部２の構成および動作は実施の形態１と同様であるが、制御モデル生成部２が生成する制御モデルは、バーチャルキャラクタ９０２の動作を制御するための制御モデルであり、基本モデル記憶部２１に記憶される基本制御モデルもバーチャルキャラクタ９０２の動作を制御するための基本制御モデルである。
　バーチャル空間制御部９は、送受信部９１、バーチャル空間生成部９２およびバーチャルキャラクタ制御部９３を備える。送受信部９１は、端末装置９４との間で通信を行い、端末装置９４との間で情報のやり取りを行う。送受信部９１は、例えば、端末装置９４から、協調動作におけるユーザ５の状況を示す状況データを取得し、取得した状況データをバーチャル空間生成部９２および制御指示生成部３３へ出力する。なお、送受信部９１は、状況データを状況検出装置８ａから受信してもよい。また、送受信部９１は、例えば、バーチャル空間生成部９２から受け取った後述するバーチャル空間情報を端末装置９４へ送信する。
　バーチャル空間生成部９２は、バーチャル空間を生成し、生成したバーチャル空間をユーザ５に知覚させるためのバーチャル空間情報を生成し、生成したバーチャル空間情報を送受信部９１へ出力する。バーチャル空間情報は、映像を示すデータ（映像データ）および音声を示すデータ（音声データ）を含む。なお、協調動作およびバーチャル空間の内容によっては、バーチャル空間情報に音声を示すデータが含まれなくてもよい。また、ユーザ５が、力触覚によって検知可能な情報、臭覚、および味覚によって検知可能な情報のうちの少なくとも一方を含んでいてもよい。また、バーチャル空間生成部９２は、バーチャル空間における、ユーザ５のアバター９０１が、送受信部９１から受け取った状況データに基づいた動作を行うようにバーチャル空間情報を生成する。また、バーチャル空間生成部９２は、バーチャルキャラクタ制御部９３から、後述する制御指示を受け取ると、制御指示に基づいた動作をバーチャルキャラクタ９０２が行うようにバーチャル空間情報を生成する。
　バーチャルキャラクタ制御部９３は、ヒューマノイドを制御する動作制御部（動作制御装置）の一例である。バーチャルキャラクタ制御部９３は、制御指示生成部３３および制御モデル記憶部３４を備える。制御モデル記憶部３４は実施の形態１と同様に、制御モデル生成部２によって生成された制御モデルを記憶する。なお、この制御モデルは、上述したように、バーチャルキャラクタ９０２の動作を制御するための制御モデルである。制御指示生成部３３は、送受信部９１から受け取ったユーザ５の状況を示す状況データと制御モデル記憶部３４に記憶されている制御モデルとを用いてバーチャルキャラクタ９０２の動作を制御する制御指示を生成し、生成した制御指示をバーチャル空間生成部９２へ出力する。
　本実施の形態では、制御対象がロボット７の代わりにバーチャルキャラクタ９０２となるが、実施の形態１と同様に、バーチャルキャラクタ９０２とユーザ５との協調動作が行われる前に、ユーザ５と協調動作対象者６とが協調動作を行った際に取得された協調動作データを含むユーザ５の個人行動データを用いて制御モデルを生成する。このため、バーチャルキャラクタ９０２は、協調動作の開始時から協調動作対象者６の動作と同じまたは類似する動作を行うことができ、協調動作におけるバーチャルキャラクタ９０２の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
　また、図１６に示した例では、バーチャルキャラクタ制御部９３がバーチャル空間制御部９内に設けられているが、これに限らず、例えば、バーチャル空間制御部９が、制御システム１ｄ外に個別のバーチャル空間制御装置として設けられてもよい。この場合、送受信部９１およびバーチャルキャラクタ制御部９３は制御システム１ｄ内に設けられ、バーチャル空間生成部９２はバーチャル空間制御装置に設けられる。バーチャル空間制御装置も送受信部９１を備え、バーチャルキャラクタ制御部９３が生成した制御指示は制御システム１ｄの送受信部９１を介して、バーチャル空間制御装置へ送信され、バーチャル空間制御装置のバーチャル空間生成部９２はバーチャル空間制御装置の送受信部９１を介して制御指示を受信する。バーチャル空間制御装置のバーチャル空間生成部９２は、生成したバーチャル空間情報をバーチャル空間制御装置の送受信部９１を介して端末装置９４へ送信する。また、送受信部９１がバーチャルキャラクタ制御部９３内に設けられてもよい。この場合も、バーチャルキャラクタ制御部９３と、制御モデル生成部２とは個別の装置として設けられてもよい。
　本実施の形態の制御システム１ｄは、実施の形態１の制御システム１と同様に、コンピュータシステムにより実現される。本実施の形態の制御システム１ｄも、複数のコンピュータシステムにより実現されてもよく、例えば、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２と、バーチャル空間制御部９とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　上述した例では、実施の形態１の制御モデル生成部２がバーチャルキャラクタ９０２を制御する制御モデルを生成し、生成された制御モデルを用いてバーチャルキャラクタ制御部９３がバーチャルキャラクタ９０２を制御するようにした。これに限らず、バーチャルキャラクタ９０２を制御する場合に、実施の形態３のように、行動結果取得部２６を設け、行動結果を用いて制御モデルが更新されてもよいし、実施の形態４のように、モデル選択受付部２７を用いて、バーチャルキャラクタ９０２を制御するための複数の基本制御モデルから、使用する基本制御モデルを選択してもよい。また、行動結果を用いた制御モデルの更新と、複数の基本制御モデルからの使用する基本制御モデルの選択との両方が行われてもよい。
実施の形態６．
　図１７は、実施の形態６にかかる協調動作システムの構成例を示す図である。本実施の形態の協調動作システム１００ｅは、制御システム１ｅ、検出装置４ａおよび状況検出装置８ａを備える。制御システム１ｅは、実施の形態５と同様に、バーチャル空間を生成し、バーチャル空間をユーザ５に知覚させるためのバーチャル空間情報を端末装置９４へ送信する。状況検出装置８ａ、端末装置９４、映像提示装置９５および音声提示装置９６は、実施の形態５と同様である。なお、端末装置９４を制御システム１ｅに含めてもよいし、端末装置９４、映像提示装置９５および音声提示装置９６を制御システム１ｅに含めてもよい。
　制御システム１ｅは、実施の形態２と同様の制御モデル生成部２ａと、実施の形態５と同様のバーチャル空間制御部９とを備える。制御モデル生成部２ａと、バーチャル空間制御部９とが、それぞれ個別の装置として設けられてもよい。制御モデル生成部２ａの構成および動作は実施の形態２と同様であるが、制御モデル生成部２ａが生成する制御モデルは、バーチャルキャラクタ９０２の動作を制御するための制御モデルであり、基本モデル記憶部２１に記憶される基本制御モデルもバーチャルキャラクタ９０２の動作を制御するための基本制御モデルである。実施の形態２または実施の形態５と同様の機能を有する構成要素は、実施の形態２または実施の形態５と同一の符号を付して重複する説明を省略する。以下、実施の形態２または実施の形態５と異なる点を主に説明する。
　本実施の形態では、実施の形態２と同様に、制御モデル生成部２ａが、ユーザ５との協調動作を行っているときに検出装置４ａによって取得された協調動作対象者６の個人行動データに基づいて制御モデルを生成する。この制御モデルは、バーチャルキャラクタ９０２の動作を制御するための制御モデルである。バーチャル空間制御部９のバーチャルキャラクタ制御部９３は、制御モデル生成部２ａによって生成された制御モデルを用いて、実施の形態５と同様にバーチャルキャラクタ９０２を制御する。
　また、実施の形態５で述べたように、例えば、バーチャル空間制御部９が、制御システム１ｅ外に個別のバーチャル空間制御装置として設けられてもよい。
　本実施の形態では、制御対象がロボット７の代わりにバーチャルキャラクタ９０２となるが、実施の形態２と同様に、バーチャルキャラクタ９０２とユーザ５との協調動作が行われる前に、ユーザ５と協調動作対象者６とが協調動作を行った際に取得された協調動作データを含む協調動作対象者６の個人行動データを用いて制御モデルを生成する。このため、バーチャルキャラクタ９０２は、協調動作の開始時から協調動作対象者６の動作と同じまたは類似する動作を行うことができ、協調動作におけるバーチャルキャラクタ９０２の行動および話し方のうちの少なくとも一方に起因するユーザ５のストレスを軽減することができる。
　本実施の形態の制御システム１ｅは、実施の形態２の制御システム１ａと同様に、コンピュータシステムにより実現される。本実施の形態の制御システム１ｅも、複数のコンピュータシステムにより実現されてもよく、例えば、クラウドシステムにより実現されてもよい。また、上述したように、制御モデル生成部２ａと、バーチャル空間制御部９とがそれぞれ個別の装置として構成されてもよく、この場合も、個別の装置がそれぞれ複数のコンピュータシステムにより実現されてもよい。
　なお、上記の例では、バーチャルキャラクタ９０２が協調動作を行い、個人行動データが協調動作データを含む例を説明したが、特定の人物の個性を示す個人行動データを用いてバーチャルキャラクタ９０２の制御モデルが生成されればよく、適用される動作は協調動作に限定されない。すなわち、特定の人物の動作に関するデータである個人行動データがデータ記憶部２３に記憶され、学習部２２ａが、個人行動データを用いて、バーチャル空間におけるバーチャルキャラクタ９０２の制御モデルであって特定の人物の個性が反映された制御モデルを生成すればよい。例えば、ユーザ５が、特定の人物を設定し、特定の人物の個人行動データを用いてバーチャルキャラクタ９０２の制御モデルが生成されることで、ユーザ５の要望に沿った特定の人物の個性が反映された制御モデルが生成される。これにより、ユーザ５が、バーチャルキャラクタ９０２と会話を行ったり、バーチャルキャラクタ９０２の言動を視聴したりする場合の、ユーザ５のストレスを軽減することができる。また、特定の人物の設定方法はこの例に限定されない。特定の人物の個人行動データに基づいてバーチャルキャラクタ９０２の制御モデルが生成されることで、特定の人物の行動および話し方のうち少なくとも一方が反映された制御モデルを生成することができ、バーチャルキャラクタ９０２に特定の人物の行動および話し方のうち少なくとも一方の個性を反映させることができる。
　上述した例では、実施の形態２の制御モデル生成部２ａがバーチャルキャラクタ９０２を制御する制御モデルを生成し、生成された制御モデルを用いてバーチャルキャラクタ制御部９３がバーチャルキャラクタ９０２を制御するようにした。これに限らず、バーチャルキャラクタ９０２を制御する場合に、実施の形態３のように、行動結果取得部２６を設け、行動結果を用いて制御モデルが更新されてもよいし、実施の形態４のように、モデル選択受付部２７を用いて、バーチャルキャラクタ９０２を制御するための複数の基本制御モデルから、使用する基本制御モデルを選択してもよい。また、行動結果を用いた制御モデルの更新と、複数の基本制御モデルからの使用する基本制御モデルの選択との両方が行われてもよい。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１，１ａ，１ｂ，１ｃ，１ｄ，１ｅ　制御システム、２，２ａ，２ｂ，２ｃ　制御モデル生成部、３　ロボット制御部、４，４ａ　検出装置、５　ユーザ、６　協調動作対象者、７　ロボット、８，８ａ　状況検出装置、９　バーチャル空間制御部、２１，２１ａ　基本モデル記憶部、２２，２２ａ，２２ｂ　学習部、２３　データ記憶部、２４　データ取得部、２５　修正情報記憶部、２６　行動結果取得部、２７　モデル選択受付部、３１　指示送信部、３２　状況取得部、３３　制御指示生成部、３４　制御モデル記憶部、９１　送受信部、９２　バーチャル空間生成部、９３　バーチャルキャラクタ制御部、９４　端末装置、９５　映像提示装置、９６　音声提示装置、１００，１００ａ，１００ｂ，１００ｃ，１００ｄ，１００ｅ　協調動作システム。

Claims (15)

  1. 　協調動作を行ったことがある人物の動作に関するデータである個人行動データを記憶するデータ記憶部と、
    　前記データ記憶部に記憶された前記個人行動データを用いて、ヒューマノイドがユーザと前記協調動作を行うための前記ヒューマノイドの制御モデルであって前記人物の個性が反映された前記制御モデルを生成する学習部と、
    　を備え、
    　前記個人行動データは、前記ユーザが、前記ユーザが慣れ親しんだ協調動作対象者と前記協調動作を実施している際に取得されたデータを含むことを特徴とする制御モデル生成装置。
  2. 　前記人物は、前記ユーザであることを特徴とする請求項１に記載の制御モデル生成装置。
  3. 　前記人物は、前記協調動作対象者であることを特徴とする請求項１に記載の制御モデル生成装置。
  4. 　前記ヒューマノイドは、ロボットであることを特徴とする請求項１から３のいずれか１つに記載の制御モデル生成装置。
  5. 　前記ヒューマノイドは、バーチャル空間におけるバーチャルキャラクタであることを特徴とする請求項１から３のいずれか１つに記載の制御モデル生成装置。
  6. 　前記学習部は、前記ヒューマノイドと前記ユーザとが行った前記協調動作の結果である行動結果と前記行動結果に対応する前記制御モデルとに基づいて、前記制御モデルを更新することを特徴とする請求項１から５のいずれか１つに記載の制御モデル生成装置。
  7. 　前記学習部は、あらかじめ定められた基本制御モデルと前記個人行動データとを用いて前記制御モデルを生成することを特徴とする請求項１から６のいずれか１つに記載の制御モデル生成装置。
  8. 　複数の前記基本制御モデルのなかから前記ユーザが選択した前記基本制御モデルを示す選択結果を受付ける選択結果受付部、
    　を備え、
    　前記学習部は、前記選択結果により示される前記基本制御モデルと前記個人行動データとを用いて前記制御モデルを生成することを特徴とする請求項７に記載の制御モデル生成装置。
  9. 　前記学習部は、前記個人行動データから前記人物の個性を示す特徴量を抽出し、
    　前記個性は、口癖、イントネーション、方言および動き方の癖のうち少なくとも１つを含むことを特徴とする請求項１から８のいずれか１つに記載の制御モデル生成装置。
  10. 　前記個人行動データは、ウェアラブル端末により取得されたデータ、およびバーチャル空間における前記人物の動作が記録されたデータのうち少なくとも１つを含むことを特徴とする請求項１から９のいずれか１つに記載の制御モデル生成装置。
  11. 　人物の動作に関するデータである個人行動データを記憶するデータ記憶部と、
    　前記データ記憶部に記憶された前記個人行動データを用いて、バーチャル空間におけるバーチャルキャラクタの制御モデルであって前記人物の個性が反映された前記制御モデルを生成する学習部と、
    　を備えることを特徴とする制御モデル生成装置。
  12. 　制御モデル記憶部と、
    　ヒューマノイドに対する制御指示を生成する制御指示生成部と、
    　を備え、
    　前記制御モデル記憶部は、協調動作を行ったことがある人物の動作に関するデータである個人行動データを用いて生成された、ヒューマノイドがユーザと前記協調動作を行うための前記ヒューマノイドの制御モデルであって前記人物の個性が反映された前記制御モデルを記憶し、
    　前記制御指示生成部は、前記制御モデルを用いて前記ヒューマノイドに対する制御指示を生成し、
    　前記個人行動データは、前記ユーザが、前記ユーザが慣れ親しんだ協調動作対象者と前記協調動作を実施している際に取得されたデータを含むことを特徴とするロボット制御装置。
  13. 　制御モデル生成部と、
    　ヒューマノイドを制御する動作制御部と、
    　を備え、
    　前記制御モデル生成部は、
    　協調動作を行ったことがある人物の動作に関するデータである個人行動データを記憶するデータ記憶部と、
    　前記データ記憶部に記憶された前記個人行動データを用いて、ヒューマノイドがユーザと前記協調動作を行うための前記ヒューマノイドの制御モデルであって前記人物の個性が反映された前記制御モデルを生成する学習部と、
    　を備え、
    　前記動作制御部は、前記制御モデルを用いて前記ヒューマノイドを制御し、
    　前記個人行動データは、前記ユーザが、前記ユーザが慣れ親しんだ協調動作対象者と前記協調動作を実施している際に取得されたデータを含むことを特徴とする制御システム。
  14. 　制御モデル生成装置における制御モデル生成方法であって、
    　前記制御モデル生成装置が、協調動作を行ったことがある人物の動作に関するデータである個人行動データを蓄積するステップと、
    　前記制御モデル生成装置が、蓄積された前記個人行動データを用いて、ヒューマノイドがユーザと前記協調動作を行うための前記ヒューマノイドの制御モデルであって前記人物の個性が反映された前記制御モデルを生成するステップと、
    　を含み、
    　前記個人行動データは、前記ユーザが、前記ユーザが慣れ親しんだ協調動作対象者と前記協調動作を実施している際に取得されたデータを含むことを特徴とする制御モデル生成方法。
  15. 　コンピュータシステムに、
    　協調動作を行ったことがある人物の動作に関するデータである個人行動データを蓄積するステップと、
    　蓄積された前記個人行動データを用いて、ヒューマノイドがユーザと前記協調動作を行うための前記ヒューマノイドの制御モデルであって前記人物の個性が反映された前記制御モデルを生成するステップと、
    　を実行させ、
    　前記個人行動データは、前記ユーザが、前記ユーザが慣れ親しんだ協調動作対象者と前記協調動作を実施している際に取得されたデータを含むことを特徴とするプログラム。
PCT/JP2023/012335 2023-03-27 2023-03-27 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム Ceased WO2024201680A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202380095857.3A CN120898213A (zh) 2023-03-27 2023-03-27 控制模型生成装置、机器人控制装置、控制系统、控制模型生成方法以及程序
JP2024559720A JP7651077B2 (ja) 2023-03-27 2023-03-27 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム
PCT/JP2023/012335 WO2024201680A1 (ja) 2023-03-27 2023-03-27 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム
JP2025011415A JP2025065178A (ja) 2023-03-27 2025-01-27 制御モデル生成装置、制御システム、制御モデル生成方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/012335 WO2024201680A1 (ja) 2023-03-27 2023-03-27 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム

Publications (1)

Publication Number Publication Date
WO2024201680A1 true WO2024201680A1 (ja) 2024-10-03

Family

ID=92903548

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/012335 Ceased WO2024201680A1 (ja) 2023-03-27 2023-03-27 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム

Country Status (3)

Country Link
JP (2) JP7651077B2 (ja)
CN (1) CN120898213A (ja)
WO (1) WO2024201680A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006082150A (ja) * 2004-09-14 2006-03-30 Sony Corp ロボット装置及びその行動制御方法
US20190184573A1 (en) * 2016-08-17 2019-06-20 Huawei Technologies Co., Ltd. Robot control method and companion robot
JP2019184813A (ja) * 2018-04-10 2019-10-24 学校法人東海大学 ロボット及びロボット制御プログラム
JP2019536150A (ja) * 2016-11-10 2019-12-12 ワーナー・ブラザース・エンターテイメント・インコーポレイテッドＷａｒｎｅｒ Ｂｒｏｓ． Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃ． 環境制御機能を有する社会ロボット
JP2020198065A (ja) * 2019-06-03 2020-12-10 アイドス インタラクティブ コープ 拡張現実のバーチャルエージェントとのコミュニケーション

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141563A (ja) * 2001-10-31 2003-05-16 Nippon Telegr & Teleph Corp <Ntt> 顔３次元コンピュータグラフィック生成方法、そのプログラム及び記録媒体
US8386918B2 (en) * 2007-12-06 2013-02-26 International Business Machines Corporation Rendering of real world objects and interactions into a virtual universe
JP2009205370A (ja) * 2008-02-27 2009-09-10 Oki Electric Ind Co Ltd ユーザ端末、コンピュータプログラム、および仮想世界コミュニケーション支援システム
JP7242175B2 (ja) * 2017-12-05 2023-03-20 株式会社バンダイナムコエンターテインメント ゲームシステム及びプログラム
WO2022085189A1 (ja) * 2020-10-23 2022-04-28 日本電信電話株式会社 処理装置、処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006082150A (ja) * 2004-09-14 2006-03-30 Sony Corp ロボット装置及びその行動制御方法
US20190184573A1 (en) * 2016-08-17 2019-06-20 Huawei Technologies Co., Ltd. Robot control method and companion robot
JP2019536150A (ja) * 2016-11-10 2019-12-12 ワーナー・ブラザース・エンターテイメント・インコーポレイテッドＷａｒｎｅｒ Ｂｒｏｓ． Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｉｎｃ． 環境制御機能を有する社会ロボット
JP2019184813A (ja) * 2018-04-10 2019-10-24 学校法人東海大学 ロボット及びロボット制御プログラム
JP2020198065A (ja) * 2019-06-03 2020-12-10 アイドス インタラクティブ コープ 拡張現実のバーチャルエージェントとのコミュニケーション

Also Published As

Publication number Publication date
JP2025065178A (ja) 2025-04-17
JP7651077B2 (ja) 2025-03-25
JPWO2024201680A1 (ja) 2024-10-03
CN120898213A (zh) 2025-11-04

Similar Documents

Publication Publication Date Title
CN106956271B (zh) 预测情感状态的方法和机器人
JP6816925B2 (ja) 育児ロボットのデータ処理方法及び装置
JP7400923B2 (ja) 情報処理装置および情報処理方法
US8751042B2 (en) Methods of robot behavior generation and robots utilizing the same
CN112204564A (zh) 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法
CN110774285A (zh) 人形机器人和执行人形机器人与用户之间的对话的方法
US12204338B2 (en) Information processing apparatus, information processing method, and program
WO2017215297A1 (zh) 云端互动系统及其多感知型智能机器人和感知互动方法
JPWO2019087495A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3164806A1 (en) Systems and methods for assessing, verifying and adjusting the affective state of a user
CN120095830B (zh) 机器人控制方法、计算机设备及计算机可读存储介质
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP6040745B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及びコンテンツ提供システム
JP5223605B2 (ja) ロボットシステム、コミュニケーション活性化方法及びプログラム
US11938625B2 (en) Information processing apparatus, information processing method, and program
JP7435641B2 (ja) 制御装置、ロボット、制御方法およびプログラム
JP7414735B2 (ja) 複数のロボットエフェクターを制御するための方法
JP7651077B2 (ja) 制御モデル生成装置、ロボット制御装置、制御システム、制御モデル生成方法およびプログラム
JP2018055232A (ja) コンテンツ提供装置、コンテンツ提供方法、及びプログラム
JP2023039445A (ja) ドッペルゲンガー遠隔ロボットシステム
CN108172226A (zh) 一种可学习应答语音和动作的语音控制机器人
JP2024157532A (ja) 行動制御システム
JP2024159686A (ja) 電子機器
JP2024155809A (ja) 行動制御システム
JP2024159593A (ja) 電子機器

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2024559720

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23930320

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202380095857.3

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

WWP Wipo information: published in national office

Ref document number: 202380095857.3

Country of ref document: CN

122 Ep: pct application non-entry in european phase

Ref document number: 23930320

Country of ref document: EP

Kind code of ref document: A1