WO2021033486A1 - モデル生成装置、モデル生成方法、制御装置及び制御方法 - Google Patents

モデル生成装置、モデル生成方法、制御装置及び制御方法 Download PDF

Info

Publication number
WO2021033486A1
WO2021033486A1 PCT/JP2020/028446 JP2020028446W WO2021033486A1 WO 2021033486 A1 WO2021033486 A1 WO 2021033486A1 JP 2020028446 W JP2020028446 W JP 2020028446W WO 2021033486 A1 WO2021033486 A1 WO 2021033486A1
Authority
WO
WIPO (PCT)
Prior art keywords
task state
task
model
target
control unit
Prior art date
Application number
PCT/JP2020/028446
Other languages
English (en)
French (fr)
Inventor
洋平 大川
剣之介 林
義也 柴田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP20855703.3A priority Critical patent/EP4019207A4/en
Priority to CN202080050401.1A priority patent/CN114096968A/zh
Priority to US17/628,244 priority patent/US20220258336A1/en
Publication of WO2021033486A1 publication Critical patent/WO2021033486A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40499—Reinforcement learning algorithm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40519—Motion, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • Robot devices such as manipulators are used in production lines that produce products.
  • the components of the manipulator mechanism, end effector, work, etc. have many variations depending on the work (task) to be performed, etc., and the operation procedure of the robot device corresponding to all of them is manually created. It is difficult to teach the robot device the task of interest. Therefore, conventionally, after determining the types of components such as mechanisms, end effectors, and workpieces, the robot device is manually moved to record the posture in a series of movements to be executed, and the work to be performed is directly taught. The method is adopted.
  • Non-Patent Document 1 proposes a method of causing a robot device to learn an operation of gripping an object based on image data obtained from a camera by reinforcement learning. According to this method, it is possible to automate at least a part of a series of processes for teaching the robot device the operation of gripping the object. Therefore, it is possible to reduce the cost of teaching the work to the robot device.
  • the inventors of the present invention have found that the conventional control method of the robot device as described above has the following problems.
  • the movement of an object such as an end effector, a work, or an obstacle may be expressed in the coordinate space.
  • the boundary where the two objects are in contact with each other by holding a value indicating whether or not the two objects are in contact with each other for each coordinate point, it is possible to express the boundary where the two objects are in contact with each other.
  • the amount of information data representing the boundary where the two objects come into contact increases explosively depending on the combination of the objects, the number of dimensions of the coordinates, and the resolution (resolution).
  • the coordinates of an object are represented by a three-dimensional position and a three-dimensional posture.
  • the coordinates of the object are represented in six dimensions. Therefore, if the resolution of the information expressing the boundary of contact is increased, the amount of data increases on the order of the sixth power. Therefore, in the above expression method, it is difficult to store information expressing the boundary of contact in a system having a relatively small storage capacity such as an embedded system. It should be noted that this problem is not limited to the situation where the operation of the robot device is defined, and may occur in any situation where the contact between two objects is handled.
  • an object of the present invention is to provide a technique for reducing the amount of data of information representing a boundary where two objects come into contact with each other. Is.
  • the present invention adopts the following configuration in order to solve the above-mentioned problems.
  • One object may be composed of a plurality of objects.
  • the determination model may be configured so that the plurality of objects are regarded as one object and it is determined whether or not contact occurs between the plurality of objects and other objects.
  • the determination model may be configured so that each object is regarded as one object and it is determined whether or not contact occurs between the objects.
  • a plurality of determination models for determining whether or not contact occurs between different objects may be prepared, or the determination model further accepts input of information indicating conditions such as the type of the object. It may be configured to determine whether or not contact occurs between two objects corresponding to the input conditions.
  • the type of machine learning model that constitutes the judgment model does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • a machine learning model such as a neural network, a support vector machine, a regression model, or a decision tree may be adopted. Whether or not two objects come into contact with each other may be determined for the real space or the virtual space.
  • the positional relationship between the two objects may be expressed by relative coordinates.
  • Relative coordinates are the coordinates when the other object is viewed from one object. Either of the two objects may be selected as the relative coordinate reference.
  • the physical and relative positional relationship between the two objects can be appropriately and simply expressed.
  • the positional relationship between the two objects may be expressed by, for example, the absolute coordinates of each.
  • the "coordinates" may include at least one of the position and the posture. In the three-dimensional space, the position may be represented by three axes of front-back, left-right, and up-down, and the posture may be represented by the rotation (roll, pitch, yaw) of each axis.
  • At least one of the two objects in the previous term may be an object that moves by the operation of the robot device.
  • the object that moves by the operation of the robot device may be, for example, a component of the robot device such as an end effector, the robot device itself, or, for example, a work held by the end effector. It may be an object other than the components of the robot device such as.
  • the control device capable of appropriately driving the robot device so as to avoid unnecessary contact between the first object and the second object is realized even in a computer having relatively low performance such as an embedded system. can do.
  • the time-series control command given to the robot device is directly associated with the task to be performed. Therefore, if at least one of the environment for performing the task and the object changes even a little, the learning result may not be able to respond to the change, and the task may not be performed properly.
  • the sequence of control commands given to the robot device is not directly associated with the task, but is associated with the amount of change in the positional relationship (task state) between the objects. That is, it is possible to generate or teach a time-series control command for the amount of change in the positional relationship without depending on the content of the task. Therefore, according to the configuration, the versatility of the ability to perform the task to be acquired can be increased, and thereby the cost for teaching the task to the robot device can be reduced.
  • the task is a work to be performed by the robot device, and the type thereof is not particularly limited and may be appropriately selected according to the embodiment.
  • the task may be, for example, parts transportation, parts fitting, screwdriver, and the like.
  • the task may be a simple task such as holding a work or releasing a work.
  • the task may be, for example, to change the coordinates of the target work, such as holding the target work and arranging the target work at designated coordinates (position and posture).
  • the task may be, for example, to use a spray as an end effector and spray paint onto the workpiece with the spray from specified relative coordinates.
  • the task may also be, for example, to position the camera attached to the end effector at designated coordinates.
  • the task may be given in advance or may be given by the operator's designation.
  • the positional relationship between the first object and the second object may be expressed by relative coordinates.
  • the physical and relative positional relationship between the first object and the second object can be appropriately and simply expressed.
  • the method of expressing the positional relationship is not limited to such an example, and may be appropriately selected according to the embodiment.
  • the positional relationship between the first object and the second object may be expressed by, for example, the absolute coordinates of each.
  • the learned determination model it is possible to determine whether or not the first object and the second object come into contact with each other. Therefore, by using the judgment result of the learned judgment model, the target task state can be changed from the current task state and the final target task state so as to avoid unnecessary contact between the first object and the second target. You can build an inference model that can be inferred. According to this configuration, by using this inference model during the operation of controlling the operation of the robot device, the first object and the second object do not come into contact with each other even without the arithmetic processing of the determination model. The task state of the target can be determined. Therefore, the calculation cost of the control process can be reduced.
  • Inferring the task state of the target so that the first object does not come into contact with the second object is a task of the target while avoiding unintended contact between the first object and the second object. It is to determine a state, and may include, for example, determining a task state in which a first object appropriately contacts a second object, such as an end effector holding a work, as a target task state.
  • the model generation unit may generate the inference model by performing machine learning.
  • an inference model that can be used to perform a task can be appropriately generated.
  • the type of machine learning model that constitutes the inference model does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • the inference model may be represented by, for example, a function expression, a data table, or the like. When expressed as a functional expression, the inference model may be composed of, for example, a neural network, a support vector machine, a regression model, a decision tree, or the like.
  • the machine learning method is not particularly limited, and may be appropriately selected according to the configuration of the inference model. For example, supervised learning, reinforcement learning, and the like may be adopted for machine learning of the inference model.
  • the task state of the target can be determined so that the task state of the robot device reaches the task state of the final target quickly while avoiding unnecessary contact between the first object and the second object.
  • a model can be generated. This makes it possible to realize a control device that can control the robot device so as to appropriately perform the task.
  • the inference model may be composed of a potential field that defines the potential of each coordinate in the task space that represents the set of task states.
  • Each of the model generation units starts by performing path planning in the task space using the learned determination model so that the first object does not come into contact with the second object.
  • a route from each of the plurality of task states given as points to the task state of the final target may be generated, and by setting the potential of each coordinate according to the frequency of passage of each generated route.
  • the potential field may be generated.
  • the action determination unit may determine the task state of the target to be transitioned next according to the gradient of the potential set at the coordinates corresponding to the current task state in the generated potential field. According to this configuration, an inference model that can be used to perform a task can be appropriately generated.
  • the potential of each coordinate in the potential field indicates the evaluation value of the positional relationship between the first object and the second object at each coordinate with respect to reaching the final target. That is, the higher the potential, the higher the possibility that the positional relationship at the coordinates will reach the final target, and the lower the potential, the lower the possibility that the positional relationship at the coordinates will reach the final target. Therefore, by transitioning to the higher potential gradient, it is possible to appropriately reach the final target task state from any task state that is the starting point.
  • one aspect of the present invention may be an information processing method that realizes each configuration of the above model generation device or control device, or may be a program. It may be a storage medium that stores such a program and can be read by a computer or the like. A storage medium that can be read by a computer or the like is a medium that stores information such as a program by electrical, magnetic, optical, mechanical, or chemical action.
  • the control system according to one aspect of the present invention may be composed of a model generation device according to any one of the above forms and a control device according to any one of the above forms. Further, the model generation device according to one aspect of the present invention may be composed of a part related to a model generation unit of the control device.
  • the computer has training data showing the positional relationship between two objects and a correct answer indicating whether or not the two objects come into contact with each other in the positional relationship.
  • the implementation comprises training the determination model for each of the training data sets to output an output value that matches the corresponding correct answer data for the input of the training data. , Is an information processing method.
  • the model generation program tells a computer training data indicating a positional relationship between two objects and whether or not the two objects come into contact with each other in the positional relationship.
  • the training is configured by training the determination model for each of the training data sets to output an output value that matches the corresponding correct answer data for the input of the training data. It is a program to execute steps.
  • control method is for controlling the operation of a robot device that performs a task of moving the first object in an environment where the first object and the second object exist.
  • the computer is a step of acquiring the current task state of the first object and the second object, and the task state is the first object and the second object. The step defined by the positional relationship between the two, and the step of determining the task state of the target to be transitioned to next with respect to the acquired current task state so as to approach the task state of the final target, and the first step.
  • the trained determination model receives the input of training data indicating the positional relationship between the first object and the second object by machine learning, and the first object in the positional relationship.
  • the steps and the task state of the robotic apparatus which are trained to output an output value that matches the correct answer data indicating whether the object and the second object come into contact with each other, are described from the current task state.
  • control program is for controlling the operation of the robot device that performs the task of moving the first object in the environment where the first object and the second object exist.
  • the program is a step of acquiring the current task state of the first object and the second object to the computer, and the task state is between the first object and the second object.
  • the step defined by the positional relationship of the above the step of determining the task state of the target to be transitioned to next with respect to the acquired current task state so as to approach the task state of the final target, and the first target.
  • a step of determining whether or not the first object and the second object come into contact with each other in the task state of the target by giving the task state of the object and the object of the second object to the trained determination model.
  • the first object and the first object and the first object and the second object are input in the positional relationship in response to the input of training data indicating the positional relationship between the first object and the second object by machine learning.
  • the steps and the task states of the robotic apparatus which are trained to output output values that match the correct answer data indicating whether or not the second objects come into contact with each other, are set from the current task state to the target.
  • a step of determining a control command to be given to the robot device so as to change to a task state, and a step of controlling the operation of the robot device by giving the determined control command to the robot device are executed. It is a program for.
  • FIG. 1 schematically illustrates an example of a situation in which the present invention is applied.
  • FIG. 2A schematically illustrates an example of the positional relationship between the two objects according to the embodiment.
  • FIG. 2B schematically illustrates an example of the positional relationship between the two objects according to the embodiment.
  • FIG. 3 schematically illustrates an example of a form in which a value indicating whether or not two objects come into contact with each other is held for each coordinate point.
  • FIG. 4 schematically illustrates an example of the hardware configuration of the model generator according to the embodiment.
  • FIG. 5 schematically illustrates an example of the hardware configuration of the control device according to the embodiment.
  • FIG. 6 schematically illustrates an example of the robot device according to the embodiment.
  • FIG. 7 schematically illustrates an example of the software configuration of the model generator according to the embodiment.
  • FIG. 8 schematically illustrates an example of the software configuration of the control device according to the embodiment.
  • FIG. 9 illustrates an example of the processing procedure of the model generator according to the embodiment.
  • FIG. 10 illustrates an example of a processing procedure related to generation of an inference model by the control device according to the embodiment.
  • FIG. 11A schematically illustrates an example of the task space according to the embodiment.
  • FIG. 11B schematically illustrates an example of the task space according to the embodiment.
  • FIG. 11C schematically illustrates an example of the task space according to the embodiment.
  • FIG. 12 schematically illustrates an example of the configuration and generation method of the inference model according to the embodiment.
  • FIG. 13 schematically illustrates an example of the configuration and generation method of the inference model according to the embodiment.
  • FIG. 14A schematically illustrates an example of learning data according to the embodiment.
  • FIG. 14B schematically illustrates an example of the configuration of the inference model according to the embodiment.
  • FIG. 15A illustrates an example of a processing procedure relating to control of the operation of the robot device by the control device according to the embodiment.
  • FIG. 15B illustrates an example of a processing procedure relating to control of the operation of the robot device by the control device according to the embodiment.
  • FIG. 16 illustrates an example of the calculation process of each element according to the embodiment.
  • FIG. 17 schematically illustrates the positional relationship of each object according to the embodiment.
  • FIG. 18A schematically shows an example of the relationship between each joint and the hand when the end effector does not hold the work.
  • FIG. 18A schematically shows an example of the relationship between each joint and the hand when the end effector does not hold the work.
  • FIG. 18B schematically shows an example of the relationship between each joint and the hand when the end effector holds the work.
  • FIG. 19 illustrates an example of the processing procedure of the subroutine related to the target determination by the control device according to the modified example.
  • FIG. 20 schematically illustrates an example of the software configuration of the model generator according to the modified example.
  • the present embodiment an embodiment according to one aspect of the present invention (hereinafter, also referred to as “the present embodiment”) will be described with reference to the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. Needless to say, various improvements and modifications can be made without departing from the scope of the present invention. That is, in carrying out the present invention, a specific configuration according to the embodiment may be appropriately adopted.
  • the data appearing in the present embodiment is described in natural language, more specifically, it is specified in a pseudo language, a command, a parameter, a machine language, etc. that can be recognized by a computer.
  • FIG. 1 schematically illustrates an example of an application scene of the present invention.
  • the control system 100 includes a model generation device 1 and a control device 3.
  • the model generation device 1 and the control device 3 may be connected to each other via a network.
  • the type of network may be appropriately selected from, for example, the Internet, a wireless communication network, a mobile communication network, a telephone network, a dedicated network, and the like.
  • the model generation device 1 is a computer configured to generate a determination model 50 for determining whether or not two objects come into contact with each other in the positional relationship of the objects.
  • the model generation device 1 according to the present embodiment has training data 122 indicating a positional relationship between two objects and correct answer data indicating whether or not the two objects come into contact with each other in the positional relationship.
  • the positional relationship between the two objects is expressed by relative coordinates.
  • Relative coordinates are the coordinates when the other object is viewed from one object. Either of the two objects may be selected as the relative coordinate reference.
  • the "coordinates" may include at least one of position and orientation.
  • the position In the three-dimensional space, the position may be represented by three axes of front-back, left-right, and up-down, and the posture may be represented by the rotation (roll, pitch, yaw) of each axis.
  • the relative coordinates may be represented by six dimensions of a three-dimensional relative position and a three-dimensional relative posture. The number of dimensions of the relative coordinates is not limited to 6 dimensions and may be reduced as appropriate.
  • the trained determination model 50 determines whether or not contact occurs between the work W and the end effector T in the space where the manipulator 4, the work W, and the other work G having the end effector T exist. , And also used to determine if contact occurs between the work W and the other work G.
  • the manipulator 4 is an example of a “robot device”.
  • the end effector T, the work W, and the other work G are examples of "objects”.
  • the types of the end effector T, the work W, and the other work G may not be particularly limited, and may be appropriately selected according to the task.
  • the end effector T may be, for example, a gripper, an aspirator, a screwdriver, or the like.
  • the work W may be, for example, a connector, a peg, or the like.
  • the other work G may be, for example, a socket, a hole, or the like.
  • the other work G is an example of an object to which the work W is assembled.
  • Holding the work W by the end effector T may be, for example, gripping the work by a gripper, sucking and holding the work by a suction device, holding the work at the tip of a driver, or the like.
  • the manipulator 4 holds the work W by the end effector T as an example, and executes the task of assembling the held work W to another work G.
  • This task can be divided into two tasks, a first task for holding the work W by the end effector T and a second task for transporting the held work W to another work G.
  • the trained determination model 50 determines whether or not unnecessary contact occurs between the work W and the end effector T. It is used for.
  • the learned determination model 50 is the work W and the work W. It is used to determine whether or not unnecessary contact occurs between other work Gs.
  • a plurality of learned determination models 50 for determining whether or not contact occurs between different objects are prepared. May be good.
  • the trained determination model 50 further accepts input of information indicating the condition of the object such as the type of the object and the identifier of the object, and between the two objects corresponding to the input condition. It may be configured to determine if contact occurs. Either method may be adopted. In the following, for convenience of explanation, the determination targets of the learned determination model 50 will be described without distinction.
  • the control device 3 controls the operation of the robot device that executes the task of moving the first object with respect to the second object in the environment where the first object and the second object exist.
  • a computer configured to do so.
  • the first task and the second task are examples of this "task of moving the first object with respect to the second object".
  • the end effector T is an example of the first object
  • the work W is an example of the second object.
  • the work W is an example of the first object
  • the other work G is an example of the second object.
  • the manipulator 4 is an example of a robot device.
  • the control device 3 acquires information indicating the current task state of the first object and the second object.
  • the task state is defined by the positional relationship between the first object and the second object (that is, the two objects).
  • the camera S1 is used as a sensor of the visual system for observing the task state. Further, as will be described later, an encoder is used to measure the angle of each joint of the manipulator 4, and a tactile sensor is used to measure the holding state of the work W by the end effector T. In the present embodiment, the current task state can be observed by these sensors.
  • FIG. 2A schematically illustrates an example of the positional relationship between the end effector T and the work W in the scene where the first task is performed.
  • FIG. 2B schematically illustrates an example of the positional relationship between the work W and the other work G in the scene where the second task is performed.
  • the positional relationship between the two objects is expressed by relative coordinates.
  • the attention point T0 of the end effector T is the minion of the manipulator 4.
  • the work W is the target for the movement of the end effector T.
  • the positional relationship between the end effector T and the work W is expressed by the relative coordinates RC1 of the work W with respect to the end effector T.
  • the relative coordinates RC1 represent the local coordinate system CW whose origin is the attention point W0 of the work W as seen from the local coordinate system CT whose origin is the attention point T0 of the end effector T.
  • the task state of the manipulator 4 in the scene where the first task is executed is defined by the relative coordinates RC1.
  • the attention point W0 of the work W is treated as the minipulator 4's minion, as in the scene where the second task is executed.
  • the other work G is the target of movement of the end effector T.
  • the positional relationship between the work W and the other work G is expressed by the relative coordinates RC2 of the other work G with respect to the work W.
  • the relative coordinates RC2 represent the local coordinate system CG whose origin is the point of interest G0 of another work G as seen from the local coordinate system CW whose origin is the point of interest W0 of the work W.
  • the task state of the manipulator 4 in the scene of performing the second task is defined by the relative coordinates RC2.
  • the task state is defined by the positional relationship between the hand of the manipulator 4 and the target object (relative coordinates in the present embodiment) in both the first task and the second task.
  • the minion of the manipulator 4 corresponds to the first object
  • the target object corresponds to the second object.
  • both the first task and the second task can be regarded as a task of moving the hand of the manipulator 4 with respect to the target object. Therefore, according to the present embodiment, the control process of the manipulator 4 can be simplified, and thereby the cost of generating or teaching the operation of the manipulator 4 can be reduced.
  • each point of interest (T0, W0, G0) may be set arbitrarily.
  • the method of giving the relative coordinates does not have to be limited to the above example, and may be appropriately determined according to the embodiment.
  • the relative coordinates RC1 represent the local coordinate system CT whose origin is the attention point T0 of the end effector T as seen from the local coordinate system CW whose origin is the attention point W0 of the work W.
  • the relationship of (RC1, RC2) may be reversed.
  • moving the hand does not have to be limited to bringing the hand closer to the target object, and may be appropriately determined according to the embodiment.
  • the movement of the hand may be, for example, moving the hand away from the target, moving the hand to a predetermined position with reference to the target, or the like.
  • the control device 3 determines the task state of the target to be transitioned to next with respect to the current task state indicated by the acquired information so as to approach the task state of the final target.
  • the state in which the work W is held by the end effector T is an example of the task state of the final goal.
  • a state in which the work W is arranged at a desired position of another work G is an example of the task state of the final goal.
  • control device 3 gives information indicating the task states of the objects of the first object and the second object to the trained determination model 50, so that the first object in the target task state And whether or not the second object comes into contact with each other is determined.
  • the trained determination model 50 receives the input of training data (training data 122) indicating the positional relationship between the first object and the second object by the machine learning, and the first object and the first object in the positional relationship. 2 It is trained to output an output value that matches the correct answer data (correct answer data 123) indicating whether or not the objects come into contact with each other.
  • the control device 3 determines a control command given to the robot device (manipulator 4) so as to change the task state of the robot device (manipulator 4) from the current task state to the target task state. Then, the control device 3 drives the robot device by giving the determined control command to the robot device. Thereby, the control device 3 according to the present embodiment can control the operation of the robot device that executes the task of moving the first object with respect to the second object.
  • FIG. 3 schematically illustrates an example of a form in which a value indicating whether or not two objects are in contact with each other is held for each coordinate point.
  • White circles indicate that the two objects do not touch each other in the positional relationship corresponding to the coordinates
  • black circles indicate that the two objects contact each other in the positional relationship corresponding to the coordinates.
  • each coordinate point is represented by two dimensions, but in the above-mentioned six-dimensional relative coordinate space, each coordinate point is represented by six dimensions.
  • the resolution of the space is increased, the amount of data will increase on the order of the sixth power. For example, if the coordinate points are set at a resolution that can be used for operation in real space, the amount of data of the information can easily be in gigabytes.
  • the learned determination model 50 holds information indicating whether or not the two objects come into contact with each other in the positional relationship of the objects.
  • the number of the calculated calculation parameters of the learned determination model 50 may depend on the number of dimensions of the relative coordinates, continuous values can be handled without increasing the number of the calculated parameters. Therefore, for example, when the determination model 50 is configured by a neural network having a three-layer structure as described later, the amount of data of the learned determination model 50 can be suppressed to about several megabytes. Therefore, according to the present embodiment, the amount of information data representing the boundary where the two objects come into contact with each other can be significantly reduced. As a result, it is possible to realize a control device 3 capable of appropriately driving the robot device so as to avoid unnecessary contact between the first object and the second object even in a computer having relatively low performance such as an embedded system. ..
  • the robot device can hold the work by the end effector based on the learning result.
  • the posture of the work is different from that at the time of learning or the work is arranged at a position different from that at the time of learning, the coordinates for holding the work are changed by the end effector.
  • the content of the task that the robot device should perform in this scene is substantially changed. Therefore, in the sequence of control commands obtained from the learning result, the robot device may not be able to properly hold the work by the end effector.
  • the state of the task executed by the manipulator 4 is a relative relationship between objects such as end effector T, work W, and other work G, specifically, between objects. It is expressed by the positional relationship of.
  • the control command given to the manipulator 4 is not directly associated with the task, but is associated with the amount of change in the relative positional relationship between the objects. That is, it is possible to generate or teach a time-series control command given to the manipulator 4 for changing the relative positional relationship of the object without depending on the content of the task.
  • the robot device can appropriately hold the work based on the learning result. Therefore, according to the present embodiment, the versatility of the ability to perform the task to be acquired can be increased, and thereby the cost for teaching the task to the manipulator 4 can be reduced.
  • FIG. 4 schematically illustrates an example of the hardware configuration of the model generator 1 according to the present embodiment.
  • the control unit 11 includes a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), etc., which are hardware processors, and is configured to execute information processing based on a program and various data.
  • the storage unit 12 is an example of a memory, and is composed of, for example, a hard disk drive, a solid state drive, or the like. In the present embodiment, the storage unit 12 stores various information such as the model generation program 81, CAD (computer-aided design) data 120, a plurality of learning data sets 121, and learning result data 125.
  • CAD computer-aided design
  • the model generation program 81 is a program for causing the model generation device 1 to execute information processing (FIG. 9) described later regarding machine learning of the determination model 50.
  • the model generation program 81 includes a series of instructions for the information processing.
  • the CAD data 120 includes configuration information indicating a geometrical configuration such as a model (for example, a three-dimensional model) of each object (end effector T, work W, other work G).
  • the CAD data 120 may be generated by known software.
  • the plurality of training data sets 121 are used for machine learning of the determination model 50.
  • the training result data 125 shows information about the trained determination model 50 generated by machine learning.
  • the learning result data 125 is obtained as a result of executing the model generation program 81. Details will be described later.
  • the communication interface 13 is, for example, a wired LAN (Local Area Network) module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via a network.
  • the model generation device 1 can perform data communication via a network with another information processing device (for example, a control device 3).
  • the external interface 14 is, for example, a USB (Universal Serial Bus) port, a dedicated port, or the like, and is an interface for connecting to an external device.
  • the type and number of the external interfaces 14 may be appropriately selected according to the type and number of connected external devices.
  • the model generator 1 may be connected to the manipulator 4 and the camera S1 via the external interface 14 in order to determine whether or not the object touches in the real space.
  • the input device 15 is, for example, a device for inputting a mouse, a keyboard, or the like.
  • the output device 16 is, for example, a device for outputting a display, a speaker, or the like. The operator can operate the model generation device 1 by using the input device 15 and the output device 16.
  • the drive 17 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading a program stored in the storage medium 91.
  • the type of the drive 17 may be appropriately selected according to the type of the storage medium 91.
  • At least one of the model generation program 81, the CAD data 120, and the plurality of learning data sets 121 may be stored in the storage medium 91.
  • the storage medium 91 transfers the information of the program or the like by electrical, magnetic, optical, mechanical or chemical action so that the computer or other device, the machine or the like can read the information of the stored program or the like. It is a medium to accumulate.
  • the model generation device 1 may acquire at least one of the model generation program 81, the CAD data 120, and the plurality of learning data sets 121 from the storage medium 91.
  • FIG. 4 illustrates a disc-type storage medium such as a CD or DVD as an example of the storage medium 91.
  • the type of the storage medium 91 is not limited to the disc type, and may be other than the disc type.
  • Examples of storage media other than the disk type include semiconductor memories such as flash memories.
  • the control unit 11 may include a plurality of hardware processors.
  • the hardware processor may be composed of a microprocessor, an FPGA (field-programmable gate array), a DSP (digital signal processor), or the like.
  • the storage unit 12 may be composed of a RAM and a ROM included in the control unit 11. At least one of the communication interface 13, the external interface 14, the input device 15, the output device 16, and the drive 17 may be omitted.
  • the model generator 1 may be composed of a plurality of computers. In this case, the hardware configurations of the computers may or may not match. Further, the model generation device 1 may be a general-purpose server device, a PC (Personal Computer), or the like, in addition to an information processing device designed exclusively for the provided service.
  • FIG. 5 schematically illustrates an example of the hardware configuration of the control device 3 according to the present embodiment.
  • control unit 31 As shown in FIG. 5, in the control device 3 according to the present embodiment, the control unit 31, the storage unit 32, the communication interface 33, the external interface 34, the input device 35, the output device 36, and the drive 37 are electrically connected. It is a computer.
  • the communication interface and the external interface are described as "communication I / F" and "external I / F" as in FIG.
  • the control units 31 to drive 37 of the control device 3 may be configured in the same manner as the control units 11 to 17 of the model generation device 1, respectively. That is, the control unit 31 includes a CPU, RAM, ROM, etc., which are hardware processors, and is configured to execute various information processing based on programs and data.
  • the storage unit 32 is composed of, for example, a hard disk drive, a solid state drive, or the like. The storage unit 32 stores various information such as the control program 83, the CAD data 320, the robot data 321, the learning result data 125, the learning data 323, and the inference model data 325.
  • the control program 83 describes information processing described later (FIG. 10) relating to the generation of an inference model for inferring the task state of the target and information processing described later (FIGS. 15A and 15B) relating to control of the operation of the robot device (manipulator 4). Is a program for causing the control device 3 to execute the above.
  • the control program 83 includes a series of instructions for these information processing. Similar to the CAD data 120, the CAD data 320 includes configuration information indicating a geometrical configuration such as a model of each object (end effector T, work W, other work G).
  • the robot data 321 includes configuration information indicating the configuration of the manipulator 4 such as parameters of each joint.
  • the learning result data 125 is used for setting the learned determination model 50.
  • the training data 323 is used to generate an inference model.
  • the inference model data 325 shows information about the generated inference model. Details will be described later.
  • the communication interface 33 is, for example, a wired LAN module, a wireless LAN module, or the like, and is an interface for performing wired or wireless communication via a network.
  • the control device 3 can perform data communication via the network with another information processing device (for example, the model generation device 1).
  • the types of the camera S1, the encoder S2, and the tactile sensor S3 are not particularly limited, and may be appropriately determined according to the embodiment.
  • the camera S1 is, for example, a general digital camera configured to acquire an RGB image, a depth camera configured to acquire a depth image, an infrared camera configured to image an amount of infrared rays, and the like. You can.
  • the tactile sensor S3 may be, for example, a tactile sensor or the like.
  • the control device 3 can acquire sensing data (image data, angle data, pressure distribution data) from each sensor (camera S1, each encoder S2, tactile sensor S3) via the external interface 34.
  • the connection method with the camera S1 and the manipulator 4 does not have to be limited to such an example.
  • the control device 3 may be connected to the camera S1 and the manipulator 4 via the communication interface 33.
  • the input device 35 is, for example, a device for inputting a mouse, a keyboard, or the like.
  • the output device 36 is, for example, a device for outputting a display, a speaker, or the like. The operator can operate the control device 3 by using the input device 35 and the output device 36.
  • the drive 37 is, for example, a CD drive, a DVD drive, or the like, and is a drive device for reading a program stored in the storage medium 93.
  • the type of the storage medium 93 may be a disc type or may be other than the disc type, similarly to the storage medium 91.
  • At least one of the control program 83, CAD data 320, robot data 321 and learning result data 125, and learning data 323 may be stored in the storage medium 93. Further, the control device 3 may acquire at least one of the control program 83, the CAD data 320, the robot data 321 and the learning result data 125, and the learning data 323 from the storage medium 93.
  • the components can be omitted, replaced, or added as appropriate according to the embodiment.
  • the control unit 31 may include a plurality of hardware processors.
  • the hardware processor may be composed of a microprocessor, FPGA, DSP and the like.
  • the storage unit 32 may be composed of a RAM and a ROM included in the control unit 31. At least one of the communication interface 33, the external interface 34, the input device 35, the output device 36, and the drive 37 may be omitted.
  • the control device 3 may be composed of a plurality of computers. In this case, the hardware configurations of the computers may or may not match.
  • the control device 3 may be a general-purpose server device, a general-purpose PC, a PLC (programmable logic controller), or the like, in addition to an information processing device designed exclusively for the provided service.
  • FIG. 6 schematically illustrates an example of the hardware configuration of the manipulator 4 according to the present embodiment.
  • the manipulator 4 is a 6-axis vertical articulated industrial robot, and includes a pedestal portion 40 and six joint portions 41 to 46.
  • Each of the joints 41 to 46 has a built-in servomotor (not shown) so that the joints 41 to 46 can rotate around each axis.
  • the first joint portion 41 is connected to the pedestal portion 40, and the portion on the tip end side is rotated around the axis of the pedestal.
  • the second joint portion 42 is connected to the first joint portion 41 and rotates a portion on the distal end side in the front-rear direction.
  • the third joint portion 43 is connected to the second joint portion 42 via a link 491, and the portion on the tip end side is rotated in the vertical direction.
  • the fourth joint portion 44 is connected to the third joint portion 43 via the link 492, and the tip end side portion is rotated around the axis of the link 492.
  • the fifth joint portion 45 is connected to the fourth joint portion 44 via the link 493, and the portion on the distal end side is rotated in the vertical direction.
  • the sixth joint portion 46 is connected to the fifth joint portion 45 via the link 494, and the tip end side portion is rotated around the axis of the link 494.
  • An end effector T is attached to the tip end side of the sixth joint portion 46 together with the tactile sensor S3.
  • the hardware configuration of the manipulator 4 does not have to be limited to such an example.
  • the components can be omitted, replaced, and added as appropriate according to the embodiment.
  • the manipulator 4 may include sensors other than the encoder S2 and the tactile sensor S3 for observing control quantities or other attributes.
  • the manipulator 4 may further include a torque sensor.
  • the manipulator 4 may measure the force acting on the end effector T with a torque sensor, and may be controlled based on the measured value of the torque sensor so that an excessive force does not act on the end effector T.
  • the number of axes of the manipulator 4 does not have to be limited to six.
  • a known industrial robot may be adopted as the manipulator 4.
  • FIG. 7 schematically illustrates an example of the software configuration of the model generator 1 according to the present embodiment.
  • the control unit 11 of the model generation device 1 expands the model generation program 81 stored in the storage unit 12 into the RAM. Then, the control unit 11 controls each component by interpreting and executing the instruction included in the model generation program 81 expanded in the RAM by the CPU. As a result, as shown in FIG. 7, the model generation device 1 according to the present embodiment operates as a computer including a data acquisition unit 111, a machine learning unit 112, and a storage processing unit 113 as software modules. That is, in the present embodiment, each software module of the model generation device 1 is realized by the control unit 11 (CPU).
  • the data acquisition unit 111 acquires a plurality of learning data sets 121.
  • Each learning data set 121 is composed of a combination of training data 122 indicating a positional relationship between two objects and correct answer data 123 indicating whether or not the two objects come into contact with each other in the positional relationship.
  • the training data 122 is used as input data for machine learning.
  • the correct answer data 123 is used as a teacher signal (label) for machine learning.
  • the formats of the training data 122 and the correct answer data 123 do not have to be particularly limited, and may be appropriately selected depending on the embodiment.
  • the relative coordinates between the two objects may be used as they are, or the values obtained by converting the relative coordinates into feature quantities may be used. From the CAD data 120, it is possible to determine whether or not two objects of the object come into contact with each other in the positional relationship of the objects. Therefore, each learning data set 121 can be generated by using the CAD data 120.
  • the machine learning unit 112 uses the acquired plurality of learning data sets 121 to perform machine learning of the determination model 50. Carrying out machine learning consists of training the determination model 50 for each training data set 121 to output an output value that matches the corresponding correct answer data 123 for the input of the training data 122. .. By this machine learning, it is possible to construct a trained determination model 50 that has acquired the ability to determine whether or not two objects come into contact with each other.
  • the storage processing unit 113 generates information about the constructed learning determination model 50 as learning result data 125, and stores the generated learning result data 125 in a predetermined storage area.
  • Neurons in adjacent layers are connected appropriately.
  • each neuron is connected to all neurons in adjacent layers.
  • a weight (bonding load) is set for each coupling.
  • a threshold is set for each neuron, and basically, the output of each neuron is determined by whether or not the sum of the products of each input and each weight exceeds the threshold.
  • the threshold value may be expressed by an activation function. In this case, the output of each neuron is determined by inputting the sum of the products of each input and each weight into the activation function and executing the operation of the activation function.
  • the type of activation function does not have to be particularly limited and may be appropriately selected depending on the embodiment.
  • the weight of the connection between each neuron and the threshold value of each neuron included in each layer 501 to 503 are examples of the calculation parameters of the determination model 50.
  • the machine learning unit 112 uses a plurality of learning data sets 121 to perform machine learning of the determination model 50 configured by the neural network. Specifically, the machine learning unit 112 adjusts the value of the calculation parameter of the determination model 50, and when the training data 122 is input to the input layer 501 for each learning data set 121, the output value conforming to the correct answer data 123. Is trained in the arithmetic parameters of the determination model 50 so that is output from the output layer 503. As a result, the machine learning unit 112 can generate a trained determination model 50 that has acquired the ability to determine whether or not two objects come into contact with each other.
  • the storage processing unit 113 generates information indicating the structure and calculation parameters of the constructed learned determination model 50 as learning result data 125. Then, the storage processing unit 113 stores the generated learning result data 125 in a predetermined storage area.
  • the content of the learning result data 125 does not have to be limited to such an example as long as the learned determination model 50 can be reproduced. For example, when the structure of the determination model 50 is shared among the devices, the information indicating the structure of the determination model 50 may be omitted in the learning result data 125.
  • the control unit 31 of the control device 3 expands the control program 83 stored in the storage unit 32 into the RAM. Then, the control unit 31 controls each component by interpreting and executing the instruction included in the control program 83 expanded in the RAM by the CPU.
  • the control device 3 includes the target setting unit 311, the state acquisition unit 312, the action determination unit 313, the contact determination unit 314, the command determination unit 315, the drive unit 316, and the data. It operates as a computer including a collection unit 317, a model generation unit 318, and a storage processing unit 319 as software modules. That is, in the present embodiment, each software module of the control device 3 is realized by the control unit 31 (CPU) as in the model generation device 1.
  • the goal setting unit 311 sets the task state of the final goal according to the task to be performed.
  • the task state is defined by the positional relationship between the first object and the second object in the task to be performed. In the present embodiment, the positional relationship is represented by the above relative coordinates.
  • the "final goal” is the end point (goal) and is realized when the task is completed.
  • the state acquisition unit 312 acquires information indicating the current task state of the robot device (manipulator 4).
  • the "current" is a time point at which the operation of the robot device is controlled, and immediately before the control command given to the robot device is determined.
  • the first object and the second object may be appropriately set according to the task to be performed.
  • the first object is the end effector T
  • the second object is the work W.
  • the first coping object is the work W held by the end effector T
  • the second object is another work G.
  • the action determination unit 313 determines the task state of the target to be transitioned to next with respect to the current task state indicated by the acquired information so as to approach the task state of the final target.
  • “Goals” include final goals and may be set as appropriate to achieve the performance of the task. The number of goals set up to the final goal may be one (in this case, only the final goal is set) or may be plural. Goals other than the final goal are transit points that pass from the start point of the task to the end point. Therefore, the final goal may be simply referred to as a "goal”, and a goal other than the final goal may be referred to as a "sub-goal”. The sub-goal may be referred to as a "waypoint".
  • the "next transition goal” is the task state to be aimed at next from the current task state (provisional task state if the goal is other than the final goal). For example, the current task state is changed toward the final goal. The closest goal.
  • the command determination unit 315 determines a control command to be given to the robot device (manipulator 4) so as to change the task state of the robot device (manipulator 4) from the current task state to the target task state.
  • the drive unit 316 drives the robot device by giving the determined control command to the robot device. In the present embodiment, the operation of the manipulator 4 is controlled by these series of processes.
  • the determined result of contact or not by the learned determination model 50 may be directly used in the scene of controlling the operation of the robot device.
  • the determination result of whether or not to make contact by the learned determination model 50 generates an inference model 55 for inferring the task state of the target to be transitioned next from the current task state and the task state of the final target. May be used for.
  • the learned determination result of the determination model 50 may be indirectly used in the scene of controlling the operation of the robot device. In the present embodiment, the latter usage method is selected as the usage method of the determination result of the learned determination model 50.
  • the storage processing unit 319 generates information about the generated inference model 55 as inference model data 325, and stores the generated inference model data 325 in a predetermined storage area.
  • the action determination unit 313 includes the inference model 55 generated by holding the inference model data 325. The action determination unit 313 uses the generated inference model 55 to determine the task state of the target to be transitioned to next with respect to the current task state.
  • each software module of the model generation device 1 and the control device 3 will be described in detail in an operation example described later.
  • an example in which each software module of the model generation device 1 and the control device 3 is realized by a general-purpose CPU is described.
  • some or all of the above software modules may be implemented by one or more dedicated processors.
  • software modules may be omitted, replaced, or added as appropriate according to the embodiment.
  • FIG. 9 is a flowchart showing an example of a processing procedure related to machine learning of the determination model 50 by the model generation device 1 according to the present embodiment.
  • the processing procedure described below is an example of the "model generation method" of the present invention. However, each processing procedure described below is only an example, and each step may be changed as much as possible. Further, for each processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
  • Step S101 the control unit 11 operates as the data acquisition unit 111 and acquires a plurality of learning data sets 121 used for machine learning of the determination model 50.
  • Each learning data set 121 is composed of a combination of training data 122 indicating a positional relationship between two objects and correct answer data 123 indicating whether or not the two objects come into contact with each other in the positional relationship.
  • the method for generating each learning data set 121 does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • two objects are arranged in various positional relationships in a virtual space.
  • the positional relationship is expressed by relative coordinates.
  • at least one of the two objects is an object that moves by the operation of the robot device (manipulator 4).
  • the end effector T and the work W are examples of each object.
  • the work W held by the end effector T and the other work G are examples of the respective objects.
  • One of the two objects is the minion of the manipulator 4, and the other is the target.
  • each object may be specified by the operator or may be randomly determined.
  • various positional relationships may be realized by fixing the position of one object and changing the position of the other object according to the rules. Rules that give the placement of the other object may be set as appropriate.
  • the relative coordinates in each positional relationship can be acquired as the training data 122 of each learning data set 121.
  • the CAD data 120 includes a model of each object. Therefore, it is possible to determine whether or not the two objects of the target come into contact with each other in the positional relationship of the objects from the CAD data 120.
  • each learning data set 121 can be generated.
  • the method of generating each learning data set 121 does not have to be limited to such an example.
  • Each learning data set 121 may be generated by using the actual object of each object in the real space.
  • Each learning data set 121 may be automatically generated by the operation of a computer, or may be manually generated by at least partially including an operator's operation. Further, the generation of each learning data set 121 may be performed by the model generation device 1, or may be performed by a computer other than the model generation device 1.
  • the control unit 11 automatically or manually executes the above series of processes by an operation via the operator's input device 15, thereby performing a plurality of learning data. Acquire set 121.
  • the control unit 11 acquires a plurality of learning data sets 121 generated by the other computer via, for example, a network or a storage medium 91.
  • the CAD data 120 may be omitted from the model generator 1.
  • Some training data sets 121 may be generated by the model generator 1 and other training data sets 121 may be generated by one or more other computers.
  • Step S102 the control unit 11 operates as the machine learning unit 112, and uses the acquired plurality of learning data sets 121 to perform machine learning of the determination model 50.
  • the control unit 11 inputs the training data 122 to the input layer 501 for each learning data set 121 by machine learning, the output value corresponding to the corresponding correct answer data 123 is output from the output layer 503.
  • the determination model 50 is trained as follows. As a result, the control unit 11 constructs a learned determination model 50 that has acquired the ability to determine whether or not two objects come into contact with each other in the positional relationship of the objects.
  • the processing procedure of machine learning may be appropriately determined according to the embodiment.
  • the control unit 11 first prepares a determination model 50 to be processed.
  • the structure of the judgment model 50 to be prepared (for example, the number of layers, the number of neurons contained in each layer, the connection relationship between neurons in adjacent layers, etc.), the initial value of the weight of the connection between each neuron, and the threshold value of each neuron.
  • the initial value of may be given by the template or by the input of the operator.
  • the control unit 11 may prepare the determination model 50 based on the learning result data obtained by performing the past machine learning.
  • control unit 11 uses the training data 122 included in each learning data set 121 as input data and the correct answer data 123 as a teacher signal to execute the learning process of the determination model 50 (neural network). ..
  • a batch gradient descent method, a stochastic gradient descent method, a mini-batch gradient descent method, or the like may be used.
  • the control unit 11 inputs the training data 122 into the determination model 50 for each learning data set 121, and executes the arithmetic processing of the determination model 50. That is, the control unit 11 inputs the training data 122 to the input layer 501, and determines the firing of each neuron included in each layer 501 to 503 in order from the input side (that is, performs a forward propagation calculation). By this arithmetic processing, the control unit 11 acquires an output value corresponding to the result of determining whether or not the two objects come into contact with each other in the positional relationship indicated by the training data 122 from the output layer 503 of the determination model 50. ..
  • the control unit 11 uses the error gradient of the output value calculated by the back propagation method to obtain each calculation parameter of the determination model 50 (weight of connection between each neuron, Calculate the error of the value of each neuron (threshold value, etc.).
  • the control unit 11 updates the value of the calculation parameter of the determination model 50 based on each calculated error.
  • the degree to which the value of the arithmetic parameter is updated may be adjusted by the learning rate.
  • the learning rate may be given by the operator's designation, or may be given as a set value in the program.
  • the control unit 11 determines that the sum of the errors between the output value output from the output layer 503 and the correct answer data 123 is small for each learning data set 121. Adjust the values of the arithmetic parameters of the model 50. For example, the control unit 11 may repeat the processes of the first to fourth steps until the sum of the errors becomes equal to or less than the threshold value.
  • the threshold value may be appropriately set according to the embodiment.
  • the control unit 11 is trained so that when the training data 122 is input to the input layer 501 for each learning data set 121, the output value corresponding to the corresponding correct answer data 123 is output from the output layer 503.
  • the trained determination model 50 can be constructed.
  • This "matching" may include that an acceptable difference due to a threshold value or the like occurs between the output value of the output layer 503 and the teacher signal (correct answer data 123).
  • the control unit 11 proceeds to the next step S103.
  • Step S103 the control unit 11 operates as a storage processing unit 113, and stores information about the learned determination model 50 constructed by machine learning as learning result data 125 in a predetermined storage area.
  • the control unit 11 generates information indicating the structure and calculation parameters of the learned determination model 50 constructed in step S102 as learning result data 125. Then, the control unit 11 stores the generated learning result data 125 in a predetermined storage area.
  • the predetermined storage area may be, for example, a RAM in the control unit 11, a storage unit 12, an external storage device, a storage medium, or a combination thereof.
  • the storage medium may be, for example, a CD, a DVD, or the like, and the control unit 11 may store the learning result data 125 in the storage medium via the drive 17.
  • the external storage device may be, for example, a data server such as NAS (Network Attached Storage). In this case, the control unit 11 may store the learning result data 125 in the data server via the network by using the communication interface 13. Further, the external storage device may be, for example, an external storage device connected to the model generation device 1.
  • the generated learning result data 125 may be provided to the control device 3 at an arbitrary timing.
  • the control unit 11 may transfer the learning result data 125 to the control device 3 as the process of step S103 or separately from the process of step S103.
  • the control device 3 may acquire the learning result data 125 by receiving this transfer.
  • the control device 3 may acquire the learning result data 125 by accessing the model generation device 1 or the data server via the network by using the communication interface 33.
  • the control device 3 may acquire the learning result data 125 via the storage medium 93.
  • the learning result data 125 may be incorporated in the control device 3 in advance.
  • control unit 11 may update or newly generate the learning result data 125 by repeating the processes of steps S101 to S103 periodically or irregularly. At the time of this repetition, at least a part of the learning data set 121 may be changed, modified, added, deleted, or the like as appropriate. Then, the control unit 11 may update the learning result data 125 held by the control device 3 by providing the updated or newly generated learning result data 125 to the control device 3 each time the learning process is executed. ..
  • step S201 the control unit 31 receives the designation of the task state of the final goal for the task to be executed by the manipulator 4.
  • the task state is represented by the positional relationship between the first object and the second object.
  • the positional relationship is expressed by relative coordinates.
  • the method of designating the relative coordinates in the final task state does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • the relative coordinates in the final task state may be directly specified by the operator's input via the input device 35.
  • the task to be performed may be selected by the input of the operator, and the relative coordinates in the final task state may be specified according to the selected task.
  • the relative coordinates in the final target may be specified by arranging the model of each object in the positional relationship of the final target in the virtual space by using the CAD data 320. The placement of the model of each object may be performed automatically by the simulator or manually by input of the operator.
  • the control unit 31 proceeds to the next step S202.
  • step S202 the control unit 31 sets an arbitrary task state as a start point.
  • the task state set at the start point corresponds to the task state at the time when the task execution is started.
  • the task state as the starting point may be set randomly, or may be specified by the input of the operator.
  • the method of designating the starting point by the operator may be the same as the method of designating the final goal.
  • the task state as a starting point may be determined by an arbitrary algorithm.
  • image data in which each object is captured may be acquired by arranging the actual object of each object in a real space and photographing each object with a camera. Then, by performing image processing (for example, matching by CAD data 320) on the obtained image data, a task state as a starting point may be determined.
  • the task state as the starting point may be appropriately determined by using the CAD data 320.
  • step S203 the control unit 31 operates as the contact determination unit 314, and uses the learned determination model 50 to determine whether or not the two objects come into contact with each other in the task state set as the start point.
  • the control unit 31 sets the learned determination model 50 with reference to the learning result data 125.
  • the control unit 31 inputs the relative coordinates of the task state set in step S202 to the input layer 501 of the learned determination model 50.
  • the control unit 31 performs firing determination of each neuron included in each layer 501 to 503 in order from the input side as an arithmetic process of the learned determination model 50.
  • the control unit 31 acquires an output value corresponding to the result of determining whether or not the two objects come into contact with each other in the task state set as the start point from the output layer 503 of the learned determination model 50.
  • step S204 the control unit 31 determines the branch destination of the process based on the determination result of step S203.
  • step S203 determines that the two objects come into contact with each other in the task state set at the start point.
  • the control unit 31 returns the process to step S202 and sets the task state at the start point again.
  • the control unit 31 recognizes the task state of the set start point as the current task state of the manipulator 4. The process proceeds to the next step S205.
  • step S205 the control unit 31 determines the task state of the target to be transitioned to next with respect to the current task state so as to approach the task state of the final target.
  • the control unit 31 may set a node that is a candidate for a target task state in the task space SP.
  • the node setting may be automatically performed by a method such as random sampling, or may be manually performed by the input of the operator. Some nodes may be set automatically and the remaining nodes may be set manually.
  • the control unit 31 may appropriately select a combination of transitionable nodes. As a method of selecting a combination of transitionable nodes, for example, the nearest neighbor method may be adopted. Within the task space SP, the combination of transitionable nodes may be represented by edges connecting the nodes.
  • control unit 31 searches for a route from the node Ns at the start point to the node Ng at the final target.
  • Dijkstra's algorithm or the like may be adopted as the route search method.
  • the control unit 31 may acquire the task state corresponding to the node included in the route obtained by the search as the target task state.
  • step S206 the control unit 31 operates as the contact determination unit 314, and uses the learned determination model 50 to determine whether or not the two objects come into contact with each other in the determined target task state. ..
  • the control unit 31 may execute the process of step S206 in the same manner as in step S203, except that the task state of the start point is replaced with the task state of the target. That is, the control unit 31 inputs the relative coordinates of the target task state into the learned determination model 50, and executes the arithmetic processing of the learned determination model 50. As a result, the control unit 31 acquires an output value corresponding to the result of determining whether or not the two objects come into contact with each other in the target task state from the learned determination model 50.
  • step S207 the control unit 31 determines the branch destination of the process based on the determination result of step S206. If it is determined in step S206 that the two objects come into contact with each other in the target task state, the control unit 31 returns the process to step S205 and redetermines the target task state. On the other hand, when it is determined that the two objects do not come into contact with each other in the target task state, the control unit 31 proceeds to the next step S208.
  • step S207 does not have to be limited to such an example.
  • the control unit 31 may return the process to step S202 and restart the process from the setting of the start point. Further, for example, when it is determined that the two objects come into contact with each other in the finally determined target task state after the target task state is determined a plurality of times, the control unit 31 returns the process to step S205.
  • the task state of the next transition target may be determined again from the starting point.
  • the series of target task states determined by contact may be collected as failure cases in which the final target task state cannot be reached.
  • FIG. 11B schematically illustrates an example of a scene in which the target task state is determined by the processes of steps S205 to S207 in the task space SP.
  • the node N1 corresponds to the relative coordinates in the task state determined as the target task state to be transferred next to the task state (node Ns) of the start point.
  • the target task state for one transition is determined in step S205.
  • the number of target task states determined in step S205 is not limited to one.
  • the control unit 31 may determine the target task state (series of target task states) for a plurality of transitions toward the final target task state.
  • step S208 the control unit 31 shifts the current task state of the manipulator 4 to the target task state determined in step S205. Then, the control unit 31 determines whether or not the task state of the manipulator 4 has reached the task state of the final target, that is, whether or not the task state of the transition destination is the task state of the final target. The transition of the task state may be performed in the virtual space by simulation. When it is determined that the task state of the final target has been reached, the control unit 31 proceeds to the next step S209. On the other hand, if it is determined that the task state of the final target has not been reached, the control unit 31 returns the process to step S205 and determines the task state of a further target.
  • FIG. 11C schematically illustrates an example of a scene in which a sequence of task states transitioning from the task state of the start point to the task state of the final goal is determined by the processing up to step S208 in the task space SP.
  • Each node N1 to N4 corresponds to the relative coordinates in the task state determined as the target task state from the start point node Ns to the final target node Ng.
  • Node N (k + 1) indicates the task state of the target to be transitioned to next to node N (k) (k is 1 to 3).
  • the control unit 31 can obtain a sequence of task states of the target transitioning from the start point to the final target.
  • step S209 the control unit 31 determines whether or not to repeat the processes of steps S202 to S208.
  • the criteria for repeating the treatment may be appropriately determined according to the embodiment.
  • control unit 31 may inquire the operator whether or not to repeat the process. In this case, the control unit 31 determines whether or not to repeat the processes of steps S202 to S208 according to the response of the operator. When the operator replies that the process is repeated, the control unit 31 returns the process to step S202 and repeats the processes of steps S202 to S208. On the other hand, when the operator replies that the process is not repeated, the control unit 31 proceeds to the next step S210.
  • the control unit 31 operates as a data collection unit 317 and collects one or more series of task states of the target transitioning from the start point to the final target. Then, the control unit 31 generates the learning data 323 from the collected sequence.
  • the control unit 31 may acquire the collected sequence as it is as learning data 323, or may generate learning data 323 by executing some kind of information processing on the collected sequence.
  • the configuration of the training data 323 may be appropriately determined depending on the method of generating the inference model 55. The configuration of the learning data 323 will be described later.
  • step S210 the control unit 31 operates as a model generation unit 318. That is, the control unit 31 uses the learning data 323 obtained by using the result of the determination by the learned determination model 50 to prevent the first object from coming into contact with the second object, so that the current task An inference model 55 for inferring the task state of the target that transitions next from the task state of the state and the final goal is generated.
  • the method of generating the inference model 55 will be described later.
  • the control unit 31 operates as the storage processing unit 319. That is, the control unit 31 generates information about the generated inference model 55 as inference model data 325, and stores the generated inference model data 325 in a predetermined storage area.
  • the predetermined storage area may be, for example, a RAM in the control unit 31, a storage unit 32, an external storage device, a storage medium, or a combination thereof.
  • the storage medium may be, for example, a CD, a DVD, or the like, and the control unit 31 may store the inference model data 325 in the storage medium via the drive 37.
  • the external storage device may be, for example, a data server such as NAS. In this case, the control unit 31 may store the inference model data 325 in the data server via the network by using the communication interface 33. Further, the external storage device may be, for example, an external storage device connected to the control device 3.
  • control unit 31 ends a series of processes related to the generation of the inference model 55.
  • control unit 31 can generate the inference model 55 by at least one of the following two methods.
  • the control unit 31 generates an inference model 55 by performing machine learning.
  • the inference model 55 is composed of a machine learning model.
  • the type of the machine learning model does not have to be particularly limited, and may be appropriately selected depending on the embodiment.
  • the inference model 55 may be represented by, for example, a function expression, a data table, or the like. When expressed by a functional expression, the inference model 55 may be composed of, for example, a neural network, a support vector machine, a regression model, a decision tree, or the like.
  • the machine learning method is not particularly limited, and may be appropriately selected according to the configuration of the inference model 55. For example, supervised learning, reinforcement learning, and the like may be adopted as the machine learning method of the inference model 55.
  • supervised learning, reinforcement learning, and the like may be adopted as the machine learning method of the inference model 55.
  • FIG. 12 schematically shows a first example of a machine learning model and a machine learning method constituting the inference model 55.
  • the inference model 55 uses a neural network
  • the machine learning method uses supervised learning.
  • one example of each of the inference model 55, the training data 323, and the inference model data 325 is referred to as the inference model 551, the training data 3231, and the inference model data 3251.
  • the inference model 551 is composed of a recurrent neural network having a three-layer structure. Specifically, the inference model 551 includes an input layer N51, an RSTM (Long short-term memory) block N52, and an output layer N53. The LSTM block N52 corresponds to the intermediate layer.
  • the LSTM block N52 is a block provided with an input gate and an output gate so that the timing of information storage and output can be learned (S. Hochreiter and J. Schmidhuber, “Long short-term memory” Neural Computation, 9). (8): 1735-1780, November 15, 1997).
  • the LSTM block N52 may further include a forgetting gate that adjusts the timing of information forgetting (Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continuous Prediction with LSTM” Neural Computation, pages 2451-2471. , October 2000).
  • the configuration of the LSTM block N52 may be appropriately set according to the embodiment.
  • the structure of the inference model 551 does not have to be limited to such an example, and may be appropriately determined according to the embodiment.
  • the inference model 551 may be composed of recurrent neural networks having different structures.
  • the inference model 551 is not a recursive type, but may be configured by a fully connected neural network or a convolutional neural network as in the determination model 50.
  • the inference model 551 may be composed of a combination of a plurality of types of neural networks.
  • the number of intermediate layers included in the inference model 551 is not limited to one, and may be two or more. Alternatively, the intermediate layer may be omitted.
  • the configuration of the inference model 551 may be the same as that of the determination model 50.
  • the learning data 3231 used for supervised learning of the inference model 551 is a plurality of learning data sets including a combination of training data (input data) and correct answer data (teacher signal). It is composed of L30.
  • the training data may be composed of relative coordinates in the current task state L31 for training and relative coordinates in the task state L32 of the final goal for training.
  • the correct answer data may be composed of relative coordinates in the task state L33 of the training target.
  • the format of the training data and the correct answer data does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • the relative coordinates may be used as they are for the training data, or the values obtained by converting the relative coordinates into feature quantities may be used.
  • the control unit 31 can generate each learning data set L30 from one or more series of target task states obtained by the processing up to step S209.
  • the task state of the final goal indicated by the node Ng can be used as the task state L32 of the final goal for training.
  • the control unit 31 indicates the task state L33 of the target for training in the corresponding correct answer data by the node N1. You may set the task state to be used.
  • the control unit 31 sets the node N () to the target task state L33 for training in the corresponding correct answer data.
  • the task state indicated by k + 1) may be set.
  • the control unit 31 sets the task state indicated by the node N4 to the current task state L31 for training, the control unit 31 sets the task state L33 of the target for training in the corresponding correct answer data to the task of the final target indicated by the node Ng. You may set the state.
  • each learning data set L30 can be generated from one or more series of the obtained target task states.
  • Step S210 the control unit 31 performs machine learning (supervised learning) of the inference model 551 using the acquired plurality of learning data sets L30.
  • the control unit 31 uses machine learning to input training data to the input layer N51 for each learning data set L30, and then outputs an output value matching the correct answer data from the output layer N53. Train 551.
  • it is possible to generate a trained inference model 551 that has acquired the ability to infer the task state of the target that transitions next from the current task state and the task state of the final goal.
  • the machine learning method of the inference model 551 may be the same as the machine learning method of the determination model 50. That is, in the first step, the control unit 31 inputs training data to the input layer N51 of the inference model 551 for each learning data set L30, and executes the arithmetic processing of the inference model 551. As a result, the control unit 31 acquires an output value corresponding to the result of inferring the target task state to be transitioned to the current task state from the output layer L53 of the inference model 551. In the second step, the control unit 31 calculates the error between the output value of the output layer L53 and the correct answer data based on the loss function.
  • the control unit 31 calculates the error of the value of each calculation parameter of the inference model 551 by using the gradient of the error of the output value calculated by the error back propagation method.
  • the control unit 31 calculates the error of the value of each calculation parameter (for example, the weight of the connection between each neuron, the threshold value of each neuron, etc.) of the inference model 551 by using the calculated error gradient.
  • the control unit 31 updates the value of the calculation parameter of the inference model 551 based on each calculated error.
  • the degree of renewal may be adjusted by the learning rate.
  • the learning rate may be given by the operator's designation, or may be given as a set value in the program.
  • the control unit 31 reduces the sum of the errors between the output value output from the output layer N53 and the correct answer data for each learning data set L30. Adjust the value of the calculation parameter of 551.
  • the control unit 31 may repeat the processes of the first to fourth steps until the sum of the errors becomes equal to or less than the threshold value.
  • the threshold value may be appropriately set according to the embodiment.
  • the control unit 31 may repeat the first to fourth steps a predetermined number of times. The number of times to repeat the adjustment may be specified, for example, by a set value in the program or by input of an operator.
  • a trained inference model 551 can be constructed so as to be trained. That is, it is possible to construct a trained inference model 551 that has acquired the ability to infer the task state of the target that transitions next from the current task state and the task state of the final goal.
  • step S211 the control unit 31 generates information indicating the structure and calculation parameters of the learned inference model 551 constructed by supervised learning as inference model data 3251. Then, the control unit 31 stores the generated inference model data 3251 in a predetermined storage area.
  • the content of the inference model data 3251 does not have to be limited to such an example as long as the learned inference model 551 can be reproduced. For example, when the structure of the inference model 551 is shared among the devices, the information indicating the structure of the inference model 551 may be omitted in the inference model data 3251.
  • the configuration of the inference model 551 is not limited to the neural network.
  • a machine learning model other than the neural network may be adopted as the inference model 551.
  • a support vector machine, a regression model, a decision tree, or the like may be adopted as the machine learning model constituting the inference model 551.
  • the method of supervised learning is not limited to the above example, and may be appropriately selected depending on the configuration of the machine learning model.
  • FIG. 13 schematically shows a second example of the machine learning model and the machine learning method constituting the inference model 55.
  • reinforcement learning is adopted as the method of machine learning.
  • one example of each of the inference model 55, the training data 323, and the inference model data 325 is referred to as the inference model 552, the training data 3232, and the inference model data 3252.
  • the inference model 552 may be value-based, policy-based, or both.
  • the inference model 552 may be composed of value functions such as a state value function and an action value function (Q function), for example.
  • the state value function is configured to output the value of a given state.
  • the action value function is configured to output the value of each action for a given state.
  • the inference model 552 may be constructed, for example, by a policy function.
  • the policy function is configured to output the probability of selecting each action for a given state.
  • the inference model 552 may be composed of, for example, a value function (Critic) and a policy function (Actor).
  • Each function may be represented by, for example, a data table, a function expression, or the like.
  • each function When expressed by a function expression, each function may be composed of a neural network, a linear function, a decision tree, or the like.
  • Deep reinforcement learning may be performed by constructing each function by a multi-layered neural network having a plurality of intermediate (hidden) layers.
  • (1-2-2) Example of structure of learning data
  • an agent interacts with the learning environment by acting according to a policy.
  • the entity of the agent is, for example, a CPU.
  • the inference model 552 operates as a measure for determining behavior by the above configuration.
  • the agent observes the state of strengthening behavior within a given learning environment.
  • the state to be observed is the task state defined by the relative coordinates
  • the action to be executed is the transition from the current task state to the target task state.
  • the policy is configured to determine (infer) the task state of the next target to transition from the current task state and the task state of the final goal.
  • the agent may infer the task state of the target to be transitioned next by giving the observed current task state (input data) to the inference model 552.
  • the agent may determine the target task state based on the result of this inference. Alternatively, the target task state may be randomly determined. This allows the agent to decide which action to take. When the agent executes an action that transitions to the determined target task state, the observed task state transitions to the next task state. In some cases, agents can get immediate rewards from the learning environment.
  • the agent updates the inference model 552 so as to maximize the sum (that is, the value) of the immediate reward.
  • the optimum behavior that is, the behavior that can be expected to acquire high value is strengthened, and a policy (learned inference model 552) that enables selection of such behavior can be obtained.
  • the training data 3232 is the state transition data obtained by this trial and error, and the executed action transitions from the current task state to the next task state, and in some cases, an immediate reward is obtained. It is composed of state transition data showing state transitions.
  • One state transition data may be composed of data showing the locus of state transitions of all episodes, or may be composed of data showing state transitions for a predetermined number of times (one or more times).
  • the control unit 31 can acquire the state transition data by executing the trial and error using the inference model 552 being trained.
  • a reward function may be used to calculate the immediate reward according to the state transition.
  • the reward function may be represented by a data table, a function expression, or a rule.
  • the reward function When expressed by a function expression, the reward function may be composed of a neural network, a linear function, a decision tree, or the like.
  • the reward function may be set manually by an operator or the like.
  • the reward function determines whether or not the first object and the second object come into contact with each other in the task state of the transition target by the learned determination model 50, and the task state and final of the target. It may be set to give immediate rewards depending on the distance between the target task states. Specifically, the immediate reward is set more as the first object and the second object do not come into contact with each other and the distance between the task state of the target and the task state of the final goal is shorter, and the first object is set. And the second objects come into contact with each other, or the longer the distance, the smaller the setting may be made. Equation 1 below exemplifies an example of a reward function that gives an immediate reward in this way.
  • the reward function may be estimated by inverse reinforcement learning from case data obtained by an expert.
  • the case data may be composed of data showing (trajectory) demonstration by an expert.
  • the case data may be composed of, for example, data indicating a route in which the first object is actually moved so as to reach the task state of the final target from the task state of an arbitrary start point.
  • the method for generating case data does not have to be particularly limited, and may be appropriately selected depending on the embodiment.
  • the case data may be generated, for example, by recording the trajectory of the demonstration by an expert with a sensor or the like.
  • the method of reverse reinforcement learning is not particularly limited and may be appropriately selected according to the embodiment.
  • reverse reinforcement learning for example, a method based on the principle of maximum entropy, a method based on the minimization of relative entropy, and a method using a hostile generation network (for example, Justin Fu, et al., "Learning Robust Rewards with Adversarial Inverse Reinforcement Learning” , ArXiv: 1710.11248, 2018) etc. may be used.
  • the learning data 3232 may further include case data used for inverse reinforcement learning.
  • step S210 the control unit 31 updates the value of the calculation parameter of the inference model 552 so as to maximize the value based on the obtained state transition data.
  • the method of adjusting the value of the calculation parameter of the inference model 552 may be appropriately selected according to the configuration of the inference model 552. For example, when the inference model 552 is composed of a neural network, the values of the arithmetic parameters of the inference model 552 may be adjusted by an error backpropagation method or the like in the same manner as in the first example.
  • the control unit 31 adjusts the value of the calculation parameter of the inference model 552 so that the obtained value (expected value) is maximized (for example, until the update amount becomes equal to or less than the threshold value). That is, training the inference model 552 repeatedly corrects the values of the arithmetic parameters constituting the inference model 552 so that a large amount of reward can be obtained until a predetermined condition (for example, the update amount becomes equal to or less than the threshold value) is satisfied. Including that. As a result, the control unit 31 can generate a trained inference model 552 that has acquired the ability to infer the task state of the target that transitions next from the current task state and the task state of the final target.
  • the TD (temporal difference) method, the TD ( ⁇ ) method, the Monte Carlo method, the dynamic programming method, or the like may be used as the reinforcement learning method.
  • the decision of action in trial and error may be on-polish or off-polish.
  • Q-learning, Sarasa, or the like may be used as the reinforcement learning method.
  • a random action may be adopted with a probability of ⁇ ( ⁇ -greedy method).
  • the policy gradient method may be used as the reinforcement learning method.
  • the control unit 31 calculates the gradient of the operation parameter of the policy function in the direction in which the obtained value increases, and updates the value of the operation parameter of the policy function based on the calculated gradient.
  • the REINFORCE algorithm may be used to calculate the gradient of the policy function.
  • the inference model 55 is composed of both, the Actor Critic method, A2C (Advantage Actor Critic), A3C (Asynchronous Advantage Actor Critic), and the like may be used as the reinforcement learning method.
  • the control unit 31 further acquires the case data before executing the above-mentioned reinforcement learning process.
  • the case data may be generated by the control device 3 or may be generated by another computer.
  • the control unit 31 may acquire case data generated by the other computer via a network, a storage medium 93, or the like.
  • the control unit 31 sets the reward function by executing the inverse reinforcement learning using the acquired case data.
  • the control unit 31 executes the above-mentioned reinforcement learning process by using the reward function set by the inverse reinforcement learning.
  • the control unit 31 has acquired the ability to infer the task state of the target to be next transitioned from the current task state and the task state of the final goal by using the reward function set by the inverse reinforcement learning.
  • Inference model 552 can be generated.
  • FIG. 14A schematically illustrates an example of learning data 323 in the second method.
  • FIG. 14B schematically illustrates an example of the configuration of the inference model 55 in the second method.
  • the inference model 55 is composed of a potential field that defines the potential of each coordinate in the task space SP that represents a set of task states.
  • examples of the inference model 55, the training data 323, and the inference model data 325 are referred to as the inference model 553, the training data 3233, and the inference model data 3253.
  • the control unit 31 uses the learned determination model 50 in the task space SP to perform path planning so that the first object does not come into contact with the second object. carry out.
  • the control unit 31 generates learning data 3233 indicating the path Hb from each of the plurality of task states given as the start points (nodes Ns) to the final target task state. be able to.
  • Each starting point (node Ns) may be given randomly.
  • step S210 the control unit 31 creates a potential field by setting the potential of each coordinate according to the frequency of passage of each path Hb indicated by the generated learning data 3233.
  • the method for deriving the potential field does not have to be particularly limited, and may be appropriately selected depending on the embodiment.
  • the control unit 31 may derive a potential field from the learning data 3233 by, for example, kernel density estimation and estimation using a Gaussian Mixture Model (GMM).
  • GMM Gaussian Mixture Model
  • the potential of each coordinate in the potential field indicates the evaluation value of the positional relationship between the first object and the second object at each coordinate with respect to reaching the final target. That is, the higher the potential, the higher the possibility that the positional relationship at the coordinates will reach the final target, and the lower the potential, the lower the possibility that the positional relationship at the coordinates will reach the final target. Therefore, by transitioning to the higher potential gradient, it is possible to appropriately reach the final target task state from any task state that is the starting point. Therefore, according to the second method, the inference model 55 that can be used to perform the task can be appropriately generated.
  • step S211 the control unit 31 generates information indicating the generated potential field as inference model data 3253.
  • the potential field may be represented by a data table, a function expression, or the like. Then, the control unit 31 stores the generated inference model data 3253 in a predetermined storage area.
  • At least one of the above two methods may be adopted as a method for generating the inference model 55.
  • the control unit 31 makes a transition from the current task state and the final target task state so that the first object does not come into contact with the second object. It is possible to generate an inference model 55 configured to infer the task state of the target to be achieved.
  • Inferring the task state of the target so that the first object does not come into contact with the second object is a task of the target while avoiding unintended contact between the first object and the second object. It is to determine the state, and may include, for example, determining the task state in which the first object properly contacts the second object, such as the end effector T holding the work W, as the target task state. .. That is, in the "contact" state to be avoided, for example, one of the first object and the second object has a correct posture with respect to the other, for example, an excessive force acts between the first object and the second object. It is a state of improper contact such as contact in a state other than assembling in. Therefore, "the first object does not come into contact with the second object" may be replaced with "avoid the first object coming into contact with the second object in an improper state".
  • FIGS. 15A, 15B, and 16 are flowcharts showing an example of a processing procedure related to operation control of a robot device (manipulator 4) by the control device 3 according to the present embodiment.
  • FIG. 16 shows an example of the flow of calculation processing of each element in the process of motion control.
  • the processing procedure described below including the processing procedure for generating the inference model 55, is an example of the "control method" of the present invention.
  • each processing procedure described below is only an example, and each step may be changed as much as possible. Further, for each processing procedure described below, steps can be omitted, replaced, and added as appropriate according to the embodiment.
  • the operation of the robot device (manipulator 4) described below may be controlled in the real space or in the virtual space.
  • the control unit 31 accepts the execution of the task of moving the first object with respect to the second object in the environment where the first object and the second object exist.
  • a series of operations in which the manipulator 4 is driven, the work W is held by the end effector T, and the held work W is assembled to another work G is an example of a designated task.
  • the attention point T0 of the end effector T is treated as the minion of the manipulator 4, and the work W is the target of the movement of the minion.
  • the attention point W0 of the work W held by the end effector T is treated as a minion of the manipulator 4, and the work W The other work W to be assembled is the target for the movement of the hand.
  • the minion of the manipulator 4 corresponds to the first object
  • the target object corresponds to the second object.
  • step S302 the control unit 31 operates as the target setting unit 311 and sets the task state s g of the final target according to the designated task.
  • the task state is defined by the positional relationship between the minion of the manipulator 4 and the target object.
  • the positional relationship is expressed by relative coordinates.
  • the relative coordinates in the task state s g of the final goal may be given by a simulator such as CAD, or may be given by the operator's designation.
  • the relative coordinates in the task state s g of the final goal may be set by the same method as in step S201.
  • step S303 the control unit 31 acquires sensing data from each sensor that observes the environment for performing the task.
  • the control unit 31 can acquire measurement data of the force acting on the end effector T from the tactile sensor S3 as sensing data.
  • the control unit 31 may directly acquire the sensing data from each sensor (camera S1, encoder S2, tactile sensor S3), or indirectly acquire the sensing data via, for example, another computer. It may be acquired as a target.
  • the camera S1 and the tactile sensor S3 are examples of sensors for observing the state of the work W with respect to the end effector T, respectively.
  • the control unit 31 proceeds to the next step S304.
  • Step S304 the control unit 31 determines whether or not the end effector T holds the work W based on the acquired sensing data.
  • the determination method does not have to be particularly limited and may be appropriately determined according to the sensing data.
  • image data showing the task environment can be acquired from the camera S1 as sensing data. Therefore, the control unit 31 may use the CAD data 320 to match the models of the end effector T and the work W with the acquired image data. Then, the control unit 31 may determine whether or not the end effector T holds the work W based on the positional relationship between the end effector T and the work W specified by the matching result.
  • a known image processing method may be used as the matching method.
  • the control unit 31 may determine whether or not the end effector T holds the work W based on the distribution of the force appearing in the measurement data. When it is estimated from the measurement data that a force recognized by the end effector T holding the work W is acting on the end effector T, the control unit 31 determines that the end effector T is holding the work W. You may judge. On the other hand, if this is not the case, the control unit 31 may determine that the end effector T does not hold the work W.
  • control unit 31 proceeds to the next step S305.
  • Step S305 the control unit 31 sets the operation mode of the manipulator 4 based on the result of the determination in step S304. Specifically, when it is determined that the end effector T does not hold the work W, the control unit 31 sets the attention point T0 of the end effector T to the hand of the manipulator 4, and holds the work W by the end effector T. Set the operation mode to the mode for executing the first task. On the other hand, when it is determined that the end effector T holds the work W, the control unit 31 sets the attention point W0 of the work W to the hand of the manipulator 4, and sets the work W held by the end effector T to another work W. The operation mode is set to the mode for executing the second task to be assembled to the work G. When the setting of the operation mode is completed, the control unit 31 proceeds to the next step S306.
  • Step S306 the control unit 31 operates as the state acquisition unit 312 to acquire the current task state s (j) of the manipulator 4.
  • the task state s is defined by the relative coordinates of the work W with respect to the end effector T.
  • the task state s is defined by the relative coordinates of the other work G with respect to the work W.
  • the control unit 31 uses the CAD data 320 to match each object with the image data obtained by the camera S1. The control unit 31 can acquire the current task state s (j) from the result of this matching.
  • FIG. 17 schematically illustrates an example of the positional relationship of each object.
  • the origin of the observation space is set in the pedestal portion 40 of the manipulator 4.
  • the position of the origin does not have to be limited to such an example, and may be determined according to the embodiment.
  • Homogeneous coordinates of the camera S1 with respect to the origin (T C) can be expressed by Equation 2 below.
  • R rc indicates the rotation component when the coordinate system of the camera S1 is viewed from the coordinate system of the origin, and t rc indicates the translation component.
  • T R the origin of the coordinates (T R), the camera S1 so as to satisfy the equation 3 below is assumed to be calibrated.
  • the relative coordinates of the point of interest T0 of the end effector T with respect to the origin are the coordinates (T t ) of the end effector T.
  • the relative coordinates of the point of interest W0 of the work W with respect to the origin are the coordinates (T w ) of the work W.
  • the relative coordinates of the point of interest G0 of the other work G with respect to the origin are the coordinates (T g ) of the other work G.
  • the control unit 31 can obtain the values of each coordinate (T t , T w , T g ) by matching the model of each object with the image data by using the CAD data 320.
  • the control unit 31 substitutes the current values (T t (j) , T w (j) ) of the coordinates of the end effector T and the work W obtained as a result of the matching into the above equation 4, and the above equation 4
  • the current task state s (j) can be calculated by executing the arithmetic processing of.
  • the control unit 31 substitutes the current values (T w (j) , T g (j) ) of each coordinate of the work W and the other work G obtained as a result of matching into the above equation 5, and substitutes the above equation 5.
  • the current task state s (j) can be calculated by executing the arithmetic processing of 5.
  • the expression of each coordinate (T t , T w , T g ) may be appropriately selected. For example, a homogeneous coordinate system may be used to represent each coordinate (T t , T w , T g). The same applies to the following.
  • control unit 31, in the image data obtained by the camera S1 may further calculate the origin of the coordinates (T R). Markers such as markers may be used to detect the origin. That is, by matching the mark in the image data, the origin of the coordinate (T R) may be calculated.
  • step S306 When the current task state s (j) is acquired, the control unit 31 proceeds to the next step S307.
  • the timing of executing the process of step S306 does not have to be limited to such an example.
  • the process of step S306 may be executed at an arbitrary timing before executing step S308 described later. For example, when matching is performed by CAD data 320 in step S304, the process of step S306 may be executed together with the process of step S304.
  • Step S307 the control unit 31 calculates the current value x (j) of the coordinates of the hand of the manipulator 4 from the acquired sensing data.
  • the sensing data obtained by at least one of the camera S1, each encoder S2, and the tactile sensor S3 may be used for calculating the current value x (j) of the hand coordinates.
  • the control unit 31 can calculate the current value x (j) of the hand coordinates by at least one of the following two methods.
  • the control unit 31 performs forward kinematics calculation using the first transformation matrix group ( ⁇ ) derived from the first linear transformation matrix of each joint as a transformation function, and the current value q (of the angle of each joint). Calculate the current value x (j) of the hand coordinates set from j).
  • the relationship between the coordinates (x t ) of the point of interest T0 of the end effector T and the angle (q) of each joint can be expressed by the above equation 6.
  • the angle (q) is a variable having a number of dimensions corresponding to the number of joints.
  • the relationship between the first linear transformation matrix ( m-1 T m ) and the first transformation matrix group ( ⁇ ) of each joint is given by the above equation 7 (m is 0 to n. N is the joint. number).
  • the first homogeneous transformation matrix represents the relative coordinates of the coordinate system of the target joint as seen from the coordinate system on the hand side of the target joint, and converts the coordinates from the coordinate system on the hand side to the coordinate system of the target joint. It is used for.
  • the values of the parameters of the first linear transformation matrix of each joint are known except for the angle of each joint, and are included in the robot data 321 in this embodiment.
  • the parameter may be set by a known method such as DH (Denavit-Hartenberg) notation and modified DH notation.
  • the control unit 31 derives the first transformation matrix group ( ⁇ ) represented by the above equation 7 by referring to the robot data 321. Then, the control unit 31 substitutes the current value q (j) of the angle of each joint into the derived first transformation matrix group ( ⁇ ) as in the above equation 6, and calculates the first transformation matrix group ( ⁇ ). Execute the process.
  • control unit 31 can calculate the current value x t (j) of the coordinates of the end effector T (attention point T0). Control unit 31 obtains the calculated current value x t to (j) as the current value x (j) of the hand coordinate.
  • the control unit 31 acquires a second linear transformation matrix (t T w ) for converting the coordinates from the coordinate system of the attention point T0 of the end effector T to the coordinate system of the attention point W0 of the work W. To do.
  • the matching by the CAD data 320 may be performed near the coordinates (x t ) of the point of interest T0 of the end effector T calculated by the above forward kinematics calculation. If the matching and the forward kinematics calculation are accurate, the coordinates (T t ) of the end effector T obtained by the matching match the coordinates (x t ) calculated by the forward kinematics calculation. Therefore, the control unit 31 may use the coordinates (x t ) calculated by the forward kinematics calculation as the coordinates (T t). As a result, the control unit 31 can derive the second linear transformation matrix (t T w).
  • step S306 instead of the current value (T t (j) ) of the coordinates of the end effector T obtained by matching, the coordinates calculated by forward kinematics calculation are used.
  • the current value (x t (j) ) may be used.
  • the distribution of the force acting on the end effector T measured by the tactile sensor S3 may depend on the position and orientation of the work W with respect to the end effector T. Therefore, the control unit 31 may estimate the relative coordinates (relative position and relative posture) of the work W with respect to the end effector T based on the measurement data obtained by the tactile sensor S3. The control unit 31 can derive a second linear transformation matrix (t T w ) from the result of this estimation.
  • the method of deriving the second linear transformation matrix ( t T w ) from the sensing data does not have to be limited to the above analytical method.
  • the second linear transformation matrix (t T w ) is estimated from the sensing data by machine learning in the same manner as the judgment model 50, the inference model 551, and the like.
  • a trained machine learning model that has acquired the ability to do so may be utilized.
  • the control unit 31 gives the acquired sensing data to the trained machine learning model and executes the arithmetic processing of the trained machine learning model. As a result, the control unit 31 can acquire an output value corresponding to the result of estimating the second linear transformation matrix (t T w) from the trained machine learning model.
  • the control unit 31 multiplies the obtained second-order transformation matrix ( t T w ) by the first transformation matrix group ( ⁇ ) to obtain a second transformation matrix group ( ⁇ (q) ⁇ t T w). ) Is calculated.
  • the second transformation matrix group can be expressed by the following equation 9.
  • the first homogeneous transformation matrix is an example of the first transformation equation
  • the second linear transformation matrix is an example of the second transformation equation.
  • the first transformation matrix group ( ⁇ ) is an example of the first transformation expression group
  • the second transformation matrix group ( ⁇ (q) ⁇ t T w ) is an example of the second transformation expression group.
  • the format of each conversion formula may not be particularly limited as long as it can be used for the calculation of the hand coordinates.
  • each conversion formula may be represented by a transformation matrix having a format other than the homogeneous coordinate system, or may be represented by a mathematical formula having a format other than the matrix.
  • the control unit 31 uses the calculated second transformation matrix group as a transformation function to perform forward kinematics calculation to obtain the current value x (j) of the hand coordinates set from the current value q (j) of the angle of each joint. calculate. That is, the control unit 31 substitutes the current value q (j) of the angle of each joint in the second transformation matrix group ( ⁇ (q) ⁇ t T w), the second transformation matrix group ( ⁇ (q) ⁇ t Executes the arithmetic processing of T w). Based on the result of this forward kinematics calculation, the control unit 31 can calculate the current value of the coordinates of the work W (attention point W0). The control unit 31 acquires the calculated current value of the work W coordinates as the current value x (j) of the hand coordinates.
  • the second linear transformation matrix ( t T w ) by deriving the second linear transformation matrix ( t T w ) from the sensing data, even if the holding state of the work W in the end effector T fluctuates, the fluctuation is reflected in the second synchronous.
  • the transformation matrix ( t T w ) can be obtained.
  • the current value of the coordinates of the work W that is, the current value of the hand coordinates of the manipulator 4 can be appropriately calculated.
  • the control unit 31 uses the CAD data 320 to match the model of each object with the image data obtained by the camera S1, so that the manipulator 4 Derivation of the current value x (j) of the coordinates of the minions of.
  • the control unit 31 may derive the current value x (j) of the coordinates of the hand of the manipulator 4 from the current task state s (j) acquired in the task space in step S306.
  • the relationship between the task state s and the coordinates x of the hand when the end effector T holds the work W can be expressed by the above equation 11.
  • the conversion function ( ⁇ ) from the task space to the observation space is given by the coordinates (T g ) of the other work G.
  • the control unit 31 substitutes the current value (T g (j) ) of the coordinates of the current task state s (j) acquired in step S306 and the coordinates of the other work G obtained by matching into Equation 11 and described above.
  • the current value x (j) of the coordinates of the hand of the manipulator 4 can be calculated.
  • the method of deriving the current value x (j) of the coordinates of the hand of the manipulator 4 by matching using the CAD data 320 does not have to be limited to such an example.
  • the control unit 31, by the matching calculates the current value of the coordinates of the end effector T a (T t (j)), the calculated current value (T t ( j) ) may be obtained as the current value x (j) of the coordinates of the hand.
  • the control unit 31 calculates the current value (T w (j) ) of the coordinates of the work W by the above matching, and the calculated current value (T).
  • w (j) ) may be obtained as the current value x (j) of the coordinates of the hand. That is, the control unit 31 may directly derive the current value x (j) of the coordinates of the hand of the manipulator 4 by the above matching.
  • the control unit 31 can calculate the current value x (j) of the coordinates of the hand of the manipulator 4 by adopting at least one of the above two methods. ..
  • the control unit 31 proceeds to the next step S308.
  • the timing of executing the process of step S307 does not have to be limited to such an example.
  • the process of step S307 may be executed at an arbitrary timing before the process of step S310 described later is executed.
  • the process of step S307 may be executed before the step S306.
  • the process of step S307 may be executed together with the process of step S306 or step S304.
  • Step S308 the control unit 31 operates as the action determination unit 313, and the target task that transitions next to the acquired current task state s (j) so as to approach the final target task state s g. Determine the state s s (j).
  • the control unit 31 refers to the inference model data 325 and uses the inference model 55 generated by the process of step S210 to make the next transition to the current task state s (j). Determine the target task state s s (j).
  • the arithmetic processing of the inference model 55 for inferring the task state s s (j) of the target to be transitioned next may be appropriately executed according to the configuration of the inference model 55.
  • the control unit 31 functions the current task state s (j) and the final target task state s g . Substitute in an expression and execute the arithmetic processing of the function expression.
  • the control unit 31 inputs the current task state s (j) and the final target task state s g to the input layer, and each neuron included in each layer in order from the input side. Ignition judgment is made.
  • the control unit 31 collates the current task state s (j) and the final target task state s g with the data table. As a result, the control unit 31 acquires the result of inferring the task state s s (j) of the target to be transitioned next as the output of the inference model 55. Based on this inference result, the control unit 31 can determine the task state s s (j) of the target to be transitioned to next.
  • the control unit 31 receives the current task state s (j) in the generated potential field. Refer to the potential value set in the coordinates corresponding to. Then, the control unit 31 determines the next target task state s s (j) to be transitioned according to the gradient of the potential set at the coordinates corresponding to the current task state s (j). Specifically, the control unit 31 determines the target task state s s (j) so as to transition to the higher potential gradient (for example, to transition to the highest potential gradient by a predetermined distance). ..
  • step S308 the control unit 31 may use the determined task state of the target as the current task state and further determine the task state of the target to be transitioned to next. By repeating this process, the control unit 31 may determine the target task state a plurality of times. When the task state s s (j) of the target to be transitioned to next is determined, the control unit 31 proceeds to the next step S309.
  • the conversion function ( ⁇ ) from the task space to the observation space when the end effector T does not hold the work W is given by the above equation 10.
  • the control unit 31 substitutes the determined target task state s s (j) into the above equation 10 and executes the arithmetic processing of the above equation 10 to calculate the target value x s (j) of the coordinates of the hand. can do.
  • the conversion function ( ⁇ ) from the task space to the observation space when the end effector T holds the work W is given by the above equation 11.
  • the control unit 31 substitutes the determined target task state s s (j) into the above equation 11 and executes the arithmetic processing of the above equation 11 to calculate the target value x s (j) of the coordinates of the hand. can do.
  • the control unit 31 proceeds to the next step S310.
  • ⁇ is an arbitrary coefficient.
  • the value of ⁇ may be appropriately determined within a range of 1 or less and more than 0. ⁇ may be omitted.
  • the control unit 31 substitutes the current value x (j) of the hand coordinates and the target value x s (j) of the hand coordinates obtained in steps S307 and S309 into the above formula 12, and executes the arithmetic processing of the above formula 12. By doing so, the amount of change in the hand coordinates ( ⁇ x (j) ) can be determined. When the amount of change in the hand coordinates ( ⁇ x (j) ) is determined, the control unit 31 proceeds to the next step S311.
  • Step S311 In step S311 the control unit 31 operates as a command determination unit 315, and the amount of change in the hand coordinates determined by the inverse kinematics calculation using the inverse function of the conversion function in the forward kinematics calculation ( ⁇ x (j)). ) To calculate the amount of change in the angle of each joint ( ⁇ q (j)). Specifically, the amount of change in the hand coordinates ( ⁇ x) and the amount of change in the angle of each joint ( ⁇ q) can be expressed by the following equation 13.
  • J is a Jacobian matrix derived from the transformation function in the above forward kinematics calculation.
  • j i indicates the matrix component of the i-th joint, and ⁇ q i indicates the amount of change in the i-th joint.
  • FIG. 18A schematically illustrates an example of the relationship between each joint and the hand when the end effector T does not hold the work W.
  • FIG. 18B schematically illustrates an example of the relationship between each joint and the hand when the end effector T holds the work W.
  • the control unit 31 can calculate the components of each joint by the following equation 14.
  • the components of each joint of the Jacobian matrix are calculated based on the positional relationship between each joint and the work W.
  • the control unit 31 can calculate the components of each joint by the following equation 15.
  • z i indicates the component of the axis of rotation in the homogeneous coordinates of the i-th joint
  • a i indicates the translation component in the homogeneous coordinates of the i-th joint.
  • z i and a i are extracted from the first linear transformation matrix of the i-th joint.
  • a t indicates a translation component in homogeneous coordinates of the end effector T.
  • a w indicates a translation component in homogeneous coordinates of the work W.
  • a t is extracted from the coordinates (T t ) of the end effector T.
  • a w is extracted from the coordinates (T w) of the work W.
  • Each component j i of the Jacobian matrix indicates the differential component of the first linear transformation matrix of each joint.
  • the control unit 31 calculates the Jacobian matrix according to the operation mode according to the above equations 14 and 15. In the present embodiment, between the case where the end effector T does not hold the work W and the case where the end effector T holds the work W, in each component of the Jacobian matrix, the component of the end effector T ( a t) and components of the work W (a w) is not only replaced. Therefore, the control unit 31 can calculate the Jacobian matrix in each case by a simple calculation process.
  • control unit 31 calculates the inverse matrix (J -1 ) of the calculated Jacobian matrix.
  • the control unit 31 executes the inverse kinematics calculation using the calculated inverse matrix (J -1). Specifically, the relationship between each change amount ( ⁇ x, ⁇ q) and the inverse matrix (J -1 ) is derived from the above equation 13 as shown in the following equation 16.
  • Step S314 to Step S316 The processing of steps S314 to S316 is the same as the processing of steps S303, S306 and S307, except that the cycle proceeds from (j) to (j + 1). That is, in step S314, the control unit 31 acquires sensing data from each sensor. In step S315, the control unit 31 operates as the state acquisition unit 312 to acquire the current task state s (j + 1) of the manipulator 4. In step S316, the control unit 31 calculates the current value x (j + 1) of the coordinates of the hand of the manipulator 4 from the acquired sensing data. After calculating the current value x (j + 1) of the hand coordinates, the control unit 31 proceeds to the next step S317.
  • Step S317) the control unit 31 determines whether or not the task state of the manipulator 4 has transitioned to the target task state s s (j) as a result of the drive in step S313.
  • the determination method does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • the relationship between the angle of each joint after driving (q (j + 1) ) and the angle of each joint before driving (q (j) ) is expressed by the following equation 17. be able to.
  • the value of the angle of each joint obtained by each encoder S2 in step S314 is the value of the angle of each joint obtained by each encoder S2 before driving (q (j) ) and step S311. It may be determined whether or not it matches the sum of the amount of change ( ⁇ q (j)) calculated in.
  • the control unit 31 targets the task state of the manipulator 4. It may be determined that the task state s s (j) of On the other hand, if this is not the case, the control unit 31 may determine that the task state of the manipulator 4 has not transitioned to the target task state s s (j).
  • the control unit 31 changes the current task state obtained after driving in step S315 to the current task state s (j) obtained before driving in step S306 and the amount of change calculated by the above ( ⁇ s (j). ) ) It may be determined whether or not it matches the sum of).
  • the control unit 31 controls the manipulator. It may be determined that the task state of 4 has transitioned to the target task state s s (j). On the other hand, if this is not the case, the control unit 31 may determine that the task state of the manipulator 4 has not transitioned to the target task state s s (j).
  • control unit 31 may determine whether or not the current task state obtained in step S315 matches the target task state s s (j) determined in step S308. If the obtained current task state matches the target task state s s (j) , the control unit 31 determines that the task state of the manipulator 4 has transitioned to the target task state s s (j). Good. On the other hand, if this is not the case, the control unit 31 may determine that the task state of the manipulator 4 has not transitioned to the target task state s s (j).
  • the relationship between the current value of the hand coordinates after driving (x (j + 1) ) and the current value of the hand coordinates before driving (x (j) ) is the same as in the above equation 17 as follows. It can be expressed by 20.
  • the current value of the hand coordinate after driving calculated in step S316 is determined by the current value (x (j) ) of the hand coordinate before driving calculated in step S307 and step S310. It may be determined whether or not it matches the sum of the amount of change ( ⁇ x (j)).
  • the control unit 31 is in the task state of the manipulator 4. May determine that has transitioned to the target task state s s (j). On the other hand, if this is not the case, the control unit 31 may determine that the task state of the manipulator 4 has not transitioned to the target task state s s (j).
  • the control unit 31 may determine whether or not the current value of the hand coordinates calculated in step S316 matches the target value (x s (j)) of the hand coordinates calculated in step S309. .. When the current value of the hand coordinates after driving matches the target value (x s (j) ) of the hand coordinates calculated before driving, the control unit 31 determines that the task state of the manipulator 4 is the target task state s s ( It may be determined that the transition to j) has occurred. On the other hand, if this is not the case, the control unit 31 may determine that the task state of the manipulator 4 has not transitioned to the target task state s s (j).
  • the control unit 31 can determine whether or not the task state of the manipulator 4 has transitioned to the target task state s s (j). In each of the above determinations, “matching" may include that the two values are completely the same and that the difference between the two values is equal to or less than the threshold value (margin of error).
  • the control unit 31 proceeds to the next step S318. On the other hand, if this is not the case, the control unit 31 returns to step S310 to drive the manipulator 4 again. At this time, the control unit 31 may execute the processing after step S310 by using the current value of the hand coordinates calculated in step S316 as the current value x (j).
  • Step S318 the control unit 31 determines whether or not the final target task state s g can be realized.
  • the determination method does not have to be particularly limited, and may be appropriately selected according to the embodiment.
  • the control unit 31 may determine whether or not the current task state s (j + 1) obtained in step S315 matches the final target task state s g.
  • the control unit 31 determines that the task state s g of the final target has been realized.
  • the control unit 31 determines that the final target task state s g has not been realized. Similar to the above, "matching" in the determination may include that the two values are completely matched and that the difference between the two values is equal to or less than the threshold value (margin of error).
  • the control unit 31 ends a series of processes related to the operation control of the manipulator 4. On the other hand, when it is determined that the task state s g of the final target cannot be realized, the control unit 31 returns the process to step S308. Then, the control unit 31 re-executes the processes of steps S308 to S313 by using the results of steps S315 and S316. The control unit 31 realizes the final target task state s g by repeating the above series of processes. As a result, the control device 3 according to the present embodiment can control the operation of the manipulator 4 so as to perform the designated task.
  • the branch destination when it is determined that the task state s g of the final goal cannot be realized is not limited to the above step S308.
  • the task state of the final goal in the task to be executed last may be set in the task state s g of the final goal.
  • the work W is held by the end effector T and the task of assembling the held work W to another work G is executed, the work W is set to the other work G in the task state s g of the final goal.
  • the state assembled in may be adopted. In this case, the performance of the series of tasks may start from the starting point of the first task.
  • the branch destination when it is determined that the task state s g of the final target cannot be realized may be the step S303 instead of the step S308.
  • the control unit 31 can drive the manipulator 4 while checking the operation mode by the processes of steps S304 and S305.
  • a series of tasks can be performed while smoothly switching each task.
  • the operation mode can be smoothly switched to the task of transporting the work W to another work G.
  • At least one of the two objects for determining whether or not contact occurs by the learned determination model 50 is an object that moves by the operation of the manipulator 4. Therefore, in the scene of defining the operation of the manipulator 4, the amount of information data representing the boundary where the two objects come into contact with each other can be significantly reduced.
  • the trained determination model 50 can be used so that the hand does not touch the target object unnecessarily. The manipulator 4 can be driven appropriately.
  • the state of the task executed by the manipulator 4 is expressed by the relative positional relationship between objects such as the end effector T (end effector), the work W, and the other work G.
  • the control command is not directly associated with the task, but is associated with the amount of change in the relative positional relationship between the objects. That is, it is possible to generate or teach a time-series control command given to the manipulator 4 for changing the relative positional relationship of the object without depending on the content of the task. For example, even if the coordinates of the work W change, in steps S306 and S315, when the positional relationship (task state) between the end effector T and the work W is grasped, the change in the coordinates of the work W changes. Will be considered.
  • the manipulator 4 can appropriately hold the work W by the end effector T based on the learning result. Therefore, according to the present embodiment, the versatility of the ability to perform the task to be acquired can be increased, and thereby the cost for teaching the task to the manipulator 4 can be reduced.
  • the positional relationship between the objects is expressed by relative coordinates. Therefore, the positional relationship between the two objects can be appropriately and simply expressed. Therefore, it is possible to easily grasp the positional relationship between the two objects (task state in the control scene).
  • step S307 and step S316 as a method of calculating the coordinates of the hand of the manipulator 4, the first method by forward kinematics calculation can be adopted.
  • the first method when the end effector T does not hold the work W, the end effector T is set to the hand, and in the forward kinematics calculation, the first linear transformation of each joint (joint part 41 to 46) is performed.
  • the first transformation matrix group ( ⁇ ) derived from the matrix is used as the transformation function.
  • the end effector T holds the work W
  • the work W is set at the hand and the conversion function used for the forward kinematics calculation is extended.
  • the second linear transformation matrix (t T w ) for converting the coordinates from the coordinate system of the end effector T to the coordinate system of the work W is used as the first transformation matrix group ( ⁇ ).
  • the second transformation matrix group ( ⁇ (q) ⁇ t T w ) obtained by multiplying by) is used as the transformation function. That is, in the present embodiment, when the work W is held by the end effector T, the reference point of kinematics is changed from the end effector T to the work W.
  • the forward kinematics calculation in steps S307 and S316 and the inverse kinematics calculation in step S311 are performed in substantially the same manner when the end effector T does not hold the work W and when the work W is held.
  • the end effector T, the work W, and the other work G are examples of objects.
  • the object to be determined whether or not to come into contact is not limited to such an example.
  • the object may include any kind of object that can be handled in real space or virtual space.
  • the object may be an object that can be related to the operation of the robot device, such as an obstacle, in addition to the end effector T, the work W, and the other work G.
  • one object may be composed of one object, or may be composed of a plurality of objects.
  • the determination model 50 is configured to consider the plurality of objects as one object and determine whether or not contact occurs between the plurality of objects and another object. You may. Alternatively, the determination model 50 may be configured to consider each object as one object and determine whether or not contact occurs between the objects.
  • At least one of the two objects is an object that moves by the operation of the robot device.
  • the object that moves by the operation of the robot device may be, for example, a component of the robot device such as an end effector, the robot device itself, or, for example, a work held by the end effector. It may be an object other than the components of the robot device. However, the type of object does not have to be limited to such an example. Both of the two objects may be objects other than the object that moves by the operation of the robot device.
  • the manipulator 4 is an example of a robot device.
  • the type of robot device does not have to be limited to such an example.
  • the robot device may be, for example, an automatically movable mobile body, an autonomous robot, or the like.
  • the automatically movable moving body may include, for example, a drone, a vehicle configured to be self-driving, a mobile robot, and the like.
  • the manipulator 4 is a vertical articulated robot.
  • the type of industrial robot does not have to be limited to such an example.
  • the industrial robot may include a SCARA robot, a parallel link robot, a Cartesian robot, a cooperative robot, and the like.
  • the work of holding the work W by the end effector T and the work of assembling the held work W to another work G are examples of tasks performed by the robot device.
  • the task is a task to be performed by the robot device, and the type thereof is not particularly limited and may be appropriately selected depending on the embodiment.
  • the task may be, for example, fitting parts, screwing, etc., in addition to holding the work W and transporting the work W.
  • the task may be, for example, a simple task such as holding a work or releasing a work.
  • the task may be, for example, to change the coordinates of the target work, such as holding the target work and arranging the target work at designated coordinates (position and posture).
  • the task may be, for example, to use a spray as an end effector and spray paint onto the workpiece with the spray from specified relative coordinates.
  • the task may also be, for example, to position the camera attached to the end effector at designated coordinates.
  • the task may be given in advance or may be given by the operator's designation.
  • the camera S1, the encoder S2, and the tactile sensor S3 are used as sensors for observing the environment for performing the task.
  • the camera S1 and the tactile sensor S3 are examples of sensors that observe the state of the work W with respect to the end effector T.
  • the types of sensors that can be used need not be limited to such examples.
  • a proximity sensor, a force sensor, a torque sensor, a pressure sensor, or the like may be used as the sensor.
  • the proximity sensor is arranged in an observable range around the end effector T and may be used for observing the presence or absence of an object in the vicinity of the end effector T.
  • the force sensor, the torque sensor, and the pressure sensor are arranged in a measurable range for the force acting on the end effector T, and are used for observing the force acting on the end effector T, similarly to the tactile sensor S3. May be done.
  • At least one of a proximity sensor, a force sensor, a torque sensor, and a pressure sensor may be used as a sensor for observing the state of the work W with respect to the end effector T.
  • the camera S1 may be arbitrarily movable by the manipulator 4 or another robot device. In this case, the coordinates of the camera S1 may be calibrated as appropriate. Thereby, the range observed by the camera S1 can be arbitrarily controlled.
  • the setting of the hand of the manipulator 4 depending on whether or not the work W is held may be omitted.
  • the hand of the manipulator 4 may be set as appropriate.
  • the end effector T may be set on the hand of the manipulator 4 regardless of whether or not the work W is held.
  • control device 3 uses the trained determination model 50 when generating the inference model 55.
  • the usage pattern of the trained determination model 50 does not have to be limited to such an example.
  • the control device 3 may use the learned determination model 50 when controlling the operation of the manipulator 4.
  • FIG. 19 illustrates an example of the processing procedure of the subroutine related to the determination of the task state of the target according to this modified example.
  • the process of determining the target task state in step S308 may be replaced with the process of the subroutine illustrated in FIG.
  • step S501 the control unit 31 operates as the action determination unit 313 and determines the target task state to be transitioned to next with respect to the acquired current task state so as to approach the final target task state.
  • Step S501 may be processed in the same manner as in step S308.
  • step S502 the control unit 31 operates as the contact determination unit 314, and uses the learned determination model 50 to determine whether or not the two objects come into contact with each other in the determined target task state. To do. Step S502 may be processed in the same manner as in steps S203 and S206.
  • step S503 the control unit 31 determines the branch destination of the process based on the determination result of step S502. If it is determined in step S502 that the two objects come into contact with each other in the target task state, the control unit 31 returns the process to step S501 and redetermines the target task state. On the other hand, when it is determined that the two objects do not come into contact with each other in the target task state, the control unit 31 executes the process of the next step S309. As a result, when controlling the operation of the manipulator 4, the control device 3 utilizes the learned determination model 50 to prevent the first object from unnecessarily contacting the second object, so that the operation of the manipulator 4 is prevented. Can be determined.
  • the control device 3 uses the inference model 55 to determine the target task state in step S308.
  • the inference model 55 may not be used to determine the task state of the target.
  • the target task state may be determined in the same manner as in step S205.
  • the control unit 31 may determine the target task state by a known method such as path planning. Further, for example, a series of target task states may be given in advance. In this case, in step S308, the control unit 31 may determine the task state of the target to be transitioned to next by referring to the data indicating the series. The same applies to step S501.
  • the determination result of the learned determination model 50 is used to collect the learning data 223.
  • the collection of learning data 223 does not have to be limited to such examples.
  • the learning data 223 may be collected without using the learned determination model 50 by using the actual object of each object.
  • the inference model 55 may be generated without using the trained determination model 50.
  • a series of processes (steps S201 to S211) for generating the inference model 55 may be omitted from the process procedure of the control device 3.
  • the data collection unit 317, the model generation unit 318, and the storage processing unit 319 may be omitted from the software configuration of the control device 3.
  • the information processing related to the generation of the inference model 55 and the information processing related to the operation control of the manipulator 4 may be executed by separate computers.
  • a new model generation device may be constructed by omitting the software module related to the operation control of the manipulator 4 and extracting the software module related to the generation of the inference model 55.
  • FIG. 20 schematically illustrates an example of the software configuration of the model generator 3A according to this modification.
  • the hardware configuration of the model generation device 3A may be the same as that of the control device 3 according to the above embodiment.
  • the model generation device 3A operates as a computer including a contact determination unit 314, a data collection unit 317, a model generation unit 318, and a storage processing unit 319 as software modules.
  • the model generation device 3A can execute the processes of steps S201 to S211 to generate the inference model 55.
  • the program portion of the control program 83 that gives an instruction regarding the generation of the inference model 55 may be referred to as a model generation program.
  • the positional relationship between the two objects is expressed by relative coordinates.
  • the method of expressing the positional relationship does not have to be limited to such an example.
  • the positional relationship may be expressed by the absolute coordinates of each of the two objects.
  • each absolute coordinate may be converted into a relative coordinate and the above information processing may be executed.
  • control device 3 analytically determines a command value (control command) to be given to each joint from the target value of the hand coordinates of the manipulator 4 in step S307 and steps S309 to S312.
  • control command a command value (control command) to be given to each joint from the target value of the hand coordinates of the manipulator 4 in step S307 and steps S309 to S312.
  • the control command given to the robot device may be appropriately determined so as to change the task state of the robot device from the current task state to the target task state.
  • control unit 31 can acquire an output value corresponding to the result of determining the control command from the trained machine learning model.
  • the control command is composed of the command value of the angle with respect to each joint.
  • the configuration of the control command does not have to be limited to such an example, and may be appropriately determined according to the type of the robot device and the like.
  • step S301 and step S301 are performed from the processing procedure of the control device 3.
  • the process of step S302 may be omitted.
  • the target setting unit 311 may be omitted from the software configuration of the control device 3.
  • the determination model 50 is composed of a fully connected neural network.
  • the type of neural network constituting the determination model 50 does not have to be limited to such an example.
  • the determination model 50 may be configured by, for example, a convolutional neural network, a recursive neural network, or the like, in addition to the fully connected neural network. Further, the determination model 50 may be configured by combining a plurality of types of neural networks.
  • the type of the machine learning model constituting the determination model 50 is not limited to the neural network, and may be appropriately selected according to the embodiment.
  • a machine learning model such as a support vector machine, a regression model, or a decision tree may be adopted as the determination model 50. Whether or not two objects come into contact with each other may be determined for the real space or the virtual space.
  • the inference model 55 may be prepared for each type of task to be performed by the manipulator 4. That is, a plurality of inference models 55 trained to infer the target task state in different tasks may be prepared.
  • the control unit 31 of the control device 3 may select the inference model 55 to be used for inference from the plurality of prepared inference models 55 according to the operation mode set in step S305. As a result, the control unit 31 may switch the inference model 55 according to the operation mode.
  • the inference model 55 further accepts input of information indicating a task condition such as an object type, an object identifier, a task identifier, and a task type, and a goal in the task corresponding to the input condition.
  • control unit 31 when determining the task state of the target to be transitioned next, the control unit 31 further inputs the information indicating the operation mode set in step S305 into the inference model 55, and performs the arithmetic processing in step S308. You may do it.
  • the input and output formats for the determination model 50 and the inference model 55 are not particularly limited and may be appropriately determined according to the embodiment.
  • the determination model 50 may be configured to further accept input of information other than the information indicating the task state.
  • the inference model 55 may be configured to further accept input of information other than the current task state and the final goal task state.
  • the information indicating the task state of the final goal may be omitted from the input of the inference model 55.
  • the output format of the determination model 50 and the inference model 55 may be either identification or regression.
  • Model generator 11 ... Control unit, 12 ... Storage unit, 13 ... Communication interface, 14 ... External interface, 15 ... Input device, 16 ... Output device, 17 ... Drive, 91 ... storage medium, 81 ... model generation program, 111 ... Data acquisition unit, 112 ... Machine learning unit, 113 ... Preservation processing unit, 120 ... CAD data, 121 ... Learning dataset, 122 ... training data, 123 ... correct answer data, 125 ... Learning result data, 3 ... Control device, 31 ... Control unit, 32 ... Storage unit, 33 ... Communication interface, 34 ... External interface, 35 ... Input device, 36 ... Output device, 37 ... Drive, 93 ... storage medium, 83 ... control program, 311 ...
  • Goal setting unit 312 ... State acquisition unit, 313 ... Action decision unit, 314 ... Contact judgment unit, 315 ... Command determination unit, 316 ... Drive unit, 317 ... Data collection unit, 318 ... Model generation unit, 319 ... Preservation processing unit, 320 ... CAD data, 321 ... robot data, 323 ... Learning data, 325 ... Inference model data, 4 ... Manipulator (robot device), 40 ... pedestal, 41-46 ... joints, 491-494 ... links, T ... End effector, T0 ... Attention point, CT ... Local coordinate system, W ... work, W0 ... Points of interest, CW ... Local coordinate system, G ... other work, CG ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Geometry (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Manipulator (AREA)

Abstract

本発明の一側面に係るモデル生成装置は、２つの対象物の間の位置関係を示す訓練データ及びその位置関係において２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを使用して、判定モデルの機械学習モデルを実施する。機械学習を実施することは、各学習データセットについて、訓練データの入力に対して、対応する正解データに適合する出力値を出力するように判定モデルを訓練することにより構成される。

Description

モデル生成装置、モデル生成方法、制御装置及び制御方法
　本発明は、モデル生成装置、モデル生成方法、制御装置及び制御方法に関する。
　製品を生産する生産ラインでは、マニピュレータ等のロボット装置が利用されている。マニピュレータの機構、エンドエフェクタ、ワーク等の構成要素は、遂行する作業（タスク）等に応じて多くのバリエーションを有しており、それらすべてに対応したロボット装置の動作手順を人手で作成して、ロボット装置に対象の作業を教示するのは困難である。そのため、従来、機構、エンドエフェクタ、ワーク等の構成要素の種類を決定した後、ロボット装置を人手で動かして、実行させる一連の動作における姿勢をレコードしながら、遂行する作業を直接的にティーチングする方法が採用されている。
　しかしながら、この方法では、機構、エンドエフェクタ、ワーク等の構成要素が変更される度に、遂行する作業をロボット装置に教示することになる。したがって、遂行する作業をロボット装置に教示するのにあまりにコストがかかってしまう。そこで、近年、機械学習を利用して、遂行する作業をロボット装置に習得させる方法が研究されている。例えば、非特許文献１では、カメラから得られる画像データに基づいて対象物を把持する動作を強化学習によりロボット装置に習得させる方法が提案されている。この方法によれば、対象物を把持する動作をロボット装置に教示する一連の処理の少なくとも一部を自動化することができる。よって、ロボット装置に作業を教示するコストを低減することができる。
Dmitry Kalashnikov, et al. "QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation" arXiv preprint arXiv:1806.10293, 2018.
　本件発明者らは、上記のようなロボット装置の従来の制御方法には、次のような問題点があることを見出した。例えば、エンドエフェクタ、ワーク、障害物等の対象物の移動を座標空間内で表現することがある。この場合に、２つの対象物が互いに接触するか否かを示す値を座標点毎に保持することで、２つの対象物が接触する境界を表現することができる。しかしながら、この表現方法では、対象物の組み合わせ、座標の次元数及び解像度（分解能）に応じて、２つの対象物が接触する境界を表現する情報のデータ量が爆発的に増加してしまう。例えば、対象物の座標を３次元位置及び３次元姿勢で表現したと想定する。この場合、対象物の座標は６次元で表現される。そのため、接触の境界を表現する情報の解像度（分解能）を上げると、６乗のオーダでデータ量が増加してしまう。そのため、上記の表現方法では、組み込みシステム等の比較的に記憶容量の小さいシステムには、接触の境界を表現する情報を格納するのが困難である。なお、この問題点は、ロボット装置の動作を規定する場面に限られず、２つの対象物の接触を取り扱うあらゆる場面に生じ得る。
　本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、２つの対象物が接触する境界を表現する情報のデータ量を低減するための技術を提供することである。
　本発明は、上述した課題を解決するために、以下の構成を採用する。
　すなわち、本発明の一側面に係るモデル生成装置は、２つの対象物の間の位置関係を示す訓練データ及び前記位置関係において前記２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するデータ取得部と、取得された前記複数の学習データセットを使用して、判定モデルの機械学習を実施する機械学習部であって、前記機械学習を実施することは、前記各学習データセットについて、前記訓練データの入力に対して、対応する前記正解データに適合する出力値を出力するように前記判定モデルを訓練することにより構成される、機械学習部と、を備える。
　当該構成に係るモデル生成装置は、機械学習により、対象の位置関係において２つの対象物が接触するか否かを判定するための判定モデルを生成する。機械学習により生成された学習済みの判定モデルによれば、対象の位置関係（例えば、座標）が連続値で与えられても、判定モデルのデータ量の大きな増加を伴うことなく、その位置関係で２つの対象物が互いに接触するか否かを判定することができる。そのため、当該構成によれば、２つの対象物が接触する境界を表現する情報のデータ量を大幅に低減することができる。
　なお、対象物は、実空間又は仮想空間内で取り扱い可能なあらゆる種類の物体を含んでもよい。対象物は、例えば、エンドエフェクタ、ワーク、障害物等のロボット装置の動作に関連し得る物体であってよい。この場合、ロボット装置は、例えば、マニピュレータ等の産業用ロボット、自動的に移動可能な移動体等を含んでよい。産業用ロボットは、例えば、垂直多関節ロボット、スカラロボット、パラレルリンクロボット、直交ロボット、協調ロボット等を含んでよい。自動的に移動可能な移動体は、例えば、ドローン、自度運転可能に構成された車両、モバイルロボット等を含んでよい。
　１つの対象物は、複数の物体により構成されてもよい。３つ以上の物体が存在する場合、複数の物体を１つの対象物とみなし、複数の物体と他の物体との間で接触が生じるか否かを判定するように判定モデルを構成してもよいし、或いは、個々の物体を１つの対象物とみなして、それぞれの物体間で接触が生じるか否かを判定するように判定モデルを構成してもよい。それぞれ異なる対象物の間で接触が生じるか否かを判定する複数の判定モデルが用意されてもよいし、或いは、判定モデルは、対象物の種類等の条件を示す情報の入力を更に受け付け、入力された条件に対応する２つの対象物の間で接触が生じるか否かを判定するように構成されてもよい。
　判定モデルを構成する機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。判定モデルには、例えば、ニューラルネットワーク、サポートベクタマシン、回帰モデル、決定木等の機械学習モデルが採用されてよい。２つの対象物が互いに接触するか否かは、実空間又は仮想空間を対象に判定されてよい。
　上記一側面に係るモデル生成装置において、前記２つの対象物の間の前記位置関係は、相対座標により表現されてよい。相対座標は、一方の対象物から他方の対象物を見たときの座標である。２つの対象物のうちのいずれを相対座標の基準に選択してよい。当該構成によれば、２つの対象物の間の物理的かつ相対的な位置関係を適切かつ端的に表現することができる。ただし、位置関係の表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。２つの対象物の間の位置関係は、例えば、各々の絶対座標により表現されてもよい。なお、「座標」は、位置及び姿勢の少なくとも一方を含んでよい。３次元空間上では、位置は、前後、左右、及び上下の３つの軸により表現されてよく、姿勢は、各軸の回転（ロール、ピッチ、ヨー）で表現されてよい。
　上記一側面に係るモデル生成装置において、前期２つの対象物のうちの少なくともいずれかは、ロボット装置の動作により移動する対象であってよい。当該構成によれば、ロボット装置の動作を規定する場面で、２つの対象物が接触する境界を表現する情報のデータ量を低減することができる。なお、ロボット装置の動作により移動する対象物は、例えば、エンドエフェクタ等のロボット装置の構成要素であってもよいし、ロボット装置自身であってもよいし、例えば、エンドエフェクタにより保持されたワーク等のロボット装置の構成要素以外の物体であってもよい。
　また、本発明の一側面に係る制御装置は、第１対象物及び第２対象物の存在する環境下で、第１対象物を移動するタスクを遂行するロボット装置の動作を制御するための制御装置であって、前記ロボット装置の現在のタスク状態を取得する状態取得部であって、タスク状態は、前記第１対象物及び前記第２対象物の間の位置関係により規定される、状態取得部と、最終目標のタスク状態に近付くように、取得された前記現在のタスク状態に対して次に遷移する目標のタスク状態を決定する行動決定部と、前記第１対象物及び前記第２対象物の対象のタスク状態を学習済みの判定モデルに与えることで、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを判定する接触判定部であって、前記学習済みの判定モデルは、機械学習により、前記第１対象物及び前記第２対象物の位置関係を示す訓練データの入力に対して、当該位置関係において前記第１対象物及び前記第２対象物が互いに接触するか否かを示す正解データに適合する出力値を出力するように訓練されている、接触判定部と、前記ロボット装置のタスク状態を前記現在のタスク状態から前記目標のタスク状態に変化させるように、前記ロボット装置に与える制御指令を決定する指令決定部と、決定された前記制御指令を前記ロボット装置に与えることで、前記ロボット装置を駆動する駆動部と、を備える。
　当該構成では、機械学習により生成された学習済みの判定モデルを利用することで、第１対象物及び第２対象物の接触する境界を表現する情報のデータ量を大幅に低減することができる。そのため、当該構成によれば、組込みシステム等の比較的に性能の低いコンピュータでも、第１対象物及び第２対象物の無用な接触を避けるようにロボット装置を適切に駆動可能な制御装置を実現することができる。
　また、従来の制御方法では、遂行するタスクに対して、ロボット装置に与える時系列の制御指令を直接的に関連付けていた。そのため、タスクを遂行する環境及び対象物の少なくとも一方が少しでも変化した場合に、学習結果がその変化に対応することができず、そのタスクを適切に遂行できなくなる可能性があった。これに対して、当該構成では、ロボット装置に与えられる制御指令の系列は、タスクに直接的に関連付けられるのではなく、対象物間の位置関係（タスク状態）の変化量に関連付けられる。すなわち、タスクの内容に依存せずに、位置関係の変化量に対して、時系列の制御指令を生成又は教示することができる。したがって、当該構成によれば、習得されるタスクを遂行する能力の汎用性を高めることができ、これによって、ロボット装置にタスクを教示するのにかかるコストを低減することができる。
　なお、ロボット装置は、例えば、マニピュレータ等の産業用ロボット、自動的に移動可能な移動体等を含んでよい。ロボット装置がマニピュレータである場合、第１対象物は、マニピュレータのエンドエフェクタであってよく、第２対象物は、エンドエフェクタにより保持する対象となるワークであってよい。この場合、マニピュレータにより遂行するタスクは、エンドエフェクタによりワークを保持することであってよい。また、エンドエフェクタがワークを保持した後には、第１対象物はワークであってよく、第２対象物は、ワークを配置する他のワークであってよい。この場合、マニピュレータによる遂行するタスクは、エンドエフェクタにより保持されたワークを他のワークに配置することであってよい。エンドエフェクタ、ワーク、及び他のワークの種類はそれぞれ、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。エンドエフェクタは、例えば、グリッパ、吸引器、ドライバ等であってよい。ワークは、例えば、コネクタ、ペグ等であってよい。他のワークは、例えば、ソケット、ホール等であってよい。
　タスクは、ロボット装置に遂行させる作業であり、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。タスクは、例えば、部品運搬、部品嵌合、ネジ回し等であってよい。タスクは、例えば、ワークの保持、ワークの解放等の単純な作業であってもよい。タスクは、例えば、対象のワークを保持し、指定の座標（位置及び姿勢）に対象のワークを配置すること等の対象のワークの座標を変更することであってよい。タスクは、例えば、エンドエフェクタとしてスプレーを用いて、指定の相対座標から当該スプレーによりワークに塗料を噴霧することであってよい。また、タスクは、例えば、エンドエフェクタに取り付けられたカメラを指定の座標に配置することであってもよい。タスクは、予め与えられてもよいし、オペレータの指定により与えられてもよい。
　「最終目標」は、終着点（ゴール）であり、タスクの遂行を完了した時点に実現され、与えられたタスクに応じて設定される。「目標」は、最終目標を含み、タスクの遂行を達成するために適宜設定されてよい。設定される目標の数は、１つであってもよいし（この場合、最終目標だけが設定される）、複数であってもよい。最終目標以外の目標は、開始点から終着点に到達するまでに経由する経由点である。そのため、最終目標を単に「目標（ゴール）」と称し、最終目標以外の目標を「下位目標（サブゴール）」と称してもよい。下位目標は、「経由点」と称してもよい。
　上記一側面に係る制御装置において、前記第１対象物及び前記第２対象物の間の位置関係は、相対座標により表現されてよい。当該構成によれば、第１対象物及び第２対象物の間の物理的かつ相対的な位置関係を適切かつ端的に表現することができる。ただし、位置関係の表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。第１対象物及び第２対象物の間の位置関係は、例えば、各々の絶対座標により表現されてもよい。
　上記一側面に係る制御装置は、前記学習済みの判定モデルによる前記判定の結果を利用して、前記第１対象物が前記第２対象物に接触しないように、前記現在のタスク状態及び前記最終目標のタスク状態から次に遷移する前記目標のタスク状態を推論するための推論モデルを生成するモデル生成部を更に備えてもよい。前記行動決定部は、生成された前記推論モデルを利用して、前記現在のタスク状態に対して次に遷移する前記目標のタスク状態を決定してもよい。
　学習済みの判定モデルによれば、第１対象物及び第２対象物が互いに接触するか否かを判定することができる。そのため、学習済みの判定モデルの判定結果を利用することで、第１対象物及び第２対象物の無用な接触を避けるように、現在のタスク状態及び最終目標のタスク状態から目標のタスク状態を推論可能な推論モデルを構築することができる。当該構成によれば、ロボット装置の動作を制御する運用時にこの推論モデルを利用することで、判定モデルの演算処理を伴わなくても、第１対象物及び第２対象物が互いに接触しないように目標のタスク状態を決定することができる。そのため、制御処理の演算コストを低減することができる。
　なお、第１対象物が第２対象物に接触しないように目標のタスク状態を推論することは、第１対象物及び第２対象物の間で意図しない接触が生じるのを避けて目標のタスク状態を決定することであり、例えば、エンドエフェクタがワークを保持する等の第１対象物が第２対象物に適正に接触するタスク状態を目標のタスク状態として決定することを含んでもよい。
　上記一側面に係る制御装置において、前記モデル生成部は、機械学習を実施することで、前記推論モデルを生成してもよい。当該構成によれば、タスクの遂行に利用可能な推論モデルを適切に生成することができる。なお、推論モデルを構成する機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。推論モデルは、例えば、関数式、データテーブル等により表現されてよい。関数式で表現される場合、推論モデルは、例えば、ニューラルネットワーク、サポートベクタマシン、回帰モデル、決定木等により構成されてよい。また、機械学習の方法も、特に限定されなくてもよく、推論モデルの構成に応じて適宜選択されてよい。推論モデルの機械学習には、例えば、教師あり学習、強化学習等が採用されてよい。
　上記一側面に係る制御装置において、前記機械学習は、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを前記学習済みの判定モデルにより判定した結果、並びに当該対象のタスク状態及び前記最終目標のタスク状態の間の距離に応じて報酬が設定された強化学習により構成されてよい。前記報酬は、前記第１対象物及び前記第２対象物が互いに接触せず、かつ前記距離が短いほど多く設定され、前記第１対象物及び前記第２対象物が互いに接触する、又は前記距離が長いほど少なく設定されてよい。前記機械学習を実施することは、前記報酬が多く得られるように前記推論モデルを構成する演算パラメータの値の修正を繰り返すことを含んでよい。当該構成によれば、第１対象物及び第２対象物の無用な接触を避けると共に、前記ロボット装置のタスク状態が最終目標のタスク状態に早く到達するように目標のタスク状態を決定可能な推論モデルを生成することができる。これにより、タスクを適切に遂行するようにロボット装置を制御可能な制御装置を実現することができる。
　上記一側面に係る制御装置において、前記推論モデルは、前記タスク状態の集合を表現するタスク空間内の各座標のポテンシャルを規定するポテンシャル場により構成されてよい。前記モデル生成部は、前記タスク空間内で、前記学習済みの判定モデルを利用して、前記第１対象物が前記第２対象物に接触しないように、パスプランニングを実施することで、それぞれ開始点として与えられた複数のタスク状態それぞれから前記最終目標のタスク状態までの経路を生成してもよく、生成された各経路の通過する頻度に応じて、前記各座標のポテンシャルを設定することで、前記ポテンシャル場を生成してもよい。前記行動決定部は、生成された前記ポテンシャル場における、前記現在のタスク状態に対応する座標に設定されたポテンシャルの勾配に応じて、次に遷移する前記目標のタスク状態を決定してもよい。当該構成によれば、タスクの遂行に利用可能な推論モデルを適切に生成することができる。
　なお、ポテンシャル場における各座標のポテンシャルは、最終目標に到達することに対する、各座標における第１対象物及び第２対象物の位置関係の評価値を示す。すなわち、ポテンシャルが高いほど、その座標における位置関係が最終目標に到達する可能性が高いことを示し、ポテンシャルが低いほど、その座標における位置関係が最終目標に到達する可能性が低いことを示す。そのため、ポテンシャルの勾配の高い方に遷移することで、開始点となる任意のタスク状態から最終目標のタスク状態に適切に到達することができる。
　上記各形態に係るモデル生成装置及び制御装置の別の態様として、本発明の一側面は、以上のモデル生成装置又は制御装置の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。また、本発明の一側面に係る制御システムは、上記いずれかの形態に係るモデル生成装置及び上記いずれかの形態に係る制御装置により構成されてよい。また、本発明の一側面に係るモデル生成装置は、上記制御装置のモデル生成部に関する部分により構成されてよい。
　例えば、本発明の一側面に係るモデル生成方法は、コンピュータが、２つの対象物の間の位置関係を示す訓練データ及び前記位置関係において前記２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップと、取得された前記複数の学習データセットを使用して、判定モデルの機械学習を実施するステップであって、前記機械学習を実施することは、前記各学習データセットについて、前記訓練データの入力に対して、対応する前記正解データに適合する出力値を出力するように前記判定モデルを訓練することにより構成される、ステップと、を実行する、情報処理方法である。
　また、例えば、本発明の一側面に係るモデル生成プログラムは、コンピュータに、２つの対象物の間の位置関係を示す訓練データ及び前記位置関係において前記２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップと、取得された前記複数の学習データセットを使用して、判定モデルの機械学習を実施するステップであって、前記機械学習を実施することは、前記各学習データセットについて、前記訓練データの入力に対して、対応する前記正解データに適合する出力値を出力するように前記判定モデルを訓練することにより構成される、ステップと、を実行させるためのプログラムである。
　また、例えば、本発明の一側面に係る制御方法は、第１対象物及び第２対象物の存在する環境下で、第１対象物を移動するタスクを遂行するロボット装置の動作を制御するための情報処理方法であって、コンピュータが、前記第１対象物及び前記第２対象物の現在のタスク状態を取得するステップであって、タスク状態は、前記第１対象物及び前記第２対象物の間の位置関係により規定される、ステップと、最終目標のタスク状態に近付くように、取得された前記現在のタスク状態に対して次に遷移する目標のタスク状態を決定するステップと、前記第１対象物及び前記第２対象物の対象のタスク状態を学習済みの判定モデルに与えることで、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを判定するステップであって、前記学習済みの判定モデルは、機械学習により、前記第１対象物及び前記第２対象物の位置関係を示す訓練データの入力に対して、当該位置関係において前記第１対象物及び前記第２対象物が互いに接触するか否かを示す正解データに適合する出力値を出力するように訓練されている、ステップと、前記ロボット装置のタスク状態を前記現在のタスク状態から前記目標のタスク状態に変化させるように、前記ロボット装置に与える制御指令を決定するステップと、決定された前記制御指令を前記ロボット装置に与えることで、前記ロボット装置の動作を制御するステップと、を実行する、情報処理方法である。
　また、例えば、本発明の一側面に係る制御プログラムは、第１対象物及び第２対象物の存在する環境下で、第１対象物を移動するタスクを遂行するロボット装置の動作を制御するためのプログラムであって、コンピュータに、前記第１対象物及び前記第２対象物の現在のタスク状態を取得するステップであって、タスク状態は、前記第１対象物及び前記第２対象物の間の位置関係により規定される、ステップと、最終目標のタスク状態に近付くように、取得された前記現在のタスク状態に対して次に遷移する目標のタスク状態を決定するステップと、前記第１対象物及び前記第２対象物の対象のタスク状態を学習済みの判定モデルに与えることで、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを判定するステップであって、前記学習済みの判定モデルは、機械学習により、前記第１対象物及び前記第２対象物の位置関係を示す訓練データの入力に対して、当該位置関係において前記第１対象物及び前記第２対象物が互いに接触するか否かを示す正解データに適合する出力値を出力するように訓練されている、ステップと、前記ロボット装置のタスク状態を前記現在のタスク状態から前記目標のタスク状態に変化させるように、前記ロボット装置に与える制御指令を決定するステップと、決定された前記制御指令を前記ロボット装置に与えることで、前記ロボット装置の動作を制御するステップと、を実行させるためのプログラムである。
　本発明によれば、２つの対象物が接触する境界を表現する情報のデータ量を低減することができる。
図１は、本発明が適用される場面の一例を模式的に例示する。 図２Ａは、実施の形態に係る２つの対象物の間の位置関係の一例を模式的に例示する。 図２Ｂは、実施の形態に係る２つの対象物の間の位置関係の一例を模式的に例示する。 図３は、２つの対象物が接触するか否かを示す値を座標点毎に保持する形態の一例を模式的に例示する。 図４は、実施の形態に係るモデル生成装置のハードウェア構成の一例を模式的に例示する。 図５は、実施の形態に係る制御装置のハードウェア構成の一例を模式的に例示する。 図６は、実施の形態に係るロボット装置の一例を模式的に例示する。 図７は、実施の形態に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。 図８は、実施の形態に係る制御装置のソフトウェア構成の一例を模式的に例示する。 図９は、実施の形態に係るモデル生成装置の処理手順の一例を例示する。 図１０は、実施の形態に係る制御装置による推論モデルの生成に関する処理手順の一例を例示する。 図１１Ａは、実施の形態に係るタスク空間の一例を模式的に例示する。 図１１Ｂは、実施の形態に係るタスク空間の一例を模式的に例示する。 図１１Ｃは、実施の形態に係るタスク空間の一例を模式的に例示する。 図１２は、実施の形態に係る推論モデルの構成及び生成方法の一例を模式的に例示する。 図１３は、実施の形態に係る推論モデルの構成及び生成方法の一例を模式的に例示する。 図１４Ａは、実施の形態に係る学習データの一例を模式的に例示する。 図１４Ｂは、実施の形態に係る推論モデルの構成の一例を模式的に例示する。 図１５Ａは、実施の形態に係る制御装置によるロボット装置の動作の制御に関する処理手順の一例を例示する。 図１５Ｂは、実施の形態に係る制御装置によるロボット装置の動作の制御に関する処理手順の一例を例示する。 図１６は、実施の形態に係る各要素の計算過程の一例を例示する。 図１７は、実施の形態に係る各対象物の位置関係を模式的に例示する。 図１８Ａは、エンドエフェクタがワークを保持していない時における各関節と手先との関係の一例を模式的に示す。 図１８Ｂは、エンドエフェクタがワークを保持している時における各関節と手先との関係の一例を模式的に示す。 図１９は、変形例に係る制御装置による目標決定に関するサブルーチンの処理手順の一例を例示する。 図２０は、変形例に係るモデル生成装置のソフトウェア構成の一例を模式的に例示する。
　以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本発明の適用場面の一例を模式的に例示する。図１に示されるとおり、本実施形態に係る制御システム１００は、モデル生成装置１及び制御装置３を備えている。モデル生成装置１及び制御装置３は、ネットワークを介して互いに接続されてよい。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
　＜モデル生成装置＞
　本実施形態に係るモデル生成装置１は、対象の位置関係において２つの対象物が互いに接触するか否かを判定するための判定モデル５０を生成するように構成されたコンピュータである。具体的には、本実施形態に係るモデル生成装置１は、２つの対象物の間の位置関係を示す訓練データ１２２及び当該位置関係において２つの対象物が互いに接触するか否かを示す正解データ１２３の組み合わせによりそれぞれ構成される複数の学習データセット１２１を取得する。
　本実施形態では、２つの対象物の間の位置関係は、相対座標により表現される。相対座標は、一方の対象物から他方の対象物を見たときの座標である。２つの対象物のうちのいずれを相対座標の基準に選択してよい。「座標」は、位置及び姿勢の少なくとも一方を含んでよい。３次元空間上では、位置は、前後、左右、及び上下の３つの軸により表現されてよく、姿勢は、各軸の回転（ロール、ピッチ、ヨー）で表現されてよい。本実施形態では、相対座標は、３次元の相対位置及び３次元の相対姿勢の６次元で表現されてよい。なお、相対座標の次元数は、６次元に限られなくてよく、適宜削減されてよい。
　そして、本実施形態に係るモデル生成装置１は、取得された複数の学習データセット１２１を使用して、判定モデル５０の機械学習を実施する。機械学習を実施することは、各学習データセット１２１について、訓練データ１２２の入力に対して、対応する正解データ１２３に適合する出力値を出力するように判定モデル５０を訓練することにより構成される。この機械学習により、対象の位置関係において２つの対象物が互いに接触するか否かを判定する能力を習得した学習済みの判定モデル５０を構築することができる。
　本実施形態では、学習済みの判定モデル５０は、エンドエフェクタＴを備えるマニピュレータ４、ワークＷ、及び他のワークＧが存在する空間で、ワークＷ及びエンドエフェクタＴの間で接触が生じるか否か、並びにワークＷ及び他のワークＧの間で接触が生じるか否かを判定するのに利用される。マニピュレータ４は、「ロボット装置」の一例である。エンドエフェクタＴ、ワークＷ、及び他のワークＧは、「対象物」の一例である。エンドエフェクタＴ、ワークＷ、及び他のワークＧの種類はそれぞれ、特に限定されなくてもよく、タスクに応じて適宜選択されてよい。エンドエフェクタＴは、例えば、グリッパ、吸引器、ドライバ等であってよい。ワークＷは、例えば、コネクタ、ペグ等であってよい。他のワークＧは、例えば、ソケット、ホール等であってよい。他のワークＧは、ワークＷの組付け先の対象物の一例である。エンドエフェクタＴによりワークＷを保持することは、例えば、グリッパによりワークを把持すること、吸引器によりワークを吸引保持すること、ドライバの先端にワークを保持すること等であってよい。
　より詳細には、本実施形態に係るマニピュレータ４は、一例として、エンドエフェクタＴによりワークＷを保持し、保持したワークＷを他のワークＧに組み付けるタスクを遂行する。このタスクは、エンドエフェクタＴによりワークＷを保持する第１タスク及び保持されたワークＷを他のワークＧに運搬する第２タスクの２つに分けることができる。エンドエフェクタＴを移動させて、ワークＷを保持する第１タスクを遂行する場面で、学習済みの判定モデル５０は、ワークＷ及びエンドエフェクタＴの間で無用な接触が生じるか否かを判定するのに利用される。また、ワークＷを保持した後、エンドエフェクタＴを移動させて、保持されたワークＷを他のワークＧに運搬する第２タスクを遂行する場面で、学習済みの判定モデル５０は、ワークＷ及び他のワークＧの間で無用な接触が生じるか否かを判定するのに利用される。
　つまり、本実施形態では、学習済みの判定モデル５０により接触が生じるか否かを判定する２つの対象物のうちの少なくともいずれかは、ロボット装置（マニピュレータ４）の動作により移動する対象である。２つの対象物のうちのいずれか一方のみが、ロボット装置の動作により移動する対象であってもよいし、或いは、２つの対象物のうちの両方が、ロボット装置の動作により移動する対象であってもよい。ただし、本発明の適用対象は、このような例に限定されなくてもよい。本発明は、２つの対象物の接触を判定するあらゆる場面に適用されてよい。
　なお、上記のように、接触するか否かを判定する対象が複数存在する場合、それぞれ異なる対象物の間で接触が生じるか否かを判定する複数の学習済みの判定モデル５０が用意されてもよい。或いは、学習済みの判定モデル５０は、例えば、対象物の種類、対象物の識別子等の対象物の条件を示す情報の入力を更に受け付け、入力された条件に対応する２つの対象物の間で接触が生じるか否かを判定するように構成されてもよい。いずれの方法が採用されてもよい。以下では、説明の便宜のため、学習済みの判定モデル５０の判定対象を区別せずに説明する。
　＜制御装置＞
　本実施形態に係る制御装置３は、第１対象物及び第２対象物の存在する環境下で、第２対象物に対して第１対象物を移動するタスクを遂行するロボット装置の動作を制御するように構成されたコンピュータである。上記第１タスク及び第２タスクは、この「第２対象物に対して第１対象物を移動するタスク」の一例である。第１タスクを遂行する場面では、エンドエフェクタＴが第１対象物の一例であり、ワークＷが第２対象物の一例である。また、第２タスクを遂行する場面では、ワークＷが第１対象物の一例であり、他のワークＧが第２対象物の一例である。上記のとおり、マニピュレータ４が、ロボット装置の一例である。
　まず、本実施形態に係る制御装置３は、第１対象物及び第２対象物の現在のタスク状態を示す情報を取得する。タスク状態は、第１対象物及び第２対象物（すなわち、２つの対象物）の間の位置関係により規定される。本実施形態では、タスク状態を観測する視覚系のセンサとしてカメラＳ１が用いられる。また、後述するとおり、マニピュレータ４の各関節の角度を測定するためにエンコーダが用いられ、エンドエフェクタＴによるワークＷの保持状態を測定するために触覚センサが用いられる。本実施形態では、これらのセンサにより、現在のタスク状態を観測することができる。
　ここで、図２Ａ及び図２Ｂを更に用いて、第１対象物及び第２対象物の間の位置関係によりタスク状態を規定する方法の具体例について説明する。図２Ａは、上記第１タスクを遂行する場面におけるエンドエフェクタＴ及びワークＷの間の位置関係の一例を模式的に例示する。図２Ｂは、上記第２タスクを遂行する場面におけるワークＷ及び他のワークＧの間の位置関係の一例を模式的に例示する。上記のとおり、本実施形態では、２つの対象物の間の位置関係は、相対座標により表現される。
　本実施形態では、図２Ａに示されるとおり、第１タスクを遂行する場面等のように、エンドエフェクタＴがワークＷを保持していない間は、エンドエフェクタＴの注目点Ｔ０がマニピュレータ４の手先として取り扱われる。第１タスクでは、ワークＷが、エンドエフェクタＴの移動の目標物である。エンドエフェクタＴとワークＷとの間の位置関係は、エンドエフェクタＴに対するワークＷの相対座標ＲＣ１により表現される。相対座標ＲＣ１は、エンドエフェクタＴの注目点Ｔ０を原点とするローカル座標系ＣＴから見た、ワークＷの注目点Ｗ０を原点とするローカル座標系ＣＷを表す。本実施形態では、第１タスクを遂行する場面におけるマニピュレータ４のタスク状態は、この相対座標ＲＣ１により規定される。
　一方、図２Ｂに示されるとおり、第２タスクを遂行する場面等のように、エンドエフェクタＴがワークＷを保持している間、ワークＷの注目点Ｗ０がマニピュレータ４の手先として取り扱われる。第２タスクでは、他のワークＧが、エンドエフェクタＴの移動の目標物である。ワークＷと他のワークＧとの間の位置関係は、ワークＷに対する他のワークＧの相対座標ＲＣ２により表現される。相対座標ＲＣ２は、ワークＷの注目点Ｗ０を原点とするローカル座標系ＣＷから見た、他のワークＧの注目点Ｇ０を原点とするローカル座標系ＣＧを表す。本実施形態では、第２タスクを遂行する場面におけるマニピュレータ４のタスク状態は、この相対座標ＲＣ２により規定される。
　すなわち、本実施形態では、第１タスク及び第２タスクを遂行する両方の場面で、タスク状態は、マニピュレータ４の手先及び目標物の間の位置関係（本実施形態では、相対座標）により規定される。マニピュレータ４の手先が第１対象物に相当し、目標物が第２対象物に相当する。これにより、第１タスク及び第２タスクを共に、マニピュレータ４の手先を目標物に対して移動するタスクとして捉えることができる。したがって、本実施形態によれば、マニピュレータ４の制御処理を単純化することができ、これによって、マニピュレータ４の動作を生成又は教示するコストを低減することができる。
　なお、各注目点（Ｔ０、Ｗ０、Ｇ０）は任意に設定されてよい。また、相対座標の与え方は、上記のような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、相対座標ＲＣ１は、ワークＷの注目点Ｗ０を原点とするローカル座標系ＣＷから見た、エンドエフェクタＴの注目点Ｔ０を原点とするローカル座標系ＣＴを表す等のように、各相対座標（ＲＣ１、ＲＣ２）の関係は反転されてもよい。また、手先を移動することは、目標物に手先を近付けることに限られなくてもよく、実施の形態に応じて適宜決定されてよい。手先を移動することは、例えば、目標物から手先を遠ざけること、目標物を基準にして所定の位置に手先を移動すること等であってよい。
　次に、本実施形態に係る制御装置３は、最終目標のタスク状態に近付くように、取得された情報により示される現在のタスク状態に対して、次に遷移する目標のタスク状態を決定する。第１タスクを遂行する場面では、エンドエフェクタＴによりワークＷを保持した状態が、最終目標のタスク状態の一例である。また、第２タスクを遂行する場面では、ワークＷを他のワークＧの所望の位置に配置した状態が、最終目標のタスク状態の一例である。
　また、本実施形態に係る制御装置３は、第１対象物及び第２対象物の対象のタスク状態を示す情報を学習済みの判定モデル５０に与えることで、対象のタスク状態において第１対象物及び第２対象物が互いに接触するか否かを判定する。学習済みの判定モデル５０は、上記機械学習により、第１対象物及び第２対象物の位置関係を示す訓練データ（訓練データ１２２）の入力に対して、当該位置関係において第１対象物及び第２対象物が互いに接触するか否かを示す正解データ（正解データ１２３）に適合する出力値を出力するように訓練されている。
　本実施形態に係る制御装置３は、ロボット装置（マニピュレータ４）のタスク状態を現在のタスク状態から目標のタスク状態に変化させるように、ロボット装置（マニピュレータ４）に与える制御指令を決定する。そして、制御装置３は、決定された制御指令をロボット装置に与えることで、ロボット装置を駆動する。これにより、本実施形態に係る制御装置３は、第２対象物に対して第１対象物を移動するタスクを遂行するロボット装置の動作を制御することができる。
　＜作用効果＞
　以上のとおり、本実施形態に係るモデル生成装置１は、機械学習により、対象の位置関係において２つの対象物が接触するか否かを判定するための判定モデル５０を生成する。機械学習により生成された学習済みの判定モデル５０によれば、対象の位置関係（本実施形態では、相対座標）が連続値で与えられても、判定モデル５０のデータ量の大きな増加を伴うことなく、その位置関係で２つの対象物が互いに接触するか否かを判定することができる。そのため、本実施形態によれば、２つの対象物が接触する境界を表現する情報のデータ量を大幅に低減することができる。
　ここで、図３を更に用いて、この作用効果の具体例について説明する。図３は、２つの対象物が互いに接触するか否かを示す値を座標点毎に保持する形態の一例を模式的に例示する。白丸が、その座標に対応する位置関係において２つの対象物が互いに接触しないことを示し、黒丸が、その座標に対応する位置関係において２つの対象物が互いに接触することを示す。図３では、２次元により各座標点を表現しているが、上記６次元の相対座標の空間では、各座標点は、６次元で表現される。この場合、空間の解像度（分解能）を上げると、６乗のオーダでデータ量が増加してしまう。例えば、実空間での運用に利用可能な解像度で座標点を設定すると、当該情報のデータ量は、簡単に、ギガバイト単位になり得る。
　これに対して、本実施形態では、対象の位置関係において２つの対象物が互いに接触するか否かを示す情報を学習済みの判定モデル５０により保持する。この学習済みの判定モデル５０の演算パラメータの数は、相対座標の次元数に依存し得るものの、この演算パラメータの数を増やすことなく、連続値を取り扱うことができる。そのため、例えば、後述するとおり、３層構造のニューラルネットワークにより判定モデル５０を構成した場合には、学習済みの判定モデル５０のデータ量を数メガバイト程度に抑えることができる。そのため、本実施形態によれば、２つの対象物が接触する境界を表現する情報のデータ量を大幅に低減することができる。これにより、組込みシステム等の比較的に性能の低いコンピュータでも、第１対象物及び第２対象物の無用な接触を避けるようにロボット装置を適切に駆動可能な制御装置３を実現することができる。
　また、ロボット装置の従来の制御方法では、遂行するタスクに対して、ロボット装置に与える時系列の制御指令を直接的に関連付けていた。すなわち、従来の制御方法では、遂行するタスクを制御指令の系列により直接的に記述していた。そのため、タスクを遂行する環境及び対象物の少なくとも一方が少しでも変化した場合に、学習結果がその変化に対応することができず、そのタスクを適切に遂行できなくなる可能性があった。
　例えば、エンドエフェクタによりワークを保持するタスクをロボット装置に教示する場面を想定する。この場合に、ワークが対象の地点に正確に配置されていれば、ロボット装置は、学習結果に基づいて、エンドエフェクタによりワークを保持することができる。一方、ワークの姿勢が学習時とは異なっていたり、ワークが学習時と異なる位置に配置されたりした場合には、エンドエフェクタによりワークを保持する座標が変化する。これにより、ロボット装置がこの場面で遂行すべきタスクの内容が実質的に変化してしまう。そのため、学習結果により得た制御指令の系列では、ロボット装置は、エンドエフェクタによりワークを適切に保持できない可能性がある。
　このように、従来の制御方法では、タスクを遂行する環境及び対象物の少なくとも一方が少しでも変化した場合に、学習結果がその変化に対応できず、そのタスクを新たに学習させなければ、ロボット装置が、そのタスクを適切に遂行できない可能性があるという問題点があった。これに起因して、ロボット装置を汎用的に動作させるためには、同じタスクでも異なる状態毎に制御指令を学習させることになり、ロボット装置にタスクを教示するのにかかるコストが依然として高かった。
　これに対して、本実施形態では、マニピュレータ４により実行するタスクの状態が、エンドエフェクタＴ、ワークＷ、他のワークＧ等の対象物間の相対的な関係、具体的には、対象物間の位置関係により表現される。これにより、マニピュレータ４に与えられる制御指令は、タスクに直接的に関連付けられるのではなく、対象物間の相対的な位置関係の変化量に関連付けられる。すなわち、タスクの内容に依存せずに、対象物の相対的な位置関係を変化させることに対して、マニピュレータ４に与える時系列の制御指令を生成又は教示することができる。例えば、上記の例では、ワークの座標が変化しても、エンドエフェクタとワークとの間の位置関係を把握する際に、そのワークの座標の変化が考慮される。そのため、ロボット装置は、学習結果に基づいて、ワークを適切に保持することができる。したがって、本実施形態によれば、習得されるタスクを遂行する能力の汎用性を高めることができ、これによって、マニピュレータ４にタスクを教示するのにかかるコストを低減することができる。
　§２　構成例
　［ハードウェア構成］
　＜モデル生成装置＞
　次に、図４を用いて、本実施形態に係るモデル生成装置１のハードウェア構成の一例について説明する。図４は、本実施形態に係るモデル生成装置１のハードウェア構成の一例を模式的に例示する。
　図４に示されるとおり、本実施形態に係るモデル生成装置１は、制御部１１、記憶部１２、通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６、及びドライブ１７が電気的に接続されたコンピュータである。なお、図４では、通信インタフェース及び外部インタフェースを「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
　制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、モデル生成プログラム８１、ＣＡＤ（computer-aided design）データ１２０、複数の学習データセット１２１、学習結果データ１２５等の各種情報を記憶する。
　モデル生成プログラム８１は、判定モデル５０の機械学習に関する後述の情報処理（図９）をモデル生成装置１に実行させるためのプログラムである。モデル生成プログラム８１は、当該情報処理の一連の命令を含む。ＣＡＤデータ１２０は、各対象物（エンドエフェクタＴ、ワークＷ、他のワークＧ）のモデル（例えば、３次元モデル）等の幾何学的な構成を示す構成情報を含む。ＣＡＤデータ１２０は、公知のソフトウェアにより生成されてよい。複数の学習データセット１２１は、判定モデル５０の機械学習に使用される。学習結果データ１２５は、機械学習により生成された学習済みの判定モデル５０に関する情報を示す。学習結果データ１２５は、モデル生成プログラム８１を実行した結果として得られる。詳細は後述する。
　通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。モデル生成装置１は、この通信インタフェース１３を利用することで、ネットワークを介したデータ通信を他の情報処理装置（例えば、制御装置３）と行うことができる。
　外部インタフェース１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。モデル生成装置１は、実空間において対象物が接触するか否かを判定するために、外部インタフェース１４を介して、マニピュレータ４及びカメラＳ１と接続されてもよい。
　入力装置１５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置１６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置１５及び出力装置１６を利用することで、モデル生成装置１を操作することができる。
　ドライブ１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記モデル生成プログラム８１、ＣＡＤデータ１２０、及び複数の学習データセット１２１の少なくともいずれかは、この記憶媒体９１に記憶されていてもよい。
　記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。モデル生成装置１は、この記憶媒体９１から、上記モデル生成プログラム８１、ＣＡＤデータ１２０、及び複数の学習データセット１２１の少なくともいずれかを取得してもよい。
　ここで、図４では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
　なお、モデル生成装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース１３、外部インタフェース１４、入力装置１５、出力装置１６及びドライブ１７の少なくともいずれかは省略されてもよい。モデル生成装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、モデル生成装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、ＰＣ（Personal Computer）等であってもよい。
　＜制御装置＞
　次に、図５を用いて、本実施形態に係る制御装置３のハードウェア構成の一例について説明する。図５は、本実施形態に係る制御装置３のハードウェア構成の一例を模式的に例示する。
　図５に示されるとおり、本実施形態に係る制御装置３は、制御部３１、記憶部３２、通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７が電気的に接続されたコンピュータである。なお、図５では、図４と同様に、通信インタフェース及び外部インタフェースを「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
　制御装置３の制御部３１～ドライブ３７はそれぞれ、上記モデル生成装置１の制御部１１～ドライブ１７それぞれと同様に構成されてよい。すなわち、制御部３１は、ハードウェアプロセッサであるＣＰＵ、ＲＡＭ、ＲＯＭ等を含み、プログラム及びデータに基づいて各種情報処理を実行するように構成される。記憶部３２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部３２は、制御プログラム８３、ＣＡＤデータ３２０、ロボットデータ３２１、学習結果データ１２５、学習データ３２３、推論モデルデータ３２５等の各種情報を記憶する。
　制御プログラム８３は、目標のタスク状態を推論するための推論モデルの生成に関する後述の情報処理（図１０）及びロボット装置（マニピュレータ４）の動作の制御に関する後述の情報処理（図１５Ａ及び図１５Ｂ）を制御装置３に実行させるためのプログラムである。制御プログラム８３は、これらの情報処理の一連の命令を含む。ＣＡＤデータ３２０は、上記ＣＡＤデータ１２０と同様に、各対象物（エンドエフェクタＴ、ワークＷ、他のワークＧ）のモデル等の幾何学的な構成を示す構成情報を含む。ロボットデータ３２１は、各関節のパラメータ等のマニピュレータ４の構成を示す構成情報を含む。学習結果データ１２５は、学習済みの判定モデル５０の設定に利用される。学習データ３２３は、推論モデルの生成に使用される。推論モデルデータ３２５は、生成された推論モデルに関する情報を示す。詳細は後述する。
　通信インタフェース３３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。制御装置３は、この通信インタフェース３３を利用することで、ネットワークを介したデータ通信を他の情報処理装置（例えば、モデル生成装置１）と行うことができる。
　外部インタフェース３４は、例えば、ＵＳＢポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース３４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。制御装置３は、外部インタフェース３４を介して、カメラＳ１及びマニピュレータ４と接続されてよい。本実施形態では、マニピュレータ４は、各関節の角度を測定するエンコーダＳ２、及びエンドエフェクタＴに作用する力を測定する触覚センサＳ３を備える。
　カメラＳ１、エンコーダＳ２、及び触覚センサＳ３それぞれの種類は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。カメラＳ１は、例えば、ＲＧＢ画像を取得するよう構成された一般的なデジタルカメラ、深度画像を取得するように構成された深度カメラ、赤外線量を画像化するように構成された赤外線カメラ等であってよい。触覚センサＳ３は、例えば、タクタイルセンサ等であってよい。
　制御装置３は、外部インタフェース３４を介して、各センサ（カメラＳ１、各エンコーダＳ２、触覚センサＳ３）からセンシングデータ（画像データ、角度データ、圧力分布データ）を取得することができる。なお、カメラＳ１及びマニピュレータ４との接続方法は、このような例に限定されなくてもよい。例えば、カメラＳ１及びマニピュレータ４が通信インタフェースを備える場合、制御装置３は、通信インタフェース３３を介して、カメラＳ１及びマニピュレータ４に接続されてもよい。
　入力装置３５は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置３６は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置３５及び出力装置３６を利用することで、制御装置３を操作することができる。
　ドライブ３７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９３に記憶されたプログラムを読み込むためのドライブ装置である。記憶媒体９３の種類は、上記記憶媒体９１と同様に、ディスク型であってもよいし、或いはディスク型以外であってもよい。上記制御プログラム８３、ＣＡＤデータ３２０、ロボットデータ３２１、学習結果データ１２５、及び学習データ３２３のうちの少なくともいずれかは、記憶媒体９３に記憶されていてもよい。また、制御装置３は、記憶媒体９３から、上記制御プログラム８３、ＣＡＤデータ３２０、ロボットデータ３２１、学習結果データ１２５、及び学習データ３２３のうちの少なくともいずれかを取得してもよい。
　なお、制御装置３の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部３１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部３２は、制御部３１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。通信インタフェース３３、外部インタフェース３４、入力装置３５、出力装置３６、及びドライブ３７の少なくともいずれかは省略されてもよい。制御装置３は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、制御装置３は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ、ＰＬＣ（programmable logic controller）等であってもよい。
　＜マニピュレータ＞
　次に、図６を用いて、本実施形態に係るマニピュレータ４のハードウェア構成の一例について説明する。図６は、本実施形態に係るマニピュレータ４のハードウェア構成の一例を模式的に例示する。
　本実施形態に係るマニピュレータ４は、６軸の垂直多関節型の産業用ロボットであり、台座部４０及び６つの関節部４１～４６を備えている。各関節部４１～４６は、サーボモータ（不図示）を内蔵していることで、各軸を中心に回転可能に構成されている。第１関節部４１は、台座部４０に接続されており、先端側の部分を台座の軸周りに回転させる。第２関節部４２は、第１関節部４１に接続されており、先端側の部分を前後方向に回転させる。第３関節部４３は、リンク４９１を介して第２関節部４２に接続されており、先端側の部分を上下方向に回転させる。第４関節部４４は、リンク４９２を介して第３関節部４３に接続されており、先端側の部分をリンク４９２の軸周りに回転させる。第５関節部４５は、リンク４９３を介して第４関節部４４に接続されており、先端側の部分を上下方向に回転させる。第６関節部４６は、リンク４９４を介して第５関節部４５に接続されており、先端側の部分をリンク４９４の軸周りに回転させる。第６関節部４６の先端側には、触覚センサＳ３と共にエンドエフェクタＴが取り付けられている。
　各関節部４１～４６には、エンコーダＳ２が更に内蔵されている。各エンコーダＳ２は、各関節部４１～４６の角度（制御量）を測定するように構成される。各エンコーダＳ２の測定データ（角度データ）は、各関節部４１～４６の角度の制御に利用することができる。また、触覚センサＳ３は、エンドエフェクタＴに作用する力を検出するように構成される。触覚センサＳ３の測定データ（圧力分布データ）は、エンドエフェクタＴに保持されたワークＷの位置及び姿勢を推定したり、エンドエフェクタＴに異常な力が作用しているか否かを検知したりするために利用されてよい。
　なお、マニピュレータ４のハードウェア構成は、このような例に限定されなくてもよい。マニピュレータ４の具体的なハードウェア構成に関して、実施の形態に応じて適宜、構成要素の省略、置換及び追加が可能である。例えば、マニピュレータ４は、制御量又はその他の属性を観測するために、エンコーダＳ２及び触覚センサＳ３以外のセンサを備えてもよい。例えば、マニピュレータ４は、トルクセンサを更に備えてもよい。この場合、マニピュレータ４は、エンドエフェクタＴに作用する力をトルクセンサにより測定し、トルクセンサの測定値に基づいて、エンドエフェクタＴに過剰な力が作用しないように制御されてよい。また、マニピュレータ４の軸数は、６軸に限られなくてもよい。マニピュレータ４には、公知の産業用ロボットが採用されてよい。
　［ソフトウェア構成］
　＜モデル生成装置＞
　次に、図７を用いて、本実施形態に係るモデル生成装置１のソフトウェア構成の一例について説明する。図７は、本実施形態に係るモデル生成装置１のソフトウェア構成の一例を模式的に例示する。
　モデル生成装置１の制御部１１は、記憶部１２に記憶されたモデル生成プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開されたモデル生成プログラム８１に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図７に示されるとおり、本実施形態に係るモデル生成装置１は、データ取得部１１１、機械学習部１１２、及び保存処理部１１３をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、モデル生成装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。
　データ取得部１１１は、複数の学習データセット１２１を取得する。各学習データセット１２１は、２つの対象物の間の位置関係を示す訓練データ１２２及び当該位置関係において２つの対象物が互いに接触するか否かを示す正解データ１２３の組み合わせにより構成される。訓練データ１２２は、機械学習の入力データとして利用される。正解データ１２３は、機械学習の教師信号（ラベル）として利用される。訓練データ１２２及び正解データ１２３の形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、訓練データ１２２には、２つの対象物の間の相対座標がそのまま利用されてもよいし、或いは、相対座標を特徴量に変換することで得られた値が利用されてもよい。ＣＡＤデータ１２０により、対象の位置関係において対象の２つの対象物が互いに接触するか否かを判定することができる。そのため、ＣＡＤデータ１２０を利用することで、各学習データセット１２１を生成することができる。
　機械学習部１１２は、取得された複数の学習データセット１２１を使用して、判定モデル５０の機械学習を実施する。機械学習を実施することは、各学習データセット１２１について、訓練データ１２２の入力に対して、対応する正解データ１２３に適合する出力値を出力するように判定モデル５０を訓練することにより構成される。この機械学習により、２つの対象物が互いに接触するか否かを判定する能力を習得した学習済みの判定モデル５０を構築することができる。保存処理部１１３は、構築された学習済みの判定モデル５０に関する情報を学習結果データ１２５として生成し、生成された学習結果データ１２５を所定の記憶領域に保存する。
　（判定モデルの構成）
　次に、判定モデル５０の構成の一例について説明する。本実施形態に係る判定モデル５０は、深層学習に用いられる多層構造のニューラルネットワークにより構成される。図７の例では、判定モデル５０は、３層構造の全結合型ニューラルネットワークにより構成されている。判定モデル５０は、入力層５０１、中間（隠れ）層５０２、及び出力層５０３を備えている。ただし、判定モデル５０の構造は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、判定モデル５０の備える中間層の数は、１つに限られなくてもよく、２つ以上であってもよい。或いは、中間層５０２は、省略されてもよい。
　各層５０１～５０３に含まれるニューロン（ノード）の数は、実施の形態に応じて適宜決定されてよい。例えば、入力層５０１のニューロンの数は、２つの対象物の間の位置関係を表現する相対座標の次元数に応じて決定されてよい。また、出力層５０３のニューロンの数は、２つの対象物が互いに接触するか否かを表現する方法に応じて決定されてよい。例えば、２つの対象物が互いに接触するか否かを１つの数値で表現する（例えば、［０、１］の範囲の数値で表現する）場合、出力層５０３のニューロンの数は１つであってよい。また、例えば、接触する確率を示す第１の数値及び接触していない確率を示す第２の数値の２つの数値により２つの対象物が互いに接触するか否かを表現する場合、出力層５０３のニューロンの数は２つであってよい。
　隣接する層のニューロン同士は適宜結合される。本実施形態では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、各ニューロンの結合関係は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。各結合には、重み（結合荷重）が設定されている。各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。閾値は、活性化関数により表現されてもよい。この場合、各入力と各重みとの積の和を活性化関数に入力し、活性化関数の演算を実行することで、各ニューロンの出力が決定される。活性化関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。各層５０１～５０３に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、判定モデル５０の演算パラメータの一例である。
　本実施形態では、機械学習部１１２は、複数の学習データセット１２１を使用して、上記ニューラルネットワークにより構成された判定モデル５０の機械学習を実施する。具体的に、機械学習部１１２は、判定モデル５０の演算パラメータの値を調整することで、各学習データセット１２１について、訓練データ１２２を入力層５０１に入力すると、正解データ１２３に適合する出力値が出力層５０３から出力されるように判定モデル５０の演算パラメータを訓練する。これにより、機械学習部１１２は、２つの対象物が互いに接触するか否かを判定する能力を習得した学習済みの判定モデル５０を生成することができる。
　保存処理部１１３は、構築された学習済みの判定モデル５０の構造及び演算パラメータを示す情報を学習結果データ１２５として生成する。そして、保存処理部１１３は、生成された学習結果データ１２５を所定の記憶領域に保存する。なお、学習結果データ１２５の内容は、学習済みの判定モデル５０を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で判定モデル５０の構造が共通化されている場合、学習結果データ１２５において判定モデル５０の構造を示す情報は省略されてよい。
　＜制御装置＞
　次に、図８を用いて、本実施形態に係る制御装置３のソフトウェア構成の一例について説明する。図８は、本実施形態に係る制御装置３のソフトウェア構成の一例を模式的に例示する。
　制御装置３の制御部３１は、記憶部３２に記憶された制御プログラム８３をＲＡＭに展開する。そして、制御部３１は、ＲＡＭに展開された制御プログラム８３に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図８に示されるとおり、本実施形態に係る制御装置３は、目標設定部３１１、状態取得部３１２、行動決定部３１３、接触判定部３１４、指令決定部３１５、駆動部３１６、データ収集部３１７、モデル生成部３１８、及び保存処理部３１９をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、上記モデル生成装置１と同様に、制御装置３の各ソフトウェアモジュールは、制御部３１（ＣＰＵ）により実現される。
　目標設定部３１１は、遂行するタスクに応じて、最終目標のタスク状態を設定する。タスク状態は、遂行するタスクにおける第１対象物及び第２対象物の間の位置関係により規定される。本実施形態では、位置関係は、上記相対座標により表現される。「最終目標」は、終着点（ゴール）であり、タスクの遂行を完了した時点に実現される。状態取得部３１２は、ロボット装置（マニピュレータ４）の現在のタスク状態を示す情報を取得する。「現在」は、ロボット装置の動作を制御する時点であって、ロボット装置に与える制御指令を決定する直前の時点である。第１対象物及び第２対象物は、遂行するタスクに応じて適宜設定されてよい。一例として、第１タスクを遂行する場面では、第１対象物は、エンドエフェクタＴであり、第２対象物は、ワークＷである。第２タスクを遂行する場面では、第１対処物は、エンドエフェクタＴにより保持されたワークＷであり、第２対象物は、他のワークＧである。
　行動決定部３１３は、最終目標のタスク状態に近付くように、取得された情報により示される現在のタスク状態に対して、次に遷移する目標のタスク状態を決定する。「目標」は、最終目標を含み、タスクの遂行を達成するために適宜設定されてよい。最終目標までに設定される目標の数は、１つであってもよいし（この場合、最終目標だけが設定される）、複数であってもよい。最終目標以外の目標は、タスクの開始点から終着点に到達するまでに経由する経由点である。そのため、最終目標を単に「目標（ゴール）」と称し、最終目標以外の目標を「下位目標（サブゴール）」と称してもよい。下位目標は、「経由点」と称してもよい。「次に遷移する目標」は、現在のタスク状態から次に目指すタスク状態（最終目標以外の目標であれば暫定的なタスク状態）であり、例えば、最終目標に向かって、現在のタスク状態に最も近い目標である。
　接触判定部３１４は、学習結果データ１２５を保持することで、学習済みの判定モデル５０を備えている。接触判定部３１４は、学習結果データ１２５を参照して、学習済みの判定モデル５０の設定を行う。学習済みの判定モデル５０は、上記機械学習により、第１対象物及び第２対象物が互いに接触するか否かを判定する能力を習得している。接触判定部３１４は、第１対象物及び第２対象物の対象のタスク状態を示す情報を学習済みの判定モデル５０に与えることで、対象のタスク状態において第１対象物及び第２対象物が互いに接触するか否かを判定する。
　指令決定部３１５は、ロボット装置（マニピュレータ４）のタスク状態を現在のタスク状態から目標のタスク状態に変化させるように、ロボット装置（マニピュレータ４）に与える制御指令を決定する。駆動部３１６は、決定された制御指令をロボット装置に与えることで、ロボット装置を駆動する。本実施形態では、これらの一連の処理により、マニピュレータ４の動作が制御される。
　学習済みの判定モデル５０による接触するか否かの判定結果は、上記ロボット装置の動作を制御する場面に直接的に利用されてもよい。或いは、学習済みの判定モデル５０による接触するか否かの判定結果は、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論するための推論モデル５５を生成するのに利用されてよい。これにより、学習済みの判定モデル５０の判定結果は、上記ロボット装置の動作を制御する場面に間接的に利用されてよい。本実施形態では、学習済みの判定モデル５０の判定結果の利用方法として後者の利用方法が選択される。
　すなわち、データ収集部３１７及びモデル生成部３１８は、学習済みの判定モデル５０による判定の結果を利用して、第１対象物が第２対象物に接触しないように、次に遷移する目標のタスク状態を決定するように構成された推論モデル５５を生成する。データ収集部３１７は、学習済みの判定モデル５０による判定の結果を利用して、推論モデル５５の生成に使用する学習データ３２３を収集する。学習データ３２３の収集には、ＣＡＤデータ３２０が更に利用されてよい。モデル生成部３１８は、収集された学習データ３２３を使用して、推論モデル５５を生成する。学習データ３２３及び推論モデル５５の詳細は後述する。
　保存処理部３１９は、生成された推論モデル５５に関する情報を推論モデルデータ３２５として生成し、生成された推論モデルデータ３２５を所定の記憶領域に保存する。本実施形態では、行動決定部３１３は、推論モデルデータ３２５を保持することで、生成された推論モデル５５を備えている。行動決定部３１３は、生成された推論モデル５５を利用して、現在のタスク状態に対して次に遷移する目標のタスク状態を決定する。
　＜その他＞
　モデル生成装置１及び制御装置３の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、モデル生成装置１及び制御装置３の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、モデル生成装置１及び制御装置３それぞれのソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
　§３　動作例
　［モデル生成装置］
　次に、図９を用いて、モデル生成装置１の動作例について説明する。図９は、本実施形態に係るモデル生成装置１による判定モデル５０の機械学習に関する処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「モデル生成方法」の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
　（ステップＳ１０１）
　ステップＳ１０１では、制御部１１は、データ取得部１１１として動作し、判定モデル５０の機械学習に使用する複数の学習データセット１２１を取得する。各学習データセット１２１は、２つの対象物の間の位置関係を示す訓練データ１２２及び当該位置関係において２つの対象物が互いに接触するか否かを示す正解データ１２３の組み合わせにより構成される。
　各学習データセット１２１を生成する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、ＣＡＤデータ１２０を利用して、仮想空間上で、２つの対象物を様々な位置関係に配置する。本実施形態では、位置関係は、相対座標により表現される。また、本実施形態では、２つの対象物のうちの少なくともいずれかは、ロボット装置（マニピュレータ４）の動作により移動する対象である。上記第１タスクを遂行する場面を想定する場合、エンドエフェクタＴ及びワークＷがそれぞれ各対象物の一例である。また、上記第２タスクを遂行する場面を想定する場合、エンドエフェクタＴにより保持されたワークＷ及び他のワークＧがそれぞれ各対象物の一例である。２つの対象物のうちの一方がマニピュレータ４の手先であり、他方が目標物である。各対象物の配置は、オペレータにより指定されてもよいし、ランダムに決定されてもよい。或いは、一方の対象物の位置を固定し、他方の対象物を規則に従って位置を変更することで、様々な位置関係が実現されてもよい。他方の対象物の配置を与える規則は適宜設定されてよい。これにより、各位置関係における相対座標を各学習データセット１２１の訓練データ１２２として取得することができる。また、ＣＡＤデータ１２０には、各対象物のモデルが含まれている。そのため、ＣＡＤデータ１２０により、対象の位置関係において対象の２つの対象物が互いに接触するか否かを判定することができる。ＣＡＤデータ１２０を利用して、各位置関係において２つの対象物が互いに接触するか否かを判定した結果を正解データ１２３として対応する訓練データ１２２に関連付ける。これにより、各学習データセット１２１を生成することができる。なお、各学習データセット１２１を生成する方法は、このような例に限定されなくてもよい。実空間上において、各対象物の実物を利用することで、各学習データセット１２１が生成されてもよい。
　各学習データセット１２１は、コンピュータの動作により自動的に生成されてもよいし、少なくとも部分的にオペレータの操作を含むことで手動的に生成されてもよい。また、各学習データセット１２１の生成は、モデル生成装置１により行われてもよいし、モデル生成装置１以外の他のコンピュータにより行われてもよい。各学習データセット１２１をモデル生成装置１が生成する場合、制御部１１は、自動的又はオペレータの入力装置１５を介した操作により手動的に上記一連の処理を実行することで、複数の学習データセット１２１を取得する。一方、各学習データセット１２１を他のコンピュータが生成する場合、制御部１１は、例えば、ネットワーク、記憶媒体９１等を介して、他のコンピュータにより生成された複数の学習データセット１２１を取得する。この場合、ＣＡＤデータ１２０はモデル生成装置１から省略されてもよい。一部の学習データセット１２１がモデル生成装置１により生成され、その他の学習データセット１２１が１又は複数の他のコンピュータにより生成されてもよい。
　取得される学習データセット１２１の件数は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。複数の学習データセット１２１を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。
　（ステップＳ１０２）
　ステップＳ１０２では、制御部１１は、機械学習部１１２として動作し、取得された複数の学習データセット１２１を使用して、判定モデル５０の機械学習を実施する。本実施形態では、制御部１１は、機械学習により、各学習データセット１２１について、訓練データ１２２を入力層５０１に入力すると、対応する正解データ１２３に適合する出力値が出力層５０３から出力されるように判定モデル５０を訓練する。これにより、制御部１１は、対象の位置関係において２つの対象物が互いに接触するか否かを判定する能力を習得した学習済みの判定モデル５０を構築する。
　機械学習の処理手順は、実施の形態に応じて適宜決定されてよい。一例として、制御部１１は、まず、処理対象となる判定モデル５０を用意する。用意する判定モデル５０の構造（例えば、層の数、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係等）、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部１１は、過去の機械学習を行うことで得られた学習結果データに基づいて、判定モデル５０を用意してもよい。
　次に、制御部１１は、各学習データセット１２１に含まれる訓練データ１２２を入力データとして利用し、正解データ１２３を教師信号として利用して、判定モデル５０（ニューラルネットワーク）の学習処理を実行する。この学習処理には、バッチ勾配降下法、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。
　例えば、第１のステップでは、制御部１１は、各学習データセット１２１について、訓練データ１２２を判定モデル５０に入力し、判定モデル５０の演算処理を実行する。すなわち、制御部１１は、訓練データ１２２を入力層５０１に入力し、入力側から順に各層５０１～５０３に含まれる各ニューロンの発火判定を行う（すなわち、順伝播の演算を行う）。この演算処理により、制御部１１は、判定モデル５０の出力層５０３から、訓練データ１２２により示される位置関係において２つの対象物が接触するか否かを判定した結果に対応する出力値を取得する。
　第２のステップでは、制御部１１は、出力層５０３から取得された出力値と正解データ１２３との誤差（損失）を損失関数に基づいて算出する。損失関数は、学習モデルの出力と正解との差分（すなわち、相違の程度）を評価する関数であり、出力層５０３から取得された出力値と正解データ１２３との差分値が大きいほど、損失関数により算出される誤差の値は大きくなる。誤差の計算に利用する損失関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
　第３のステップでは、制御部１１は、誤差逆伝播（Back propagation）法により、算出された出力値の誤差の勾配を用いて、判定モデル５０の各演算パラメータ（各ニューロン間の結合の重み、各ニューロンの閾値等）の値の誤差を算出する。第４のステップでは、制御部１１は、算出された各誤差に基づいて、判定モデル５０の演算パラメータの値を更新する。演算パラメータの値を更新する程度は、学習率により調節されてよい。学習率は、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。
　制御部１１は、上記第１～第４のステップを繰り返すことで、各学習データセット１２１について、出力層５０３から出力される出力値と正解データ１２３との誤差の和が小さくなるように、判定モデル５０の演算パラメータの値を調整する。例えば、制御部１１は、当該誤差の和が閾値以下になるまで、上記第１～第４のステップの処理を繰り返してもよい。閾値は、実施の形態に応じて適宜設定されてよい。この機械学習の結果により、制御部１１は、各学習データセット１２１について、訓練データ１２２を入力層５０１に入力すると、対応する正解データ１２３に適合する出力値を出力層５０３から出力するように訓練された学習済みの判定モデル５０を構築することができる。この「適合する」ことは、閾値等により許容可能な差異が、出力層５０３の出力値と教師信号（正解データ１２３）との間に生じることを含んでもよい。判定モデル５０の機械学習が完了すると、制御部１１は、次のステップＳ１０３に処理を進める。
　（ステップＳ１０３）
　ステップＳ１０３では、制御部１１は、保存処理部１１３として動作し、機械学習により構築された学習済みの判定モデル５０に関する情報を学習結果データ１２５として所定の記憶領域に保存する。本実施形態では、制御部１１は、ステップＳ１０２により構築された学習済みの判定モデル５０の構造及び演算パラメータを示す情報を学習結果データ１２５として生成する。そして、制御部１１は、生成された学習結果データ１２５を所定の記憶領域に保存する。
　所定の記憶領域は、例えば、制御部１１内のＲＡＭ、記憶部１２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、ＣＤ、ＤＶＤ等であってよく、制御部１１は、ドライブ１７を介して記憶メディアに学習結果データ１２５を格納してもよい。外部記憶装置は、例えば、ＮＡＳ（Network Attached Storage）等のデータサーバであってよい。この場合、制御部１１は、通信インタフェース１３を利用して、ネットワークを介してデータサーバに学習結果データ１２５を格納してもよい。また、外部記憶装置は、例えば、モデル生成装置１に接続された外付けの記憶装置であってもよい。
　これにより、学習結果データ１２５の保存が完了すると、制御部１１は、学習済みの判定モデル５０の生成に関する一連の処理を終了する。
　なお、生成された学習結果データ１２５は、任意のタイミングで制御装置３に提供されてよい。例えば、制御部１１は、ステップＳ１０３の処理として又はステップＳ１０３の処理とは別に、学習結果データ１２５を制御装置３に転送してもよい。制御装置３は、この転送を受信することで、学習結果データ１２５を取得してもよい。また、例えば、制御装置３は、通信インタフェース３３を利用して、モデル生成装置１又はデータサーバにネットワークを介してアクセスすることで、学習結果データ１２５を取得してもよい。また、例えば、制御装置３は、記憶媒体９３を介して、学習結果データ１２５を取得してもよい。また、例えば、学習結果データ１２５は、制御装置３に予め組み込まれてもよい。
　更に、制御部１１は、上記ステップＳ１０１～ステップＳ１０３の処理を定期又は不定期に繰り返すことで、学習結果データ１２５を更新又は新たに生成してもよい。この繰り返しの際には、複数の学習データセット１２１の少なくとも一部の変更、修正、追加、削除等が適宜実行されてよい。そして、制御部１１は、更新した又は新たに生成した学習結果データ１２５を学習処理の実行毎に制御装置３に提供することで、制御装置３の保持する学習結果データ１２５を更新してもよい。
　［制御装置］
　（Ａ）推論モデルの生成
　次に、図１０を用いて、制御装置３の推論モデル５５の生成に関する動作例について説明する。図１０は、本実施形態に係る制御装置３による推論モデル５５の生成に関する処理手順の一例を示すフローチャートである。なお、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
　（ステップＳ２０１）
　ステップＳ２０１では、制御部３１は、マニピュレータ４の遂行するタスクに関して、最終目標のタスク状態の指定を受け付ける。タスク状態は、第１対象物及び第２対象物の間の位置関係により表現される。本実施形態では、位置関係は、相対座標により表現される。
　最終のタスク状態における相対座標を指定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、最終のタスク状態における相対座標は、入力装置３５を介したオペレータの入力により直接的に指定されてもよい。また、例えば、オペレータの入力により、遂行するタスクが選択され、選択されたタスクに応じて、最終のタスク状態における相対座標が指定されてもよい。また、例えば、ＣＡＤデータ３２０を利用して、仮想空間上で各対象物のモデルを最終目標の位置関係に配置することで、最終目標における相対座標が指定されてもよい。各対象物のモデルの配置は、シミュレータにより自動的に行われてもよいし、オペレータの入力により手動的に行われてもよい。最終目標のタスク状態が指定されると、制御部３１は、次のステップＳ２０２に処理を進める。
　（ステップＳ２０２～ステップＳ２０４）
　ステップＳ２０２では、制御部３１は、任意のタスク状態を開始点に設定する。開始点に設定されるタスク状態は、タスクの遂行を開始する時点におけるタスク状態に相当する。開始点となるタスク状態は、ランダムに設定されてもよいし、或いは、オペレータの入力により指定されてもよい。オペレータによる開始点の指定方法は、上記最終目標の指定方法と同様であってよい。また、開始点となるタスク状態は、任意のアルゴリズムにより決定されてよい。一例として、各対象物の実物を実空間に配置し、カメラにより各対象物を撮影することで、各対象物の写る画像データを取得してもよい。そして、得られた画像データに対して画像処理（例えば、ＣＡＤデータ３２０によるマッチング）を行うことで、開始点となるタスク状態が決定されてもよい。その他、開始点となるタスク状態は、ＣＡＤデータ３２０を利用して適宜決定されてもよい。
　ステップＳ２０３では、制御部３１は、接触判定部３１４として動作し、学習済みの判定モデル５０を利用して、開始点に設定されたタスク状態において２つの対象物が互いに接触するか否かを判定する。具体的には、制御部３１は、学習結果データ１２５を参照して、学習済みの判定モデル５０の設定を行う。続いて、制御部３１は、ステップＳ２０２で設定されたタスク状態の相対座標を学習済みの判定モデル５０の入力層５０１に入力する。そして、制御部３１は、学習済みの判定モデル５０の演算処理として、入力側から順に各層５０１～５０３に含まれる各ニューロンの発火判定を行う。これにより、制御部３１は、開始点に設定されたタスク状態において２つの対象物が互いに接触するか否かを判定した結果に対応する出力値を学習済みの判定モデル５０の出力層５０３から取得する。
　ステップＳ２０４では、制御部３１は、ステップＳ２０３の判定結果に基づいて、処理の分岐先を決定する。ステップＳ２０３において、開始点に設定されたタスク状態において２つの対象物が互いに接触すると判定された場合、制御部３１は、ステップＳ２０２に処理を戻し、開始点のタスク状態を再度設定する。一方、開始点に設定されたタスク状態において２つの対象物が互いに接触しないと判定された場合、制御部３１は、設定された開始点のタスク状態をマニピュレータ４の現在のタスク状態として認定し、次のステップＳ２０５に処理を進める。
　図１１Ａは、タスク空間ＳＰにおいて、上記ステップＳ２０１～ステップＳ２０４の処理により開始点及び最終目標のタスク状態が設定された場面の一例を模式的に例示する。タスク空間ＳＰは、タスク状態を規定する相対座標の集合を表現する。タスク空間ＳＰを示す情報は、制御装置３に保持されていてもよいし、保持されていなくてもよい。タスク空間ＳＰに属する各ノード（点）は、２つの対象物の間の相対座標に対応する。図１１Ａの例では、ノードＮｓが、開始点のタスク状態における相対座標に対応し、ノードＮｇが、最終目標のタスク状態における相対座標に対応する。本実施形態では、タスク空間ＳＰにおける２つの対象物が接触するか否かの境界面（接触境界面）は、学習済みの判定モデル５０による判定結果に基づいて導出される。
　（ステップＳ２０５～ステップＳ２０７）
　ステップＳ２０５では、制御部３１は、最終目標のタスク状態に近付くように、現在のタスク状態に対して次に遷移する目標のタスク状態を決定する。
　目標のタスク状態を決定する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、目標のタスク状態における相対座標は、オペレータの入力により決定されてもよい。開始点となるタスク状態の設定と同様に、目標のタスク状態における相対座標は、任意のアルゴリズムにより決定されてもよいし、ＣＡＤデータ３２０を利用して適宜決定されてもよい。また、例えば、制御部３１は、開始点のタスク状態における相対座標をランダムに変更することで、目標のタスク状態における相対座標を決定してもよい。また、例えば、制御部３１は、タスク空間ＳＰ内で、ノードＮｇに近付くように、ノードＮｓから所定距離だけ離れたノードを選択してもよい。制御部３１は、選択されたノードに対応するタスク状態を目標のタスク状態として取得してもよい。また、例えば、後述する強化学習により推論モデル５５を生成する場合には、強化学習の過程における推論モデル５５を利用して、目標のタスク状態が決定されてよい。
　また、例えば、目標のタスク状態の決定には、パスプランニング等の公知の方法が採用されてよい。一例として、制御部３１は、タスク空間ＳＰにおいて、目標のタスク状態の候補となるノードを設定してもよい。ノードの設定は、ランダムサンプリング等の方法で自動的に行われてもよいし、オペレータの入力により手動的に行われてもよい。一部のノードの設定が自動的に行われ、残りのノードの設定が手動的に行われてもよい。目標のタスク状態の候補となるノードの設定が行われた後、制御部３１は、遷移可能なノードの組み合わせを適宜選択してよい。遷移可能なノードの組み合わせを選択する方法には、例えば、最近傍法等が採用されてよい。タスク空間ＳＰ内において、遷移可能なノードの組み合わせは、ノードを連結するエッジにより表現されてよい。次に、制御部３１は、開始点のノードＮｓから最終目標のノードＮｇまでの経路を探索する。経路探索の方法には、ダイクストラ法等が採用されてよい。制御部３１は、探索により得られた経路に含まれるノードに対応するタスク状態を目標のタスク状態として取得してもよい。
　ステップＳ２０６では、制御部３１は、接触判定部３１４として動作し、学習済みの判定モデル５０を利用して、決定された目標のタスク状態において２つの対象物が互いに接触するか否かを判定する。開始点のタスク状態から目標のタスク状態に判定の対象が置き換わる点を除き、制御部３１は、上記ステップＳ２０３と同様に、ステップＳ２０６の処理を実行してよい。すなわち、制御部３１は、目標のタスク状態の相対座標を学習済みの判定モデル５０に入力し、学習済みの判定モデル５０の演算処理を実行する。これにより、制御部３１は、目標のタスク状態において２つの対象物が互いに接触するか否かを判定した結果に対応する出力値を学習済みの判定モデル５０から取得する。
　ステップＳ２０７では、制御部３１は、ステップＳ２０６の判定結果に基づいて、処理の分岐先を決定する。ステップＳ２０６において、目標のタスク状態において２つの対象物が互いに接触すると判定された場合、制御部３１は、ステップＳ２０５に処理を戻し、目標のタスク状態を再度決定する。一方、目標のタスク状態において２つの対象物が互いに接触しないと判定された場合、制御部３１は、次のステップＳ２０８に処理を進める。
　なお、ステップＳ２０７における分岐先は、このような例に限定されなくてもよい。例えば、目標のタスク状態において２つの対象物が互いに接触すると判定された場合、制御部３１は、ステップＳ２０２に処理を戻し、開始点の設定から処理をやり直してもよい。また、例えば、目標のタスク状態を複数回決定した後に、最後に決定された目標のタスク状態において２つの対象物が互いに接触すると判定された場合、制御部３１は、ステップＳ２０５に処理を戻し、次に遷移する目標のタスク状態の決定を開始点から再度行ってもよい。接触までに決定された目標のタスク状態の系列は、最終目標のタスク状態まで到達不能な失敗事例として収集されてもよい。
　図１１Ｂは、タスク空間ＳＰにおいて、上記ステップＳ２０５～ステップＳ２０７の処理により、目標のタスク状態が決定された場面の一例を模式的に例示する。図１１Ｂの例では、ノードＮ１が、開始点のタスク状態（ノードＮｓ）の次に遷移する目標のタスク状態として決定されたタスク状態における相対座標に対応する。なお、図１１Ｂの例では、ステップＳ２０５において、１回の遷移分の目標のタスク状態が決定されたことを想定している。ただし、ステップＳ２０５において決定する目標のタスク状態の数は、１つに限られなくてもよい。ステップＳ２０５では、制御部３１は、最終目標のタスク状態に向けて、複数回の遷移分の目標のタスク状態（目標のタスク状態の系列）を決定してもよい。
　（ステップＳ２０８）
　ステップＳ２０８では、制御部３１は、ステップＳ２０５により決定された目標のタスク状態にマニピュレータ４の現在のタスク状態を遷移させる。そして、制御部３１は、マニピュレータ４のタスク状態が最終目標のタスク状態に到達したか否か、すなわち、遷移先のタスク状態が最終目標のタスク状態であるか否かを判定する。タスク状態の遷移は、シミュレーションにより仮想空間上で行われてよい。最終目標のタスク状態に到達したと判定した場合、制御部３１は、次のステップＳ２０９に処理を進める。一方、最終目標のタスク状態に到達していないと判定した場合、制御部３１は、ステップＳ２０５に処理を戻し、更なる目標のタスク状態を決定する。
　図１１Ｃは、タスク空間ＳＰにおいて、上記ステップＳ２０８までの処理により、開始点のタスク状態から最終目標のタスク状態までの遷移するタスク状態の系列が決定された場面の一例を模式的に例示する。各ノードＮ１～Ｎ４が、開始点のノードＮｓから最終目標のノードＮｇに到達するまでに、目標のタスク状態として決定されたタスク状態における相対座標に対応する。ノードＮ（ｋ＋１）は、ノードＮ（ｋ）の次に遷移する目標のタスク状態を示す（ｋは、１～３）。図１１Ｃに例示されるとおり、ステップＳ２０８までの処理により、制御部３１は、開始点から最終目標までに遷移する目標のタスク状態の系列を得ることができる。
　（ステップＳ２０９）
　ステップＳ２０９では、制御部３１は、ステップＳ２０２～ステップＳ２０８の処理を繰り返すか否かを判定する。処理を繰り返す基準は、実施の形態に応じて適宜決定されてよい。
　例えば、処理を繰り返す規定回数が設定されていてもよい。規定回数は、例えば、設定値により与えられてもよいし、オペレータの指定により与えられてもよい。この場合、制御部３１は、ステップＳ２０２～ステップＳ２０８の処理を実行した回数が規定回数に到達したか否かを判定する。実行回数が規定回数に到達していないと判定した場合、制御部３１は、ステップＳ２０２に処理を戻し、ステップＳ２０２～ステップＳ２０８の処理を繰り返す。一方、実行回数が規定回数に到達していると判定した場合には、制御部３１は、次のステップＳ２１０に処理を進める。
　また、例えば、制御部３１は、処理を繰り返すか否かをオペレータに問い合わせてもよい。この場合、制御部３１は、オペレータの回答に応じて、ステップＳ２０２～ステップＳ２０８の処理を繰り返すか否かを判定する。オペレータが処理を繰り返すと回答した場合、制御部３１は、ステップＳ２０２に処理を戻し、ステップＳ２０２～ステップＳ２０８の処理を繰り返す。一方、オペレータが処理を繰り返さないと回答した場合、制御部３１は、次のステップＳ２１０に処理を進める。
　ステップＳ２０９までの処理により、図１１Ｃに例示される開始点から最終目標までに遷移する目標のタスク状態の１つ以上の系列を得ることができる。制御部３１は、データ収集部３１７として動作し、この開始点から最終目標までに遷移する目標のタスク状態の１つ以上の系列を収集する。そして、制御部３１は、収集された系列により学習データ３２３を生成する。制御部３１は、収集された系列をそのまま学習データ３２３として取得してもよいし、収集された系列に対して何らかの情報処理を実行することで学習データ３２３を生成してもよい。学習データ３２３の構成は、推論モデル５５を生成する方法に応じて適宜決定されてよい。学習データ３２３の構成については後述する。
　（ステップＳ２１０及びステップＳ２１１）
　ステップＳ２１０では、制御部３１は、モデル生成部３１８として動作する。すなわち、制御部３１は、学習済みの判定モデル５０による判定の結果を利用して得られた学習データ３２３を使用して、第１対象物が第２対象物に接触しないように、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論するための推論モデル５５を生成する。推論モデル５５を生成する方法については後述する。
　ステップＳ２１１では、制御部３１は、保存処理部３１９として動作する。すなわち、制御部３１は、生成された推論モデル５５に関する情報を推論モデルデータ３２５として生成し、生成された推論モデルデータ３２５を所定の記憶領域に保存する。所定の記憶領域は、例えば、制御部３１内のＲＡＭ、記憶部３２、外部記憶装置、記憶メディア又はこれらの組み合わせであってよい。記憶メディアは、例えば、ＣＤ、ＤＶＤ等であってよく、制御部３１は、ドライブ３７を介して記憶メディアに推論モデルデータ３２５を格納してもよい。外部記憶装置は、例えば、ＮＡＳ等のデータサーバであってよい。この場合、制御部３１は、通信インタフェース３３を利用して、ネットワークを介してデータサーバに推論モデルデータ３２５を格納してもよい。また、外部記憶装置は、例えば、制御装置３に接続された外付けの記憶装置であってもよい。
　これにより、推論モデルデータ３２５の保存が完了すると、制御部３１は、推論モデル５５の生成に関する一連の処理を終了する。
　＜推論モデルの生成方法＞
　次に、上記ステップＳ２１０における推論モデル５５の生成方法の具体例について説明する。本実施形態では、制御部３１は、以下の２つの方法のうちの少なくともいずれかの方法により、推論モデル５５を生成することができる。
　（１）第１の方法
　第１の方法では、制御部３１は、機械学習を実施することで、推論モデル５５を生成する。この場合、推論モデル５５は、機械学習モデルにより構成される。機械学習モデルの種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。推論モデル５５は、例えば、関数式、データテーブル等により表現されてよい。関数式で表現される場合、推論モデル５５は、例えば、ニューラルネットワーク、サポートベクタマシン、回帰モデル、決定木等により構成されてよい。また、機械学習の方法も、特に限定されなくてもよく、推論モデル５５の構成に応じて適宜選択されてよい。推論モデル５５の機械学習の方法には、例えば、教師あり学習、強化学習等が採用されてよい。以下、推論モデル５５を構成する機械学習モデル及び機械学習の方法それぞれの２つの例について説明する。
　（１－１）第１の例
　図１２は、推論モデル５５を構成する機械学習モデル及び機械学習の方法の第１の例を模式的に示す。第１の例では、推論モデル５５にニューラルネットワーク、機械学習の方法に教師あり学習を採用する。なお、図１２の例では、説明の便宜上、推論モデル５５、学習データ３２３、及び推論モデルデータ３２５それぞれの一例を、推論モデル５５１、学習データ３２３１、及び推論モデルデータ３２５１と表記する。
　（１－１－１）推論モデルの構成例
　第１の例では、推論モデル５５１は、３層構造の再帰型ニューラルネットワークにより構成されている。具体的に、推論モデル５５１は、入力層Ｎ５１、ＬＳＴＭ（長期短期記憶：Long short-term memory）ブロックＮ５２、及び出力層Ｎ５３を備えている。ＬＳＴＭブロックＮ５２は、中間層に対応する。
　ＬＳＴＭブロックＮ５２は、入力ゲート及び出力ゲートを備え、情報の記憶及び出力のタイミングを学習可能に構成されたブロックである（S.Hochreiter and J.Schmidhuber, “Long short-term memory” Neural Computation, 9(8):1735-1780, November 15, 1997）。ＬＳＴＭブロックＮ５２は、情報の忘却のタイミングを調節する忘却ゲートを更に備えてもよい（Felix A. Gers, Jurgen Schmidhuber and Fred Cummins, "Learning to Forget: Continual Prediction with LSTM" Neural Computation, pages 2451-2471, October 2000）。ＬＳＴＭブロックＮ５２の構成は、実施の形態に応じて適宜設定されてよい。
　なお、推論モデル５５１の構造は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。推論モデル５５１は、異なる構造の再帰型ニューラルネットワークにより構成されてもよい。或いは、推論モデル５５１は、再帰型ではなく、上記判定モデル５０と同様に全結合型ニューラルネットワーク、又は畳み込みニューラルネットワークにより構成されてもよい。或いは、推論モデル５５１は、複数種類のニューラルネットワークの組み合わせにより構成されてもよい。また、推論モデル５５１の備える中間層の数は、１つに限られなくてもよく、２つ以上であってもよい。或いは、中間層は、省略されてもよい。その他、推論モデル５５１の構成は、上記判定モデル５０と同様であってよい。
　（１－１－２）学習データの構成例
　推論モデル５５１の教師あり学習に利用される学習データ３２３１は、訓練データ（入力データ）及び正解データ（教師信号）の組み合わせを含む複数の学習データセットＬ３０により構成される。訓練データは、訓練用の現在のタスク状態Ｌ３１における相対座標及び訓練用の最終目標のタスク状態Ｌ３２における相対座標により構成されてよい。正解データは、訓練用の目標のタスク状態Ｌ３３における相対座標により構成されてよい。なお、訓練データ及び正解データの形式は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、訓練データには、相対座標がそのまま利用されてもよいし、或いは、相対座標を特徴量に変換することで得られた値が利用されてもよい。
　制御部３１は、ステップＳ２０９までの処理により得られた目標のタスク状態の１つ以上の系列から各学習データセットＬ３０を生成することができる。例えば、ノードＮｇにより示される最終目標のタスク状態を、訓練用の最終目標のタスク状態Ｌ３２として利用することができる。また、制御部３１は、ノードＮｓにより示される開始点のタスク状態を訓練用の現在のタスク状態Ｌ３１に設定した場合、対応する正解データにおける訓練用の目標のタスク状態Ｌ３３に、ノードＮ１により示されるタスク状態を設定してよい。同様に、制御部３１は、ノードＮ（ｋ）により示されるタスク状態を訓練用の現在のタスク状態Ｌ３１に設定した場合、対応する正解データにおける訓練用の目標のタスク状態Ｌ３３に、ノードＮ（ｋ＋１）により示されるタスク状態を設定してよい。制御部３１は、ノードＮ４により示されるタスク状態を訓練用の現在のタスク状態Ｌ３１に設定した場合、対応する正解データにおける訓練用の目標のタスク状態Ｌ３３に、ノードＮｇにより示される最終目標のタスク状態を設定してよい。これにより、得られた目標のタスク状態の１つ以上の系列から各学習データセットＬ３０を生成することができる。
　（１－１－３）ステップＳ２１０について
　上記ステップＳ２１０では、制御部３１は、取得された複数の学習データセットＬ３０を使用して、推論モデル５５１の機械学習（教師あり学習）を実施する。第１の例では、制御部３１は、機械学習により、各学習データセットＬ３０について、訓練データを入力層Ｎ５１に入力すると、正解データに適合する出力値を出力層Ｎ５３から出力するように推論モデル５５１を訓練する。これにより、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論する能力を獲得した学習済みの推論モデル５５１を生成することができる。
　推論モデル５５１の機械学習の方法は、上記判定モデル５０の機械学習の方法と同様であってよい。すなわち、第１のステップでは、制御部３１は、各学習データセットＬ３０について、推論モデル５５１の入力層Ｎ５１に訓練データを入力し、推論モデル５５１の演算処理を実行する。これにより、制御部３１は、現在のタスク状態に対して次に遷移する目標のタスク状態を推論した結果に対応する出力値を推論モデル５５１の出力層Ｌ５３から取得する。第２のステップでは、制御部３１は、出力層Ｌ５３の出力値と正解データとの誤差を損失関数に基づいて算出する。
　続いて、第３のステップでは、制御部３１は、誤差逆伝播法により、算出された出力値の誤差の勾配を用いて、推論モデル５５１の各演算パラメータの値の誤差を算出する。制御部３１は、算出された誤差の勾配を用いて、推論モデル５５１の各演算パラメータ（例えば、各ニューロン間の結合の重み、各ニューロンの閾値等）の値の誤差を算出する。第４のステップでは、制御部３１は、算出された各誤差に基づいて、推論モデル５５１の演算パラメータの値を更新する。更新の程度は、学習率により調節されてよい。学習率は、オペレータの指定により与えられてもよいし、プログラム内の設定値として与えられてもよい。
　制御部３１は、上記第１～第４のステップを繰り返すことで、各学習データセットＬ３０について、出力層Ｎ５３から出力される出力値と正解データとの誤差の和が小さくなるように、推論モデル５５１の演算パラメータの値を調整する。例えば、制御部３１は、誤差の和が閾値以下になるまで、上記第１～第４のステップの処理を繰り返してもよい。閾値は、実施の形態に応じて適宜設定されてよい。或いは、制御部３１は、上記第１～第４のステップを所定回数繰り返してもよい。調整を繰り返す回数は、例えば、プログラム内の設定値で指定されてもよいし、オペレータの入力により指定されてもよい。
　この機械学習（教師あり学習）の結果により、制御部３１は、各学習データセットＬ３０について、訓練データを入力層Ｎ５１に入力すると、対応する正解データに適合する出力値を出力層Ｎ５３から出力するように訓練された学習済みの推論モデル５５１を構築することができる。すなわち、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論する能力を獲得した学習済みの推論モデル５５１を構築することができる。
　ステップＳ２１１では、制御部３１は、教師あり学習により構築された学習済みの推論モデル５５１の構造及び演算パラメータを示す情報を推論モデルデータ３２５１として生成する。そして、制御部３１は、生成された推論モデルデータ３２５１を所定の記憶領域に保存する。なお、推論モデルデータ３２５１の内容は、学習済みの推論モデル５５１を再生可能であれば、このような例に限定されなくてもよい。例えば、各装置間で推論モデル５５１の構造が共通化されている場合、推論モデルデータ３２５１において推論モデル５５１の構造を示す情報は省略されてよい。
　（１－１－４）その他
　なお、機械学習の方法に教師あり学習を採用する場合、推論モデル５５１の構成は、ニューラルネットワークに限られなくてよい。ニューラルネットワーク以外の機械学習モデルが推論モデル５５１として採用されてもよい。推論モデル５５１を構成する機械学習モデルには、例えば、サポートベクタマシン、回帰モデル、決定木等が採用されてもよい。教師あり学習の方法は、上記の例に限定されなくてよく、機械学習モデルの構成に応じて適宜選択されてよい。
　（１－２）第２の例
　図１３は、推論モデル５５を構成する機械学習モデル及び機械学習の方法の第２の例を模式的に示す。第２の例では、機械学習の方法に強化学習を採用する。なお、図１３の例では、説明の便宜上、推論モデル５５、学習データ３２３、及び推論モデルデータ３２５それぞれの一例を、推論モデル５５２、学習データ３２３２、及び推論モデルデータ３２５２と表記する。
　（１－２－１）推論モデルの構成例
　第２の例では、推論モデル５５２には、価値ベース、方策ベース、又はその両方が採用されてよい。価値ベースを採用する場合、推論モデル５５２は、例えば、状態価値関数、行動価値関数（Ｑ関数）等の価値関数により構成されてよい。状態価値関数は、与えられた状態の価値を出力するように構成される。行動価値関数は、与えられた状態に対して各行動の価値を出力するように構成される。方策ベースを採用する場合、推論モデル５５２は、例えば、方策関数により構成されてよい。方策関数は、与えられた状態に対して各行動を選択する確率を出力するように構成される。両方を採用する場合、推論モデル５５２は、例えば、価値関数（Critic）及び方策関数（Actor）により構成されてよい。各関数は、例えば、データテーブル、関数式等により表現されてよい。関数式により表現する場合、各関数は、ニューラルネットワーク、線形関数、決定木等により構成されてよい。なお、中間（隠れ）層が複数存在する多層構造のニューラルネットワークにより各関数を構成することで、深層強化学習が実施されてよい。
　（１－２－２）学習データの構成例
　強化学習では、基本的に、方策に従って行動することで、学習の環境と相互作用するエージェントが仮定される。エージェントの実体は、例えば、ＣＰＵである。推論モデル５５２は、上記の構成により、行動を決定する方策として動作する。エージェントは、与えられた学習の環境内で、強化する行動に関する状態を観測する。本実施形態では、観測対象となる状態は、相対座標により規定されるタスク状態であり、実行される行動は、現在のタスク状態から目標のタスク状態への遷移である。方策は、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を決定（推論）するように構成される。
　エージェントは、観測された現在のタスク状態（入力データ）を推論モデル５５２に与えて、次に遷移する目標のタスク状態を推論してよい。エージェントは、この推論の結果に基づいて、目標のタスク状態を決定してもよい。或いは、目標のタスク状態は、ランダムに決定されてよい。これにより、エージェントは、採用する行動を決定することができる。決定された目標のタスク状態に遷移する行動をエージェントが実行すると、観測されるタスク状態は次のタスク状態に遷移する。場合によって、エージェントは、学習の環境から即時報酬を得ることができる。
　この行動の決定及び実行の試行錯誤を繰り返しながら、エージェントは、即時報酬の総和（すなわち、価値）を最大化するように、推論モデル５５２を更新する。これにより、最適な行動、すなわち、高い価値の取得を期待可能な行動が強化され、そのような行動の選択を可能にする方策（学習済みの推論モデル５５２）を得ることができる。
　したがって、強化学習では、学習データ３２３２は、この試行錯誤により得られる状態遷移データであって、実行された行動により現在のタスク状態から次のタスク状態に遷移し、場合によって即時報酬が得られるという状態遷移を示す状態遷移データにより構成される。１件の状態遷移データは、１エピソード全ての状態遷移の軌跡を示すデータにより構成されてもよいし、或いは、所定回数（１回以上）分の状態遷移を示すデータにより構成されてもよい。上記ステップＳ２０２～ステップＳ２０９の処理過程において、制御部３１は、訓練中の推論モデル５５２を利用して、上記試行錯誤を実行することで、上記状態遷移データを取得することができる。
　また、状態遷移に応じて即時報酬を算出するのには報酬関数が用いられてよい。報酬関数は、データテーブル、関数式、又はルールにより表現されてよい。関数式により表現する場合、報酬関数は、ニューラルネットワーク、線形関数、決定木等により構成されてよい。報酬関数は、オペレータ等により、手動的に設定されてもよい。
　或いは、報酬関数は、遷移する対象のタスク状態において第１対象物及び第２対象物が互いに接触するか否かを上記学習済みの判定モデル５０により判定した結果、並びに当該対象のタスク状態及び最終目標のタスク状態の間の距離に応じて即時報酬を与えるように設定されてよい。具体的には、即時報酬は、第１対象物及び第２対象物が互いに接触せず、かつ対象のタスク状態及び最終目標のタスク状態の間の距離が短いほど多く設定され、第１対象物及び第２対象物が互いに接触する、又は当該距離が長いほど少なく設定されてよい。以下の式１は、このように即時報酬を与える報酬関数の一例を例示する。
Figure JPOXMLDOC01-appb-M000001
 　ｓcは、方策により決定された目標のタスク状態を示す。ｓgは、最終目標のタスク状態を示す。Ｆ（ｓc）は、タスク状態ｓcにおいて第１対象物及び第２対象物が互いに接触するか否かを学習済みの判定モデル５０により判定した結果を示す。互いに接触すると判定された場合、Ｆ（ｓc）の値は小さくなり（例えば、０）、互いに接触しないと判定された場合に、Ｆ（ｓc）の値は大きくなる（例えば、１）ように設定されてよい。学習済みの判定モデル５０の出力値が当該設定に対応している場合には、学習済みの判定モデル５０の出力値がそのままＦ（ｓc）として使用されてもよい。
　或いは、報酬関数は、エキスパートにより得られた事例データから逆強化学習により推定されてよい。事例データは、エキスパートによる実演（の軌跡）を示すデータにより構成されてよい。本実施形態では、事例データは、例えば、任意の開始点のタスク状態から最終目標のタスク状態に到達するように第１対象物を実際に移動した経路を示すデータにより構成されてよい。事例データを生成する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。事例データは、例えば、エキスパートによる実演の軌跡をセンサ等により記録することにより生成されてよい。
　逆強化学習の方法は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。逆強化学習には、例えば、最大エントロピー原理による方法、相対エントロピーの最小化による方法、敵対的生成ネットワークを利用した方法（例えば、Justin Fu, et al., "Learning Robust Rewards with Adversarial Inverse Reinforcement Learning", arXiv:1710.11248, 2018）等が用いられてよい。逆強化学習により報酬関数を得る場合、学習データ３２３２は、逆強化学習に利用する事例データを更に備えてよい。
　（１－２－３）ステップＳ２１０について
　上記ステップＳ２１０では、制御部３１は、得られた状態遷移データに基づいて、価値を最大化するように推論モデル５５２の演算パラメータの値を更新する。推論モデル５５２の演算パラメータの値を調整する方法は、推論モデル５５２の構成に応じて適宜選択されてよい。例えば、推論モデル５５２がニューラルネットワークにより構成される場合、推論モデル５５２の演算パラメータの値は、誤差逆伝播法等により、上記第１の例と同様の方法で調整されてよい。
　制御部３１は、得られる価値（の期待値）が最大化されるように（例えば、更新量が閾値以下になるまで）、推論モデル５５２の演算パラメータの値を調整する。すなわち、推論モデル５５２を訓練することは、所定の条件（例えば、更新量が閾値以下になること）を満たすまで報酬が多く得られるように推論モデル５５２を構成する演算パラメータの値の修正を繰り返すことを含む。これにより、制御部３１は、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論する能力を獲得した学習済みの推論モデル５５２を生成することができる。
　なお、制御部３１は、ステップＳ２０２～ステップＳ２０９の処理により学習データ３２３２を収集し終えた後に、上記推論モデル５５２の演算パラメータの値の調整を実行してもよい。或いは、制御部３１は、ステップＳ２０２～ステップＳ２１０の処理を繰り返しながら、上記推論モデル５５２の演算パラメータの値の調整を実行してもよい。
　推論モデル５５２が価値ベースで構成される場合、上記強化学習の方法には、ＴＤ（temporal difference）法、ＴＤ（λ）法、モンテカルロ法、動的計画法等が用いられてよい。試行錯誤における行動の決定は、オンポリシであってもよいし、オフポリシであってもよい。具体例として、強化学習の方法には、Ｑ学習、Ｓａｒｓａ等が用いられてよい。試行錯誤の際には、確率εでランダムな行動を採用してもよい（ε－グリーディ法）。
　また、推論モデル５５２が方策ベースで構成される場合、上記強化学習の方法には、方策勾配法、ＴＲＰＯ（trust region policy optimization）、ＰＰＯ（proximal policy optimization）等が用いられてよい。この場合、制御部３１は、得られる価値が増加する方向に方策関数の演算パラメータの勾配を算出し、算出された勾配に基づいて、方策関数の演算パラメータの値を更新する。方策関数の勾配の算出には、例えば、ＲＥＩＮＦＯＲＣＥアルゴリズム等が用いられてよい。
　また、推論モデル５５が両方で構成される場合、上記強化学習の方法には、Actor Critic法、Ａ２Ｃ（Advantage Actor Critic）、Ａ３Ｃ（Asynchronous Advantage Actor Critic）等が用いられてよい。
　更に、逆強化学習を実施する場合には、上記強化学習の処理を実行する前に、制御部３１は、事例データを更に取得する。事例データは、制御装置３により生成されてもよいし、他のコンピュータにより生成されてもよい。他のコンピュータにより生成される場合、制御部３１は、ネットワーク、記憶媒体９３等を介して、他のコンピュータにより生成された事例データを取得してもよい。次に、制御部３１は、取得された事例データを利用して、逆強化学習を実行することで、報酬関数を設定する。そして、制御部３１は、逆強化学習により設定された報酬関数を利用して、上記強化学習の処理を実行する。これにより、制御部３１は、逆強化学習により設定された報酬関数を利用して、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論する能力を獲得した学習済みの推論モデル５５２を生成することができる。
　ステップＳ２１１では、制御部３１は、強化学習により構築された学習済みの推論モデル５５２を示す情報を推論モデルデータ３２５２として生成する。学習済みの推論モデル５５２を示す情報には、例えば、データテーブルの各項目の値、関数式の係数の値等の演算パラメータを示す情報が含まれてよい。そして、制御部３１は、生成された推論モデルデータ３２５２を所定の記憶領域に保存する。第２の例によれば、第１対象物及び第２対象物の無用な接触を避けると共に、ロボット装置のタスク状態が最終目標のタスク状態に早く到達するように目標のタスク状態を決定可能な推論モデル５５を生成することができる。
　（１－３）小括
　本実施形態では、機械学習モデルにより推論モデル５５を構成する場合、推論モデル５５の構成には、上記２つの例の少なくともいずれかが採用されてもよい。制御部３１は、上記２つの機械学習の方法の少なくともいずれかを採用することで、第１対象物が第２対象物に接触しないように、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論する能力を獲得した学習済みの推論モデル５５を生成することができる。よって、第１の方法によれば、タスクの遂行に利用可能な推論モデル５５を適切に生成することができる。
　（２）第２の方法
　図１４Ａは、第２の方法における学習データ３２３の一例を模式的に例示する。図１４Ｂは、第２の方法における推論モデル５５の構成の一例を模式的に例示する。第２の方法では、推論モデル５５は、タスク状態の集合を表現するタスク空間ＳＰ内の各座標のポテンシャルを規定するポテンシャル場により構成される。なお、図１４Ａ及び図１４Ｂでは、説明の便宜上、推論モデル５５、学習データ３２３、及び推論モデルデータ３２５それぞれの一例を、推論モデル５５３、学習データ３２３３、及び推論モデルデータ３２５３と表記する。
　制御部３１は、上記ステップＳ２０２～ステップＳ２０９の処理により、タスク空間ＳＰ内で、学習済みの判定モデル５０を利用して、第１対象物が第２対象物に接触しないように、パスプランニングを実施する。これにより、図１４Ａに例示されるとおり、制御部３１は、それぞれ開始点（ノードＮｓ）として与えられた複数のタスク状態それぞれから最終目標のタスク状態までの経路Ｈｂを示す学習データ３２３３を生成することができる。各開始点（ノードＮｓ）は、ランダムに与えられてよい。
　上記ステップＳ２１０では、制御部３１は、生成された学習データ３２３３により示される各経路Ｈｂの通過する頻度に応じて、各座標のポテンシャルを設定することで、ポテンシャル場を生成する。ポテンシャル場を導出する方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部３１は、例えば、カーネル密度推定、混合ガウスモデル（ＧＭＭ：Gaussian Mixture Model）を用いた推定により、学習データ３２３３からポテンシャル場を導出してもよい。これにより、図１４Ｂに例示されるポテンシャル場（推論モデル５５３）を得ることができる。
　ポテンシャル場における各座標のポテンシャルは、最終目標に到達することに対する、各座標における第１対象物及び第２対象物の位置関係の評価値を示す。すなわち、ポテンシャルが高いほど、その座標における位置関係が最終目標に到達する可能性が高いことを示し、ポテンシャルが低いほど、その座標における位置関係が最終目標に到達する可能性が低いことを示す。そのため、ポテンシャルの勾配の高い方に遷移することで、開始点となる任意のタスク状態から最終目標のタスク状態に適切に到達することができる。よって、第２の方法によれば、タスクの遂行に利用可能な推論モデル５５を適切に生成することができる。
　ステップＳ２１１では、制御部３１は、生成されたポテンシャル場を示す情報を推論モデルデータ３２５３として生成する。ポテンシャル場は、データテーブル、関数式等により表現されてよい。そして、制御部３１は、生成された推論モデルデータ３２５３を所定の記憶領域に保存する。
　（３）小括
　本実施形態では、推論モデル５５を生成する方法として、上記２つの方法のうちの少なくともいずれかが採用されてよい。制御部３１は、上記２つの方法のうちの少なくともいずれかを採用することで、第１対象物が第２対象物に接触しないように、現在のタスク状態及び最終目標のタスク状態から次に遷移する目標のタスク状態を推論するように構成された推論モデル５５を生成することができる。
　なお、第１対象物が第２対象物に接触しないように目標のタスク状態を推論することは、第１対象物及び第２対象物の間で意図しない接触が生じるのを避けて目標のタスク状態を決定することであり、例えば、エンドエフェクタＴがワークＷを保持する等の第１対象物が第２対象物に適正に接触するタスク状態を目標のタスク状態として決定することを含んでもよい。すなわち、避ける対象となる「接触する」状態は、例えば、第１対象物及び第２対象物の間で過度な力が作用する、第１対象物及び第２対象物の一方が他方に正しい姿勢で組付けられる以外の状態で接触する等の不適正に接触する状態である。したがって、「第１対象物が第２対象物に接触しない」ことは、「第１対象物が第２対象物に不適正な状態で接触するのを避ける」ことに置き換えられてよい。
　（Ｂ）ロボット装置の動作制御
　次に、図１５Ａ、図１５Ｂ及び図１６を用いて、本実施形態に係る制御装置３のロボット装置（マニピュレータ４）の動作制御に関する動作例について説明する。図１５Ａ及び図１５Ｂは、本実施形態に係る制御装置３によるロボット装置（マニピュレータ４）の動作制御に関する処理手順の一例を示すフローチャートである。図１６は、動作制御の過程における各要素の計算処理のフローの一例を示す。上記推論モデル５５の生成に関する処理手順を含め、以下で説明する処理手順は、本発明の「制御方法」の一例である。ただし、以下で説明する各処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する各処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。なお、以下で説明するロボット装置（マニピュレータ４）の動作の制御は、実空間上で実施されてもよいし、或いは仮想空間上で実施されてもよい。
　（ステップＳ３０１及びステップＳ３０２）
　ステップＳ３０１では、制御部３１は、遂行するタスクの指定を受け付ける。タスクの指定を受け付ける方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、入力装置３５を介したタスクの名称の入力により、遂行するタスクの指定を受け付けてもよい。また、例えば、制御部３１は、遂行するタスクの候補を示すリストを出力装置３６に出力し、オペレータに遂行するタスクをリストから選択させることで、遂行するタスクの指定を受け付けてもよい。
　本実施形態では、制御部３１は、第１対象物及び第２対象物の存在する環境下で、第２対象物に対して第１対象物を移動するタスクの遂行を受け付ける。具体的には、マニピュレータ４を駆動して、エンドエフェクタＴによりワークＷを保持し、保持したワークＷを他のワークＧに組み付ける一連の作業が、指定されるタスクの一例である。本実施形態では、ワークＷを保持しに行く第１タスクの過程では、エンドエフェクタＴの注目点Ｔ０がマニピュレータ４の手先として取り扱われ、ワークＷが、手先の移動の目標物である。一方、ワークＷを保持した後、ワークＷを他のワークＧに組み付ける第２タスクの過程では、エンドエフェクタＴに保持されたワークＷの注目点Ｗ０がマニピュレータ４の手先として取り扱われ、ワークＷの組付け先である他のワークＷが、手先の移動の目標物である。各タスクでは、マニピュレータ４の手先が第１対象物に相当し、目標物が第２対象物に相当する。
　ステップＳ３０２では、制御部３１は、目標設定部３１１として動作し、指定されたタスクに応じて最終目標のタスク状態ｓgを設定する。上記のとおり、本実施形態では、タスク状態は、マニピュレータ４の手先及び目標物の間の位置関係により規定される。また、位置関係は、相対座標により表現される。最終目標のタスク状態ｓgにおける相対座標は、ＣＡＤ等のシミュレータにより与えられてもよいし、オペレータの指定により与えられてもよい。最終目標のタスク状態ｓgにおける相対座標は、上記ステップＳ２０１と同様の方法により設定されてよい。最終目標のタスク状態ｓgを設定すると、制御部３１は、次のステップＳ３０３に処理を進める。
　（ステップＳ３０３）
　ステップＳ３０３では、制御部３１は、タスクを遂行する環境を観測する各センサからセンシングデータを取得する。
　本実施形態では、タスクを遂行する環境を観測する視覚系のセンサとしてカメラＳ１が用いられている。また、マニピュレータ４は、各関節（関節部４１～４６）の角度を測定するエンコーダＳ２及びエンドエフェクタＴに作用する力を測定する触覚センサＳ３を備えている。そのため、制御部３１は、センシングデータとして、タスクを遂行する環境の写る画像データをカメラＳ１から取得することができる。また、制御部３１は、センシングデータとして、マニピュレータ４における各関節の角度の現在値ｑ(j)（すなわち、現在の測定値）を各エンコーダＳ２から取得することができる。なお、以下では、説明の便宜のため、「現在」等のタイミングを特に区別する場合に（ｊ）等のタイミングを表す符号を付し、そうではない場合には当該符号を省略する。更に、制御部３１は、センシングデータとして、エンドエフェクタＴに作用する力の測定データを触覚センサＳ３から取得することができる。制御部３１は、各センサ（カメラＳ１、エンコーダＳ２、触覚センサＳ３）からセンシングデータを直接的に取得してもよいし、或いは、例えば、他のコンピュータを経由する等して、センシングデータを間接的に取得してもよい。カメラＳ１及び触覚センサＳ３はそれぞれ、エンドエフェクタＴに対するワークＷの状態を観測するセンサの一例である。センシングデータを取得すると、制御部３１は、次のステップＳ３０４に処理を進める。
　（ステップＳ３０４）
　ステップＳ３０４では、制御部３１は、取得されたセンシングデータに基づいて、エンドエフェクタＴがワークＷを保持しているか否かを判定する。判定方法は、特に限定されなくてもよく、センシングデータに応じて適宜決定されてよい。
　例えば、本実施形態では、センシングデータとして、タスクの環境が写る画像データをカメラＳ１から取得することができる。そこで、制御部３１は、ＣＡＤデータ３２０を利用して、取得された画像データに対してエンドエフェクタＴ及びワークＷのモデルをマッチングしてもよい。そして、制御部３１は、当該マッチングの結果により特定されたエンドエフェクタＴ及びワークＷの位置関係に基づいて、エンドエフェクタＴがワークＷを保持しているか否かを判定してもよい。マッチングの方法には、公知の画像処理方法が用いられてよい。
　また、例えば、本実施形態では、センシングデータとして、エンドエフェクタＴに作用する力の測定データを取得することができる。そこで、制御部３１は、測定データにより表れる力の分布に基づいて、エンドエフェクタＴがワークＷを保持しているか否かを判定してもよい。エンドエフェクタＴがワークＷを保持していると認められる力がエンドエフェクタＴに作用していると測定データから推定される場合、制御部３１は、エンドエフェクタＴがワークＷを保持していると判定してもよい。一方、そうではない場合、制御部３１は、エンドエフェクタＴはワークＷを保持していないと判定してもよい。
　センシングデータに基づいて、エンドエフェクタＴがワークＷを保持しているか否かの判定が完了すると、制御部３１は、次のステップＳ３０５に処理を進める。
　（ステップＳ３０５）
　ステップＳ３０５では、制御部３１は、ステップＳ３０４の判定の結果に基づいて、マニピュレータ４の動作モードを設定する。具体的には、エンドエフェクタＴがワークＷを保持していないと判定した場合、制御部３１は、エンドエフェクタＴの注目点Ｔ０をマニピュレータ４の手先に設定し、エンドエフェクタＴによりワークＷを保持する第１タスクを遂行するモードに動作モードを設定する。一方、エンドエフェクタＴがワークＷを保持していると判定した場合、制御部３１は、ワークＷの注目点Ｗ０をマニピュレータ４の手先に設定し、エンドエフェクタＴにより保持されたワークＷを他のワークＧに組み付ける第２タスクを遂行するモードに動作モードを設定する。動作モードの設定が完了すると、制御部３１は、次のステップＳ３０６に処理を進める。
　（ステップＳ３０６）
　ステップＳ３０６では、制御部３１は、状態取得部３１２として動作し、マニピュレータ４の現在のタスク状態ｓ(j)を取得する。
　上記のとおり、本実施形態では、エンドエフェクタＴがワークＷを保持していない場合、タスク状態ｓは、エンドエフェクタＴに対するワークＷの相対座標により規定される。一方、エンドエフェクタＴがワークＷを保持している場合、タスク状態ｓは、ワークＷに対する他のワークＧの相対座標により規定される。本実施形態では、制御部３１は、ＣＡＤデータ３２０を利用して、カメラＳ１により得られた画像データに対して各対象物をマッチングする。制御部３１は、このマッチングの結果から、現在のタスク状態ｓ(j)を取得することができる。
　ここで、図１７を更に用いて、現在のタスク状態ｓ(j)を取得する方法の一例について説明する。図１７は、各対象物の位置関係の一例を模式的に例示する。図１７の例では、マニピュレータ４の台座部４０に観測空間の原点が設定されている。ただし、原点の位置は、このような例に限定されなくてもよく、実施の形態に応じて決定されてよい。原点に対するカメラＳ１の同次座標（ＴC）は、以下の式２により表現することができる。
Figure JPOXMLDOC01-appb-M000002
 　Ｒrcは、原点の座標系からカメラＳ１の座標系を見た回転成分を示し、ｔrcは、平行移動成分を示す。以下では、説明の便宜上、原点の同次座標（ＴR）は、以下の式３を満たすようにカメラＳ１がキャリブレーションされていると想定する。
Figure JPOXMLDOC01-appb-M000003
 　Ｉは、単位行列を示す。図１７の例では、原点に対するエンドエフェクタＴの注目点Ｔ０の相対座標がエンドエフェクタＴの座標（Ｔt）である。原点に対するワークＷの注目点Ｗ０の相対座標がワークＷの座標（Ｔw）である。原点に対する他のワークＧの注目点Ｇ０の相対座標が他のワークＧの座標（Ｔg）である。制御部３１は、ＣＡＤデータ３２０を利用して、画像データに対して各対象物のモデルをマッチングすることで、各座標（Ｔt、Ｔw、Ｔg）の値を得ることができる。
Figure JPOXMLDOC01-appb-M000004
 　エンドエフェクタＴがワークＷを保持していない場合には、タスク状態ｓとエンドエフェクタＴ及びワークＷの各座標（Ｔt、Ｔw）との関係は、上記式４により表現することができる。そのため、制御部３１は、マッチングの結果により得られたエンドエフェクタＴ及びワークＷの各座標の現在値（Ｔt(j)、Ｔw(j)）を上記式４に代入し、上記式４の演算処理を実行することで、現在のタスク状態ｓ(j)を算出することができる。
Figure JPOXMLDOC01-appb-M000005
 　一方、エンドエフェクタＴがワークＷを保持している場合には、タスク状態ｓとワークＷ及び他のワークＧの各座標（Ｔw、Ｔg）との関係は、上記式５により表現することができる。そのため、制御部３１は、マッチングの結果により得られたワークＷ及び他のワークＧの各座標の現在値（Ｔw(j)、Ｔg(j)）を上記式５に代入し、上記式５の演算処理を実行することで、現在のタスク状態ｓ(j)を算出することができる。なお、各座標（Ｔt、Ｔw、Ｔg）の表現は、適宜選択されてよい。各座標（Ｔt、Ｔw、Ｔg）の表現には、例えば、同次座標系が用いられてよい。以下についても同様である。
　カメラＳ１がキャリブレーションされていない場合、制御部３１は、カメラＳ１により得られる画像データ内で原点の座標（ＴR）を更に算出してもよい。原点の検出には、マーカ等の目印が用いられてよい。すなわち、画像データ内で目印をマッチングすることで、原点の座標（ＴR）が算出されてよい。制御部３１は、算出された原点の座標（ＴR）を上記各演算に適用することで、現在のタスク状態ｓ(j)を算出することができる。以降のステップで、ＣＡＤデータ３２０によるマッチングを実行するケースも同様に処理されてよい。
　現在のタスク状態ｓ(j)を取得すると、制御部３１は、次のステップＳ３０７に処理を進める。なお、ステップＳ３０６の処理を実行するタイミングは、このような例に限定されなくてもよい。ステップＳ３０６の処理は、後述するステップＳ３０８を実行する前の任意のタイミングで実行されてよい。例えば、上記ステップＳ３０４でもＣＡＤデータ３２０によるマッチングを行う場合、当該ステップＳ３０６の処理は、上記ステップＳ３０４の処理と共に実行されてよい。
　（ステップＳ３０７）
　ステップＳ３０７では、制御部３１は、取得されたセンシングデータからマニピュレータ４の手先の座標の現在値ｘ(j)を算出する。本実施形態では、手先座標の現在値ｘ(j)の算出には、カメラＳ１、各エンコーダＳ２、及び触覚センサＳ３の少なくともいずれかにより得られるセンシングデータが利用されてよい。制御部３１は、以下の２つの方法のうちの少なくともいずれかにより手先座標の現在値ｘ(j)を算出することができる。
　（１）第１の方法
　図１６に示されるとおり、第１の方法では、制御部３１は、順運動学計算により、各エンコーダＳ２により得られる関節空間におけるマニピュレータ４の各関節の角度の現在値ｑ(j)から、観測空間におけるマニピュレータ４の手先の座標の現在値ｘ(j)を導出する。以下、エンドエフェクタＴがワークＷを保持していない場合とワークＷを保持している場合とに分けて説明する。
　（１－１）ワークＷを保持していない場合
　エンドエフェクタＴがワークＷを保持していない場合、エンドエフェクタＴの注目点Ｔ０が手先に設定されている。この場合、制御部３１は、各関節の第１同次変換行列により導出される第１変換行列群（φ）を変換関数として用いた順運動学計算により、各関節の角度の現在値ｑ(j)から設定された手先座標の現在値ｘ(j)を算出する。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-M000007
 　具体的には、順運動学により、エンドエフェクタＴの注目点Ｔ０の座標（ｘt）と各関節の角度（ｑ）との関係は、上記式６により表現することができる。角度（ｑ）は、関節数に応じた次元数を有する変数である。また、各関節の第１同次変換行列（m-1Ｔm）と第１変換行列群（φ）との関係は、上記式７により与えられる（ｍは、０～ｎ。ｎは、関節数）。第１同次変換行列は、対象の関節よりも手元側の座標系から見た対象の関節の座標系の相対座標を表し、手元側の座標系から対象の関節の座標系に座標を変換するのに利用される。
　各関節の第１同次変換行列のパラメータの値は、各関節の角度を除いて既知であり、本実施形態では、ロボットデータ３２１に含まれている。当該パラメータは、ＤＨ（Denavit-Hartenberg）記法、修正ＤＨ記法等の公知の方法で設定されてよい。制御部３１は、ロボットデータ３２１を参照することで、上記式７に示される第１変換行列群（φ）を導出する。そして、制御部３１は、上記式６のとおり、導出された第１変換行列群（φ）に各関節の角度の現在値ｑ(j)を代入し、第１変換行列群（φ）の演算処理を実行する。この順運動学計算の結果により、制御部３１は、エンドエフェクタＴ（の注目点Ｔ０）の座標の現在値ｘt(j)を算出することができる。制御部３１は、算出された現在値ｘt(j)を手先座標の現在値ｘ(j)として取得する。
　（１－２）ワークＷを保持している場合
　一方、エンドエフェクタＴがワークＷを保持している場合、ワークＷの注目点Ｗ０が手先に設定されている。この場合、まず、制御部３１は、エンドエフェクタＴの注目点Ｔ０の座標系からワークＷの注目点Ｗ０の座標系に座標を変換するための第２同次変換行列（tＴw）を取得する。
　第２同次変換行列（tＴw）を取得する方法は、特に限られなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、エンドエフェクタＴにワークＷが保持されると、エンドエフェクタＴに対するワークＷの位置及び姿勢が一定になるケースが存在する。そこで、第２同次変換行列（tＴw）は、定数で与えられてもよい。
　或いは、制御部３１は、ステップＳ３０３において取得されたセンシングデータから第２同次変換行列（tＴw）を導出してもよい。導出方法の一例として、制御部３１は、ＣＡＤデータ３２０を利用して、カメラＳ１により得られた画像データに対してエンドエフェクタＴ及びワークＷのモデルをマッチングしてもよい。制御部３１は、このマッチングの結果により、エンドエフェクタＴの座標（Ｔt）及びワークＷの座標（Ｔw）を得ることができる。上記と同様に、カメラＳ１がキャリブレーションされていると想定すると、制御部３１は、以下の式８により、エンドエフェクタＴの座標（Ｔt）及びワークＷの座標（Ｔw）から第２同次変換行列（tＴw）を算出することができる。
Figure JPOXMLDOC01-appb-M000008
 　ＣＡＤデータ３２０によるマッチングは、上記順運動学計算により算出されるエンドエフェクタＴの注目点Ｔ０の座標（ｘt）付近で実施されてもよい。このマッチング及び上記順運動学計算がそれぞれ正確である場合、マッチングにより得られるエンドエフェクタＴの座標（Ｔt）は、順運動学計算により算出される座標（ｘt）と一致する。そこで、制御部３１は、順運動学計算により算出される座標（ｘt）を座標（Ｔt）として利用してもよい。これにより、制御部３１は、第２同次変換行列（tＴw）を導出することができる。なお、上記ステップＳ３０６の上記式４の演算処理でも同様に、マッチングにより得られたエンドエフェクタＴの座標の現在値（Ｔt(j)）の代わりに、順運動学計算により算出された座標の現在値（ｘt(j)）が用いられてよい。
　また、導出方法の他の例として、触覚センサＳ３により測定されるエンドエフェクタＴに作用する力の分布は、エンドエフェクタＴに対するワークＷの位置及び姿勢に依存し得る。そこで、制御部３１は、触覚センサＳ３により得られた測定データに基づいて、エンドエフェクタＴに対するワークＷの相対座標（相対位置及び相対姿勢）を推定してもよい。制御部３１は、この推定の結果から第２同次変換行列（tＴw）を導出することができる。
　なお、センシングデータから第２同次変換行列（tＴw）を導出する方法は、上記の解析的な方法に限られなくてもよい。第２同次変換行列（tＴw）の導出には、例えば、判定モデル５０、推論モデル５５１等と同様に、機械学習により、センシングデータから第２同次変換行列（tＴw）を推定する能力を習得した学習済みの機械学習モデルが利用されてもよい。この場合、制御部３１は、取得されたセンシングデータを学習済みの機械学習モデルに与えて、学習済みの機械学習モデルの演算処理を実行する。これにより、制御部３１は、第２同次変換行列（tＴw）を推定した結果に対応する出力値を学習済みの機械学習モデルから取得することができる。
　次に、制御部３１は、得られた第２同次変換行列（tＴw）を第１変換行列群（φ）に掛けることで、第２変換行列群（φ（ｑ）・tＴw）を算出する。第２変換行列群は、以下の式９により表現することができる。なお、第１同次変換行列は、第１変換式の一例であり、第２同次変換行列は、第２変換式の一例である。第１変換行列群（φ）は、第１変換式群の一例であり、第２変換行列群（φ（ｑ）・tＴw）は、第２変換式群の一例である。各変換式の形式は、手先座標の演算に利用可能であれば、特に限定されなくてもよい。例えば、各変換式は、同次座標系以外の形式の変換行列で表現されてもよいし、或いは、行列以外の形式の数式で表現されてもよい。
Figure JPOXMLDOC01-appb-M000009
 　制御部３１は、算出された第２変換行列群を変換関数として用いた順運動学計算により、各関節の角度の現在値ｑ(j)から設定された手先座標の現在値ｘ(j)を算出する。すなわち、制御部３１は、第２変換行列群（φ（ｑ）・tＴw）に各関節の角度の現在値ｑ(j)を代入し、第２変換行列群（φ（ｑ）・tＴw）の演算処理を実行する。この順運動学計算の結果により、制御部３１は、ワークＷ（の注目点Ｗ０）の座標の現在値を算出することができる。制御部３１は、算出されたワークＷの座標の現在値を手先座標の現在値ｘ(j)として取得する。
　なお、上記において、第２同次変換行列（tＴw）をセンシングデータから導出することにより、エンドエフェクタＴにおけるワークＷの保持状態が変動しても、その変動が反映された第２同次変換行列（tＴw）を取得することができる。これにより、エンドエフェクタＴにおけるワークＷの保持状態が変動し得る場合でも、ワークＷの座標の現在値、すなわち、マニピュレータ４の手先座標の現在値を適切に算出することができる。
　（２）第２の方法
　第２の方法では、制御部３１は、ＣＡＤデータ３２０を利用して、カメラＳ１により得られた画像データに対して各対象物のモデルをマッチングすることで、マニピュレータ４の手先の座標の現在値ｘ(j)を導出する。この場合、制御部３１は、上記ステップＳ３０６によりタスク空間で取得された現在のタスク状態ｓ(j)から、マニピュレータ４の手先の座標の現在値ｘ(j)を導出してもよい。
Figure JPOXMLDOC01-appb-M000010
 　図１７に示される各対象物の位置関係に基づいて、エンドエフェクタＴがワークＷを保持していない場合におけるタスク状態ｓ及び手先の座標ｘの間の関係は、上記式１０により表現することができる。この場合には、タスク空間から観測空間への変換関数（ψ）は、ワークＷの座標（Ｔw）により与えられる。制御部３１は、上記ステップＳ３０６により取得された現在のタスク状態ｓ(j)及びマッチングにより得られたワークＷの座標の現在値（Ｔw(j)）を式１０に代入し、上記式１０の演算処理を実行することで、マニピュレータ４の手先の座標の現在値ｘ(j)を算出することができる。
Figure JPOXMLDOC01-appb-M000011
 　同様に、エンドエフェクタＴがワークＷを保持している場合におけるタスク状態ｓ及び手先の座標ｘの間の関係は、上記式１１により表現することができる。この場合には、タスク空間から観測空間への変換関数（ψ）は、他のワークＧの座標（Ｔg）により与えられる。制御部３１は、上記ステップＳ３０６により取得された現在のタスク状態ｓ(j)及びマッチングにより得られた他のワークＧの座標の現在値（Ｔg(j)）を式１１に代入し、上記式１１の演算処理を実行することで、マニピュレータ４の手先の座標の現在値ｘ(j)を算出することができる。
　なお、ＣＡＤデータ３２０を用いたマッチングによりマニピュレータ４の手先の座標の現在値ｘ(j)を導出する方法はこのような例に限定されなくてもよい。エンドエフェクタＴがワークＷを保持していない場合、制御部３１は、上記マッチングにより、エンドエフェクタＴの座標の現在値（Ｔt(j)）を算出し、算出された現在値（Ｔt(j)）を手先の座標の現在値ｘ(j)として取得してもよい。同様に、エンドエフェクタＴがワークＷを保持している場合、制御部３１は、上記マッチングにより、ワークＷの座標の現在値（Ｔw(j)）を算出し、算出された現在値（Ｔw(j)）を手先の座標の現在値ｘ(j)として取得してもよい。すなわち、制御部３１は、上記マッチングにより、マニピュレータ４の手先の座標の現在値ｘ(j)を直接的に導出してもよい。
　（３）小括
　本実施形態では、制御部３１は、上記２つの方法のうちの少なくともいずれかを採用することにより、マニピュレータ４の手先の座標の現在値ｘ(j)を算出することができる。マニピュレータ４の手先の座標の現在値ｘ(j)を算出すると、制御部３１は、次のステップＳ３０８に処理を進める。なお、ステップＳ３０７の処理を実行するタイミングは、このような例に限定されなくてもよい。ステップＳ３０７の処理は、後述するステップＳ３１０の処理を実行する前の任意のタイミングで実行されてよい。例えば、ステップＳ３０７の処理は、上記ステップＳ３０６よりも前に実行されてよい。また、例えば、ＣＡＤデータ３２０を用いたマッチングを行うケースでは、ステップＳ３０７の処理は、上記ステップＳ３０６又はステップＳ３０４の処理と共に実行されてよい。
　（ステップＳ３０８）
　ステップＳ３０８では、制御部３１は、行動決定部３１３として動作し、最終目標のタスク状態ｓgに近付くように、取得された現在のタスク状態ｓ(j)に対して次に遷移する目標のタスク状態ｓs(j)を決定する。本実施形態では、制御部３１は、推論モデルデータ３２５を参照し、上記ステップＳ２１０の処理により生成された推論モデル５５を利用して、現在のタスク状態ｓ(j)に対して次に遷移する目標のタスク状態ｓs(j)を決定する。
　次に遷移する目標のタスク状態ｓs(j)を推論するための推論モデル５５の演算処理は、当該推論モデル５５の構成に応じて適宜実行されてよい。推論モデル５５が上記第１の方法により生成されており、推論モデル５５が関数式により構成される場合、制御部３１は、現在のタスク状態ｓ(j)及び最終目標のタスク状態ｓgを関数式に代入し、当該関数式の演算処理を実行する。推論モデル５５がニューラルネットワークにより構成される場合、制御部３１は、現在のタスク状態ｓ(j)及び最終目標のタスク状態ｓgを入力層に入力し、入力側から順に各層に含まれる各ニューロンの発火判定を行う。推論モデル５５がデータテーブルにより構成される場合、制御部３１は、現在のタスク状態ｓ(j)及び最終目標のタスク状態ｓgをデータテーブルに照合する。これにより、制御部３１は、推論モデル５５の出力として、次に遷移する目標のタスク状態ｓs(j)を推論した結果を取得する。制御部３１は、この推論結果により、次に遷移する目標のタスク状態ｓs(j)を決定することができる。
　また、推論モデル５５が上記第２の方法により生成される、すなわち、推論モデル５５がポテンシャル場により構成される場合、制御部３１は、生成されたポテンシャル場における、現在のタスク状態ｓ(j)に対応する座標に設定されたポテンシャルの値を参照する。そして、制御部３１は、現在のタスク状態ｓ(j)に対応する座標に設定されたポテンシャルの勾配に応じて、次に遷移する目標のタスク状態ｓs(j)を決定する。具体的には、制御部３１は、ポテンシャルの勾配の高い方に遷移する（例えば、勾配の最も高い方に所定の距離分だけ遷移する）ように目標のタスク状態ｓs(j)を決定する。
　決定する目標のタスク状態の数は、１つに限られなくてもよい。ステップＳ３０８では、制御部３１は、決定した目標のタスク状態を現在のタスク状態として用いて、更に次に遷移する目標のタスク状態を決定してもよい。制御部３１は、この処理を繰り返すことで、目標のタスク状態を複数回決定してもよい。次に遷移する目標のタスク状態ｓs(j)を決定すると、制御部３１は、次のステップＳ３０９に処理を進める。
　（ステップＳ３０９）
　ステップＳ３０９では、制御部３１は、指令決定部３１５として動作し、決定された目標のタスク状態ｓs(j)から手先の座標の目標値ｘs(j)を算出する。図１６に示されるとおり、制御部３１は、上記変換関数（ψ）を利用することで、タスク空間における目標のタスク状態ｓs(j)を観測空間における手先の座標の目標値ｘs(j)に変換することができる。
　すなわち、エンドエフェクタＴがワークＷを保持していない場合におけるタスク空間から観測空間への変換関数（ψ）は、上記式１０により与えられる。制御部３１は、決定された目標のタスク状態ｓs(j)を上記式１０に代入し、上記式１０の演算処理を実行することで、手先の座標の目標値ｘs(j)を算出することができる。一方、エンドエフェクタＴがワークＷを保持している場合におけるタスク空間から観測空間への変換関数（ψ）は、上記式１１により与えられる。制御部３１は、決定された目標のタスク状態ｓs(j)を上記式１１に代入し、上記式１１の演算処理を実行することで、手先の座標の目標値ｘs(j)を算出することができる。手先の座標の目標値ｘs(j)を算出すると、制御部３１は、次のステップＳ３１０に処理を進める。
　（ステップＳ３１０）
　ステップＳ３１０では、制御部３１は、指令決定部３１５として動作し、手先座標の現在値ｘ(j)及び手先座標の目標値ｘs(j)から手先座標の変化量（Δｘ(j)）を決定する。具体的には、図１６に示されるとおり、制御部３１は、手先座標の現在値（ｘ(j)）及び目標値（ｘs(j)）の偏差に基づいて手先座標の変化量（Δｘ(j)）を決定する。例えば、手先座標の現在値及び目標値の偏差（ｘs－ｘ）と変化量（Δｘ）との関係は、以下の式１２により与えられてよい。なお、手先座標の変化量（Δｘ）は、手先座標の現在値及び目標値の差分の一例である。
Figure JPOXMLDOC01-appb-M000012
 　αは任意の係数である。例えば、αの値は、１以下でかつ０を超える範囲内で適宜決定されてよい。αは省略されてよい。制御部３１は、ステップＳ３０７及びステップＳ３０９により得られた手先座標の現在値ｘ(j)及び手先座標の目標値ｘs(j)を上記式１２に代入し、上記式１２の演算処理を実行することで、手先座標の変化量（Δｘ(j)）を決定することができる。手先座標の変化量（Δｘ(j)）を決定すると、制御部３１は、次のステップＳ３１１に処理を進める。
　（ステップＳ３１１）
　ステップＳ３１１では、制御部３１は、指令決定部３１５として動作し、上記順運動学計算における変換関数の逆関数を用いた逆運動学計算により、決定された手先座標の変化量（Δｘ(j)）から各関節の角度の変化量（Δｑ(j)）を算出する。具体的には、手先座標の変化量（Δｘ）と各関節の角度の変化量（Δｑ）とは、以下の式１３により表現することができる。
Figure JPOXMLDOC01-appb-M000013
 　Ｊは、上記順運動学計算における変換関数から導出されるヤコビ行列である。ｊiは、ｉ番目の関節の行列成分を示し、Δｑiは、ｉ番目の関節の変化量を示す。
　ここで、図１８Ａ及び図１８Ｂを更に用いて、ヤコビ行列の計算方法の一例について説明する。図１８Ａは、エンドエフェクタＴがワークＷを保持していない時における各関節と手先との関係の一例を模式的に例示する。図１８Ｂは、エンドエフェクタＴがワークＷを保持している時における各関節と手先との関係の一例を模式的に例示する。
　図１８Ａに示されるとおり、エンドエフェクタＴがワークＷを保持していない時には、ヤコビ行列の各関節の成分は、各関節とエンドエフェクタＴとの位置関係に基づいて算出される。例えば、制御部３１は、以下の式１４により、各関節の成分を算出することができる。一方、図１８Ｂに示されるとおり、エンドエフェクタＴがワークＷを保持しているときには、ヤコビ行列の各関節の成分は、各関節とワークＷとの位置関係に基づいて算出される。例えば、制御部３１は、以下の式１５により、各関節の成分を算出することができる。
Figure JPOXMLDOC01-appb-M000014
Figure JPOXMLDOC01-appb-M000015
 　ｚiは、ｉ番目の関節の同次座標における回転軸の成分を示し、ａiは、ｉ番目の関節の同次座標における平行移動成分を示す。ｚi及びａiは、ｉ番目の関節の第１同次変換行列から抽出される。ａtは、エンドエフェクタＴの同次座標における平行移動成分を示す。ａwは、ワークＷの同次座標における平行移動成分を示す。ａtは、エンドエフェクタＴの座標（Ｔt）から抽出される。ａwは、ワークＷの座標（Ｔw）から抽出される。ヤコビ行列の各成分ｊiは、各関節の第１同次変換行列の微分成分を示す。
　制御部３１は、上記式１４及び式１５に従って、動作モードに応じてヤコビ行列を算出する。なお、本実施形態では、エンドエフェクタＴがワークＷを保持していない場合とエンドエフェクタＴがワークＷを保持している場合との間で、ヤコビ行列の各成分において、エンドエフェクタＴの成分（ａt）及びワークＷの成分（ａw）が入れ替わるに過ぎない。そのため、制御部３１は、単純な計算処理により、それぞれの場合におけるヤコビ行列を算出することができる。
　次に、制御部３１は、算出されたヤコビ行列の逆行列（Ｊ-1）を算出する。制御部３１は、算出された逆行列（Ｊ-1）を用いて、逆運動学計算を実行する。具体的には、各変化量（Δｘ、Δｑ）と逆行列（Ｊ-1）との関係は、上記式１３から以下の式１６のとおり導出される。
Figure JPOXMLDOC01-appb-M000016
 　制御部３１は、算出された逆行列（Ｊ-1）及び手先座標の変化量（Δｘ(j)）を式１６に代入し、上記式１６の演算処理を実行することで、各関節の角度の変化量（Δｑ(j)）を算出することができる。各関節の角度の変化量（Δｑ(j)）を算出すると、制御部３１は、次のステップＳ３１２に処理を進める。
　（ステップＳ３１２）
　ステップＳ３１２では、制御部３１は、指令決定部３１５として動作し、算出された各関節の角度の変化量に基づいて、各関節に対する指令値を決定する。指令値を決定する方法には、例えば、ＰＩＤ（Proportional-Integral-Differential）制御、ＰＩ制御等の公知の方法が採用されてよい。各関節に対する指令値は、ロボット装置に与える制御指令の一例である。本実施形態では、制御部３１は、ステップＳ３０９～ステップＳ３１２の処理により、マニピュレータ４のタスク状態を現在のタスク状態ｓ(j)から目標のタスク状態ｓs(j)に変化させるように、マニピュレータ４に与える制御指令を決定することができる。制御指令を決定すると、制御部３１は、次のステップＳ３１３に処理を進める。
　（ステップＳ３１３）
　ステップＳ３１３では、制御部３１は、駆動部３１６として動作し、決定された制御指令をマニピュレータ４に与えることで、マニピュレータ４を駆動する。本実施形態では、制御部３１は、決定された各指令値により、マニピュレータ４の各関節を駆動する。なお、駆動方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、マニピュレータ４の各関節を直接的に駆動してもよい。或いは、マニピュレータ４は、コントローラ（不図示）を備えてもよい。この場合、制御部３１は、各関節に対する指令値をコントローラに与えることで、マニピュレータ４の各関節を間接的に駆動してもよい。決定された制御指令に従って、マニピュレータ４を駆動すると、制御部３１は、次のステップＳ３１４に処理を進める。
　（ステップＳ３１４～ステップＳ３１６）
　ステップＳ３１４～ステップＳ３１６の処理は、サイクルが（ｊ）から（ｊ＋１）に進んでいる点を除き、上記ステップＳ３０３、ステップＳ３０６及びステップＳ３０７の処理と同様である。すなわち、ステップＳ３１４では、制御部３１は、各センサからセンシングデータを取得する。ステップＳ３１５では、制御部３１は、状態取得部３１２として動作し、マニピュレータ４の現在のタスク状態ｓ(j+1)を取得する。ステップＳ３１６では、制御部３１は、取得されたセンシングデータからマニピュレータ４の手先の座標の現在値ｘ(j+1)を算出する。手先座標の現在値ｘ(j+1)を算出すると、制御部３１は、次のステップＳ３１７に処理を進める。
　（ステップＳ３１７）
　ステップＳ３１７では、制御部３１は、ステップＳ３１３による駆動の結果、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したか否かを判定する。
　判定方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、図１６に示されるとおり、駆動後の各関節の角度（ｑ(j+1)）と駆動前の各関節の角度（ｑ(j)）との関係は、以下の式１７により表現することができる。
Figure JPOXMLDOC01-appb-M000017
 　そこで、制御部３１は、ステップＳ３１４において各エンコーダＳ２により得られた各関節の角度の値が、駆動前に各エンコーダＳ２により得られた各関節の角度の値（ｑ(j)）及びステップＳ３１１において算出された変化量（Δｑ(j)）の和と一致するか否かを判定してもよい。駆動後の各関節の角度が駆動前の各関節の角度及び算出された変化量の和（ｑ(j)＋Δｑ(j)）と一致する場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定してもよい。一方、そうではない場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移していないと判定してもよい。
　また、例えば、順運動学計算における変換関数と同様に、変換関数（ψ）に関しても、ヤコビ行列Ｊψが導出されてよい。ヤコビ行列Ｊψは変換関数（ψ）の微分成分を示す。導出されたヤコビ行列Ｊψから逆行列（Ｊψ -1）が算出されてよい。手先座標の変化量（Δｘ）及びタスク状態の変化量（Δｓ）と逆行列（Ｊψ -1）との関係は、以下の式１８により表現することができる。
Figure JPOXMLDOC01-appb-M000018
 　制御部３１は、算出された逆行列（Ｊψ -1）及び手先座標の変化量（Δｘ(j)）を式１８に代入し、上記式１８の演算処理を実行することで、タスク状態の変化量（Δｓ(j)）を算出することができる。駆動後のタスク状態ｓ(j+1)と駆動前のタスク状態ｓ(j)との関係との関係は、上記式１７と同様に、以下の式１９により表現することができる。
Figure JPOXMLDOC01-appb-M000019
 　そこで、制御部３１は、ステップＳ３１５により駆動後に得られた現在のタスク状態が、ステップＳ３０６により駆動前に得られた現在のタスク状態ｓ(j)及び上記により算出された変化量（Δｓ(j)）の和と一致するか否かを判定してもよい。駆動後に得られた現在のタスク状態が、駆動前に得られた現在のタスク状態及び算出された変化量の和（ｓ(j)＋Δｓ(j)）と一致する場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定してもよい。一方、そうではない場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移していないと判定してもよい。なお、本実施形態では、タスク空間は２つの対象物間の相対座標で規定されるため、タスク空間及び観測空間は互いに共通の次元で表現可能である。そのため、場合によっては、式１８の逆行列（Ｊψ -1）は、単位行列に置き換えられ、手先座標の変化量（Δｘ）がそのままタスク状態の変化量（Δｓ）として取り扱われてもよい。一例として、他のワークＧから見たワークＷの相対座標によりタスク状態を規定した場合、式１８の逆行列（Ｊψ -1）は、単位行列に置き換えられてよい。
　或いは、制御部３１は、ステップＳ３１５により得られた現在のタスク状態がステップＳ３０８により決定された目標のタスク状態ｓs(j)と一致するか否かを判定してもよい。得られた現在のタスク状態が目標のタスク状態ｓs(j)と一致する場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定してもよい。一方、そうではない場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移していないと判定してもよい。
　また、例えば、駆動後の手先座標の現在値（ｘ(j+1)）と駆動前の手先座標の現在値（ｘ(j)）との関係は、上記式１７と同様に、以下の式２０により表現することができる。
Figure JPOXMLDOC01-appb-M000020
 　そこで、制御部３１は、ステップＳ３１６により算出された駆動後の手先座標の現在値が、ステップＳ３０７により算出された駆動前の手先座標の現在値（ｘ(j)）とステップＳ３１０により決定された変化量（Δｘ(j)）の和と一致するか否かを判定してもよい。駆動後の手先座標の現在値が駆動前の手先座標の現在値及び算出された変化量の和（ｘ(j)＋Δｘ(j)）と一致する場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定してもよい。一方、そうではない場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移していないと判定してもよい。
　或いは、制御部３１は、ステップＳ３１６により算出された手先座標の現在値が、ステップＳ３０９により算出された手先座標の目標値（ｘs(j)）と一致するか否かを判定してもよい。駆動後の手先座標の現在値が駆動前に算出された手先座標の目標値（ｘs(j)）と一致する場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定してもよい。一方、そうではない場合、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移していないと判定してもよい。
　以上のいずれかの方法により、制御部３１は、マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したか否かを判定することができる。なお、以上の各判定において「一致すること」は、両者の値が完全に一致することの他、両者の値の差分が閾値（許容誤差）以下であることを含んでよい。マニピュレータ４のタスク状態が目標のタスク状態ｓs(j)に遷移したと判定した場合、制御部３１は、次のステップＳ３１８に処理を進める。一方、そうではない場合、制御部３１は、ステップＳ３１０に戻って、マニピュレータ４の駆動を再度実行する。このとき、制御部３１は、ステップＳ３１６で算出された手先座標の現在値を現在値ｘ(j)としてを利用して、ステップＳ３１０以降の処理を実行してもよい。
　（ステップＳ３１８）
　ステップＳ３１８では、制御部３１は、最終目標のタスク状態ｓgを実現することができたか否かを判定する。
　判定方法は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、制御部３１は、ステップＳ３１５により得られた現在のタスク状態ｓ(j+1)が最終目標のタスク状態ｓgと一致するか否かを判定してもよい。現在のタスク状態ｓ(j+1)が最終目標のタスク状態ｓgと一致する場合、制御部３１は、最終目標のタスク状態ｓgを実現することができたと判定する。一方、そうではない場合、制御部３１は、最終目標のタスク状態ｓgを実現することができていないと判定する。上記と同様に、当該判定における「一致すること」も、両者の値が完全に一致することの他、両者の値の差分が閾値（許容誤差）以下であることを含んでよい。
　最終目標のタスク状態ｓgを実現することができたと判定した場合、制御部３１は、マニピュレータ４の動作制御に関する一連の処理を終了する。一方、最終目標のタスク状態ｓgを実現することができていないと判定した場合、制御部３１は、ステップＳ３０８に処理を戻す。そして、制御部３１は、ステップＳ３１５及びステップＳ３１６の結果を利用して、ステップＳ３０８～ステップＳ３１３の処理を再度実行する。制御部３１は、上記一連の処理を繰り返すことで、最終目標のタスク状態ｓgを実現する。これにより、本実施形態に係る制御装置３は、指定されたタスクを遂行するようにマニピュレータ４の動作を制御することができる。
　なお、最終目標のタスク状態ｓgを実現することができていないと判定した場合の分岐先は、上記ステップＳ３０８に限られなくてもよい。例えば、複数のタスクにより構成される一連のタスクをマニピュレータ４に遂行させる場合に、最終目標のタスク状態ｓgには、最後に遂行されるタスクにおける最終目標のタスク状態が設定されてよい。本実施形態では、エンドエフェクタＴによりワークＷを保持し、保持したワークＷを他のワークＧに組み付けるタスクを遂行する場合に、最終目標のタスク状態ｓgには、ワークＷを他のワークＧに組み付けた状態が採用されてよい。この場合に、一連のタスクの遂行は、最初のタスクの開始点から開始されてよい。これに応じて、最終目標のタスク状態ｓgを実現することができていないと判定した場合の分岐先は、上記ステップＳ３０８ではなく、上記ステップＳ３０３であってよい。これにより、制御部３１は、ステップＳ３０４及びステップＳ３０５の処理により、動作モードを確認しながら、マニピュレータ４を駆動することができる。その結果、各タスクの切り替えをスムーズに行いながら、一連のタスクを遂行することができる。本実施形態では、エンドエフェクタＴによりワークＷを保持した際に、ワークＷを他のワークＧに運搬するタスクに動作モードをスムーズに切り替えることができる。
　［特徴］
　以上のとおり、本実施形態に係るモデル生成装置１は、上記ステップＳ１０１及びステップＳ１０２の処理により、機械学習を実施することで、対象の位置関係において２つの対象物が接触するか否かを判定するための判定モデル５０を生成する。機械学習により生成された学習済みの判定モデル５０によれば、対象の位置関係が連続値で与えられても、判定モデル５０のデータ量の大きな増加を伴うことなく、その位置関係で２つの対象物が互いに接触するか否かを判定することができる。したがって、本実施形態によれば、２つの対象物が接触する境界を表現する情報のデータ量を大幅に低減することができる。
　また、本実施形態では、学習済みの判定モデル５０により接触が生じるか否かを判定する２つの対象物のうちの少なくともいずれかは、マニピュレータ４の動作により移動する対象である。そのため、マニピュレータ４の動作を規定する場面で、２つの対象物が接触する境界を表現する情報のデータ量を大幅に低減することができる。制御装置３では、ＲＡＭ、ＲＯＭ、及び記憶部３２の容量が比較的に小さくても、学習済みの判定モデル５０を利用することができ、これによって、目標物に手先が無用に接触しないようにマニピュレータ４を適切に駆動することができる。
　また、本実施形態では、ステップＳ２０１～ステップＳ２１０の処理により、学習済みの判定モデル５０を利用して、第１対象物が第２対象物に接触しないように目標のタスク状態を決定するための推論モデル５５を生成する。マニピュレータ４の動作を制御する場面では、ステップＳ３０８において、生成された推論モデル５５を利用して、目標のタスク状態を決定する。これにより、マニピュレータ４の動作を制御する場面において、学習済みの判定モデル５０の演算処理を伴わなくても、第１対象物が第２対象物に接触しない、すなわち、マニピュレータ４の手先が目標物に無用に接触しないように目標のタスク状態を決定することができる。そのため、マニピュレータ４の動作制御の演算コストを低減することができる。
　また、本実施形態では、マニピュレータ４により実行するタスクの状態が、エンドエフェクタＴ（エンドエフェクタ）、ワークＷ、他のワークＧ等の対象物間の相対的な位置関係により表現される。これにより、制御指令は、タスクに直接的に関連付けられるのではなく、対象物間の相対的な位置関係の変化量に関連付けられる。すなわち、タスクの内容に依存せずに、対象物の相対的な位置関係を変化させることに対してマニピュレータ４に与える時系列の制御指令を生成又は教示することができる。例えば、ワークＷの座標が変化しても、上記ステップＳ３０６及びステップＳ３１５において、エンドエフェクタＴとワークＷとの間の位置関係（タスク状態）を把握する際に、そのワークＷの座標の変化が考慮される。そのため、マニピュレータ４は、学習結果に基づいて、エンドエフェクタＴによりワークＷを適切に保持することができる。したがって、本実施形態によれば、習得されるタスクを遂行する能力の汎用性を高めることができ、これによって、マニピュレータ４にタスクを教示するのにかかるコストを低減することができる。
　また、本実施形態では、対象物間の位置関係は、相対座標により表現される。これにより、２つの対象物の間の位置関係を適切かつ端的に表現することができる。そのため、２つの対象物の間の位置関係（制御の場面では、タスク状態）を把握し易くすることができる。
　また、本実施形態では、上記ステップＳ３０７及びステップＳ３１６において、マニピュレータ４の手先の座標を算出する方法として、順運動学計算による第１の方法を採用することができる。第１の方法では、エンドエフェクタＴがワークＷを保持していない場合、エンドエフェクタＴが手先に設定され、順運動学計算には、各関節（関節部４１～４６）の第１同次変換行列により導出される第１変換行列群（φ）が変換関数として用いられる。一方、エンドエフェクタＴがワークＷを保持している場合、ワークＷが手先に設定され、順運動学計算に用いる変換関数が拡張される。具体的には、順運動学計算には、エンドエフェクタＴの座標系からワークＷの座標系に座標を変換するための第２同次変換行列（tＴw）を第１変換行列群（φ）に掛けることで得られる第２変換行列群（φ（ｑ）・tＴw）が変換関数として用いられる。すなわち、本実施形態では、エンドエフェクタＴによりワークＷを保持した時に、エンドエフェクタＴからワークＷに運動学の基準点を変更する。
　これにより、エンドエフェクタＴがワークＷを保持していない場合とワークＷを保持している場合とで、ステップＳ３０７及びステップＳ３１６の順運動学計算、並びにステップＳ３１１の逆運動学計算をほぼ同様に処理することができる。つまり、エンドエフェクタＴによりワークＷを保持する第１タスク及びエンドエフェクタＴにより保持されたワークＷを他のワークＧに組み付ける第２タスクを「マニピュレータ４の手先を目標物に対して移動する」共通のタスクとして取り扱うことができる。したがって、本実施形態によれば、エンドエフェクタＴがワークＷを保持していない場合とエンドエフェクタＴがワークＷを保持している場合とを区別することなく汎用的かつ統一的に制御処理を規定することができる。そのため、制御処理を単純化することができ、これによって、マニピュレータ４の動作を生成又は教示するコストを低減することができる。
　§４　変形例
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
　＜４．１＞
　上記実施形態では、エンドエフェクタＴ、ワークＷ、及び他のワークＧそれぞれが対象物の一例である。ただし、接触するか否かを判定する対象となる対象物は、このような例に限定されなくてもよい。対象物は、実空間又は仮想空間内で取り扱い可能なあらゆる種類の物体を含んでもよい。対象物は、上記エンドエフェクタＴ、ワークＷ、及び他のワークＧの他、例えば、障害物等のロボット装置の動作に関連し得る物体であってもよい。
　なお、１つの対象物は、１つの物体で構成されてもよいし、或いは複数の物体により構成されてもよい。３つ以上の物体が存在する場合、判定モデル５０は、複数の物体を１つの対象物とみなし、複数の物体と他の物体との間で接触が生じるか否かを判定するように構成されてもよい。或いは、判定モデル５０は、個々の物体を１つの対象物とみなして、それぞれの物体間で接触が生じるか否かを判定するように構成されてもよい。
　また、上記実施形態では、２つの対象物のうちの少なくともいずれかはロボット装置の動作により移動する対象である。ロボット装置の動作により移動する対象物は、例えば、エンドエフェクタ等のロボット装置の構成要素であってもよいし、ロボット装置自身であってもよいし、例えば、エンドエフェクタにより保持されたワーク等のロボット装置の構成要素以外の物体であってもよい。ただし、対象物の種類は、このような例に限定されなくてもよい。２つの対象物は共に、ロボット装置の動作により移動する対象以外の物体であってもよい。
　また、上記実施形態では、マニピュレータ４がロボット装置の一例である。しかしながら、ロボット装置の種類は、このような例に限定されなくてもよい。マニピュレータ４等の産業用ロボットの他、ロボット装置は、例えば、自動的に移動可能な移動体、自律型ロボット等であってよい。自動的に移動可能な移動体は、例えば、ドローン、自度運転可能に構成された車両、モバイルロボット等を含んでよい。また、上記実施形態では、マニピュレータ４は、垂直多関節型ロボットである。しかしながら、産業用ロボットの種類は、このような例に限定されなくてもよい。産業用ロボットは、上記垂直多関節ロボットの他、スカラロボット、パラレルリンクロボット、直交ロボット、協調ロボット等を含んでよい。
　また、上記実施形態では、エンドエフェクタＴによりワークＷを保持する作業及び保持されたワークＷを他のワークＧに組み付ける作業それぞれがロボット装置の遂行するタスクの一例である。タスクは、ロボット装置に遂行させる作業であり、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。タスクは、上記ワークＷの保持、及びワークＷの運搬の他、例えば、部品嵌合、ネジ回し等であってよい。タスクは、例えば、ワークの保持、ワークの解放等の単純な仕事であってもよい。タスクは、例えば、対象のワークを保持し、指定の座標（位置及び姿勢）に対象のワークを配置すること等の対象のワークの座標を変更することであってよい。タスクは、例えば、エンドエフェクタとしてスプレーを用いて、指定の相対座標から当該スプレーによりワークに塗料を噴霧することであってよい。また、タスクは、例えば、エンドエフェクタに取り付けられたカメラを指定の座標に配置することであってもよい。タスクは、予め与えられてもよいし、オペレータの指定により与えられてもよい。
　また、上記実施形態では、タスクを遂行する環境を観測するセンサとして、カメラＳ１、エンコーダＳ２、触覚センサＳ３が用いられている。カメラＳ１及び触覚センサＳ３が、エンドエフェクタＴに対するワークＷの状態を観測するセンサの一例である。しかしながら、利用可能なセンサの種類は、このような例に限定されなくてもよい。センサには、カメラ、エンコーダ、及び触覚センサの他、例えば、近接センサ、力覚センサ、トルクセンサ、圧力センサ等が用いられてよい。近接センサは、エンドエフェクタＴの周囲を観測可能な範囲に配置され、エンドエフェクタＴに近接する物体の有無を観測するのに利用されてよい。また、力覚センサ、トルクセンサ及び圧力センサは、上記触覚センサＳ３と同様に、エンドエフェクタＴに作用する力を測定可能な範囲に配置され、エンドエフェクタＴに作用する力を観測するのに利用されてよい。近接センサ、力覚センサ、トルクセンサ及び圧力センサの少なくともいずれかは、エンドエフェクタＴに対するワークＷの状態を観測するセンサとして利用されてよい。なお、カメラＳ１は、マニピュレータ４又は他のロボット装置により、任意に移動可能に構成されてよい。この場合、カメラＳ１の座標は、適宜キャリブレーションされてよい。これにより、カメラＳ１により観測する範囲を任意に制御することができる。
　また、上記実施形態において、ワークＷを保持しているか否かに応じたマニピュレータ４の手先の設定は省略されてよい。この場合、マニピュレータ４の手先は適宜設定されてよい。例えば、ワークＷを保持しているか否かを問わず、エンドエフェクタＴがマニピュレータ４の手先に設定されてよい。
　＜４．２＞
　上記実施形態では、制御装置３は、推論モデル５５を生成する際に、学習済みの判定モデル５０を利用している。しかしながら、学習済みの判定モデル５０の利用形態は、このような例に限定されなくてもよい。制御装置３は、マニピュレータ４の動作を制御する際に、学習済みの判定モデル５０を利用してもよい。
　図１９は、本変形例に係る目標のタスク状態の決定に関するサブルーチンの処理手順の一例を例示する。上記ステップＳ３０８の目標のタスク状態を決定する処理は、図１９に例示されるサブルーチンの処理に置き換えられてもよい。
　ステップＳ５０１では、制御部３１は、行動決定部３１３として動作し、最終目標のタスク状態に近付くように、取得された現在のタスク状態に対して次に遷移する目標のタスク状態を決定する。ステップＳ５０１は、上記ステップＳ３０８と同様に処理されてよい。
　ステップＳ５０２では、制御部３１は、、接触判定部３１４として動作し、学習済みの判定モデル５０を利用して、決定された目標のタスク状態において２つの対象物が互いに接触するか否かを判定する。ステップＳ５０２は、上記ステップＳ２０３及びステップＳ２０６と同様に処理されてよい。
　ステップＳ５０３では、制御部３１は、ステップＳ５０２の判定結果に基づいて、処理の分岐先を決定する。ステップＳ５０２において、目標のタスク状態において２つの対象物が互いに接触すると判定された場合、制御部３１は、ステップＳ５０１に処理を戻し、目標のタスク状態を再度決定する。一方、目標のタスク状態において２つの対象物が互いに接触しないと判定された場合、制御部３１は、次のステップＳ３０９の処理を実行する。これにより、制御装置３は、マニピュレータ４の動作を制御する際に、学習済みの判定モデル５０を利用して、第１対象物が第２対象物に無用に接触しないように、マニピュレータ４の動作を決定することができる。
　＜４．３＞
　上記実施形態では、制御装置３は、上記ステップＳ３０８において、推論モデル５５を利用して、目標のタスク状態を決定している。しかしながら、目標のタスク状態を決定する方法は、このような例に限定されなくてもよい。目標のタスク状態の決定には、推論モデル５５が利用されなくてもよい。例えば、上記ステップＳ３０８では、上記ステップＳ２０５と同様に、目標のタスク状態が決定されてよい。一例として、制御部３１は、パスプランニング等の公知の方法により、目標のタスク状態を決定してもよい。また、例えば、目標のタスク状態の系列は予め与えられてもよい。この場合、上記ステップＳ３０８では、制御部３１は、当該系列を示すデータを参照することで、次に遷移する目標のタスク状態を決定してもよい。上記ステップＳ５０１も同様である。
　また、上記実施形態では、学習データ２２３を収集するのに、学習済みの判定モデル５０の判定結果が利用されている。しかしながら、学習データ２２３の収集は、このような例に限定されなくてもよい。例えば、各対象物の実物を利用する等して、学習済みの判定モデル５０を利用せずに、学習データ２２３が収集されてよい。これにより、推論モデル５５は、学習済みの判定モデル５０を利用せずに生成されてよい。
　また、上記実施形態において、推論モデル５５を生成する一連の処理（ステップＳ２０１～ステップＳ２１１）が制御装置３の処理手順から省略されてよい。この場合、制御装置３のソフトウェア構成からデータ収集部３１７、モデル生成部３１８、及び保存処理部３１９は省略されてよい。更には、推論モデル５５の生成に関する情報処理及びマニピュレータ４の動作制御に関する情報処理は別々のコンピュータに実行されてもよい。マニピュレータ４の動作制御に関するソフトウェアモジュールを省略し、推論モデル５５の生成に関するソフトウェアモジュールを抽出することで、新たなモデル生成装置を構築してもよい。
　図２０は、本変形例に係るモデル生成装置３Ａのソフトウェア構成の一例を模式的に例示する。モデル生成装置３Ａのハードウェア構成は、上記実施形態に係る制御装置３と同様であってよい。モデル生成装置３Ａは、接触判定部３１４、データ収集部３１７、モデル生成部３１８、及び保存処理部３１９をソフトウェアモジュールとして備えるコンピュータとして動作する。これにより、モデル生成装置３Ａは、上記ステップＳ２０１～ステップＳ２１１の処理を実行し、推論モデル５５を生成することができる。制御プログラム８３のうちこの推論モデル５５の生成に関する命令を与えるプログラム部分は、モデル生成プログラムと称されてよい。
　なお、上記実施形態及び本変形例において、ステップＳ２０１～ステップＳ２０９までの学習データ３２３の収集に関する処理は、他のコンピュータにより行われてもよい。この場合、上記実施形態に係る制御装置３及びモデル生成装置３Ａは、他のコンピュータにより生成された学習データ３２３を取得し、取得された学習データ３２３を使用して、ステップＳ２１０及びステップＳ２１１を実行してもよい。
　＜４．４＞
　上記実施形態では、２つの対象物の間の位置関係は相対座標により表現される。しかしながら、位置関係を表現する方法は、このような例に限定されなくてもよい。例えば、２つの対象物それぞれの絶対座標により位置関係が表現されてもよい。この場合、各絶対座標を相対座標に変換され、上記各情報処理が実行されてもよい。
　＜４．５＞
　また、上記実施形態では、制御装置３は、ステップＳ３０７及びステップＳ３０９～ステップＳ３１２において、マニピュレータ４の手先座標の目標値から解析的に各関節に与える指令値（制御指令）を決定している。しかしながら、制御指令を決定する方法は、このような例に限定されなくてもよい。ロボット装置のタスク状態を現在のタスク状態から目標のタスク状態に変化させるように、ロボット装置に与える制御指令が適宜決定されてよい。
　例えば、制御指令は、現在のタスク状態及び目標のタスク状態から直接的に決定されてよい。一例として、制御指令の決定には、データテーブル等の参照データが利用されてよい。この場合、制御部３１は、現在のタスク状態及び目標のタスク状態を参照データに対して照合することで、参照データから制御指令を取得することができる。その他の例として、例えば、判定モデル５０、推論モデル５５１等と同様に、機械学習により、現在のタスク状態及び目標のタスク状態から制御指令を決定する能力を習得した学習済みの機械学習モデルが利用されてもよい。この場合、制御部３１は、現在のタスク状態及び目標のタスク状態を学習済みの機械学習モデルに与えて、学習済みの機械学習モデルの演算処理を実行する。これにより、制御部３１は、制御指令を決定した結果に対応する出力値を学習済みの機械学習モデルから取得することができる。なお、上記実施形態では、制御指令は、各関節に対する角度の指令値により構成されている。しかしながら、制御指令の構成は、このような例に限定されなくてもよく、ロボット装置の種類等に応じて適宜決定されてよい。
　また、上記実施形態において、例えば、最終目標のタスク状態が予め設定されている場合等、最終目標のタスク状態が他の方法により設定される場合には、制御装置３の処理手順からステップＳ３０１及びステップＳ３０２の処理は省略されてよい。この場合、制御装置３のソフトウェア構成から目標設定部３１１は省略されてよい。
　＜４．６＞
　上記実施形態では、判定モデル５０は、全結合型ニューラルネットワークにより構成されている。しかしながら、判定モデル５０を構成するニューラルネットワークの種類は、このような例に限定されなくてもよい。判定モデル５０は、全結合型ニューラルネットワークの他、例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク等により構成されてもよい。また、判定モデル５０は、複数種類のニューラルネットワークの組み合わせにより構成されてもよい。
　また、判定モデル５０を構成する機械学習モデルの種類は、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。判定モデル５０には、ニューラルネットワークの他、例えば、サポートベクタマシン、回帰モデル、決定木等の機械学習モデルが採用されてよい。２つの対象物が互いに接触するか否かは、実空間又は仮想空間を対象に判定されてよい。
　上記実施形態において、推論モデル５５は、マニピュレータ４の遂行するタスクの種類毎に用意されてよい。すなわち、それぞれ異なるタスクにおける目標のタスク状態を推論するよう訓練された複数の推論モデル５５が用意されてよい。この場合、制御装置３の制御部３１は、上記ステップＳ３０５で設定した動作モードに応じて、用意された複数の推論モデル５５の中から推論に利用する推論モデル５５を選択してもよい。これにより、制御部３１は、動作モードに応じて、推論モデル５５を切り替えてもよい。或いは、推論モデル５５は、例えば、対象物の種類、対象物の識別子、タスクの識別子、タスクの種類等のタスクの条件を示す情報の入力を更に受け付け、入力された条件に対応するタスクにおける目標のタスク状態を推論するように構成されてもよい。この場合、制御部３１は、次に遷移する目標のタスク状態を決定する際に、上記ステップＳ３０５で設定した動作モードを示す情報を推論モデル５５に更に入力して、上記ステップＳ３０８の演算処理を実行してもよい。
　また、上記実施形態において、判定モデル５０及び推論モデル５５に対する入力及び出力の形式は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、判定モデル５０は、タスク状態を示す情報以外の情報の入力を更に受け付けるように構成されてもよい。同様に、推論モデル５５は、現在のタスク状態及び最終目標のタスク状態以外の情報の入力を更に受け付けるように構成されてもよい。最終目標のタスク状態が一定である場合、推論モデル５５の入力から最終目標のタスク状態を示す情報は省略されてよい。判定モデル５０及び推論モデル５５の出力形式は、識別及び回帰のいずれであってもよい。
　１…モデル生成装置、
　１１…制御部、１２…記憶部、１３…通信インタフェース、
　１４…外部インタフェース、
　１５…入力装置、１６…出力装置、１７…ドライブ、
　９１…記憶媒体、８１…モデル生成プログラム、
　１１１…データ取得部、１１２…機械学習部、
　１１３…保存処理部、
　１２０…ＣＡＤデータ、
　１２１…学習データセット、
　１２２…訓練データ、１２３…正解データ、
　１２５…学習結果データ、
　３…制御装置、
　３１…制御部、３２…記憶部、３３…通信インタフェース、
　３４…外部インタフェース、
　３５…入力装置、３６…出力装置、３７…ドライブ、
　９３…記憶媒体、８３…制御プログラム、
　３１１…目標設定部、３１２…状態取得部、
　３１３…行動決定部、３１４…接触判定部、
　３１５…指令決定部、３１６…駆動部、
　３１７…データ収集部、３１８…モデル生成部、
　３１９…保存処理部、
　３２０…ＣＡＤデータ、３２１…ロボットデータ、
　３２３…学習データ、３２５…推論モデルデータ、
　４…マニピュレータ（ロボット装置）、
　４０…台座部、
　４１～４６…関節部、４９１～４９４…リンク、
　Ｔ…エンドエフェクタ、
　Ｔ０…注目点、ＣＴ…ローカル座標系、
　Ｗ…ワーク、
　Ｗ０…注目点、ＣＷ…ローカル座標系、
　Ｇ…他のワーク、ＣＧ…ローカル座標系、
　ＲＣ１・ＲＣ２…相対座標、
　Ｓ１…カメラ、Ｓ２…エンコーダ、Ｓ３…触覚センサ、
　５０…判定モデル、
　５０１…入力層、５０２…中間（隠れ）層、
　５０３…出力層、
　５５…推論モデル

Claims (11)

  1. 　２つの対象物の間の位置関係を示す訓練データ及び前記位置関係において前記２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するデータ取得部と、
    　取得された前記複数の学習データセットを使用して、判定モデルの機械学習を実施する機械学習部であって、前記機械学習を実施することは、前記各学習データセットについて、前記訓練データの入力に対して、対応する前記正解データに適合する出力値を出力するように前記判定モデルを訓練することにより構成される、機械学習部と、
    を備える、
    モデル生成装置。
  2. 　前記２つの対象物の間の前記位置関係は、相対座標により表現される、
    請求項１に記載のモデル生成装置。
  3. 　前記２つの対象物のうちの少なくともいずれかは、ロボット装置の動作により移動する対象である、
    請求項１又は２に記載のモデル生成装置。
  4. 　コンピュータが、
    　２つの対象物の間の位置関係を示す訓練データ及び前記位置関係において前記２つの対象物が互いに接触するか否かを示す正解データの組み合わせによりそれぞれ構成される複数の学習データセットを取得するステップと、
    　取得された前記複数の学習データセットを使用して、判定モデルの機械学習を実施するステップであって、前記機械学習を実施することは、前記各学習データセットについて、前記訓練データの入力に対して、対応する前記正解データに適合する出力値を出力するように前記判定モデルを訓練することにより構成される、ステップと、
    を実行する、
    モデル生成方法。
  5. 　第１対象物及び第２対象物の存在する環境下で、第１対象物を移動するタスクを遂行するロボット装置の動作を制御するための制御装置であって、
    　前記ロボット装置の現在のタスク状態を取得する状態取得部であって、タスク状態は、前記第１対象物及び前記第２対象物の間の位置関係により規定される、状態取得部と、
    　最終目標のタスク状態に近付くように、取得された前記現在のタスク状態に対して次に遷移する目標のタスク状態を決定する行動決定部と、
    　前記第１対象物及び前記第２対象物の対象のタスク状態を学習済みの判定モデルに与えることで、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを判定する接触判定部であって、前記学習済みの判定モデルは、機械学習により、前記第１対象物及び前記第２対象物の位置関係を示す訓練データの入力に対して、当該位置関係において前記第１対象物及び前記第２対象物が互いに接触するか否かを示す正解データに適合する出力値を出力するように訓練されている、接触判定部と、
    　前記ロボット装置のタスク状態を前記現在のタスク状態から前記目標のタスク状態に変化させるように、前記ロボット装置に与える制御指令を決定する指令決定部と、
    　決定された前記制御指令を前記ロボット装置に与えることで、前記ロボット装置を駆動する駆動部と、
    を備える、
    制御装置。
  6. 　前記第１対象物及び前記第２対象物の間の位置関係は、相対座標により表現される、
    請求項５に記載の制御装置。
  7. 　前記学習済みの判定モデルによる前記判定の結果を利用して、前記第１対象物が前記第２対象物に接触しないように、前記現在のタスク状態及び前記最終目標のタスク状態から次に遷移する前記目標のタスク状態を推論するための推論モデルを生成するモデル生成部を更に備え、
    　前記行動決定部は、生成された前記推論モデルを利用して、前記現在のタスク状態に対して次に遷移する前記目標のタスク状態を決定する、
    請求項５又は６に記載の制御装置。
  8. 　前記モデル生成部は、機械学習を実施することで、前記推論モデルを生成する、
    請求項７に記載の制御装置。
  9. 　前記機械学習は、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを前記学習済みの判定モデルにより判定した結果、並びに当該対象のタスク状態及び前記最終目標のタスク状態の間の距離に応じて報酬が設定された強化学習により構成され、
    　前記報酬は、前記第１対象物及び前記第２対象物が互いに接触せず、かつ前記距離が短いほど多く設定され、前記第１対象物及び前記第２対象物が互いに接触する、又は前記距離が長いほど少なく設定され、
    　前記機械学習を実施することは、前記報酬が多く得られるように前記推論モデルを構成する演算パラメータの値の修正を繰り返すことを含む、
    請求項８に記載の制御装置。
  10. 　前記推論モデルは、前記タスク状態の集合を表現するタスク空間内の各座標のポテンシャルを規定するポテンシャル場により構成され、
    　前記モデル生成部は、
    　　前記タスク空間内で、前記学習済みの判定モデルを利用して、前記第１対象物が前記第２対象物に接触しないように、パスプランニングを実施することで、それぞれ開始点として与えられた複数のタスク状態それぞれから前記最終目標のタスク状態までの経路を生成し、
    　　生成された各経路の通過する頻度に応じて、前記各座標のポテンシャルを設定することで、前記ポテンシャル場を生成し、
    　前記行動決定部は、生成された前記ポテンシャル場における、前記現在のタスク状態に対応する座標に設定されたポテンシャルの勾配に応じて、次に遷移する前記目標のタスク状態を決定する、
    請求項７に記載の制御装置。
  11. 　第１対象物及び第２対象物の存在する環境下で、第１対象物を移動するタスクを遂行するロボット装置の動作を制御するための制御方法であって、
    　コンピュータが、
    　前記第１対象物及び前記第２対象物の現在のタスク状態を取得するステップであって、タスク状態は、前記第１対象物及び前記第２対象物の間の位置関係により規定される、ステップと、
    　最終目標のタスク状態に近付くように、取得された前記現在のタスク状態に対して次に遷移する目標のタスク状態を決定するステップと、
    　前記第１対象物及び前記第２対象物の対象のタスク状態を学習済みの判定モデルに与えることで、対象のタスク状態において前記第１対象物及び前記第２対象物が互いに接触するか否かを判定するステップであって、前記学習済みの判定モデルは、機械学習により、前記第１対象物及び前記第２対象物の位置関係を示す訓練データの入力に対して、当該位置関係において前記第１対象物及び前記第２対象物が互いに接触するか否かを示す正解データに適合する出力値を出力するように訓練されている、ステップと、
    　前記ロボット装置のタスク状態を前記現在のタスク状態から前記目標のタスク状態に変化させるように、前記ロボット装置に与える制御指令を決定するステップと、
    　決定された前記制御指令を前記ロボット装置に与えることで、前記ロボット装置の動作を制御するステップと、
    を実行する、
    制御方法。
PCT/JP2020/028446 2019-08-22 2020-07-22 モデル生成装置、モデル生成方法、制御装置及び制御方法 WO2021033486A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20855703.3A EP4019207A4 (en) 2019-08-22 2020-07-22 PATTERN GENERATION DEVICE, PATTERN GENERATION METHOD, CONTROL DEVICE AND CONTROL METHOD
CN202080050401.1A CN114096968A (zh) 2019-08-22 2020-07-22 模型生成装置、模型生成方法、控制装置以及控制方法
US17/628,244 US20220258336A1 (en) 2019-08-22 2020-07-22 Model generation apparatus, model generation method, control apparatus, and control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019152396A JP7295421B2 (ja) 2019-08-22 2019-08-22 制御装置及び制御方法
JP2019-152396 2019-08-22

Publications (1)

Publication Number Publication Date
WO2021033486A1 true WO2021033486A1 (ja) 2021-02-25

Family

ID=74660856

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028446 WO2021033486A1 (ja) 2019-08-22 2020-07-22 モデル生成装置、モデル生成方法、制御装置及び制御方法

Country Status (5)

Country Link
US (1) US20220258336A1 (ja)
EP (1) EP4019207A4 (ja)
JP (1) JP7295421B2 (ja)
CN (1) CN114096968A (ja)
WO (1) WO2021033486A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113359480A (zh) * 2021-07-16 2021-09-07 中国人民解放军火箭军工程大学 基于mappo算法多无人机与用户协同通信优化方法
WO2022240514A1 (en) * 2021-05-12 2022-11-17 Microsoft Technology Licensing, Llc Backpropagation using parametrizing angles of unitary matrix

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220305649A1 (en) * 2021-03-25 2022-09-29 Naver Corporation Reachable manifold and inverse mapping training for robots
JP2023038776A (ja) * 2021-09-07 2023-03-17 オムロン株式会社 指令値生成装置、方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018149628A (ja) * 2017-03-13 2018-09-27 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2019030941A (ja) * 2017-08-08 2019-02-28 ファナック株式会社 制御装置及び学習装置
WO2019097676A1 (ja) * 2017-11-17 2019-05-23 三菱電機株式会社 ３次元空間監視装置、３次元空間監視方法、及び３次元空間監視プログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
EP3497628A1 (en) * 2016-09-15 2019-06-19 Google LLC Control policies for robotic agents
WO2018135509A1 (ja) * 2017-01-23 2018-07-26 パナソニックＩｐマネジメント株式会社 イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
US10537995B2 (en) * 2017-05-08 2020-01-21 Seiko Epson Corporation Controller and control method of robot, and robot system
US20190184561A1 (en) * 2017-12-15 2019-06-20 The Regents Of The University Of California Machine Learning based Fixed-Time Optimal Path Generation
WO2019150726A1 (ja) * 2018-02-01 2019-08-08 本田技研工業株式会社 ロボットシステム及びロボットの制御方法
JP6810087B2 (ja) * 2018-03-29 2021-01-06 ファナック株式会社 機械学習装置、機械学習装置を用いたロボット制御装置及びロボットビジョンシステム、並びに機械学習方法
CN113260936B (zh) * 2018-12-26 2024-05-07 三菱电机株式会社 移动体控制装置、移动体控制学习装置及移动体控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018149628A (ja) * 2017-03-13 2018-09-27 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2019030941A (ja) * 2017-08-08 2019-02-28 ファナック株式会社 制御装置及び学習装置
WO2019097676A1 (ja) * 2017-11-17 2019-05-23 三菱電機株式会社 ３次元空間監視装置、３次元空間監視方法、及び３次元空間監視プログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DMITRY KALASHNIKOV ET AL.: "QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation", ARXIV: 1806.10293, 2018
FELIX A. GERSJURGEN SCHMIDHUBERFRED CUMMINS: "Learning to Forget: Continual Prediction with LSTM", NEURAL COMPUTATION, October 2000 (2000-10-01), pages 2451 - 2471
JUSTIN FU ET AL.: "Learning Robust Rewards with Adversarial Inverse Reinforcement Learning", ARXIV:1710.11248, 2018
S. HOCHREITERJ. SCHMIDHUBER: "Long Short-term Memory", NEURAL COMPUTATION, vol. 9, no. 8, 15 November 1997 (1997-11-15), pages 1735 - 1780
See also references of EP4019207A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022240514A1 (en) * 2021-05-12 2022-11-17 Microsoft Technology Licensing, Llc Backpropagation using parametrizing angles of unitary matrix
CN113359480A (zh) * 2021-07-16 2021-09-07 中国人民解放军火箭军工程大学 基于mappo算法多无人机与用户协同通信优化方法
CN113359480B (zh) * 2021-07-16 2022-02-01 中国人民解放军火箭军工程大学 基于mappo算法多无人机与用户协同通信优化方法

Also Published As

Publication number Publication date
JP7295421B2 (ja) 2023-06-21
US20220258336A1 (en) 2022-08-18
CN114096968A (zh) 2022-02-25
EP4019207A4 (en) 2023-02-15
JP2021030360A (ja) 2021-03-01
EP4019207A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
WO2021033486A1 (ja) モデル生成装置、モデル生成方法、制御装置及び制御方法
US11745355B2 (en) Control device, control method, and non-transitory computer-readable storage medium
Kumar et al. Learning dexterous manipulation policies from experience and imitation
WO2021033471A1 (ja) 制御装置、制御方法、及び制御プログラム
JP5210883B2 (ja) 物理的な多関節システムの部位の動作を制御する、コンピュータを使用する方法、物理的な多関節システムの部位の動作を制御するシステム、人間とは別体の物理的多関節システムに前記人間の動作を追従させる、コンピュータを用いた方法、人間とは別体の物理的多関節システムによって前記人間の動作を追従させるシステム、及び、ソースシステムとは別体の物理的多関節システムの部位の動きを制御する、コンピュータを用いた方法
JP5210884B2 (ja) 物理的多関節システムの姿勢を制御するコンピュータを用いた方法および多関節システムを位置決めするシステム
JP2008238396A (ja) ロボットのモーションの発生及び制御のための装置ならびに方法
Meeussen et al. Contact-state segmentation using particle filters for programming by human demonstration in compliant-motion tasks
JP2022176917A (ja) ロボットデバイスを制御するための方法
Hudson et al. Model-based autonomous system for performing dexterous, human-level manipulation tasks
Huang et al. Grasping novel objects with a dexterous robotic hand through neuroevolution
Laschi et al. Learning-based control strategies for soft robots: Theory, achievements, and future challenges
JP7263987B2 (ja) 制御装置、制御方法、及び制御プログラム
Chalasani et al. A computational framework for complementary situational awareness (csa) in surgical assistant robots
Li et al. Versatile interaction control and haptic identification in humans and robots
WO2021033472A1 (ja) 制御装置、制御方法、及び制御プログラム
Lopez-Juarez et al. On the design of intelligent robotic agents for assembly
JP7391635B2 (ja) 制御システム
Geng et al. Synergy-based affordance learning for robotic grasping
WO2022044615A1 (ja) 学習装置、学習方法、学習プログラム、制御装置、制御方法、及び制御プログラム
WO2022168634A1 (ja) ロボット制御装置、ロボット制御方法、及びロボット制御プログラム
JP7435815B2 (ja) 動作指令生成装置、動作指令生成方法及びプログラム
Aydogmus et al. Implementation of singularity-free inverse kinematics for humanoid robotic arm using Bayesian optimized deep neural network
Bo Data-Driven Design and Control Techniques for Soft Hands with Embedded Rigid Constraints
Chen et al. Manipulator Trajectory Optimization Using Reinforcement Learning on a Reduced-Order Dynamic Model with Deep Neural Network Compensation. Machines 2023, 11, 350

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20855703

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020855703

Country of ref document: EP

Effective date: 20220322