WO2019239562A1 - 機械学習装置及びこれを備えたロボットシステム - Google Patents

機械学習装置及びこれを備えたロボットシステム Download PDF

Info

Publication number
WO2019239562A1
WO2019239562A1 PCT/JP2018/022807 JP2018022807W WO2019239562A1 WO 2019239562 A1 WO2019239562 A1 WO 2019239562A1 JP 2018022807 W JP2018022807 W JP 2018022807W WO 2019239562 A1 WO2019239562 A1 WO 2019239562A1
Authority
WO
WIPO (PCT)
Prior art keywords
workpiece
robot
unit
container
behavior
Prior art date
Application number
PCT/JP2018/022807
Other languages
English (en)
French (fr)
Inventor
国宗 駒池
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to CN201880093236.0A priority Critical patent/CN112135719B/zh
Priority to PCT/JP2018/022807 priority patent/WO2019239562A1/ja
Priority to JP2020525043A priority patent/JP7008136B2/ja
Priority to DE112018007729.2T priority patent/DE112018007729B4/de
Priority to US17/053,466 priority patent/US11945115B2/en
Publication of WO2019239562A1 publication Critical patent/WO2019239562A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects

Definitions

  • the present invention relates to a machine learning device that learns the operation of a robot that takes out workpieces in a stacked state, and a robot system including the machine learning device.
  • a robot system for taking out a workpiece by a robot having a hand unit As a system for taking out a workpiece from a container that accommodates a plurality of workpieces in a stacked state, a robot system for taking out a workpiece by a robot having a hand unit is known (see Patent Document 1).
  • the robot system disclosed in Patent Document 1 includes a machine learning device that learns a robot take-out operation. When the machine learning device takes out the workpiece from the container based on the teacher data that associates the movement of the robot corresponding to the three-dimensional map of the workpiece measured by the three-dimensional measuring instrument and the determination result of the success or failure of the workpiece removal. Learning the behavior of robots.
  • the learning using the teacher data including the determination result of the success / failure of the workpiece removal is learning the optimum robot removal operation. That is, even if the removal of one workpiece from the container by the robot hand unit is successful, the removal operation may affect other workpieces in the container. For example, when taking out one work from a container, the hand part or one work held by the hand part may cause an impact force to act on another work. Alternatively, when one work is taken out, another work may be destroyed. As described above, when an operation of taking out one workpiece affects other workpieces in the container, the workpiece may be damaged.
  • the present invention has been made in view of such circumstances, and its purpose is to learn the optimal operation of the robot when taking out a workpiece from a container that accommodates a plurality of workpieces stacked in bulk.
  • An object of the present invention is to provide a machine learning device that can be used, and a robot system including the same.
  • a machine learning device is a device that learns the operation of a robot including a hand unit that takes out the workpiece from a container that accommodates a plurality of workpieces stacked in bulk.
  • the machine learning device outputs the robot from the behavior observation unit that observes the behavior pattern of the robot and the imaging device that images the inside of the container in the take-out operation of taking out one workpiece from the container by the hand unit. Based on the respective image data before and after the take-out operation, the amount of displacement of the other work other than the one work in the container when the one work in the container is taken out by the hand unit.
  • the workpiece when the hand unit takes out the one workpiece from the container based on teacher data that associates the behavior pattern and the workpiece displacement amount with a displacement amount observation unit that observes the workpiece displacement amount representing A learning unit that learns the degree of influence on the other workpiece according to the amount of displacement in association with the behavior pattern.
  • a robot system includes a robot having a hand unit that takes out the workpiece from a container that accommodates a plurality of workpieces in a stacked state, and images the inside of the container to output image data. Based on the learning results of the machine learning device and the machine learning device, which learns the robot's take-out operation when taking out the workpiece from the container by the hand unit based on the imaging device and the image data And a control device for controlling the operation of the robot.
  • FIG. 1 is a block diagram showing a configuration of a robot system 1 according to an embodiment of the present invention.
  • the robot system 1 includes a robot 2, an imaging device 3, a control device 4, and a machine learning device 5.
  • the machine learning device 5 learns the operation of the robot 2 based on the image data output from the imaging device 3, and the control device 4 controls the operation of the robot 2 based on the learning result.
  • FIG. 2 is a diagram illustrating an example of the robot 2 provided in the robot system 1.
  • the robot 2 is a robot for taking out the workpiece W from a container CN that accommodates a plurality of workpieces W in a stacked state.
  • the container CN is formed in a bottomed cylindrical shape whose upper side is open. The robot 2 takes out the workpiece W through the opening on the upper side of the container CN.
  • the robot 2 is not particularly limited as long as it is a robot having a hand unit that can take out the workpiece W from the container CN.
  • the robot 2 is a vertical multi-joint robot, a horizontal multi-joint robot, or a double-arm type multi-robot.
  • An articulated robot can be employed.
  • the configuration of the robot 2 will be described using the 6-axis vertical articulated robot shown in FIG. 2 as an example. Note that the number of axes in the vertical articulated robot is not limited to six, and may be any number of axes.
  • the robot 2 includes a base part 21, a body part 22, a first arm 23, a second arm 24, a wrist part 25, and a hand part 26.
  • the base unit 21 is a box that is fixedly installed on a floor, a stand or the like and accommodates a drive motor or the like (not shown) inside.
  • the body portion 22 is disposed on the upper surface of the base portion 21 so as to be rotatable in both forward and reverse directions around the first axis 2A extending in the vertical direction (vertical direction).
  • the first arm 23 is an arm member having a predetermined length, and one end portion in the longitudinal direction thereof is attached to the trunk portion 22 via a second shaft 2B extending in the horizontal direction. The first arm 23 can rotate in both forward and reverse directions around the second axis 2B.
  • the second arm 24 includes an arm base 241 and an arm portion 242.
  • the arm base 241 is a base portion of the second arm 24, and is attached to the other end portion in the longitudinal direction of the first arm 23 via a third shaft 2C extending parallel to the second shaft 2B and extending in the horizontal direction. Yes.
  • the arm base 241 can rotate in both forward and reverse directions around the third axis 2C.
  • the arm portion 242 is an arm member having a predetermined length, and one end portion in the longitudinal direction thereof is attached to the arm base 241 via a fourth shaft 2D perpendicular to the third shaft 2C.
  • the arm portion 242 can rotate in both forward and reverse directions around the fourth axis 2D.
  • the wrist portion 25 is attached to the other end portion in the longitudinal direction of the arm portion 242 via a fifth shaft 2E that extends parallel to the second shaft 2B and the third shaft 2C and extends in the horizontal direction.
  • the wrist portion 25 can rotate in both forward and reverse directions around the fifth axis 2E.
  • the hand part 26 is a part for taking out the workpiece W from the container CN in the robot 2, and is attached to the wrist part 25 via a sixth axis 2F perpendicular to the fifth axis 2E.
  • the hand part 26 can rotate in both forward and reverse directions around the sixth axis 2F.
  • the hand part 26 is not particularly limited as long as it can hold the workpiece W in the container CN.
  • the hand part 26 may have a structure including a plurality of claw parts that hold and hold the workpiece W.
  • work W may be sufficient.
  • the hand portion 26 has a structure including a plurality of claw portions, and takes out the workpiece W by gripping the workpiece W in the container CN.
  • the imaging device 3 captures the inside of the container CN from above so that all of the plurality of works W accommodated in the container CN are within the field of view, and outputs image data including position information of the work W It is.
  • the imaging device 3 is a three-dimensional measuring instrument such as a three-dimensional visual sensor including a camera 31 and an image processing unit 32 as shown in FIG.
  • the camera 31 captures an image of the inside of the container CN from above, and acquires an image including each image area of the plurality of workpieces W accommodated in the container CN.
  • the image processing unit 32 generates image data including three-dimensional position information of each workpiece W by performing image processing on the image acquired by the camera 31.
  • the three-dimensional position information of each workpiece is represented by, for example, coordinate values (X, Y, Z) using an XYZ orthogonal coordinate system.
  • the XYZ orthogonal coordinate system is a coordinate system in which coordinate axes are arranged such that a plane including the X axis and the Y axis (XY plane) is horizontal and the Z axis is perpendicular to the XY plane.
  • the image data output from the imaging device 3 is input to the displacement amount observation unit 63 and the action determination unit 71 provided in the machine learning device 5 described later.
  • control device 4 controls the operation of the robot 2 and the operation of the imaging device 3.
  • the control device 4 controls the operations of both the robot 2 and the imaging device 3 based on information generated by an action determination unit 71 and a rank setting unit 72 provided in the machine learning device 5 described later.
  • the machine learning device 5 performs a learning processing unit 6 that executes a learning process for learning (machine learning) the operation of the robot 2 and a learning reflection process that reflects the learning result as the operation of the robot 2. And a learning reflection processing unit 7 to be executed.
  • the learning method executed by the machine learning device 5 is not particularly limited, and for example, “supervised learning”, “unsupervised learning”, “reinforcement learning”, and the like can be employed.
  • a Q learning method as reinforcement learning is employed as a learning method in the machine learning device 5.
  • Q-learning is a method of learning a high-value behavior that rewards the behavior of the robot 2 when the continuous motion of the robot 2 is divided into a plurality of states and the states are sequentially shifted.
  • Q learning as reinforcement learning executed by the machine learning device 5 can be realized by using, for example, a neural network.
  • a neural network has a configuration that mimics the structure of a human brain, and is configured by stacking multiple logic circuits that mimic the function of neurons (neurons) in the human brain.
  • the learning processing unit 6 is a part that executes a learning process for learning the operation of the robot 2, and includes a state observation unit 61, a behavior observation unit 62, a displacement amount observation unit 63, and a learning unit 64.
  • FIG. 3 is a diagram for explaining the operation of the state observation unit 61.
  • FIG. 3 shows a state in which the robot 2 and the container CN are viewed from above, and three works W1, W2, and W3 are stacked in the container CN.
  • the robot 2 performs a continuous operation of taking out one work W3 from the container CN by the hand unit 26 and placing the taken work W3 on the pallet PL.
  • the state observation unit 61 divides the continuous operation of the robot 2 into a plurality of states, and observes the state of the robot 2.
  • the number of states of the robot 2 observed by the state observation unit 61 is not particularly limited, but FIG. 3 shows four states of state S1, state S2, state S3, and state S4.
  • state S1 the postures of the trunk portion 22, the first arm 23, the second arm 24, the wrist portion 25, and the hand portion 26 are set so that the hand portion 26 of the robot 2 is disposed at a predetermined position above the pallet PL.
  • the state of the adjusted robot 2 is shown.
  • State S2 is a state immediately before gripping the workpiece W3 to be gripped in the container CN by the hand unit 26, and the body portion 26 is arranged so that the hand unit 26 is disposed at a predetermined position directly above the workpiece W3.
  • State S4 is a robot in which the postures of the body portion 22, the first arm 23, the second arm 24, the wrist portion 25, and the hand portion 26 are adjusted so that the work W3 gripped by the hand portion 26 is placed on the pallet PL. 2 state.
  • the robot 2 continuously moves the state in the order of the state S1, the state S2, the state S3, and the state S4, thereby taking out one workpiece W3 from the container CN by the hand unit 26, and putting the removed workpiece W3 on the pallet PL. Place.
  • the state of the robot 2 is defined by state variables ( ⁇ X, ⁇ Y, ⁇ Z, p).
  • the state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) are variables that change every time the state of the robot 2 is changed.
  • the X coordinate value related to the position in the container CN of the work W3 to be gripped by the hand unit 26 is used as a reference value (hereinafter referred to as “X reference value”).
  • the X coordinate value (hereinafter referred to as “hand X value”) related to the position of the hand unit 26 represents a difference from the X reference value.
  • the Y coordinate value related to the position in the container CN of the work W3 to be gripped by the hand unit 26 is used as a reference value (hereinafter referred to as “Y reference value”).
  • the difference between the Y reference value of the Y coordinate value (hereinafter referred to as “hand Y value”) related to the position of the hand unit 26 is expressed.
  • the Z coordinate value related to the position in the container CN of the work W3 to be gripped by the hand unit 26 is used as a reference value (hereinafter referred to as “Z reference value”).
  • Z reference value This represents a difference of the Z coordinate value (hereinafter referred to as “hand Z value”) regarding the position of the hand unit 26 with respect to the Z reference value.
  • the state variable “p” indicates whether or not the hand unit 26 is holding the workpiece W3.
  • the state variable “p” is set to “1” when the hand unit 26 is holding the workpiece W3, and is set to “0: zero” when the hand unit 26 is not holding the workpiece W3. .
  • the hand unit 26 When the state of the robot 2 is the state S1, the hand unit 26 is separated from the container CN in the axial directions of the coordinate axes of the X axis, the Y axis, and the Z axis, and does not hold the workpiece W3. Therefore, in the state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) that define the state S1 of the robot 2, “ ⁇ X”, “ ⁇ Y”, and “ ⁇ Z” have predetermined values “XA”, “YA”, and “ “ZA”, and "p" indicates "0: zero".
  • the hand unit 26 When the state of the robot 2 is the state S2, the hand unit 26 is not separated in the X-axis and Y-axis directions with respect to the container CN but is separated in the Z-axis direction. Not grasped. Therefore, in the state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) that define the state S2 of the robot 2, “ ⁇ X” and “ ⁇ Y” each indicate “0; zero”, and “ ⁇ Z” is a predetermined value “ ZA ", and” p "indicates” 0; zero ".
  • the hand unit 26 When the state of the robot 2 is the state S3, the hand unit 26 is not separated from the container CN in the axial directions of the X-axis, Y-axis, and Z-axis coordinate axes, and holds the workpiece W3. Yes. Therefore, in the state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) that define the state S3 of the robot 2, “ ⁇ X”, “ ⁇ Y”, and “ ⁇ Z” each indicate “0; zero”, and “p” “1” is shown.
  • the hand unit 26 When the state of the robot 2 is the state S4, the hand unit 26 is separated from the container CN in the axial directions of the coordinate axes of the X axis, the Y axis, and the Z axis, and holds the workpiece W3. Therefore, in the state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) that define the state S4 of the robot 2, “ ⁇ X”, “ ⁇ Y”, and “ ⁇ Z” have predetermined values “XA”, “YA”, and “YA”, respectively. "ZA”, and "p" indicates "1".
  • the state observation unit 61 determines whether the state of the robot 2 is the state S1, the state S2, the state S3, or the state S4. It is possible to recognize which state.
  • the state of the robot 2 is any one of the state S1, the state S2, and the state S3, the posture of the trunk unit 22, the first arm 23, the second arm 24, the wrist unit 25, the hand unit 26, and the like Due to the difference, there are a plurality of sub-states.
  • the state observation unit 61 also observes the sub state.
  • the state S4 indicating the final target state of the robot 2 in which the work W3 gripped by the hand unit 26 is placed on the pallet PL, there are no sub-states such as the state S1, the state S2, and the state S3.
  • the behavior observation unit 62 observes the behavior pattern of the robot 2 when the state of the robot 2 is changed. More specifically, the behavior observing unit 62 regards the behavior pattern of the robot 2, the behavior pattern when the state of the robot 2 is shifted from the state S1 to the state S2, the behavior pattern when the state is shifted from the state S2 to the state S3, The behavior pattern when the state S3 is shifted to the state S4 is observed. There are a plurality of action patterns that the robot 2 can take when the state is shifted, depending on the number of sub-states in each of the states S1, S2, and S3 (action A1, action A2,... Action An). In addition, when the state of the robot 2 is shifted from the state S2 to the state S3, the hand unit 26 performs an operation of taking out one workpiece W from the container CN.
  • the behavior elements that define the behavior pattern of the robot 2 observed by the behavior observation unit 62 include the grip angle ⁇ , the grip position HP, the rotation angle ⁇ 1 and the rotation speed pattern on the first axis 2A, and the second pattern shown in FIG.
  • the rotation angle ⁇ 6 and the rotation speed pattern in the sixth axis 2F are included.
  • the number of axes is not limited to six, but is arbitrary. For this reason, the rotation angle and the rotation speed pattern in each axis included in the action element that defines the action pattern of the robot 2 are in accordance with the number of axes.
  • the grip angle ⁇ is an angle formed by two claw portions for gripping the workpiece W in the hand portion 26 (see FIG. 2).
  • the gripping position HP represents a position at which the one workpiece W is gripped when the hand unit 26 takes out the one workpiece W.
  • the rotation angle ⁇ 1 on the first axis 2A represents the rotation angle around the first axis 2A of the body 22 when the state of the robot 2 is shifted. Since the barrel 22 can rotate in both forward and reverse directions around the first axis 2A, the rotation angle ⁇ 1 is indicated by a “positive; plus” rotation angle when the barrel 22 rotates in the forward direction. When the lens rotates in the reverse direction, it is indicated by a rotation angle of “negative; minus”.
  • the rotation angle ⁇ 2 on the second axis 2B represents the rotation angle around the second axis 2B of the first arm 23 when the state of the robot 2 is shifted. Since the first arm 23 can rotate in both forward and reverse directions around the second axis 2B, the rotation angle ⁇ 2 is indicated by a “positive; plus” rotation angle when the first arm 23 rotates in the forward direction. When one arm 23 rotates in the opposite direction, it is indicated by a rotation angle of “negative; minus”.
  • the rotation angle ⁇ 3 on the third axis 2C represents the rotation angle around the third axis 2C of the arm base 241 when the state of the robot 2 is shifted.
  • the rotation angle ⁇ 3 is indicated by a “positive; plus” rotation angle when the arm base 241 rotates in the forward direction.
  • the lens rotates in the reverse direction it is indicated by a rotation angle of “negative; minus”.
  • the rotation angle ⁇ 4 on the fourth axis 2D represents the rotation angle around the fourth axis 2D of the arm unit 242 when the state of the robot 2 is shifted. Since the arm portion 242 can rotate in both forward and reverse directions around the fourth axis 2D, the rotation angle ⁇ 4 is indicated by a “positive; plus” rotation angle when the arm portion 242 rotates in the forward direction. When the lens rotates in the reverse direction, it is indicated by a rotation angle of “negative; minus”.
  • a rotation angle ⁇ 5 on the fifth axis 2E represents a rotation angle around the fifth axis 2E of the wrist 25 when the state of the robot 2 is shifted.
  • the rotation angle ⁇ 5 is indicated by a “positive; plus” rotation angle when the wrist portion 25 rotates in the forward direction.
  • the rotation angle ⁇ 6 on the sixth axis 2F represents the rotation angle around the sixth axis 2F of the hand unit 26 when the state of the robot 2 is shifted. Since the hand portion 26 can rotate in both forward and reverse directions around the sixth axis 2F, the rotation angle ⁇ 6 is indicated by a “positive; plus” rotation angle when the hand portion 26 rotates in the forward direction. When the lens rotates in the reverse direction, it is indicated by a rotation angle of “negative; minus”.
  • Rotational speed patterns on the respective axes 2A to 2F represent rotational speed patterns around the respective axes, and are divided into a first pattern, a second pattern, and a third pattern shown in FIG.
  • the first pattern of the rotational speed includes two ascending regions in which the rotational speed increases linearly with the passage of time, and a descending region in which the rotational speed decreases linearly with the passage of time from the end of the upward region. It consists of two areas.
  • the second pattern of the rotational speed includes an ascending region where the rotational speed increases linearly with the passage of time, a constant velocity region where the rotational speed is constant at a constant time from the end of the ascending region, and a constant speed.
  • the third pattern of the rotational speed includes two ascending areas in which the rotational speed rises in a curve with time and a descending area in which the rotational speed falls in a curve with time from the end of the ascending area. It consists of two areas.
  • the behavior observation unit 62 can recognize a behavior pattern when the state of the robot 2 is shifted based on each behavior element.
  • FIG. 6 is a diagram for explaining the operation of the displacement amount observation unit 63.
  • the displacement amount observation unit 63 is a work piece when the state of the robot 2 is shifted from the state S2 to the state S3, that is, when an operation of taking out one work W in the container CN by the hand unit 26 is performed. Observe the displacement.
  • the workpiece displacement amount represents the displacement amount in the container CN of another workpiece W other than the one workpiece taken out by the hand unit 26.
  • the displacement amount observation unit 63 observes the workpiece displacement amount of the other workpieces W based on the image data output from the imaging device 3 before and after the take-out operation of the robot 2.
  • the reference image GS is acquired by the imaging operation of the camera 31 in the imaging device 3 before the robot 2 is taken out, and the reference image data GDS is generated by the image processing on the reference image GS of the image processing unit 32.
  • the reference image GS includes an image area GW1 corresponding to the work W1, an image area GW2 corresponding to the work W2, and a work W3 for the three works W1, W2, and W3 accommodated in the container CN in a stacked state.
  • a corresponding image area GW3 is included.
  • the reference image data GDS includes information related to coordinate values (X1, Y1, Z1) as the three-dimensional position information of the work W1, and coordinate values (X2, Y2, Z2) as three-dimensional position information of the work W2. Information and information on the coordinate values (X3, Y3, Z3) as the three-dimensional position information of the workpiece W3 are included.
  • the first image G1, the second image G2, and the third image G3 are acquired by the imaging operation of the camera 31 in the imaging device 3, and the image processing unit 32
  • the first image data GD1, the second image data GD2, and the third image data GD3 are generated by image processing on the images G1, G2, and G3, respectively.
  • the first image G1 and 1st image data GD1 have shown the image and image data after the workpiece
  • the first image G1 includes an image area GW1 corresponding to the work W1 and an image area GW2 corresponding to the work W2 for the works W1 and W2 after the work W3 is taken out by the behavior pattern A1.
  • information on coordinate values (X11, Y11, Z11) as the three-dimensional position information of the work W1 and coordinate values (X21, Y21, Z21) as the three-dimensional position information of the work W2 are included. And information about.
  • 2nd image G2 and 2nd image data GD2 have shown the image and image data after the workpiece
  • the second image G2 includes an image area GW1 corresponding to the work W1 and an image area GW2 corresponding to the work W2 for the works W1 and W2 after the work W3 is taken out by the behavior pattern A2.
  • information on coordinate values (X12, Y12, Z12) as the three-dimensional position information of the work W1 and coordinate values (X22, Y22, Z22) as the three-dimensional position information of the work W2 are included. And information about.
  • 3rd image G3 and 3rd image data GD3 have shown the image and image data after the workpiece
  • FIG. The third image G3 includes an image area GW1 corresponding to the work W1 and an image area GW3 corresponding to the work W3 for the works W1 and W3 after the work W2 is taken out by the behavior pattern A3. Further, in the third image data GD3, information on coordinate values (X13, Y13, Z13) as the three-dimensional position information of the work W1, and coordinate values (X33, Y33, Z33) as the three-dimensional position information of the work W3 are included. And information about.
  • “XD11” is the X coordinate value “X1” in the three-dimensional position information of the workpiece W1 included in the reference image data GDS and the three-dimensional position information of the workpiece W1 included in the first image data GD1.
  • the difference from the X coordinate value “X11” is shown.
  • “YD11” is the Y coordinate value “Y1” in the three-dimensional position information of the workpiece W1 included in the reference image data GDS and the three-dimensional of the workpiece W1 included in the first image data GD1.
  • the difference from the Y coordinate value “Y11” in the position information is shown.
  • ZD11 is the Z coordinate value “Z1” in the three-dimensional position information of the workpiece W1 included in the reference image data GDS and the three-dimensional of the workpiece W1 included in the first image data GD1. The difference from the Z coordinate value “Z11” in the position information is shown.
  • “XD21” in the workpiece displacement amount of the workpiece W2 is the X coordinate value “X2” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS and the tertiary of the workpiece W2 included in the first image data GD1. The difference from the X coordinate value “X21” in the original position information is shown.
  • “YD21” is the Y coordinate value “Y2” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS and the three-dimensional of the workpiece W2 included in the first image data GD1. The difference from the Y coordinate value “Y21” in the position information is shown.
  • ZD21 is the Z coordinate value “Z2” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS, and the three-dimensional of the workpiece W2 included in the first image data GD1. The difference from the Z coordinate value “Z21” in the position information is shown.
  • each value of the workpiece displacement amount (XD11, YD11, ZD11) of the workpiece W1 included in the first workpiece displacement amount WD1 observed by the displacement amount observation unit 63 and the workpiece displacement amount (XD21, YD21, Each value of ZD21) indicates a value close to “0; zero”.
  • the displacement amount observation unit 63 calculates the displacement amount of the workpieces W1 and W2 in the container CN when the workpiece W3 is taken out by the behavior pattern A2 based on the reference image data GDS and the second image data GD2.
  • a second workpiece displacement amount WD2 is observed.
  • the second workpiece displacement amount WD2 includes a workpiece displacement amount (XD12, YD12, ZD12) of the workpiece W1 and a workpiece displacement amount (XD22, YD22, ZD22) of the workpiece W2.
  • ZD12 is the Z coordinate value “Z1” in the three-dimensional position information of the workpiece W1 included in the reference image data GDS and the three-dimensional of the workpiece W1 included in the second image data GD2. The difference from the Z coordinate value “Z12” in the position information is shown.
  • XD22 is the X coordinate value “X2” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS and the tertiary of the workpiece W2 included in the second image data GD2.
  • the difference from the X coordinate value “X22” in the original position information is shown.
  • YD22 is the Y coordinate value “Y2” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS and the three-dimensional of the workpiece W2 included in the second image data GD2.
  • the difference from the Y coordinate value “Y22” in the position information is shown.
  • each value of the workpiece displacement amount (XD12, YD11, ZD11) of the workpiece W1 included in the second workpiece displacement amount WD2 observed by the displacement amount observation unit 63 is a value close to “0; zero”.
  • Each value of the workpiece displacement amount (XD22, YD22, ZD22) of the workpiece W2 indicates a value corresponding to the displacement of the workpiece W2.
  • the displacement amount observation unit 63 calculates the displacement amount of the workpieces W1 and W3 in the container CN when the workpiece W2 is taken out by the behavior pattern A3 based on the reference image data GDS and the third image data GD3.
  • a third workpiece displacement amount WD3 represented is observed.
  • the third workpiece displacement amount WD3 includes a workpiece displacement amount (XD13, YD13, ZD13) of the workpiece W1 and a workpiece displacement amount (XD33, YD33, ZD33) of the workpiece W3.
  • ZD13 is the Z coordinate value “Z1” in the three-dimensional position information of the workpiece W1 included in the reference image data GDS, and the three-dimensional of the workpiece W1 included in the third image data GD3. The difference from the Z coordinate value “Z13” in the position information is shown.
  • “XD33” is the X coordinate value “X3” in the three-dimensional position information of the workpiece W2 included in the reference image data GDS and the tertiary of the workpiece W3 included in the third image data GD3.
  • the difference from the X coordinate value “X33” in the original position information is shown.
  • “YD33” is the Y coordinate value “Y3” in the three-dimensional position information of the workpiece W3 included in the reference image data GDS and the three-dimensional of the workpiece W3 included in the third image data GD3.
  • the difference from the Y coordinate value “Y33” in the position information is shown.
  • ZD33 is the Z coordinate value “Z3” in the three-dimensional position information of the workpiece W3 included in the reference image data GDS, and the three-dimensional of the workpiece W3 included in the third image data GD3. The difference from the Z coordinate value “Z33” in the position information is shown.
  • each value of the workpiece displacement amount (XD13, YD13, ZD13) of the workpiece W1 included in the third workpiece displacement amount WD3 observed by the displacement amount observation unit 63 is a value close to “0; zero”.
  • Each value of the workpiece displacement amount (XD33, YD33, ZD33) of the workpiece W3 indicates a value corresponding to the displacement of the workpiece W3.
  • FIG. 7 is a diagram for explaining the operation of the learning unit 64.
  • the learning unit 64 learns the optimal behavior pattern of the robot 2 when the state of the robot 2 is shifted. That is, the learning unit 64 determines the optimal behavior pattern of the robot 2 when the state of the robot 2 is shifted from the state S1 to the state S2, and the optimal behavior pattern of the robot 2 when the state is shifted from the state S2 to the state S3. And the optimal behavior pattern of the robot 2 when the state is shifted from the state S3 to the state S4.
  • the optimal behavior pattern of the robot 2 when the state of the robot 2 is changed from the state S1 to the state S2 and when the state of the robot 2 is changed from the state S3 to the state S4 is already described.
  • the learning unit 64 uses the behavior observation unit 62 to determine the degree of influence on another workpiece W according to the workpiece displacement amount observed by the displacement amount observation unit 63 when the hand unit 26 takes out one workpiece W from the container CN. Learning is performed in association with the behavior pattern of the robot 2 observed by the above.
  • the learning unit 64 learns the degree of influence on another work W when one work W is taken out based on the teacher data TD that associates the behavior pattern of the robot 2 with the work displacement amount.
  • the teacher data TD is associated with the behavior pattern A1 and the first workpiece displacement amount WD1 described with reference to FIG. 6, and the behavior pattern A2 and the second workpiece displacement amount WD2 are associated with each other. This is data in which the action pattern A3 and the third workpiece displacement amount WD3 are associated with each other.
  • the learning unit 64 includes a reward setting unit 641 and a value function updating unit 642.
  • the reward setting unit 641 sets an impact level IM on another workpiece W according to the workpiece displacement amount with respect to the behavior pattern at the time of taking out one workpiece W of the robot 2 observed by the behavior observation unit 62, A reward R corresponding to the workpiece displacement amount is set.
  • the degree of influence IM on the other work W is set to a value correlated with the work displacement amount of the other work W observed by the displacement amount observation unit 62, and the influence degree is set to be smaller as the work displacement amount is smaller. Is done.
  • the reward setting unit 641 gives a reward R having a first value R1 (for example, “100” larger than 0 (zero)) to the behavior pattern of the robot 2 in which the workpiece displacement amount is less than the predetermined threshold value WDT.
  • a reward R of a second value R2 (for example, 0 (zero)) smaller than the first value R1 is given to the action pattern of the robot 2 in which the workpiece displacement amount is equal to or greater than the threshold value WDT.
  • the reward setting unit 641 sets “IM1” as the degree of influence IM according to the first work displacement amount WD1 for the action pattern A1 corresponding to the first work displacement amount WD1 less than the threshold value WDT. And a reward R having a first value R1 larger than “0; zero” is given.
  • the reward setting unit 641 sets “IM2” as the degree of influence IM corresponding to the second work displacement amount WD2 for the action pattern A2 corresponding to the second work displacement amount WD2 equal to or greater than the threshold value WDT.
  • the reward R of the second value R2 (0; zero) is given.
  • the reward setting unit 641 sets “IM3” as the degree of influence IM corresponding to the third work displacement amount WD3 for the action pattern A3 corresponding to the third work displacement amount WD3 equal to or greater than the threshold value WDT, and The reward R of the second value R2 (0; zero) is given.
  • “s” represents the state of the robot 2 (state S2)
  • “a” represents the behavior of the robot 2 according to the behavior pattern (behavior A1, behavior A2, behavior A3).
  • the state of the robot 2 shifts from the state “s” (state S2) to the state “s ′” (state S3) by the action “a”.
  • R (s, a) represents the reward R obtained by the transition of the state.
  • the term with “max” is obtained by multiplying the value Q (s ′, a ′) by “ ⁇ ” when the action “a ′” having the highest value in the state “s ′” is selected.
  • ⁇ is a parameter called an attenuation factor, and is in a range of 0 ⁇ ⁇ 1 (for example, 0.9).
  • ⁇ is a parameter called a learning rate, and is in a range of 0 ⁇ ⁇ 1 (for example, 0.1).
  • the above equation (1) is based on the reward R (s, a) set by the reward setting unit 641 for the action “a”, and the value Q (s, a) of the action “a” in the state “s”.
  • the above equation (1) is such that the value Q (s ′, a ′) of the action “a ′” in the state “s ′” is greater than the value Q (s, a) of the action “a” in the state “s”.
  • the reward R (s, a) is larger, the value Q (s, a) is increased, and on the contrary, the value Q (s, a) is decreased.
  • the value function updating unit 642 updates the value function using the update formula shown by the above formula (1), thereby the value Q (s, a of a certain action “a” in a certain state “s”. ) To the reward R set for the action “a” and the value Q (s ′, a ′) of the best action “a ′” in the next state “s ′” by the action “a”. I try to get closer.
  • the learning processing unit 6 of the machine learning device 5 includes the state observation unit 61, the behavior observation unit 62, the displacement amount observation unit 63, and the learning unit 64.
  • the learning process executed by the learning processing unit 6 will be described with reference to the flowchart of FIG.
  • the displacement amount observation unit 63 acquires the reference image data GDS (FIG. 6) output from the imaging device 3 before the robot 2 is taken out (step a1).
  • the state observation unit 61 observes the state of the robot 2 (step a2). More specifically, the state observation unit 61 changes the state of the robot 2 from the state S2 to the state S3 based on state variables ( ⁇ X, ⁇ Y, ⁇ Z, p) that change each time the state of the robot 2 changes. Observe that.
  • the behavior observation unit 62 performs when the state of the robot 2 is shifted from the state S2 to the state S3, that is, when an operation of taking out one workpiece W in the container CN is performed by the hand unit 26 is performed.
  • the displacement amount observation unit 63 acquires the image data output from the imaging device 3 after the take-out operation of the robot 2 according to the behavior pattern observed by the behavior observation unit 62 (step a4). Then, the displacement amount observing unit 63 detects the displacement of another workpiece W by removing one workpiece W from the container CN based on the image data output from the imaging device 3 before and after the robot 2 is taken out. The amount is observed (step a5).
  • the reward setting unit 641 of the learning unit 64 sets the degree of influence IM on the other workpiece W according to the workpiece displacement amount in association with the behavior pattern of the robot 2, and the workpiece displacement amount is a predetermined threshold value WDT. It is determined whether it is less than (step a6).
  • the reward setting unit 641 gives a reward R greater than “0; zero” to the action pattern of the robot 2 in which the workpiece displacement amount is less than the threshold value WDT (step a7).
  • the reward setting unit 641 gives a reward R of “0; zero” to the action pattern of the robot 2 in which the workpiece displacement amount is equal to or greater than the threshold value WDT (step a8).
  • the value function updating unit 642 of the learning unit 64 updates the value function that defines the value Q (s, a) of the behavior pattern of the robot 2 using the update formula of the above formula (1) (step a9). ).
  • Each process shown in the above steps a1 to a9 is a process executed in one cycle of the learning process by the learning processing unit 6.
  • the learning processing unit 6 determines whether or not a predetermined number of learning times has been reached (step a10).
  • Each process shown in steps a1 to a9 is repeated until a predetermined number of learning times is reached.
  • the behavior pattern of the robot 2 when the workpiece W is taken out from the container CN is observed by the behavior observation unit 62, and the workpiece displacement of another workpiece W in the container CN due to the take-out operation of the robot 2 is observed.
  • the amount is observed by the displacement amount observation unit 63.
  • the learning unit 64 then moves to another workpiece W according to the workpiece displacement amount when taking out one workpiece W from the container CN based on the teacher data TD that associates the behavior pattern of the robot 2 with the workpiece displacement amount. Is learned in association with an action pattern.
  • the workpiece displacement amount is an index of the effect of the impact force on the other workpiece W and the degree of collapse of the other workpiece W when the one workpiece W is taken out from the container CN.
  • the smaller the workpiece displacement amount the smaller the impact force and the degree of collapse on the other workpiece W, and accordingly, the degree of influence IM on the other workpiece W becomes smaller.
  • the learning unit 64 learns the degree of influence IM on the other work W according to the amount of work displacement in association with the behavior pattern, the influence on the other work W when the one work W is taken out from the container CN. It is possible to learn a behavior pattern of the robot 2 that decreases the degree IM. For this reason, it is possible to learn the optimum take-out operation of the robot 2 that has a small influence on other workpieces W and can prevent damage to the workpieces W and the like.
  • the behavior element that defines the behavior pattern of the robot 2 observed by the behavior observation unit 62 includes the gripping position HP for the one workpiece W when the hand unit 26 takes out the one workpiece W.
  • the behavior pattern of the robot 2 observed by the behavior observation unit 62 constitutes teacher data TD used when the learning unit 64 learns the operation of the robot 2.
  • the learning unit 64 has an influence on other workpieces W. It is possible to learn the behavior pattern of the robot 2 in consideration of the gripping position HP that decreases the degree IM.
  • the learning reflection processing unit 7 of the machine learning device 5 is a part that executes learning reflection processing for reflecting the learning result by the learning processing unit 6 as the operation of the robot 2.
  • the learning reflection processing unit 7 executes the learning reflection processing when the robot 2 executes the production operation after learning the influence IM by the learning unit 64 of the learning processing unit 6.
  • the production operation of the robot 2 is a continuous operation of the robot 2 in which the work W is taken out from the container CN by the hand unit 26 and the taken out work W is placed on the pallet PL.
  • the learning reflection processing unit 7 includes an action determination unit 71, a rank setting unit 72, and an update unit 73. Each part which comprises the learning reflection process part 7 is demonstrated below with reference to FIG.
  • FIG. 9A, FIG. 9B, FIG. 10A, FIG. 10B, and FIG. 9A and 9B are diagrams for explaining the action pattern determination information JH1 and JH1A generated by the action determination unit 71.
  • FIG. 10A and 10B are diagrams for explaining the action command information JH2 and JH2A generated by the rank setting unit 72.
  • FIG. FIG. 11 is a flowchart showing the learning reflection process executed by the learning reflection processing unit 7.
  • the behavior determination unit 71 receives, via the control device 4, imaging request information for requesting output of image data when the production operation of the robot 2 is started after the learning unit 64 learns the influence degree IM. 3 to send.
  • the behavior determination unit 71 acquires image data before the take-out operation of the robot 2 output from the imaging device 3 in response to the imaging request information (step b1 in FIG. 11).
  • the action determination unit 71 recognizes the stacking status of the plurality of works W in the container CN based on the acquired image data. Then, the behavior determining unit 71 sets, as the behavior pattern of the robot 2 when taking out each workpiece W from the container CN by the hand unit 26, the behavior pattern having the minimum influence IM learned by the learning unit 64 for each workpiece W. (Step b2 in FIG. 11).
  • the behavior determination unit 71 generates behavior pattern determination information JH1 illustrated in FIG. 9A as information representing the determination result of the behavior pattern for each work W (step b3 in FIG. 11).
  • the behavior pattern determination information JH1 includes workpiece type information J11 for identifying each workpiece W in the container CN, behavior pattern information J12 representing a behavior pattern for each workpiece W, and other workpieces when one workpiece W is taken out. This is information associated with the degree of influence information J13 representing the degree of influence IM on W.
  • the behavior pattern determination information JH1 exemplified in FIG. 9A will be described in detail as follows. Based on the image data output from the imaging device 3, the behavior determining unit 71 loads each workpiece “W1”, “W2”, “W3”, “W4”, “W5”, etc. in the container CN. Recognize Then, the behavior determining unit 71 sets the behavior pattern “associated with“ 20 ”having the smallest degree of influence IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W1 ”from the container CN. Action A1 "is determined.
  • the behavior determination unit 71 sets the behavior pattern “associated with“ 10 ”having the smallest degree of influence IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W2 ”from the container CN.
  • Action A2 is determined.
  • the behavior determining unit 71 sets the behavior pattern “associated with“ 1 ”having the smallest degree of influence IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W3 ”from the container CN.
  • Action A3 is determined.
  • the behavior determination unit 71 takes the behavior associated with the minimum influence level “0.5” learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work “W4” from the container CN.
  • the pattern “action A4” is determined.
  • the behavior determination unit 71 sets the behavior IM associated with “0.1” having the minimum degree of influence IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work “W5” from the container CN.
  • the pattern “action A5” is determined.
  • the behavior pattern determination result for each work W by the behavior determination unit 71 is obtained by associating the work type information J11, the behavior pattern information J12, and the influence information J13 with the behavior pattern determination information JH1. It is.
  • the behavior pattern determination information JH1 generated by the behavior determination unit 71 is output toward the control device 4.
  • the control device 4 to which the behavior pattern determination information JH1 is input can control the take-out operation of the robot 2 based on the behavior pattern determination information JH1.
  • the behavior determination unit 71 has the smallest influence degree IM as the behavior pattern of the robot 2 when taking out each workpiece W from the container CN in order to reflect the learning result by the learning unit 64 in the taking-out operation at the time of actual production of the robot 2. Is determined for each work W. In the actual production, the robot 2 follows the behavior pattern for each workpiece W determined by the behavior determination unit 71, so that the degree of influence IM on other workpieces W is small, and it is possible to suppress damage to the workpiece W and the like. Can be performed.
  • the behavior determining unit 71 determines the behavior pattern of the robot 2 for each workpiece W in the container CN based on the image data obtained by one imaging output from the imaging device 3. That is, in actual production, in order to determine the behavior pattern of the robot 2 when the workpiece W is taken out, the imaging device 3 does not perform imaging every time the workpiece W is taken out.
  • the behavior pattern of the robot 2 with respect to each workpiece W in the container CN is determined based on image data obtained by one imaging, and the robot 2 can sequentially take out a plurality of workpieces W according to the determined behavior pattern.
  • the number of times of imaging by the imaging device 3 can be reduced, so that the waiting time of the robot 2 caused by imaging can be shortened, and production efficiency can be improved.
  • the robot 2 is composed of a double-armed robot or a robot having a plurality of hand units 26, a plurality of workpieces W are continuously taken out according to the behavior pattern determined by the behavior determination unit 71. Can do. For this reason, in the case of a double-armed robot or a robot provided with a plurality of hand portions 26, the production efficiency can be further improved.
  • the behavior determination unit 71 updates the behavior pattern determination operation of the robot 2, and is illustrated in FIG. 9B.
  • the updated behavior pattern determination information JH1A is generated and output to the control device 4.
  • the control device 4 to which the updated behavior pattern determination information JH1A is input can control the take-out operation of the robot 2 based on the behavior pattern determination information JH1A. Details of the updated behavior pattern determination information JH1A will be described later.
  • the rank setting unit 72 refers to the behavior pattern determination information JH1, and the extraction order when the workpieces W are extracted from the container CN based on the behavior pattern of the robot 2 determined by the behavior determination unit 71 has a small influence degree IM. It is set so as to be higher (step b4 in FIG. 11).
  • the order setting unit 72 generates action command information JH2 illustrated in FIG. 10A as information indicating the setting result of the extraction order (step b5 in FIG. 11).
  • the action command information JH2 includes influence reference value information J21 representing a reference value IMS of the influence degree IM, and action list information J22.
  • the reference value IMS represented by the influence reference value information J21 is referred to when the update unit 73 described later monitors the take-out operation of the robot 2.
  • the action list information J22 is a list in which data relating the work type information J11, the action pattern information J12, and the influence information J13 are arranged in the order of the picking order of the work W set by the order setting unit 72.
  • Information That is, the action list information J22 is the data in which the work type information J11, the action pattern information J12, and the influence degree information J13 are associated in ascending order of the influence degree IM represented by the influence degree information J13. It is information arranged in.
  • the behavior command information JH2 generated by the rank setting unit 72 is output toward the control device 4 (step b6 in FIG. 11).
  • the control device 4 to which the action command information JH2 is input can control the take-out operation of the robot 2 according to the pick-up order of the work W based on the action list information J22 included in the action command information JH2.
  • the action list information J22 included in the action command information JH2 is compared with the action pattern determination information JH1 generated by the action determination unit 71, and the work type information J11, the action pattern information J12, and the influence information J13. Are the same except that the order of the data associated with is different. For this reason, when the action command information JH2 is output toward the control device 4, the output of the action pattern determination information JH1 to the control device 4 is omitted.
  • the order setting unit 72 sets the order of taking out the workpieces W from the container CN.
  • the robot 2 may take out each workpiece W from the container CN in accordance with the take-out order set by the rank setting unit 72 during actual production. Thereby, the robot 2 can perform the taking-out operation in order from the one having the smallest influence degree IM to the other workpieces W.
  • the rank setting unit 72 updates the setting operation of the picking rank of the work W, and is illustrated in FIG. 10B.
  • the updated action command information JH2A is generated and output to the control device 4.
  • the control device 4 to which the updated action command information JH2A is input can control the take-out operation of the robot 2 according to the pick-up order of the workpiece W based on the action list information J22 included in the action command information JH2A. it can. Details of the updated action command information JH2A will be described later.
  • the update unit 73 performs the robot 2 according to the workpiece W extraction order set by the order setting unit 72 during the production operation of the robot 2 under the control of the control device 4 based on the action list information J22 included in the action command information JH2.
  • the take-out operation is monitored (step b7 in FIG. 11).
  • the update unit 73 takes out from the container CN all the workpieces W in the order in which the influence degree IM represented by the influence degree information J13 is less than the predetermined reference value IMS represented by the influence reference value information J21. Is determined (step b8 in FIG. 11).
  • the update unit 73 When it is determined that the extraction of all the workpieces W having the influence degree IM less than the reference value IMS has been completed, the update unit 73 has a work W having the order in which the influence degree IM is greater than or equal to the reference value IMS. (Step b9 in FIG. 11).
  • the action pattern determination operation by the determination unit 71 and the work W take-out order setting operation by the order setting unit 72 are updated.
  • the update unit 73 outputs update request information for requesting update of the behavior pattern determination information JH1 to the behavior determination unit 71, and outputs update request information for requesting update of the behavior command information JH2 to the order setting unit 72.
  • the operations of both the action determining unit 71 and the order setting unit 72 are updated (step b10 in FIG. 11).
  • the operation of the updating unit 73 will be described with reference to the action command information JH2 shown in FIG. 10A.
  • the robot 2 controlled by the control device 4 is represented by the action pattern information J12 in order from the work W having the smallest influence degree IM represented by the influence degree information J13 in accordance with the extraction order registered in the action list information J22.
  • the extraction operation based on the action pattern to be executed is executed.
  • the update unit 73 monitors the take-out operation of the robot 2.
  • the workpieces W5, W4, and W3 with the extraction order “1 to 3” are the workpieces W in the order that the influence degree IM is less than the reference value IMS (for example, “2”).
  • the work W2 and the like whose take-out order is “4” or later are work Ws in the order in which the degree of influence IM is equal to or higher than the reference value IMS.
  • the update unit 73 sends the update request information to the action determination unit 71 and the order setting unit 72 when the extraction of all the works W5, W4, and W3 having the extraction order “1 to 3” is completed. Output to both sides and update the operation of both sides.
  • the removal operation of the workpiece W based on the behavior pattern in which the influence level IM is less than the reference value IMS is a removal operation in which the influence level IM on the other workpieces W is relatively small and damage to the workpiece W can be suppressed.
  • the influence degree IM to other works W is relatively large, and there is a possibility that the work W is damaged.
  • the robot 2 may sequentially take out all the workpieces W in the order in which the influence degree IM is less than the reference value IMS in accordance with the take-out order set by the rank setting unit 72 during actual production.
  • the robot 2 has a relatively small influence IM on other workpieces W, and can continuously take out all the workpieces W in a range in which damage to the workpieces W can be prevented.
  • the updating unit 73 updates the behavior pattern determination operation by the behavior determination unit 71 and the extraction order setting operation by the order setting unit 72. That is, the action pattern by the action determination unit 71 based on new image data output from the imaging device 3 when the extraction operation by the robot 2 of all the workpieces W in the order in which the influence degree IM is less than the reference value IMS is completed.
  • the updated operations of the determination operation and the setting operation of the picking order by the order setting unit 72 are performed before the picking operation of the workpiece W.
  • the behavior determining unit 71 updates the behavior pattern determining operation of the robot 2 by repeating the steps b1 to b3 shown in FIG.
  • the updated action pattern determination information JH1A exemplified in 9B is generated.
  • the updated behavior pattern determination information JH1A illustrated in FIG. 9B will be described in detail as follows.
  • the action determination unit 71 based on the new image data output from the imaging device 3 after receiving the update request information from the update unit 73, all the works W5 in the order in which the degree of influence IM is less than the reference value IMS. , W4, W3, and the unloading status of each work “W1”, “W2”, “W6”, “W7”, “W8”, etc. remaining in the container CN is recognized.
  • the unloading state of the remaining workpieces W in the container CN is changed before the removal operation. Compared to changes. For this reason, the degree of influence IM corresponding to the workpiece W remaining in the container CN also changes.
  • the behavior determining unit 71 sets the behavior pattern “corresponding to“ 0.2 ”having the smallest influence degree IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W1 ”from the container CN.
  • Action A11 is determined.
  • the behavior determination unit 71 sets the behavior IM associated with the minimum influence level “0.01” learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work “W2” from the container CN.
  • the pattern “action A21” is determined.
  • the action determining unit 71 sets the action associated with the minimum influence level IM of “0.3” as the action pattern of the robot 2 when taking out the work “W6” from the container CN.
  • the pattern “action A61” is determined.
  • the behavior determining unit 71 sets the behavior pattern “associated with“ 20 ”having the minimum influence degree IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W7 ”from the container CN.
  • Action A71 is determined.
  • the behavior determination unit 71 sets the behavior pattern “associated with“ 40 ”having the smallest degree of influence IM learned by the learning unit 64 as the behavior pattern of the robot 2 when taking out the work“ W8 ”from the container CN.
  • Action A81 is determined.
  • the information obtained by associating the work type information J11, the behavior pattern information J12, and the influence information J13 with the updated determination result of the behavior pattern for each work W by the behavior determination unit 71 is updated.
  • Action pattern determination information JH1A is updated.
  • the action determining unit 71 sets the action pattern of the robot 2 when taking out each work W remaining in the container CN after the picking-up operation by the robot 2 of all the works W having an order of influence IM less than the reference value IMS.
  • the behavior pattern that minimizes the degree of influence IM is updated and determined for each work W.
  • the robot 2 follows the behavior pattern for each workpiece W updated and determined by the behavior determination unit 71, so that the impact level IM on other workpieces W is small and damage to the workpiece W is suppressed. The best possible take-out operation can be performed.
  • the rank setting unit 72 Upon receiving the update request information output from the update unit 73, the rank setting unit 72 repeats the steps b4 to b6 shown in FIG.
  • the updated action command information JH2A exemplified in 10B is generated.
  • the behavior list information J22 included in the behavior command information JH2A updated by the rank setting unit 72 is compared with the behavior pattern determination information JH1A updated by the behavior determination unit 71, and the work type information J11 and the behavior pattern information J12. Is the same except that the order of data in which the degree of influence information J13 is associated is different.
  • the action list information J22 data in which the work type information J11, the action pattern information J12, and the influence degree information J13 are associated is arranged in order from the smallest influence degree IM represented by the influence degree information J13. Information.
  • the action command information JH2A updated by the rank setting unit 72 is output toward the control device 4.
  • the control device 4 to which the action command information JH2A is input can control the take-out operation of the robot 2 in accordance with the updated pick-up order of the workpiece W based on the action list information J22 included in the action command information JH2A. it can.
  • the order setting unit 72 updates and sets the take-out order when taking out each workpiece W remaining in the container CN.
  • the robot 2 may take out each workpiece W remaining in the container CN in accordance with the take-out order updated by the rank setting unit 72 during actual production. Thereby, the robot 2 can perform the taking-out operation in order from the one having the smallest influence degree IM to the other workpieces W.
  • a machine learning device is a device that learns the operation of a robot including a hand unit that takes out the workpiece from a container that accommodates a plurality of workpieces stacked in bulk.
  • the machine learning device outputs the robot from the behavior observation unit that observes the behavior pattern of the robot and the imaging device that images the inside of the container in the take-out operation of taking out one workpiece from the container by the hand unit. Based on the respective image data before and after the take-out operation, the amount of displacement of the other work other than the one work in the container when the one work in the container is taken out by the hand unit.
  • the workpiece when the hand unit takes out the one workpiece from the container based on teacher data that associates the behavior pattern and the workpiece displacement amount with a displacement amount observation unit that observes the workpiece displacement amount representing A learning unit that learns the degree of influence on the other workpiece according to the amount of displacement in association with the behavior pattern.
  • a behavior pattern of a robot when one workpiece is taken out from the container is observed by the behavior observation unit, and a displacement amount of another workpiece in the container due to the robot take-out operation is observed by the displacement amount observation unit. Observed.
  • the learning unit Based on the teacher data that associates the robot action pattern with the workpiece displacement amount, the learning unit calculates the degree of influence on another workpiece according to the workpiece displacement amount when taking out one workpiece from the container. Learning by associating with a pattern.
  • the workpiece displacement is an index of the effect of impact force on other workpieces and the degree of collapse of other workpieces when one workpiece is removed from the container. That is, the smaller the workpiece displacement amount, the smaller the impact force and the degree of collapse on other workpieces, and the smaller the degree of influence on other workpieces.
  • the learning unit learns the degree of influence on the other work according to the amount of work displacement in association with the behavior pattern, so that the degree of influence on the other work is small when one work is taken out from the container. You can learn robot behavior patterns. For this reason, it is possible to learn the optimum robot take-out operation that has a small influence on other workpieces and can prevent damage to the workpiece.
  • a plurality of images in the container are based on the image data.
  • An action determining unit for recognizing an unloading state of the workpieces and determining, for each workpiece, an action pattern that minimizes the degree of influence as an action pattern of the robot when taking out each work from the container by the hand unit. Further, a configuration may be provided.
  • the behavior determining unit in order to reflect the learning result by the learning unit in the actual picking-up operation of the robot, has a behavior pattern having a minimum influence as a behavior pattern of the robot when taking out each workpiece from the container. Determine for each workpiece.
  • the robot follows the behavior pattern for each workpiece determined by the behavior determination unit, thereby performing an optimum take-out operation that has a small influence on other workpieces and can prevent damage to the workpiece. be able to.
  • the behavior determining unit determines the behavior pattern of the robot for each workpiece in the container based on the image data obtained by one imaging output from the imaging device. That is, in actual production, in order to determine the behavior pattern of the robot when picking up the workpiece, imaging is not performed by the imaging device every time the workpiece is picked up. A robot action pattern for each work in the container is determined based on image data obtained by one imaging, and the robot can sequentially take out a plurality of works according to the determined action pattern. Thereby, in actual production, the number of times of imaging by the imaging device can be reduced, so that the waiting time of the robot caused by imaging can be shortened, and the production efficiency can be improved.
  • the machine learning device described above is a rank in which the picking order when picking up each workpiece from the container based on the robot action pattern determined by the action determining unit is set higher as the influence degree is smaller.
  • the configuration may further include a setting unit.
  • the order setting unit sets the take-out order when taking out each workpiece from the container.
  • the robot may take out each workpiece from the container in accordance with the take-out order set by the rank setting unit during actual production. As a result, the robot can execute the pick-up operation in order from the one having the least influence on other workpieces.
  • the machine learning device monitors the take-out operation of the robot according to the take-out order set by the rank setting unit, and the containers of all works in a rank in which the degree of influence is less than a predetermined reference value.
  • the configuration may further include an update unit that updates the behavior pattern determination operation by the behavior determination unit and the extraction order setting operation by the order setting unit when the extraction from the is completed.
  • the work removal operation based on an action pattern whose influence level is less than the reference value can be said to be a removal operation that has a relatively small influence on another work and can prevent damage to the work.
  • an operation of picking up a workpiece based on an action pattern having an influence level equal to or higher than a reference value has a relatively large influence level on other workpieces and may cause damage to the workpiece.
  • the robot may sequentially take out all the workpieces in the order in which the degree of influence is less than the reference value in accordance with the take-out order set by the order setting unit.
  • the robot has a relatively small influence on other workpieces, and can continuously take out all workpieces within a range where damage to the workpieces can be suppressed.
  • the update unit updates the action pattern determination operation by the action determination unit and the extraction order setting operation by the order setting unit.
  • the action pattern determining operation by the action determining unit based on the new image data output from the imaging device when the picking-up operation by the robot of all the workpieces whose influence degree is less than the reference value is completed, and the order The updated operation including the setting operation of the picking order by the setting unit is performed before the picking operation of the workpiece.
  • the robot may take out each workpiece from the container according to the behavior pattern updated and determined by the behavior determination unit and further according to the extraction order updated and set by the ranking setting unit.
  • the hand unit is configured to take out the workpiece by gripping the workpiece in the container, and the behavior element that defines the behavior pattern of the robot observed by the behavior observation unit includes The gripping position with respect to the one workpiece when the hand portion picks up the one workpiece is included.
  • the behavior pattern of the robot observed by the behavior observation unit constitutes teacher data used when the learning unit learns the robot operation.
  • the learning unit can grasp such that the degree of influence on other workpieces is reduced. It is possible to learn robot behavior patterns that take into account the position.
  • a robot system includes a robot having a hand unit that takes out the workpiece from a container that accommodates a plurality of workpieces in a stacked state, and images the inside of the container to output image data. Based on the learning results of the machine learning device and the machine learning device, which learns the robot's take-out operation when taking out the workpiece from the container by the hand unit based on the imaging device and the image data And a control device for controlling the operation of the robot.
  • This robot system is equipped with the above machine learning device that can learn the optimal operation of the robot when taking out a workpiece from the container. For this reason, when the robot takes out one workpiece from the container at the time of actual production, the robot can execute an optimum take-out operation that has a small influence on other workpieces and can prevent damage to the workpiece.
  • a machine learning device that can learn an optimal operation of a robot when a workpiece is taken out from a container that accommodates a plurality of workpieces in a stacked state, and a robot system including the same. Can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Multimedia (AREA)

Abstract

ロボットシステム（１）に備えられるロボット（２）の動作は、機械学習装置（５）の学習結果に基づいて制御される。機械学習装置（５）は、行動観測部（６２）、変位量観測部（６３）及び学習部（６４）を備える。行動観測部（６２）は、容器（ＣＮ）からワーク（Ｗ）を取り出すときのロボット（２）の行動パターンを観測する。変位量観測部（６３）は、撮像装置（３）から出力される、ロボット（２）の取り出し動作の前後における各画像データに基づいて、容器（ＣＮ）内の一のワークが取り出されたときの、他のワークの容器（ＣＮ）内での変位量を表すワーク変位量を観測する。学習部（６４）は、ロボット（２）が容器（ＣＮ）から一のワークを取り出すときの、ワーク変位量に応じた他のワークへの影響度（ＩＭ）を、ロボット（２）の行動パターンと対応付けて学習する。

Description

機械学習装置及びこれを備えたロボットシステム
　本発明は、バラ積みされた状態のワークを取り出すロボットの動作を学習する機械学習装置、及びこの機械学習装置を備えたロボットシステムに関する。
　複数のワークをバラ積みされた状態で収容する容器からワークを取り出すシステムとして、ハンド部を備えたロボットによってワークを取り出すロボットシステムが知られている（特許文献１参照）。特許文献１に開示されるロボットシステムは、ロボットの取り出し動作を学習する機械学習装置を備えている。機械学習装置は、三次元計測器により計測されたワークの三次元マップに対応したロボットの動作と、ワークの取り出しの成否の判定結果とを関連付けた教師データに基づいて、容器からワークを取り出す際のロボットの動作を学習している。
　しかしながら、ワークの取り出しの成否の判定結果を含む教師データを用いた学習では、ロボットの最適な取り出し動作を学習しているとは言えない。つまり、ロボットのハンド部による容器からの一のワークの取り出しが成功したとしても、その取り出し動作によって容器内の他のワークに影響を及ぼす場合がある。例えば、容器から一のワークを取り出すときに、ハンド部や当該ハンド部に把持された一のワークが他のワークに衝撃力を作用させてしまう場合がある。或いは、一のワークが取り出されることにより、他のワークが崩れてしまう場合がある。このように、一のワークの取り出し動作によって容器内の他のワークに影響を及ぼした場合には、ワークが破損してしまう虞がある。
特開２０１７－６４９１０号公報
　本発明は、このような事情に鑑みてなされたものであり、その目的とするところは、複数のワークをバラ積みされた状態で収容する容器からワークを取り出すときのロボットの最適な動作を学習できる機械学習装置、及びこれを備えたロボットシステムを提供することにある。
　本発明の一の局面に係る機械学習装置は、複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットの動作を学習する装置である。この機械学習装置は、前記ハンド部によって前記容器から一のワークを取り出す取り出し動作における、前記ロボットの行動パターンを観測する行動観測部と、前記容器内を撮像する撮像装置から出力される、前記ロボットの前記取り出し動作の前後における各画像データに基づいて、前記容器内の前記一のワークが前記ハンド部によって取り出されたときの、前記一のワーク以外の他のワークの前記容器内での変位量を表すワーク変位量を観測する変位量観測部と、前記行動パターンと前記ワーク変位量とを関連付けた教師データに基づいて、前記ハンド部が前記容器から前記一のワークを取り出すときの、前記ワーク変位量に応じた前記他のワークへの影響度を、前記行動パターンと対応付けて学習する学習部と、を備える。
　本発明の他の局面に係るロボットシステムは、複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットと、前記容器内を撮像して画像データを出力する撮像装置と、前記画像データに基づいて、前記ハンド部によって前記容器から前記ワークを取り出すときの前記ロボットの取り出し動作を学習する、上記の機械学習装置と、前記機械学習装置の学習結果に基づいて、前記ロボットの動作を制御する制御装置と、を備える。
　本発明の目的、特徴及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
本発明の一実施形態に係るロボットシステムの構成を示すブロック図である。 ロボットシステムに備えられるロボットの一例を示す図である。 ロボットシステムに備えられる機械学習装置の状態観測部の動作を説明するための図である。 機械学習装置の行動観測部の動作を説明するための図である。 ロボットの行動パターンを規定する行動要素を説明するための図である。 機械学習装置の変位量観測部の動作を説明するための図である。 機械学習装置の学習部の動作を説明するための図である。 機械学習装置により実行される学習処理を示すフローチャートである。 機械学習装置の行動決定部によって生成される行動パターン決定情報を説明するための図である。 機械学習装置の行動決定部によって生成される行動パターン決定情報を説明するための図である。 機械学習装置の順位設定部によって生成される行動指令情報を説明するための図である。 機械学習装置の順位設定部によって生成される行動指令情報を説明するための図である。 機械学習装置により実行される学習反映処理を示すフローチャートである。
　以下、本発明の実施形態に係る機械学習装置及びロボットシステムについて図面に基づいて説明する。
　［ロボットシステムの全体構成］
　図１は、本発明の一実施形態に係るロボットシステム１の構成を示すブロック図である。ロボットシステム１は、ロボット２と、撮像装置３と、制御装置４と、機械学習装置５とを備える。ロボットシステム１においては、撮像装置３から出力される画像データに基づき機械学習装置５がロボット２の動作を学習し、その学習結果に基づき制御装置４がロボット２の動作を制御する。
　まず、図２を参照しながらロボット２について説明する。図２は、ロボットシステム１に備えられるロボット２の一例を示す図である。ロボット２は、複数のワークＷをバラ積みされた状態で収容する容器ＣＮから、当該ワークＷを取り出すためのロボットである。容器ＣＮは、上方側が開口した有底筒状に形成されている。ロボット２は、容器ＣＮの上方側の開口を介してワークＷを取り出す。
　ロボット２は、容器ＣＮからワークＷを取り出すことが可能なハンド部を備えたロボットであれば特に限定されるものではなく、例えば、垂直多関節ロボットや水平多関節ロボット、或いは双腕型の多関節ロボットを採用することができる。以下では、図２に示す６軸垂直多関節ロボットを例として、ロボット２の構成について説明する。なお、垂直多関節ロボットにおいて軸の数は、６軸に限定されるものではなく、任意の軸数でよい。ロボット２は、ベース部２１と、胴部２２と、第１アーム２３と、第２アーム２４と、手首部２５と、ハンド部２６とを備える。
　ベース部２１は、床や台等に固定設置され、内部に不図示の駆動モーター等を収容する箱体である。胴部２２は、ベース部２１の上面において、鉛直方向（上下方向）に延びる第１軸２Ａ回りに、正逆両方向に回転可能に配置される。第１アーム２３は、所定の長さを有するアーム部材であり、その長手方向の一端部が水平方向に延びる第２軸２Ｂを介して胴部２２に取り付けられている。第１アーム２３は、第２軸２Ｂ回りに、正逆両方向に回転可能である。
　第２アーム２４は、アームベース２４１とアーム部２４２とを含む。アームベース２４１は、第２アーム２４のベース部分であり、第２軸２Ｂに対して平行且つ水平方向に延びる第３軸２Ｃを介して、第１アーム２３の長手方向他端部に取り付けられている。アームベース２４１は、第３軸２Ｃ回りに、正逆両方向に回転可能である。アーム部２４２は、所定の長さを有するアーム部材であり、その長手方向の一端部が第３軸２Ｃに対して垂直な第４軸２Ｄを介してアームベース２４１に取り付けられている。アーム部２４２は、第４軸２Ｄ回りに、正逆両方向に回転可能である。
　手首部２５は、第２軸２Ｂ及び第３軸２Ｃに対して平行且つ水平方向に延びる第５軸２Ｅを介して、アーム部２４２の長手方向他端部に取り付けられている。手首部２５は、第５軸２Ｅ回りに、正逆両方向に回転可能である。
　ハンド部２６は、ロボット２において容器ＣＮからワークＷを取り出す部分であり、第５軸２Ｅに対して垂直な第６軸２Ｆを介して手首部２５に取り付けられている。ハンド部２６は、第６軸２Ｆ回りに、正逆両方向に回転可能である。ハンド部２６は、容器ＣＮ内のワークＷを保持可能な構造であれば特に限定されるものではなく、例えば、ワークＷを把持して保持する複数の爪部を備えた構造であってもよいし、ワークＷに対して吸引力を発生する電磁石又は負圧発生装置を備えた構造であってもよい。本実施形態では、ハンド部２６は、複数の爪部を備えた構造を有し、容器ＣＮ内のワークＷを把持することによって当該ワークＷを取り出す。
　次に、撮像装置３は、容器ＣＮ内に収容される複数のワークＷの全てが視野内に収まるように容器ＣＮ内を上方から撮像し、ワークＷの位置情報を含む画像データを出力する装置である。本実施形態では、撮像装置３は、図１に示すように、カメラ３１と画像処理部３２を備えた三次元視覚センサ等の三次元計測器である。カメラ３１は、容器ＣＮ内を上方から撮像し、容器ＣＮ内に収容される複数のワークＷの各々の画像領域を含む画像を取得する。画像処理部３２は、カメラ３１が取得した画像を画像処理することによって、各ワークＷの三次元位置情報を含む画像データを生成する。各ワークの三次元位置情報は、例えば、ＸＹＺ直交座標系を用いた座標値（Ｘ，Ｙ，Ｚ）で表される。なお、ＸＹＺ直交座標系とは、Ｘ軸とＹ軸を含む平面（ＸＹ平面）が水平で、Ｚ軸がＸＹ平面に対して鉛直となるように各座標軸が配置された座標系である。撮像装置３から出力された画像データは、後述の機械学習装置５に備えられる変位量観測部６３及び行動決定部７１に入力される。
　次に、制御装置４は、ロボット２の動作を制御するとともに、撮像装置３の動作を制御する。制御装置４は、後述の機械学習装置５に備えられる行動決定部７１及び順位設定部７２によって生成される情報に基づいて、ロボット２及び撮像装置３の双方の動作を制御する。
　［機械学習装置の構成］
　次に、機械学習装置５について説明する。機械学習装置５は、図１に示すように、ロボット２の動作を学習（機械学習）する学習処理を実行する学習処理部６と、その学習結果をロボット２の動作として反映させる学習反映処理を実行する学習反映処理部７とを備える。機械学習装置５が実行する学習の手法としては、特に限定されるものではなく、例えば、「教師あり学習」、「教師なし学習」及び「強化学習」等を採用することができる。本実施形態では、機械学習装置５における学習の手法として、強化学習としてのＱ学習の手法が採用されている。Ｑ学習は、ロボット２の連続的な動作を複数の状態に区分し、状態が順次移行されるときのロボット２の行動について、報酬が得られるような価値の高い行動を学習する手法である。また、機械学習装置５が実行する強化学習としてのＱ学習は、例えば、ニューラルネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）を使用して実現することが可能である。ニューラルネットワークは、人間の脳の構造を模した構成となっており、人間の脳におけるニューロン（神経細胞）の機能を模した論理回路を多層に積層して構成されたものである。
　＜学習処理部について＞
　学習処理部６は、ロボット２の動作を学習する学習処理を実行する部分であり、状態観測部６１と、行動観測部６２と、変位量観測部６３と、学習部６４とを含んで構成される。
　（状態観測部について）
　図３は、状態観測部６１の動作を説明するための図である。なお、図３においては、ロボット２及び容器ＣＮを上方から見た状態が示されており、容器ＣＮ内には３つのワークＷ１，Ｗ２，Ｗ３がバラ積みされている。ロボット２は、ハンド部２６によって容器ＣＮから一のワークＷ３を取り出し、その取り出したワークＷ３をパレットＰＬに載置するという、連続的な動作を実行する。状態観測部６１は、ロボット２の連続的な動作を複数の状態に区分し、そのロボット２の状態を観測する。
　状態観測部６１が観測するロボット２の状態の数は、特に限定されるものではないが、図３では、状態Ｓ１、状態Ｓ２、状態Ｓ３及び状態Ｓ４の４つの状態が示されている。状態Ｓ１は、ロボット２のハンド部２６がパレットＰＬの上方における所定の位置に配置されるように、胴部２２、第１アーム２３、第２アーム２４、手首部２５及びハンド部２６の姿勢が調整されたロボット２の状態である。状態Ｓ２は、ハンド部２６によって容器ＣＮ内の把持対象となるワークＷ３を把持する直前の状態であって、ワークＷ３の真上における所定の位置にハンド部２６が配置されるように、胴部２２、第１アーム２３、第２アーム２４、手首部２５及びハンド部２６の姿勢が調整されたロボット２の状態である。状態Ｓ３は、ハンド部２６が容器ＣＮ内の把持対象となるワークＷ３を把持するように、胴部２２、第１アーム２３、第２アーム２４、手首部２５及びハンド部２６の姿勢が調整されたロボット２の状態である。状態Ｓ４は、ハンド部２６によって把持したワークＷ３をパレットＰＬに載置するように、胴部２２、第１アーム２３、第２アーム２４、手首部２５及びハンド部２６の姿勢が調整されたロボット２の状態である。ロボット２は、状態Ｓ１、状態Ｓ２、状態Ｓ３、状態Ｓ４の順に状態を連続的に移行することにより、ハンド部２６によって容器ＣＮから一のワークＷ３を取り出し、その取り出したワークＷ３をパレットＰＬに載置する。
　ロボット２の状態は、状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）によって規定される。状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）は、ロボット２の状態が移行されるごとに変化する変数である。
　状態変数の「ΔＸ」は、ＸＹＺ直交座標系において、ハンド部２６による把持対象となるワークＷ３の容器ＣＮ内における位置に関するＸ座標値を基準値（以下、「Ｘ基準値」と称する）とし、ハンド部２６の位置に関するＸ座標値（以下、「ハンドＸ値」と称する）の前記Ｘ基準値に対する差異を表す。状態変数の「ΔＹ」は、ＸＹＺ直交座標系において、ハンド部２６による把持対象となるワークＷ３の容器ＣＮ内における位置に関するＹ座標値を基準値（以下、「Ｙ基準値」と称する）とし、ハンド部２６の位置に関するＹ座標値（以下、「ハンドＹ値」と称する）の前記Ｙ基準値に対する差異を表す。状態変数の「ΔＺ」は、ＸＹＺ直交座標系において、ハンド部２６による把持対象となるワークＷ３の容器ＣＮ内における位置に関するＺ座標値を基準値（以下、「Ｚ基準値」と称する）とし、ハンド部２６の位置に関するＺ座標値（以下、「ハンドＺ値」と称する）の前記Ｚ基準値に対する差異を表す。状態変数の「ｐ」は、ハンド部２６がワークＷ３を把持しているか否かを表す。状態変数の「ｐ」は、ハンド部２６がワークＷ３を把持している場合には「１」とされ、ハンド部２６がワークＷ３を把持していない場合には「０：ゼロ」とされる。
　ロボット２の状態が状態Ｓ１である場合には、ハンド部２６は、容器ＣＮに対してＸ軸、Ｙ軸及びＺ軸の各座標軸の軸方向に離れており、ワークＷ３を把持していない。このため、ロボット２の状態Ｓ１を規定する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）においては、「ΔＸ」、「ΔＹ」及び「ΔＺ」がそれぞれ所定の値「ＸＡ」、「ＹＡ」及び「ＺＡ」を示し、「ｐ」が「０：ゼロ」を示す。
　ロボット２の状態が状態Ｓ２である場合には、ハンド部２６は、容器ＣＮに対してＸ軸及びＹ軸の各軸方向には離れていないけれどもＺ軸方向には離れており、ワークＷ３を把持していない。このため、ロボット２の状態Ｓ２を規定する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）においては、「ΔＸ」及び「ΔＹ」がそれぞれ「０；ゼロ」を示し、「ΔＺ」が所定の値「ＺＡ」を示し、「ｐ」が「０；ゼロ」を示す。
　ロボット２の状態が状態Ｓ３である場合には、ハンド部２６は、容器ＣＮに対してＸ軸、Ｙ軸及びＺ軸の各座標軸の軸方向には離れておらず、ワークＷ３を把持している。このため、ロボット２の状態Ｓ３を規定する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）においては、「ΔＸ」、「ΔＹ」及び「ΔＺ」がそれぞれ「０；ゼロ」を示し、「ｐ」が「１」を示す。
　ロボット２の状態が状態Ｓ４である場合には、ハンド部２６は、容器ＣＮに対してＸ軸、Ｙ軸及びＺ軸の各座標軸の軸方向に離れており、ワークＷ３を把持している。このため、ロボット２の状態Ｓ４を規定する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）においては、「ΔＸ」、「ΔＹ」及び「ΔＺ」がそれぞれ所定の値「ＸＡ」、「ＹＡ」及び「ＺＡ」を示し、「ｐ」が「１」を示す。
　状態観測部６１は、ロボット２の状態が移行されるごとに変化する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）に基づいて、ロボット２の状態が状態Ｓ１、状態Ｓ２、状態Ｓ３及び状態Ｓ４の何れの状態であるかを認識することができる。なお、ロボット２の状態が状態Ｓ１、状態Ｓ２及び状態Ｓ３の何れかの状態である場合には、胴部２２、第１アーム２３、第２アーム２４、手首部２５及びハンド部２６の姿勢等の違いにより、複数のサブ状態が存在する。状態観測部６１は、ロボット２の状態が状態Ｓ１、状態Ｓ２及び状態Ｓ３の何れかの状態である場合には、サブ状態についても観測する。ハンド部２６が把持したワークＷ３をパレットＰＬに載置するという、ロボット２の最終目標の状態を示す状態Ｓ４については、状態Ｓ１、状態Ｓ２及び状態Ｓ３のようなサブ状態は存在しない。
　（行動観測部について）
　図４は、行動観測部６２の動作を説明するための図である。なお、図４においては、ロボット２の状態について、状態Ｓ１には複数のサブ状態「Ｓ１－１、Ｓ１－２、・・・Ｓ１－ｎ」が存在することが示され、状態Ｓ２には複数のサブ状態「Ｓ２－１、Ｓ２－２、・・・Ｓ２－ｎ」が存在することが示され、状態Ｓ３には複数のサブ状態「Ｓ３－１、Ｓ３－２、・・・Ｓ３－ｎ」が存在することが示されている。
　行動観測部６２は、ロボット２の状態が移行されるときのロボット２の行動パターンを観測する。より詳しくは、行動観測部６２は、ロボット２の行動パターンについて、ロボット２の状態が状態Ｓ１から状態Ｓ２へ移行されるときの行動パターン、状態Ｓ２から状態Ｓ３へ移行されるときの行動パターン、状態Ｓ３から状態Ｓ４へ移行されるときの行動パターンをそれぞれ観測する。状態が移行されるときにロボット２が取り得る行動パターンは、状態Ｓ１、状態Ｓ２及び状態Ｓ３の各々におけるサブ状態の存在数に応じて、複数存在する（行動Ａ１、行動Ａ２、・・・行動Ａｎ）。なお、ロボット２の状態が状態Ｓ２から状態Ｓ３へ移行されるときには、ハンド部２６によって容器ＣＮから一のワークＷを取り出す取り出し動作が実行されている。
　行動観測部６２によって観測されるロボット２の行動パターンを規定する行動要素としては、図５に示される、把持角θ、把持位置ＨＰ、第１軸２Ａにおける回転角β１及び回転速度パターン、第２軸２Ｂにおける回転角β２及び回転速度パターン、第３軸２Ｃにおける回転角β３及び回転速度パターン、第４軸２Ｄにおける回転角β４及び回転速度パターン、第５軸２Ｅにおける回転角β５及び回転速度パターン、第６軸２Ｆにおける回転角β６及び回転速度パターンが含まれる。なお、前述したように、垂直多関節ロボットからなるロボット２において、その軸数は６軸に限定されるものではなく、任意である。このため、ロボット２の行動パターンを規定する行動要素に含まれる各軸における回転角及び回転速度パターンは、軸数に応じたものとなる。
　把持角θは、ハンド部２６においてワークＷを把持するための２つの爪部の成す角度である（図２参照）。把持位置ＨＰは、ハンド部２６が一のワークＷを取り出すときの、当該一のワークＷを把持する位置を表す。第１軸２Ａにおける回転角β１は、ロボット２の状態が移行されるときの胴部２２の第１軸２Ａ回りの回転角を表す。胴部２２は第１軸２Ａ回りに正逆両方向に回転可能であるので、回転角β１は、胴部２２が正方向に回転するときには「正；プラス」の回転角で示され、胴部２２が逆方向に回転するときには「負；マイナス」の回転角で示される。第２軸２Ｂにおける回転角β２は、ロボット２の状態が移行されるときの第１アーム２３の第２軸２Ｂ回りの回転角を表す。第１アーム２３は第２軸２Ｂ回りに正逆両方向に回転可能であるので、回転角β２は、第１アーム２３が正方向に回転するときには「正；プラス」の回転角で示され、第１アーム２３が逆方向に回転するときには「負；マイナス」の回転角で示される。第３軸２Ｃにおける回転角β３は、ロボット２の状態が移行されるときのアームベース２４１の第３軸２Ｃ回りの回転角を表す。アームベース２４１は第３軸２Ｃ回りに正逆両方向に回転可能であるので、回転角β３は、アームベース２４１が正方向に回転するときには「正；プラス」の回転角で示され、アームベース２４１が逆方向に回転するときには「負；マイナス」の回転角で示される。
　第４軸２Ｄにおける回転角β４は、ロボット２の状態が移行されるときのアーム部２４２の第４軸２Ｄ回りの回転角を表す。アーム部２４２は第４軸２Ｄ回りに正逆両方向に回転可能であるので、回転角β４は、アーム部２４２が正方向に回転するときには「正；プラス」の回転角で示され、アーム部２４２が逆方向に回転するときには「負；マイナス」の回転角で示される。第５軸２Ｅにおける回転角β５は、ロボット２の状態が移行されるときの手首部２５の第５軸２Ｅ回りの回転角を表す。手首部２５は第５軸２Ｅ回りに正逆両方向に回転可能であるので、回転角β５は、手首部２５が正方向に回転するときには「正；プラス」の回転角で示され、手首部２５が逆方向に回転するときには「負；マイナス」の回転角で示される。第６軸２Ｆにおける回転角β６は、ロボット２の状態が移行されるときのハンド部２６の第６軸２Ｆ回りの回転角を表す。ハンド部２６は第６軸２Ｆ回りに正逆両方向に回転可能であるので、回転角β６は、ハンド部２６が正方向に回転するときには「正；プラス」の回転角で示され、ハンド部２６が逆方向に回転するときには「負；マイナス」の回転角で示される。
　各軸２Ａ～２Ｆにおける回転速度パターンは、各軸回りの回転速度のパターンを表し、図５に示す第１パターン、第２パターン及び第３パターンに区分される。回転速度の第１パターンは、時間経過に伴って回転速度が直線的に上昇する上昇領域と、当該上昇領域の終端から時間経過に伴って回転速度が直線的に下降する下降領域との、２つの領域からなる。回転速度の第２パターンは、時間経過に伴って回転速度が直線的に上昇する上昇領域と、当該上昇領域の終端から一定時間の間で回転速度が等速となる等速領域と、等速領域の終端から時間経過に伴って回転速度が直線的に下降する下降領域との、３つの領域からなる。回転速度の第３パターンは、時間経過に伴って回転速度が曲線的に上昇する上昇領域と、当該上昇領域の終端から時間経過に伴って回転速度が曲線的に下降する下降領域との、２つの領域からなる。
　行動観測部６２は、各行動要素に基づいて、ロボット２の状態が移行されるときの行動パターンを認識することができる。
　（変位量観測部について）
　図６は、変位量観測部６３の動作を説明するための図である。変位量観測部６３は、ロボット２の状態が状態Ｓ２から状態Ｓ３へ移行されるとき、すなわち、容器ＣＮ内の一のワークＷがハンド部２６によって取り出される取り出し動作が行われたときの、ワーク変位量を観測する。ワーク変位量は、ハンド部２６によって取り出された一のワーク以外の他のワークＷの容器ＣＮ内での変位量を表す。変位量観測部６３は、撮像装置３から出力される、ロボット２の取り出し動作の前後における各画像データに基づいて、他のワークＷのワーク変位量を観測する。
　図６に示す例では、ロボット２の取り出し動作前において、撮像装置３におけるカメラ３１の撮像動作によって基準画像ＧＳが取得され、画像処理部３２の基準画像ＧＳに対する画像処理によって基準画像データＧＤＳが生成されている。基準画像ＧＳには、容器ＣＮ内にバラ積み状態で収容される３つのワークＷ１，Ｗ２，Ｗ３について、ワークＷ１に対応した画像領域ＧＷ１と、ワークＷ２に対応した画像領域ＧＷ２と、ワークＷ３に対応した画像領域ＧＷ３とが含まれている。また、基準画像データＧＤＳには、ワークＷ１の三次元位置情報としての座標値（Ｘ１，Ｙ１，Ｚ１）に関する情報と、ワークＷ２の三次元位置情報としての座標値（Ｘ２，Ｙ２，Ｚ２）に関する情報と、ワークＷ３の三次元位置情報としての座標値（Ｘ３，Ｙ３，Ｚ３）に関する情報とが含まれている。
　また、図６に示す例では、ロボット２の取り出し動作後において、撮像装置３におけるカメラ３１の撮像動作によって第１画像Ｇ１、第２画像Ｇ２及び第３画像Ｇ３が取得され、画像処理部３２の各画像Ｇ１，Ｇ２，Ｇ３に対する画像処理によって第１画像データＧＤ１、第２画像データＧＤ２及び第３画像データＧＤ３がそれぞれ生成されている。
　第１画像Ｇ１及び第１画像データＧＤ１は、ロボット２の行動パターンＡ１によってワークＷ３が取り出された後の画像及び画像データを示している。第１画像Ｇ１には、行動パターンＡ１によるワークＷ３の取り出し後におけるワークＷ１，Ｗ２について、ワークＷ１に対応した画像領域ＧＷ１と、ワークＷ２に対応した画像領域ＧＷ２とが含まれている。また、第１画像データＧＤ１には、ワークＷ１の三次元位置情報としての座標値（Ｘ１１，Ｙ１１，Ｚ１１）に関する情報と、ワークＷ２の三次元位置情報としての座標値（Ｘ２１，Ｙ２１，Ｚ２１）に関する情報とが含まれている。
　第２画像Ｇ２及び第２画像データＧＤ２は、ロボット２の行動パターンＡ２によってワークＷ３が取り出された後の画像及び画像データを示している。第２画像Ｇ２には、行動パターンＡ２によるワークＷ３の取り出し後におけるワークＷ１，Ｗ２について、ワークＷ１に対応した画像領域ＧＷ１と、ワークＷ２に対応した画像領域ＧＷ２とが含まれている。また、第２画像データＧＤ２には、ワークＷ１の三次元位置情報としての座標値（Ｘ１２，Ｙ１２，Ｚ１２）に関する情報と、ワークＷ２の三次元位置情報としての座標値（Ｘ２２，Ｙ２２，Ｚ２２）に関する情報とが含まれている。
　第３画像Ｇ３及び第３画像データＧＤ３は、ロボット２の行動パターンＡ３によってワークＷ２が取り出された後の画像及び画像データを示している。第３画像Ｇ３には、行動パターンＡ３によるワークＷ２の取り出し後におけるワークＷ１，Ｗ３について、ワークＷ１に対応した画像領域ＧＷ１と、ワークＷ３に対応した画像領域ＧＷ３とが含まれている。また、第３画像データＧＤ３には、ワークＷ１の三次元位置情報としての座標値（Ｘ１３，Ｙ１３，Ｚ１３）に関する情報と、ワークＷ３の三次元位置情報としての座標値（Ｘ３３，Ｙ３３，Ｚ３３）に関する情報とが含まれている。
　変位量観測部６３は、基準画像データＧＤＳと第１画像データＧＤ１とに基づいて、行動パターンＡ１によってワークＷ３が取り出されたときの、ワークＷ１，Ｗ２の容器ＣＮ内での変位量を表す第１ワーク変位量ＷＤ１を観測する。第１ワーク変位量ＷＤ１は、ワークＷ１のワーク変位量（ＸＤ１１，ＹＤ１１，ＺＤ１１）と、ワークＷ２のワーク変位量（ＸＤ２１，ＹＤ２１，ＺＤ２１）とを含む。ワークＷ１のワーク変位量において「ＸＤ１１」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１」と、第１画像データＧＤ１に含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１１」との差分を示す。また、ワークＷ１のワーク変位量において「ＹＤ１１」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１」と、第１画像データＧＤ１に含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１１」との差分を示す。また、ワークＷ１のワーク変位量において「ＺＤ１１」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１」と、第１画像データＧＤ１に含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１１」との差分を示す。
　同様に、ワークＷ２のワーク変位量において「ＸＤ２１」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＸ座標値「Ｘ２」と、第１画像データＧＤ１に含まれるワークＷ２の三次元位置情報におけるＸ座標値「Ｘ２１」との差分を示す。また、ワークＷ２のワーク変位量において「ＹＤ２１」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＹ座標値「Ｙ２」と、第１画像データＧＤ１に含まれるワークＷ２の三次元位置情報におけるＹ座標値「Ｙ２１」との差分を示す。また、ワークＷ２のワーク変位量において「ＺＤ２１」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＺ座標値「Ｚ２」と、第１画像データＧＤ１に含まれるワークＷ２の三次元位置情報におけるＺ座標値「Ｚ２１」との差分を示す。
　基準画像ＧＳと第１画像Ｇ１との比較から明らかなように、行動パターンＡ１によるワークＷ３の取り出し後においてワークＷ１，Ｗ２の位置は、ワークＷ３の取り出し前の位置と比較して、殆ど変化していない。このため、変位量観測部６３によって観測された第１ワーク変位量ＷＤ１に含まれるワークＷ１のワーク変位量（ＸＤ１１，ＹＤ１１，ＺＤ１１）の各値と、ワークＷ２のワーク変位量（ＸＤ２１，ＹＤ２１，ＺＤ２１）の各値とは、「０；ゼロ」に近い値を示すことになる。
　また、変位量観測部６３は、基準画像データＧＤＳと第２画像データＧＤ２とに基づいて、行動パターンＡ２によってワークＷ３が取り出されたときの、ワークＷ１，Ｗ２の容器ＣＮ内での変位量を表す第２ワーク変位量ＷＤ２を観測する。第２ワーク変位量ＷＤ２は、ワークＷ１のワーク変位量（ＸＤ１２，ＹＤ１２，ＺＤ１２）と、ワークＷ２のワーク変位量（ＸＤ２２，ＹＤ２２，ＺＤ２２）とを含む。ワークＷ１のワーク変位量において「ＸＤ１２」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１」と、第２画像データＧＤ２に含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１２」との差分を示す。また、ワークＷ１のワーク変位量において「ＹＤ１２」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１」と、第２画像データＧＤ２に含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１２」との差分を示す。また、ワークＷ１のワーク変位量において「ＺＤ１２」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１」と、第２画像データＧＤ２に含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１２」との差分を示す。
　同様に、ワークＷ２のワーク変位量において「ＸＤ２２」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＸ座標値「Ｘ２」と、第２画像データＧＤ２に含まれるワークＷ２の三次元位置情報におけるＸ座標値「Ｘ２２」との差分を示す。また、ワークＷ２のワーク変位量において「ＹＤ２２」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＹ座標値「Ｙ２」と、第２画像データＧＤ２に含まれるワークＷ２の三次元位置情報におけるＹ座標値「Ｙ２２」との差分を示す。また、ワークＷ２のワーク変位量において「ＺＤ２２」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＺ座標値「Ｚ２」と、第２画像データＧＤ２に含まれるワークＷ２の三次元位置情報におけるＺ座標値「Ｚ２２」との差分を示す。
　基準画像ＧＳと第２画像Ｇ２との比較から明らかなように、行動パターンＡ２によるワークＷ３の取り出し後においてワークＷ１の位置は、ワークＷ３の取り出し前の位置と比較して殆ど変化していないが、ワークＷ２の位置は変化している。このため、変位量観測部６３によって観測された第２ワーク変位量ＷＤ２に含まれるワークＷ１のワーク変位量（ＸＤ１２，ＹＤ１１，ＺＤ１１）の各値は「０；ゼロ」に近い値を示すが、ワークＷ２のワーク変位量（ＸＤ２２，ＹＤ２２，ＺＤ２２）の各値はワークＷ２の変位に応じた値を示すことになる。
　また、変位量観測部６３は、基準画像データＧＤＳと第３画像データＧＤ３とに基づいて、行動パターンＡ３によってワークＷ２が取り出されたときの、ワークＷ１，Ｗ３の容器ＣＮ内での変位量を表す第３ワーク変位量ＷＤ３を観測する。第３ワーク変位量ＷＤ３は、ワークＷ１のワーク変位量（ＸＤ１３，ＹＤ１３，ＺＤ１３）と、ワークＷ３のワーク変位量（ＸＤ３３，ＹＤ３３，ＺＤ３３）とを含む。ワークＷ１のワーク変位量において「ＸＤ１３」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１」と、第３画像データＧＤ３に含まれるワークＷ１の三次元位置情報におけるＸ座標値「Ｘ１３」との差分を示す。また、ワークＷ１のワーク変位量において「ＹＤ１３」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１」と、第３画像データＧＤ３に含まれるワークＷ１の三次元位置情報におけるＹ座標値「Ｙ１３」との差分を示す。また、ワークＷ１のワーク変位量において「ＺＤ１３」は、基準画像データＧＤＳに含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１」と、第３画像データＧＤ３に含まれるワークＷ１の三次元位置情報におけるＺ座標値「Ｚ１３」との差分を示す。
　同様に、ワークＷ３のワーク変位量において「ＸＤ３３」は、基準画像データＧＤＳに含まれるワークＷ２の三次元位置情報におけるＸ座標値「Ｘ３」と、第３画像データＧＤ３に含まれるワークＷ３の三次元位置情報におけるＸ座標値「Ｘ３３」との差分を示す。また、ワークＷ３のワーク変位量において「ＹＤ３３」は、基準画像データＧＤＳに含まれるワークＷ３の三次元位置情報におけるＹ座標値「Ｙ３」と、第３画像データＧＤ３に含まれるワークＷ３の三次元位置情報におけるＹ座標値「Ｙ３３」との差分を示す。また、ワークＷ３のワーク変位量において「ＺＤ３３」は、基準画像データＧＤＳに含まれるワークＷ３の三次元位置情報におけるＺ座標値「Ｚ３」と、第３画像データＧＤ３に含まれるワークＷ３の三次元位置情報におけるＺ座標値「Ｚ３３」との差分を示す。
　基準画像ＧＳと第３画像Ｇ３との比較から明らかなように、行動パターンＡ３によるワークＷ２の取り出し後においてワークＷ１の位置は、ワークＷ３の取り出し前の位置と比較して殆ど変化していないが、ワークＷ３の位置は変化している。このため、変位量観測部６３によって観測された第３ワーク変位量ＷＤ３に含まれるワークＷ１のワーク変位量（ＸＤ１３，ＹＤ１３，ＺＤ１３）の各値は「０；ゼロ」に近い値を示すが、ワークＷ３のワーク変位量（ＸＤ３３，ＹＤ３３，ＺＤ３３）の各値はワークＷ３の変位に応じた値を示すことになる。
　なお、変位量観測部６３は、ロボット２の取り出し動作の前後における実画像を用いた各画像データに基づきワーク変位量を観測する態様に限定されるものではなく、例えばＶＲ（Ｖｉｒｔｕａｌ）画像を用いた各画像データに基づきワーク変位量を観測する態様であってもよい。つまり、変位量観測部６３は、ロボット２の取り出し動作の前後におけるワークＷの配置状態をＶＲ空間に再現し、そのＶＲ空間に再現したワークＷのＶＲ画像を用いて三次元位置情報を算出し、当該算出結果に基づきワーク変位量を取得するように構成されていてもよい。
　（学習部について）
　図７は、学習部６４の動作を説明するための図である。学習部６４は、ロボット２の状態が移行されるときのロボット２の最適な行動パターンを学習する。つまり、学習部６４は、ロボット２の状態が状態Ｓ１から状態Ｓ２へ移行されるときのロボット２の最適な行動パターンと、状態Ｓ２から状態Ｓ３へ移行されるときのロボット２の最適な行動パターンと、状態Ｓ３から状態Ｓ４へ移行されるときのロボット２の最適な行動パターンとを、それぞれ学習する。なお、以下では、ロボット２の状態が状態Ｓ１から状態Ｓ２へ移行されるとき、並びに、ロボット２の状態が状態Ｓ３から状態Ｓ４へ移行されるときのロボット２の最適な行動パターンについては、既に学習済みであるとして、状態Ｓ２から状態Ｓ３へ移行されるときのロボット２の行動パターンの学習について、詳細に説明する。すなわち、以下では、ハンド部２６が容器ＣＮから一のワークＷを取り出すときの、ロボット２の行動パターンの学習について説明する。
　学習部６４は、ハンド部２６が容器ＣＮから一のワークＷを取り出すときの、変位量観測部６３により観測されたワーク変位量に応じた他のワークＷへの影響度を、行動観測部６２により観測されたロボット２の行動パターンと対応付けて学習する。学習部６４は、ロボット２の行動パターンとワーク変位量とを関連付けた教師データＴＤに基づいて、一のワークＷの取り出し時における他のワークＷへの影響度を学習する。図７に示す例では、教師データＴＤは、前述の図６で説明した、行動パターンＡ１と第１ワーク変位量ＷＤ１とが関連付けられ、行動パターンＡ２と第２ワーク変位量ＷＤ２とが関連付けられ、行動パターンＡ３と第３ワーク変位量ＷＤ３とが関連付けられたデータである。
　学習部６４は、図１に示すように、報酬設定部６４１と価値関数更新部６４２とを含んで構成される。
　報酬設定部６４１は、行動観測部６２により観測されたロボット２の一のワークＷの取り出し時における行動パターンに対し、ワーク変位量に応じた他のワークＷへの影響度ＩＭを設定するとともに、ワーク変位量に応じた報酬Ｒを設定する。他のワークＷへの影響度ＩＭは、変位量観測部６２により観測された他のワークＷのワーク変位量に相関した値に設定され、ワーク変位量が小さいほど影響度が小さくなるように設定される。報酬設定部６４１は、ワーク変位量が所定の閾値ＷＤＴ未満となるロボット２の行動パターンに対しては、第１の値Ｒ１（例えば０（ゼロ）よりも大きい「１００」）の報酬Ｒを与え、ワーク変位量が閾値ＷＤＴ以上となるロボット２の行動パターンに対しては、前記第１の値Ｒ１よりも小さい第２の値Ｒ２（例えば０（ゼロ））の報酬Ｒを与える。
　図７に示す例では、報酬設定部６４１は、閾値ＷＤＴ未満の第１ワーク変位量ＷＤ１に対応した行動パターンＡ１に対しては、第１ワーク変位量ＷＤ１に応じた影響度ＩＭとして「ＩＭ１」を設定し、更に「０；ゼロ」よりも大きい第１の値Ｒ１の報酬Ｒを与えている。また、報酬設定部６４１は、閾値ＷＤＴ以上の第２ワーク変位量ＷＤ２に対応した行動パターンＡ２に対しては、第２ワーク変位量ＷＤ２に応じた影響度ＩＭとして「ＩＭ２」を設定し、更に第２の値Ｒ２（０；ゼロ）の報酬Ｒを与えている。また、報酬設定部６４１は、閾値ＷＤＴ以上の第３ワーク変位量ＷＤ３に対応した行動パターンＡ３に対しては、第３ワーク変位量ＷＤ３に応じた影響度ＩＭとして「ＩＭ３」を設定し、更に第２の値Ｒ２（０；ゼロ）の報酬Ｒを与えている。
　価値関数更新部６４２は、ロボット２の行動パターンの価値Ｑ（ｓ，ａ）を規定する価値関数を、報酬設定部６４１により設定された報酬Ｒに応じて更新する。価値関数更新部６４２は、下記式（１）で示される価値Ｑ（ｓ，ａ）の更新式を用いて価値関数を更新する。
Figure JPOXMLDOC01-appb-M000001
　上記式（１）において、「ｓ」は、ロボット２の状態（状態Ｓ２）を表し、「ａ」は、行動パターン（行動Ａ１、行動Ａ２、行動Ａ３）に従ったロボット２の行動を表す。行動「ａ」によってロボット２の状態が、状態「ｓ」（状態Ｓ２）から状態「ｓ’」（状態Ｓ３）へ移行する。Ｒ（ｓ，ａ）は、その状態の移行により得られた報酬Ｒを表している。「ｍａｘ」が付された項は、状態「ｓ’」において最も価値の高い行動「ａ’」を選択した場合の価値Ｑ（ｓ’，ａ’）に「γ」を乗算したものになる。「γ」は、減衰率と呼ばれるパラメータであり、０＜γ≦１の範囲（例えば０．９）とされる。また、「α」は、学習率と呼ばれるパラメータであり、０＜α≦１の範囲（例えば０．１）とされる。
　上記式（１）は、行動「ａ」に対して報酬設定部６４１により設定された報酬Ｒ（ｓ，ａ）に基づいて、状態「ｓ」における行動「ａ」の価値Ｑ（ｓ，ａ）を更新する更新式を表している。すなわち、上記式（１）は、状態「ｓ」における行動「ａ」の価値Ｑ（ｓ，ａ）よりも、状態「ｓ’」における行動「ａ’」の価値Ｑ（ｓ’，ａ’）と報酬Ｒ（ｓ，ａ）との合計値の方が大きければ、価値Ｑ（ｓ，ａ）を大きくし、反対に小さければ、価値Ｑ（ｓ，ａ）を小さくすることを示している。つまり、価値関数更新部６４２は、上記式（１）で示される更新式を用いて価値関数を更新することによって、或る状態「ｓ」における或る行動「ａ」の価値Ｑ（ｓ，ａ）を、その行動「ａ」に対して設定される報酬Ｒと、その行動「ａ」による次の状態「ｓ’」における最良の行動「ａ’」の価値Ｑ（ｓ’，ａ’）に近付けるようにしている。
　（学習処理部により実行される学習処理について）
　以上説明したように、機械学習装置５の学習処理部６は、状態観測部６１、行動観測部６２、変位量観測部６３及び学習部６４を備えている。この学習処理部６により実行される学習処理について、図８のフローチャートを参照して説明する。
　まず、変位量観測部６３は、撮像装置３から出力された、ロボット２の取り出し動作前における基準画像データＧＤＳ（図６）を取得する（ステップａ１）。次に、状態観測部６１は、ロボット２の状態を観測する（ステップａ２）。より詳しくは、状態観測部６１は、ロボット２の状態が移行されるごとに変化する状態変数（ΔＸ，ΔＹ，ΔＺ，ｐ）に基づいて、ロボット２の状態が状態Ｓ２から状態Ｓ３へ移行されたことを観測する。そして、行動観測部６２は、ロボット２の状態が状態Ｓ２から状態Ｓ３へ移行されるときの、すなわち、容器ＣＮ内の一のワークＷがハンド部２６によって取り出される取り出し動作が行われたときの、ロボット２の行動パターンを観測する（ステップａ３）。より詳しくは、行動観測部６２は、ロボット２の行動パターンを規定する各行動要素（把持角θ、把持位置ＨＰ、各軸における回転角β１～β６及び回転速度パターン）に基づいて、状態Ｓ２から状態Ｓ３への状態移行時におけるロボット２の行動パターンを観測する。
　次に、変位量観測部６３は、撮像装置３から出力された、行動観測部６２により観測された行動パターンに従ったロボット２の取り出し動作後における画像データを取得する（ステップａ４）。そして、変位量観測部６３は、撮像装置３から出力された、ロボット２の取り出し動作前後における各画像データに基づいて、容器ＣＮからの一のワークＷの取り出しによる、他のワークＷのワーク変位量を観測する（ステップａ５）。
　次に、学習部６４の報酬設定部６４１は、ワーク変位量に応じた他のワークＷへの影響度ＩＭをロボット２の行動パターンと対応付けて設定するとともに、ワーク変位量が所定の閾値ＷＤＴ未満であるか否かを判定する（ステップａ６）。報酬設定部６４１は、ワーク変位量が閾値ＷＤＴ未満となるロボット２の行動パターンに対しては「０；ゼロ」より大きい報酬Ｒを与える（ステップａ７）。報酬設定部６４１は、ワーク変位量が閾値ＷＤＴ以上となるロボット２の行動パターンに対しては「０；ゼロ」の報酬Ｒを与える（ステップａ８）。
　次に、学習部６４の価値関数更新部６４２は、ロボット２の行動パターンの価値Ｑ（ｓ，ａ）を規定する価値関数を、上記式（１）の更新式を用いて更新する（ステップａ９）。上記のステップａ１～ステップａ９で示される各処理が、学習処理部６による学習処理の１サイクルにおいて実行される処理である。学習処理部６は、所定の学習回数に達したか否かを判定する（ステップａ１０）。所定の学習回数に達するまでステップａ１～ステップａ９で示される各処理が繰り返される。
　学習処理部６においては、容器ＣＮから一のワークＷを取り出すときのロボット２の行動パターンが行動観測部６２によって観測され、ロボット２の取り出し動作による容器ＣＮ内での他のワークＷのワーク変位量が変位量観測部６３によって観測される。そして、学習部６４は、ロボット２の行動パターンとワーク変位量とを関連付けた教師データＴＤに基づいて、容器ＣＮから一のワークＷを取り出すときの、ワーク変位量に応じた他のワークＷへの影響度ＩＭを、行動パターンと対応付けて学習する。
　ワーク変位量は、容器ＣＮから一のワークＷが取り出されるときの、他のワークＷに対する衝撃力の作用や他のワークＷの崩れ度合いの指標となる。つまり、ワーク変位量が小さいほど、他のワークＷに対する衝撃力や崩れ度合いが小さくなり、これに応じて他のワークＷへの影響度ＩＭが小さくなる。学習部６４は、ワーク変位量に応じた他のワークＷへの影響度ＩＭを行動パターンと対応付けて学習するので、容器ＣＮから一のワークＷを取り出すときの、他のワークＷへの影響度ＩＭが小さくなるようなロボット２の行動パターンを学習することができる。このため、他のワークＷへの影響度が小さく、ワークＷの破損等を抑止可能なロボット２の最適な取り出し動作を学習することができる。
　また、行動観測部６２が観測するロボット２の行動パターンを規定する行動要素には、ハンド部２６が一のワークＷを取り出すときの、当該一のワークＷに対する把持位置ＨＰが含まれている。行動観測部６２が観測するロボット２の行動パターンは、学習部６４がロボット２の動作を学習するときに用いる教師データＴＤを構成する。この教師データＴＤを構成するロボット２の行動パターンを規定する行動要素の一要素として、ハンド部２６のワークＷに対する把持位置ＨＰが含まれることによって、学習部６４は、他のワークＷへの影響度ＩＭが小さくなるような把持位置ＨＰを加味したロボット２の行動パターンを学習することができる。
　＜学習反映処理部について＞
　機械学習装置５の学習反映処理部７は、学習処理部６による学習結果をロボット２の動作として反映させる学習反映処理を実行する部分である。学習反映処理部７は、学習処理部６の学習部６４による影響度ＩＭの学習後において、ロボット２が生産動作を実行するときに学習反映処理を実行する。ロボット２の生産動作とは、ハンド部２６によって容器ＣＮからワークＷを取り出し、その取り出したワークＷをパレットＰＬに載置するという、ロボット２の連続的な動作のことである。学習反映処理部７は、図１に示すように、行動決定部７１と、順位設定部７２と、更新部７３とを含んで構成される。学習反映処理部７を構成する各部について、図９Ａ、図９Ｂ、図１０Ａ、図１０Ｂ及び図１１を参照して、以下に説明する。図９Ａ及び図９Ｂは、行動決定部７１によって生成される行動パターン決定情報ＪＨ１，ＪＨ１Ａを説明するための図である。図１０Ａ及び図１０Ｂは、順位設定部７２によって生成される行動指令情報ＪＨ２，ＪＨ２Ａを説明するための図である。図１１は、学習反映処理部７により実行される学習反映処理を示すフローチャートである。
　（行動決定部について）
　行動決定部７１は、学習部６４による影響度ＩＭの学習後において、ロボット２の生産動作が開始されるときに、画像データの出力を要求する撮像要求情報を、制御装置４を介して撮像装置３に送信する。行動決定部７１は、前記撮像要求情報に応答して撮像装置３から出力されたロボット２の取り出し動作前の画像データを取得する（図１１のステップｂ１）。行動決定部７１は、取得した画像データに基づき容器ＣＮ内での複数のワークＷのバラ積み状況を認識する。そして、行動決定部７１は、ハンド部２６によって容器ＣＮから各ワークＷを取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小となる行動パターンを、ワークＷ毎に決定する（図１１のステップｂ２）。
　行動決定部７１は、ワークＷ毎の行動パターンの決定結果を表す情報として、図９Ａに例示される行動パターン決定情報ＪＨ１を生成する（図１１のステップｂ３）。行動パターン決定情報ＪＨ１は、容器ＣＮ内の各ワークＷを特定するためのワーク種情報Ｊ１１と、ワークＷ毎の行動パターンを表す行動パターン情報Ｊ１２と、一のワークＷを取り出す際の他のワークＷへの影響度ＩＭを表す影響度情報Ｊ１３とが関連付けられた情報である。
　図９Ａに例示される行動パターン決定情報ＪＨ１について詳細に説明すると、次の通りである。行動決定部７１は、撮像装置３から出力された画像データに基づいて、容器ＣＮ内での各ワーク「Ｗ１」，「Ｗ２」，「Ｗ３」，「Ｗ４」，「Ｗ５」等のバラ積み状況を認識する。そして、行動決定部７１は、ワーク「Ｗ１」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「２０」に対応付けられた行動パターン「行動Ａ１」を決定する。また、行動決定部７１は、ワーク「Ｗ２」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「１０」に対応付けられた行動パターン「行動Ａ２」を決定する。また、行動決定部７１は、ワーク「Ｗ３」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「１」に対応付けられた行動パターン「行動Ａ３」を決定する。また、行動決定部７１は、ワーク「Ｗ４」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「０．５」に対応付けられた行動パターン「行動Ａ４」を決定する。また、行動決定部７１は、ワーク「Ｗ５」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「０．１」に対応付けられた行動パターン「行動Ａ５」を決定する。以上説明したような、行動決定部７１によるワークＷ毎の行動パターンの決定結果を、ワーク種情報Ｊ１１と行動パターン情報Ｊ１２と影響度情報Ｊ１３とを関連付けて表した情報が、行動パターン決定情報ＪＨ１である。
　行動決定部７１によって生成された行動パターン決定情報ＪＨ１は、制御装置４に向けて出力される。行動パターン決定情報ＪＨ１が入力された制御装置４は、当該行動パターン決定情報ＪＨ１に基づいて、ロボット２の取り出し動作を制御することができる。
　行動決定部７１は、学習部６４による学習結果をロボット２の実際の生産時における取り出し動作に反映させるために、容器ＣＮから各ワークＷを取り出すときのロボット２の行動パターンとして影響度ＩＭが最小となる行動パターンを、ワークＷ毎に決定する。ロボット２は、実際の生産時において、行動決定部７１により決定されたワークＷ毎の行動パターンに従うことによって、他のワークＷへの影響度ＩＭが小さく、ワークＷの破損等を抑止可能な最適な取り出し動作を実行することができる。
　また、行動決定部７１は、撮像装置３から出力された１回の撮像による画像データに基づき、容器ＣＮ内の各ワークＷに対するロボット２の行動パターンを決定する。つまり、実際の生産時においては、ワークＷを取り出すときのロボット２の行動パターンを決定するために、ワークＷが取り出される度に撮像装置３による撮像が行われるわけではない。１回の撮像による画像データに基づき容器ＣＮ内の各ワークＷに対するロボット２の行動パターンが決定され、この決定された行動パターンに従ってロボット２は、複数のワークＷを順次取り出すことができる。これにより、実際の生産時においては、撮像装置３による撮像回数を少なくすることができるため、撮像に起因したロボット２の待機時間を短縮することが可能となり、生産効率の向上を図ることができる。なお、ロボット２が双腕型のロボットや複数のハンド部２６を備えたロボットにより構成されていた場合には、行動決定部７１により決定された行動パターンに従って複数のワークＷを連続的に取り出すことができる。このため、双腕型のロボットや複数のハンド部２６を備えたロボットの場合には、更なる生産効率の向上を図ることができる。
　また、行動決定部７１は、後述の更新部７３から出力された行動パターン決定情報ＪＨ１の更新を要求する更新要求情報を受付けると、ロボット２の行動パターンの決定動作を更新し、図９Ｂに例示される更新された行動パターン決定情報ＪＨ１Ａを生成するとともに、それを制御装置４に向けて出力する。更新された行動パターン決定情報ＪＨ１Ａが入力された制御装置４は、当該行動パターン決定情報ＪＨ１Ａに基づいて、ロボット２の取り出し動作を制御することができる。更新された行動パターン決定情報ＪＨ１Ａの詳細については、後述する。
　（順位設定部について）
　順位設定部７２は、行動パターン決定情報ＪＨ１を参照し、行動決定部７１により決定されたロボット２の行動パターンに基づき容器ＣＮから各ワークＷを取り出すときの取り出し順位を、影響度ＩＭが小さいものほど上位となるように設定する（図１１のステップｂ４）。
　順位設定部７２は、取り出し順位の設定結果を表す情報として、図１０Ａに例示される行動指令情報ＪＨ２を生成する（図１１のステップｂ５）。行動指令情報ＪＨ２は、影響度ＩＭの基準値ＩＭＳを表す影響基準値情報Ｊ２１と、行動リスト情報Ｊ２２とを含む。影響基準値情報Ｊ２１にて表される基準値ＩＭＳは、後述の更新部７３がロボット２の取り出し動作を監視するときに参照される。行動リスト情報Ｊ２２は、前記ワーク種情報Ｊ１１と前記行動パターン情報Ｊ１２と前記影響度情報Ｊ１３とを関連付けたデータが、順位設定部７２により設定されたワークＷの取り出し順位の順番に並べられてリスト化された情報である。つまり、行動リスト情報Ｊ２２は、前記ワーク種情報Ｊ１１と前記行動パターン情報Ｊ１２と前記影響度情報Ｊ１３とを関連付けたデータが、前記影響度情報Ｊ１３にて表される影響度ＩＭの小さいものから順番に並べられた情報である。
　順位設定部７２によって生成された行動指令情報ＪＨ２は、制御装置４に向けて出力される（図１１のステップｂ６）。行動指令情報ＪＨ２が入力された制御装置４は、当該行動指令情報ＪＨ２に含まれる行動リスト情報Ｊ２２に基づいて、ワークＷの取り出し順位に従ったロボット２の取り出し動作を制御することができる。なお、行動指令情報ＪＨ２に含まれる行動リスト情報Ｊ２２は、行動決定部７１により生成される行動パターン決定情報ＪＨ１と比較して、前記ワーク種情報Ｊ１１と前記行動パターン情報Ｊ１２と前記影響度情報Ｊ１３とを関連付けたデータの並び順が異なる以外は同じである。このため、行動指令情報ＪＨ２が制御装置４に向けて出力される場合には、行動パターン決定情報ＪＨ１の制御装置４への出力は省略される。
　上記のように、順位設定部７２は、容器ＣＮから各ワークＷを取り出すときの取り出し順位を設定する。ロボット２は、実際の生産時において、順位設定部７２により設定された取り出し順位に従って容器ＣＮから各ワークＷを取り出せばよい。これにより、ロボット２は、他のワークＷへの影響度ＩＭが小さいものから順番に取り出し動作を実行することができる。
　また、順位設定部７２は、後述の更新部７３から出力された行動指令情報ＪＨ２の更新を要求する更新要求情報を受付けると、ワークＷの取り出し順位の設定動作を更新し、図１０Ｂに例示される更新された行動指令情報ＪＨ２Ａを生成するとともに、それを制御装置４に向けて出力する。更新された行動指令情報ＪＨ２Ａが入力された制御装置４は、当該行動指令情報ＪＨ２Ａに含まれる行動リスト情報Ｊ２２に基づいて、ワークＷの取り出し順位に従ったロボット２の取り出し動作を制御することができる。更新された行動指令情報ＪＨ２Ａの詳細については、後述する。
　（更新部について）
　更新部７３は、行動指令情報ＪＨ２に含まれる行動リスト情報Ｊ２２に基づく制御装置４の制御によるロボット２の生産動作時において、順位設定部７２によって設定されたワークＷの取り出し順位に従ったロボット２の取り出し動作を監視する（図１１のステップｂ７）。そして、更新部７３は、影響度情報Ｊ１３にて表される影響度ＩＭが影響基準値情報Ｊ２１にて表される所定の基準値ＩＭＳ未満となる順位の全てのワークＷの容器ＣＮからの取り出しが完了したか否かを判定する（図１１のステップｂ８）。影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷの取り出しが完了したと判定した場合には、更新部７３は、影響度ＩＭが基準値ＩＭＳ以上となる順位のワークＷが存在するか否かを判定する（図１１のステップｂ９）。
　更新部７３は、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷの取り出しが完了し、且つ、影響度ＩＭが基準値ＩＭＳ以上となる順位のワークＷが存在する場合に、行動決定部７１による行動パターンの決定動作と、順位設定部７２によるワークＷの取り出し順位の設定動作とを更新させる。更新部７３は、行動パターン決定情報ＪＨ１の更新を要求する更新要求情報を行動決定部７１に向けて出力し、行動指令情報ＪＨ２の更新を要求する更新要求情報を順位設定部７２に向けて出力することにより、行動決定部７１及び順位設定部７２の双方の動作を更新させる（図１１のステップｂ１０）。
　図１０Ａに示す行動指令情報ＪＨ２を参照して更新部７３の動作を説明する。制御装置４によって制御されたロボット２は、行動リスト情報Ｊ２２に登録された取り出し順位に従って、影響度情報Ｊ１３にて表される影響度ＩＭが小さいワークＷから順番に、行動パターン情報Ｊ１２にて表される行動パターンに基づく取り出し動作を実行する。更新部７３は、このロボット２の取り出し動作を監視する。図１０Ａに示す例では、取り出し順位が「１～３」のワークＷ５，Ｗ４，Ｗ３は、影響度ＩＭが基準値ＩＭＳ（例えば「２」）未満となる順位のワークＷである。一方、取り出し順位が「４」以降のワークＷ２等は、影響度ＩＭが基準値ＩＭＳ以上となる順位のワークＷである。このような場合、更新部７３は、取り出し順位が「１～３」の全てのワークＷ５，Ｗ４，Ｗ３の取り出しが完了したときに、前記更新要求情報を行動決定部７１及び順位設定部７２の双方に向けて出力し、当該双方の動作を更新させる。
　影響度ＩＭが基準値ＩＭＳ未満となる行動パターンに基づくワークＷの取り出し動作は、他のワークＷへの影響度ＩＭが比較的小さく、ワークＷの破損等を抑止可能な取り出し動作であると言える。一方、影響度ＩＭが基準値ＩＭＳ以上となる行動パターンに基づくワークＷの取り出し動作は、他のワークＷへの影響度ＩＭが比較的大きく、ワークＷの破損等を招来する可能性がある。
　ロボット２は、実際の生産時において、順位設定部７２により設定された取り出し順位に従って、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷを容器ＣＮから順次取り出せばよい。これにより、ロボット２は、他のワークＷへの影響度ＩＭが比較的小さく、ワークＷの破損等を抑止可能な範囲の全てのワークＷを連続的に取り出すことができる。
　影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷのロボット２による取り出し動作が完了したときには、容器ＣＮ内において残りのワークＷのバラ積み状況が、取り出し動作前に比べて変化している。そこで、この時点で更新部７３は、行動決定部７１による行動パターンの決定動作と、順位設定部７２による取り出し順位の設定動作とを更新させる。つまり、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷのロボット２による取り出し動作が完了したときに、撮像装置３から出力される新たな画像データに基づく行動決定部７１による行動パターンの決定動作と、順位設定部７２による取り出し順位の設定動作との、更新された動作が、ワークＷの取り出し動作の前に実施される。
　（行動決定部の更新動作について）
　行動決定部７１は、更新部７３から出力された前記更新要求情報を受付けると、前述した図１１に示すステップｂ１～ステップｂ３を繰り返すことにより、ロボット２の行動パターンの決定動作を更新し、図９Ｂに例示される更新された行動パターン決定情報ＪＨ１Ａを生成する。
　図９Ｂに例示される更新された行動パターン決定情報ＪＨ１Ａについて詳細に説明すると、次の通りである。行動決定部７１は、更新部７３からの前記更新要求情報の受付け後において撮像装置３から出力された新たな画像データに基づいて、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷ５，Ｗ４，Ｗ３の取り出し後に容器ＣＮ内に残る各ワーク「Ｗ１」，「Ｗ２」，「Ｗ６」，「Ｗ７」，「Ｗ８」等のバラ積み状況を、認識する。前述したように、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷのロボット２による取り出し動作が完了したときには、容器ＣＮ内において残りのワークＷのバラ積み状況が、取り出し動作前に比べて変化している。このため、容器ＣＮ内に残ったワークＷに対応する影響度ＩＭも変化することになる。
　行動決定部７１は、ワーク「Ｗ１」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「０．２」に対応付けられた行動パターン「行動Ａ１１」を決定する。また、行動決定部７１は、ワーク「Ｗ２」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「０．０１」に対応付けられた行動パターン「行動Ａ２１」を決定する。また、行動決定部７１は、ワーク「Ｗ６」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「０．３」に対応付けられた行動パターン「行動Ａ６１」を決定する。また、行動決定部７１は、ワーク「Ｗ７」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「２０」に対応付けられた行動パターン「行動Ａ７１」を決定する。また、行動決定部７１は、ワーク「Ｗ８」を容器ＣＮから取り出すときのロボット２の行動パターンとして、学習部６４によって学習された影響度ＩＭが最小の「４０」に対応付けられた行動パターン「行動Ａ８１」を決定する。以上説明したような、行動決定部７１によるワークＷ毎の行動パターンの更新された決定結果を、ワーク種情報Ｊ１１と行動パターン情報Ｊ１２と影響度情報Ｊ１３とを関連付けて表した情報が、更新された行動パターン決定情報ＪＨ１Ａである。
　行動決定部７１は、影響度ＩＭが基準値ＩＭＳ未満となる順位の全てのワークＷのロボット２による取り出し動作後において、容器ＣＮ内に残った各ワークＷを取り出すときのロボット２の行動パターンとして、影響度ＩＭが最小となる行動パターンをワークＷ毎に更新して決定する。ロボット２は、実際の生産時において、行動決定部７１により更新して決定されたワークＷ毎の行動パターンに従うことによって、他のワークＷへの影響度ＩＭが小さく、ワークＷの破損等を抑止可能な最適な取り出し動作を実行することができる。
　（順位設定部の更新動作について）
　順位設定部７２は、更新部７３から出力された前記更新要求情報を受付けると、前述した図１１に示すステップｂ４～ステップｂ６を繰り返すことにより、ワークＷの取り出し順位の設定動作を更新し、図１０Ｂに例示される更新された行動指令情報ＪＨ２Ａを生成する。
　順位設定部７２により更新された行動指令情報ＪＨ２Ａに含まれる行動リスト情報Ｊ２２は、行動決定部７１により更新された行動パターン決定情報ＪＨ１Ａと比較して、前記ワーク種情報Ｊ１１と前記行動パターン情報Ｊ１２と前記影響度情報Ｊ１３とを関連付けたデータの並び順が異なる以外は同じである。行動リスト情報Ｊ２２は、前記ワーク種情報Ｊ１１と前記行動パターン情報Ｊ１２と前記影響度情報Ｊ１３とを関連付けたデータが、前記影響度情報Ｊ１３にて表される影響度ＩＭの小さいものから順番に並べられた情報である。
　順位設定部７２により更新された行動指令情報ＪＨ２Ａは、制御装置４に向けて出力される。行動指令情報ＪＨ２Ａが入力された制御装置４は、当該行動指令情報ＪＨ２Ａに含まれる行動リスト情報Ｊ２２に基づいて、更新されたワークＷの取り出し順位に従ったロボット２の取り出し動作を制御することができる。
　上記のように、順位設定部７２は、容器ＣＮ内に残った各ワークＷを取り出すときの取り出し順位を更新して設定する。ロボット２は、実際の生産時において、順位設定部７２により更新された取り出し順位に従って容器ＣＮ内に残った各ワークＷを取り出せばよい。これにより、ロボット２は、他のワークＷへの影響度ＩＭが小さいものから順番に取り出し動作を実行することができる。
　なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
　本発明の一の局面に係る機械学習装置は、複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットの動作を学習する装置である。この機械学習装置は、前記ハンド部によって前記容器から一のワークを取り出す取り出し動作における、前記ロボットの行動パターンを観測する行動観測部と、前記容器内を撮像する撮像装置から出力される、前記ロボットの前記取り出し動作の前後における各画像データに基づいて、前記容器内の前記一のワークが前記ハンド部によって取り出されたときの、前記一のワーク以外の他のワークの前記容器内での変位量を表すワーク変位量を観測する変位量観測部と、前記行動パターンと前記ワーク変位量とを関連付けた教師データに基づいて、前記ハンド部が前記容器から前記一のワークを取り出すときの、前記ワーク変位量に応じた前記他のワークへの影響度を、前記行動パターンと対応付けて学習する学習部と、を備える。
　この機械学習装置によれば、容器から一のワークを取り出すときのロボットの行動パターンが行動観測部によって観測され、ロボットの取り出し動作による容器内での他のワークの変位量が変位量観測部によって観測される。そして、学習部は、ロボットの行動パターンとワーク変位量とを関連付けた教師データに基づいて、容器から一のワークを取り出すときの、ワーク変位量に応じた他のワークへの影響度を、行動パターンと対応付けて学習する。
　ワーク変位量は、容器から一のワークが取り出されるときの、他のワークに対する衝撃力の作用や他のワークの崩れ度合いの指標となる。つまり、ワーク変位量が小さいほど、他のワークに対する衝撃力や崩れ度合いが小さくなり、これに応じて他のワークへの影響度が小さくなる。学習部は、ワーク変位量に応じた他のワークへの影響度を行動パターンと対応付けて学習するので、容器から一のワークを取り出すときの、他のワークへの影響度が小さくなるようなロボットの行動パターンを学習することができる。このため、他のワークへの影響度が小さく、ワークの破損等を抑止可能なロボットの最適な取り出し動作を学習することができる。
　上記の機械学習装置は、前記学習部による前記影響度の学習後において、前記ロボットの前記取り出し動作前の画像データが前記撮像装置から出力された場合、当該画像データに基づき前記容器内での複数のワークのバラ積み状況を認識し、前記ハンド部によって前記容器から各ワークを取り出すときの前記ロボットの行動パターンとして、前記影響度が最小となる行動パターンを、ワーク毎に決定する行動決定部を、更に備える構成であってもよい。
　この態様では、行動決定部は、学習部による学習結果をロボットの実際の取り出し動作に反映させるために、容器から各ワークを取り出すときのロボットの行動パターンとして影響度が最小となる行動パターンを、ワーク毎に決定する。ロボットは、実際の生産時において、行動決定部により決定されたワーク毎の行動パターンに従うことによって、他のワークへの影響度が小さく、ワークの破損等を抑止可能な最適な取り出し動作を実行することができる。
　また、行動決定部は、撮像装置から出力された１回の撮像による画像データに基づき、容器内の各ワークに対するロボットの行動パターンを決定する。つまり、実際の生産時においては、ワークを取り出すときのロボットの行動パターンを決定するために、ワークが取り出される度に撮像装置による撮像が行われるわけではない。１回の撮像による画像データに基づき容器内の各ワークに対するロボットの行動パターンが決定され、この決定された行動パターンに従ってロボットは、複数のワークを順次取り出すことができる。これにより、実際の生産時においては、撮像装置による撮像回数を少なくすることができるため、撮像に起因したロボットの待機時間を短縮することが可能となり、生産効率の向上を図ることができる。
　上記の機械学習装置は、前記行動決定部により決定された前記ロボットの行動パターンに基づき前記容器から各ワークを取り出すときの取り出し順位を、前記影響度が小さいものほど上位となるように設定する順位設定部を、更に備える構成であってもよい。
　この態様では、順位設定部は、容器から各ワークを取り出すときの取り出し順位を設定する。ロボットは、実際の生産時において、順位設定部により設定された取り出し順位に従って容器から各ワークを取り出せばよい。これにより、ロボットは、他のワークへの影響度が小さいものから順番に取り出し動作を実行することができる。
　上記の機械学習装置は、前記順位設定部によって設定された前記取り出し順位に従った前記ロボットの前記取り出し動作を監視し、前記影響度が所定の基準値未満となる順位の全てのワークの前記容器からの取り出しが完了したときに、前記行動決定部による行動パターンの決定動作と、前記順位設定部による前記取り出し順位の設定動作とを更新させる更新部を、更に備える構成であってもよい。
　影響度が基準値未満となる行動パターンに基づくワークの取り出し動作は、他のワークへの影響度が比較的小さく、ワークの破損等を抑止可能な取り出し動作であると言える。一方、影響度が基準値以上となる行動パターンに基づくワークの取り出し動作は、他のワークへの影響度が比較的大きく、ワークの破損等を招来する可能性がある。
　ロボットは、実際の生産時において、順位設定部により設定された取り出し順位に従って、影響度が基準値未満となる順位の全てのワークを容器から順次取り出せばよい。これにより、ロボットは、他のワークへの影響度が比較的小さく、ワークの破損等を抑止可能な範囲の全てのワークを連続的に取り出すことができる。このロボットによる取り出し動作が完了したときには、容器内でのワークのバラ積み状況が、取り出し動作前に比べて変化している。そこで、この時点で更新部は、行動決定部による行動パターンの決定動作と、順位設定部による取り出し順位の設定動作とを更新させる。つまり、影響度が基準値未満となる順位の全てのワークのロボットによる取り出し動作が完了したときに、撮像装置から出力される新たな画像データに基づく行動決定部による行動パターンの決定動作と、順位設定部による取り出し順位の設定動作との、更新された動作が、ワークの取り出し動作の前に実施される。ロボットは、行動決定部が更新して決定した行動パターンに従い、更には順位設定部が更新して設定した取り出し順位に従って、容器から各ワークを取り出せばよい。
　上記の機械学習装置において、前記ハンド部は、前記容器内のワークを把持することによって当該ワークを取り出すように構成され、前記行動観測部が観測する前記ロボットの行動パターンを規定する行動要素には、前記ハンド部が前記一のワークを取り出すときの、当該一のワークに対する把持位置が含まれる。
　行動観測部が観測するロボットの行動パターンは、学習部がロボットの動作を学習するときに用いる教師データを構成する。この教師データを構成するロボットの行動パターンを規定する行動要素の一要素として、ハンド部のワークに対する把持位置が含まれることによって、学習部は、他のワークへの影響度が小さくなるような把持位置を加味したロボットの行動パターンを学習することができる。
　本発明の他の局面に係るロボットシステムは、複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットと、前記容器内を撮像して画像データを出力する撮像装置と、前記画像データに基づいて、前記ハンド部によって前記容器から前記ワークを取り出すときの前記ロボットの取り出し動作を学習する、上記の機械学習装置と、前記機械学習装置の学習結果に基づいて、前記ロボットの動作を制御する制御装置と、を備える。
　このロボットシステムによれば、容器からワークを取り出すときのロボットの最適な動作を学習できる上記の機械学習装置を備えている。このため、ロボットは、実際の生産時において容器から一のワークを取り出すときに、他のワークへの影響度が小さく、ワークの破損等を抑止可能な最適な取り出し動作を実行することができる。
　以上説明した通り、本発明によれば、複数のワークをバラ積みされた状態で収容する容器からワークを取り出すときのロボットの最適な動作を学習できる機械学習装置、及びこれを備えたロボットシステムを提供することができる。
　１　ロボットシステム
　２　ロボット
　２６　ハンド部
　３　撮像装置
　４　制御装置
　５　機械学習装置
　６　学習処理部
　６１　状態観測部
　６２　行動観測部
　６３　変位量観測部
　６４　学習部
　６４１　報酬設定部
　６４２　価値関数更新部
　７　学習反映処理部
　７１　行動決定部
　７２　順位設定部
　７３　更新部

Claims (6)

  1. 　複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットの動作を学習する機械学習装置であって、
    　前記ハンド部によって前記容器から一のワークを取り出す取り出し動作における、前記ロボットの行動パターンを観測する行動観測部と、
    　前記容器内を撮像する撮像装置から出力される、前記ロボットの前記取り出し動作の前後における各画像データに基づいて、前記容器内の前記一のワークが前記ハンド部によって取り出されたときの、前記一のワーク以外の他のワークの前記容器内での変位量を表すワーク変位量を観測する変位量観測部と、
    　前記行動パターンと前記ワーク変位量とを関連付けた教師データに基づいて、前記ハンド部が前記容器から前記一のワークを取り出すときの、前記ワーク変位量に応じた前記他のワークへの影響度を、前記行動パターンと対応付けて学習する学習部と、を備える、機械学習装置。
  2. 　前記学習部による前記影響度の学習後において、前記ロボットの前記取り出し動作前の画像データが前記撮像装置から出力された場合、当該画像データに基づき前記容器内での複数のワークのバラ積み状況を認識し、前記ハンド部によって前記容器から各ワークを取り出すときの前記ロボットの行動パターンとして、前記影響度が最小となる行動パターンを、ワーク毎に決定する行動決定部を、更に備える、請求項１に記載の機械学習装置。
  3. 　前記行動決定部により決定された前記ロボットの行動パターンに基づき前記容器から各ワークを取り出すときの取り出し順位を、前記影響度が小さいものほど上位となるように設定する順位設定部を、更に備える、請求項２に記載の機械学習装置。
  4. 　前記順位設定部によって設定された前記取り出し順位に従った前記ロボットの前記取り出し動作を監視し、前記影響度が所定の基準値未満となる順位の全てのワークの前記容器からの取り出しが完了したときに、前記行動決定部による行動パターンの決定動作と、前記順位設定部による前記取り出し順位の設定動作とを更新させる更新部を、更に備える、請求項３に記載の機械学習装置。
  5. 　前記ハンド部は、前記容器内のワークを把持することによって当該ワークを取り出すように構成され、
    　前記行動観測部が観測する前記ロボットの行動パターンを規定する行動要素には、前記ハンド部が前記一のワークを取り出すときの、当該一のワークに対する把持位置が含まれる、請求項１～４のいずれか１項に記載の機械学習装置。
  6. 　複数のワークをバラ積みされた状態で収容する容器から前記ワークを取り出すハンド部を備えたロボットと、
    　前記容器内を撮像して画像データを出力する撮像装置と、
    　前記画像データに基づいて、前記ハンド部によって前記容器から前記ワークを取り出すときの前記ロボットの取り出し動作を学習する、請求項１～５のいずれか１項に記載の機械学習装置と、
    　前記機械学習装置の学習結果に基づいて、前記ロボットの動作を制御する制御装置と、を備える、ロボットシステム。
PCT/JP2018/022807 2018-06-14 2018-06-14 機械学習装置及びこれを備えたロボットシステム WO2019239562A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880093236.0A CN112135719B (zh) 2018-06-14 2018-06-14 机器学习装置以及具备该机器学习装置的机器人系统
PCT/JP2018/022807 WO2019239562A1 (ja) 2018-06-14 2018-06-14 機械学習装置及びこれを備えたロボットシステム
JP2020525043A JP7008136B2 (ja) 2018-06-14 2018-06-14 機械学習装置及びこれを備えたロボットシステム
DE112018007729.2T DE112018007729B4 (de) 2018-06-14 2018-06-14 Maschinelle Lernvorrichtung und mit dieser ausgestattetes Robotersystem
US17/053,466 US11945115B2 (en) 2018-06-14 2018-06-14 Machine learning device and robot system provided with same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/022807 WO2019239562A1 (ja) 2018-06-14 2018-06-14 機械学習装置及びこれを備えたロボットシステム

Publications (1)

Publication Number Publication Date
WO2019239562A1 true WO2019239562A1 (ja) 2019-12-19

Family

ID=68843106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022807 WO2019239562A1 (ja) 2018-06-14 2018-06-14 機械学習装置及びこれを備えたロボットシステム

Country Status (5)

Country Link
US (1) US11945115B2 (ja)
JP (1) JP7008136B2 (ja)
CN (1) CN112135719B (ja)
DE (1) DE112018007729B4 (ja)
WO (1) WO2019239562A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11645498B2 (en) * 2019-09-25 2023-05-09 International Business Machines Corporation Semi-supervised reinforcement learning
DE102020212658A1 (de) 2020-10-07 2022-04-07 Robert Bosch Gesellschaft mit beschränkter Haftung Vorrichtung und Verfahren zum Steuern einer Robotervorrichtung
DE102021104001B3 (de) 2021-02-19 2022-04-28 Gerhard Schubert Gesellschaft mit beschränkter Haftung Verfahren zum automatischen Ergreifen, insbesondere Umsetzen, von Gegenständen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013052490A (ja) * 2011-09-06 2013-03-21 Mitsubishi Electric Corp ワーク取り出し装置
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58184351A (ja) 1982-04-19 1983-10-27 Ogura Clutch Co Ltd 片側２出力軸電動機
US7765780B2 (en) * 2003-12-12 2010-08-03 Vision Robotics Corporation Agricultural robot system and method
JP4390758B2 (ja) * 2005-09-08 2009-12-24 ファナック株式会社 ワーク取出し装置
SE529377C2 (sv) * 2005-10-18 2007-07-24 Morphic Technologies Ab Publ Metod och arrangemang för att lokalisera och plocka upp föremål från en bärare
JP4199264B2 (ja) * 2006-05-29 2008-12-17 ファナック株式会社 ワーク取り出し装置及び方法
JP4565023B2 (ja) * 2008-07-04 2010-10-20 ファナック株式会社 物品取り出し装置
JP2014081863A (ja) * 2012-10-18 2014-05-08 Sony Corp 情報処理装置、情報処理方法、及び、プログラム
JP6088563B2 (ja) * 2015-02-10 2017-03-01 ファナック株式会社 位置及び姿勢の変換演算機能を備えたワーク取出しロボットシステム、及びワーク取出し方法
US11020859B2 (en) * 2015-05-01 2021-06-01 Transportation Ip Holdings, Llc Integrated robotic system and method for autonomous vehicle maintenance
DE102016009030B4 (de) * 2015-07-31 2019-05-09 Fanuc Corporation Vorrichtung für maschinelles Lernen, Robotersystem und maschinelles Lernsystem zum Lernen eines Werkstückaufnahmevorgangs
JP6148316B2 (ja) * 2015-07-31 2017-06-14 ファナック株式会社 故障条件を学習する機械学習方法及び機械学習装置、並びに該機械学習装置を備えた故障予知装置及び故障予知システム
JP6240689B2 (ja) 2015-07-31 2017-11-29 ファナック株式会社 人の行動パターンを学習する機械学習装置、ロボット制御装置、ロボットシステム、および機械学習方法
JP6010204B1 (ja) 2015-10-26 2016-10-19 ファナック株式会社 パワー素子の予測寿命を学習する機械学習装置及び方法並びに該機械学習装置を備えた寿命予測装置及びモータ駆動装置
JP6616170B2 (ja) * 2015-12-07 2019-12-04 ファナック株式会社 コアシートの積層動作を学習する機械学習器、積層コア製造装置、積層コア製造システムおよび機械学習方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
WO2017151926A1 (en) * 2016-03-03 2017-09-08 Google Inc. Deep machine learning methods and apparatus for robotic grasping
CN109074513B (zh) * 2016-03-03 2020-02-18 谷歌有限责任公司 用于机器人抓握的深度机器学习方法和装置
JP6457421B2 (ja) 2016-04-04 2019-01-23 ファナック株式会社 シミュレーション結果を利用して学習を行う機械学習装置，機械システム，製造システムおよび機械学習方法
US20170297206A1 (en) * 2016-04-14 2017-10-19 The Regents Of The University Of Colorado, A Body Corporate Measuring distance and contact force during robotic manipulation
KR101980603B1 (ko) * 2016-05-20 2019-05-22 구글 엘엘씨 오브젝트(들)를 캡처하는 이미지(들)에 기초하는 그리고 환경에서의 미래 로봇 움직임에 대한 파라미터(들)에 기초하여 로봇 환경에서의 오브젝트(들)의 모션(들)을 예측하는 것과 관련된 머신 학습 방법들 및 장치
JP6838833B2 (ja) 2016-09-05 2021-03-03 国立大学法人信州大学 把持装置、把持方法、及びプログラム
US10518372B2 (en) * 2016-09-12 2019-12-31 Kindred Systems Inc. Compound prismatic platforms for use in robotic systems
JP6514171B2 (ja) 2016-09-27 2019-05-15 ファナック株式会社 最適な物品把持経路を学習する機械学習装置、及び機械学習方法
EP4273655A3 (en) * 2016-11-08 2023-12-20 Dogtooth Technologies Limited A robotic fruit picking system
JP6438512B2 (ja) * 2017-03-13 2018-12-12 ファナック株式会社 機械学習により補正した計測データでワークの取り出しを行うロボットシステム、計測データ処理装置および計測データ処理方法
JP2018176334A (ja) * 2017-04-10 2018-11-15 キヤノン株式会社 情報処理装置、計測装置、システム、干渉判定方法および物品の製造方法
JP6457587B2 (ja) * 2017-06-07 2019-01-23 ファナック株式会社 ワークの動画に基づいて教示点を設定するロボットの教示装置
JP6911777B2 (ja) * 2018-01-23 2021-07-28 トヨタ自動車株式会社 動作軌道生成装置
US11014231B2 (en) * 2018-05-03 2021-05-25 Fujitsu Limited Robotic device task learning

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013052490A (ja) * 2011-09-06 2013-03-21 Mitsubishi Electric Corp ワーク取り出し装置
JP2017030135A (ja) * 2015-07-31 2017-02-09 ファナック株式会社 ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法
JP2018008343A (ja) * 2016-07-13 2018-01-18 富士通株式会社 部品ピックアップ方法及び部品供給装置

Also Published As

Publication number Publication date
DE112018007729T5 (de) 2021-02-25
CN112135719A (zh) 2020-12-25
JP7008136B2 (ja) 2022-01-25
CN112135719B (zh) 2023-08-22
US20210229275A1 (en) 2021-07-29
DE112018007729B4 (de) 2022-09-08
US11945115B2 (en) 2024-04-02
JPWO2019239562A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
JP7491971B2 (ja) 物体把持方法、物体把持プログラム、物体把持装置、学習方法、学習プログラムおよび学習装置
JP6676030B2 (ja) 把持システム、学習装置、把持方法、及び、モデルの製造方法
US11312012B2 (en) Software compensated robotics
JP5835926B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6671694B1 (ja) 機械学習装置、機械学習システム、データ処理システム及び機械学習方法
JP2018126799A (ja) 制御装置、ロボットおよびロボットシステム
WO2019239562A1 (ja) 機械学習装置及びこれを備えたロボットシステム
WO2018116589A1 (ja) 産業機器用の画像認識プロセッサ及びコントローラ
JP7191569B2 (ja) 把持装置
JP2018126797A (ja) 制御装置、ロボットおよびロボットシステム
WO2007076119A2 (en) Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
Rahman Cognitive cyber-physical system (C-CPS) for human-robot collaborative manufacturing
CN111319039A (zh) 机器人
Turco et al. Grasp planning with a soft reconfigurable gripper exploiting embedded and environmental constraints
Li et al. Intelligent control strategy for robotic arm by using adaptive inertia weight and acceleration coefficients particle swarm optimization
JP7102241B2 (ja) 機械学習装置及びこれを備えたロボットシステム
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
Hirzinger et al. Towards a new generation of multisensory light-weight robots with learning capabilities
CN114080304A (zh) 控制装置、控制方法及控制程序
Vatsal et al. Augmenting vision-based grasp plans for soft robotic grippers using reinforcement learning
Kozlowski Robot motion and control
TWI790408B (zh) 抓取裝置及抓取方法
WO2024029214A1 (ja) 情報処理装置、及び情報処理方法
WO2022209924A1 (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
Miatliuk et al. Controlling an industrial robotic system based on received visual information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18922392

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020525043

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18922392

Country of ref document: EP

Kind code of ref document: A1