WO2021124760A1 - ロボット、ロボットシステム及び制御方法 - Google Patents

ロボット、ロボットシステム及び制御方法 Download PDF

Info

Publication number
WO2021124760A1
WO2021124760A1 PCT/JP2020/042678 JP2020042678W WO2021124760A1 WO 2021124760 A1 WO2021124760 A1 WO 2021124760A1 JP 2020042678 W JP2020042678 W JP 2020042678W WO 2021124760 A1 WO2021124760 A1 WO 2021124760A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
arm
camera
axis
swivel
Prior art date
Application number
PCT/JP2020/042678
Other languages
English (en)
French (fr)
Inventor
昌寛 小川
入江　俊充
健一 小▲柳▼
智之 堀内
伊藤　雅人
Original Assignee
株式会社安川電機
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社安川電機 filed Critical 株式会社安川電機
Priority to CN202080079344.XA priority Critical patent/CN114728420A/zh
Priority to JP2021565378A priority patent/JP7399981B2/ja
Publication of WO2021124760A1 publication Critical patent/WO2021124760A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • This disclosure relates to robots, robot systems and control methods.
  • Patent Document 1 includes a work table for supporting the work, a robot arm for performing work on the work, and a camera installed above the work table, and the position and posture of the work are based on an image acquired from the camera.
  • a robot system that identifies is disclosed.
  • the present disclosure provides a robot that is effective in achieving both effective utilization of camera images for robot control and simplification of system configuration.
  • the robot according to one aspect of the present disclosure is fixed to a base, a swivel portion that swivels with respect to the base, an articulated arm that is connected to the swivel portion and changes the position and posture of a work tool, and a swivel portion.
  • the camera is equipped with a camera, and the range of movement of the tool by the articulated arm and the field of view of the camera overlap.
  • the robot system includes the robot, a command generation unit that generates an operation command based on an image captured by the camera of the work, and a first work by a tool on the work based on the operation command. It includes an arm control unit that controls an articulated arm to execute.
  • a control method includes a base, a swivel portion that swivels with respect to the base, and an articulated arm that is connected to the swivel portion and changes the position and orientation of a working tool.
  • An image of the work placed in the work area around the base of the robot is acquired from a camera provided in the swivel part, and an operation command is generated based on the image, and a tool is used based on the operation command. It includes controlling the articulated arm to perform the first task on the work.
  • a robot that is effective in achieving both effective utilization of camera images for robot control and simplification of system configuration is provided.
  • the robot system 1 shown in FIG. 1 is a system that executes a predetermined work on a work object (hereinafter, referred to as “work”) in a product production line.
  • work a work object
  • Specific examples of the work include, but are not limited to, pick-and-place work in which the work is picked up, transported to a predetermined transfer target position and posture, and dropped off.
  • Other examples of the work include a work of welding a work to another work, a work of fastening the work to another work with bolts or the like, a work of polishing the work, and the like.
  • the robot system 1 includes a robot 10 and a controller 100.
  • the robot 10 is a so-called vertical articulated industrial robot, and includes a base 11, a swivel portion 12, an articulated arm 20, actuators 71, 72, 73, 74, 75, 76, 77, and a tool 30. , And a camera 40.
  • the base 11 is fixed on a robot support 3 located in the vicinity of the work area 5.
  • the base 11 may be fixed on an AGV (Automated Guided Vehicle).
  • the swivel portion 12 is provided above the base portion 11.
  • the swivel portion 12 swivels with respect to the base portion 11. For example, the swivel portion 12 swivels around the vertical axis 51.
  • the articulated arm 20 is connected to the swivel portion 12 and changes the position and posture of the work tool 30.
  • the articulated arm 20 has 6 or more independent degrees of freedom.
  • the articulated arm 20 is a 6-axis serial link type arm, and has a first arm 21, a second arm 22, a third arm 23, and a tool holding portion 24.
  • the first arm 21 is connected to the swivel portion 12 and swings around the axis 52 passing through the connecting portion between the first arm 21 and the swivel portion 12.
  • the axis 52 (first axis) intersects (for example, orthogonally) the turning center axis (the axis 51) of the turning portion 12.
  • the intersection here also includes a twisting relationship like a so-called grade separation.
  • the first arm 21 has an arm base 25 and a swivel arm 26.
  • the arm base 25 is connected to the swivel portion 12 and is along an axis 53 that intersects (for example, is orthogonal to) the axis 52.
  • the swivel arm 26 is connected to the tip of the arm base 25, is along the axis 53, and swivels around the axis 53.
  • the second arm 22 is connected to the tip of the first arm 21, turns around the axis 53 (second axis) along the first arm 21, and intersects (for example, orthogonally) the axis 53 with the axis 54 (third). Swing around (axis).
  • the second arm 22 is connected to the tip of the swivel arm 26 and swings around an axis 54 passing through the connecting portion between the second arm 22 and the swivel arm 26. Further, the second arm 22 swivels around the axis 53 together with the swivel arm 26.
  • the second arm 22 has an arm base 27 and a swivel arm 28.
  • the arm base 27 is connected to the tip of the swivel arm 26 and is along an axis 55 that intersects (for example, is orthogonal to) the axis 54.
  • the swivel arm 28 is connected to the tip of the arm base 27, is along the axis 55, and swivels around the axis 55.
  • the third arm 23 is connected to the tip of the second arm 22, turns around the axis 55 (fourth axis) along the second arm 22, and intersects (for example, orthogonally) the axis 55 (for example, orthogonal) with the axis 56 (fifth). Swing around (axis).
  • the third arm 23 is connected to the tip of the swivel arm 28 and swings around an axis 56 passing through the connecting portion between the third arm 23 and the swivel arm 28. Further, the third arm 23 swivels around the axis 55 together with the swivel arm 28.
  • the third arm 23 is along an axis 57 that intersects (for example, is orthogonal to) the axis 56.
  • the tool holding portion 24 is provided at the tip of the third arm 23, holds the tool 30, and turns around the axis 57 (sixth axis) along the third arm 23.
  • the robot 10 includes a joint 61 that connects the base 11 and the swivel portion 12, a joint 62 that connects the swivel portion 12 and the arm base 25, and a joint 63 that connects the arm base 25 and the swivel arm 26.
  • a joint 64 that connects the swivel arm 26 and the arm base 27, a joint 65 that connects the arm base 27 and the swivel arm 28, a joint 66 that connects the swivel arm 28 and the third arm 23, and a third. It has a joint 67 that connects the arm 23 and the tool holding portion 24.
  • Actuators 71, 72, 73, 74, 75, 76, 77 include, for example, an electric motor and a speed reducer, and drive joints 61, 62, 63, 64, 65, 66, 67, respectively.
  • the actuator 71 is built in the base 11 (for example, housed in the outer shell 81 of the base 11), and the swivel portion 12 is swiveled around the axis 51.
  • the actuator 72 is built in the swivel portion 12 (for example, housed in the outer shell 82 of the swivel portion 12), and swings the arm base 25 around the axis 52.
  • the actuator 73 is built in the arm base 25 (for example, housed in the outer shell 83 of the arm base 25), and swivels the swivel arm 26 around the axis 53.
  • the actuator 74 is built in the swivel arm 26 (for example, housed in the outer shell 84 of the swivel arm 26), and swings the arm base 27 around the axis 54.
  • the actuator 75 is built in the arm base 27 (for example, housed in the outer shell 85 of the arm base 27), and swivels the swivel arm 28 around the axis 55.
  • the actuator 76 is built in the swivel arm 28 (for example, housed in the outer shell 86 of the swivel arm 28), and swings the third arm 23 around the axis 56.
  • the actuator 77 is built in the third arm 23 (for example, housed in the outer shell 87 of the third arm 23), and the tool holding portion 24 is swiveled around the axis 57.
  • the tool 30 acts on the work W in the work performed by the robot 10 on the work W.
  • Specific examples of the tool 30 include a suction nozzle that holds the work W by suction, a hand that holds the work W by grasping it, and the like.
  • Other examples of the tool 30 include welding torches, screw tightening tools (eg electric screwdrivers), polishing tools (eg grinders) and the like.
  • the camera 40 is fixed to the turning portion and photographs the work area 5.
  • the camera 40 has an image pickup device such as a CCD (Chaged-Coupled Devices) or CMOS (Complementary Metal-Oxide-Semiconductor) sensor, and an optical system for forming an image of the field of view 41 on the image pickup device.
  • the camera 40 may be a camera that acquires a two-dimensional image (for example, a color image or a monochrome image) showing the brightness, color tone, etc. of the imaging target portion for each pixel, or indicates the distance to the imaging target portion for each pixel. It may be a ToF (Time-of-Flight) camera that acquires a range image.
  • the camera 40 may be a camera that acquires both a two-dimensional image and a distance image.
  • the swivel coordinate system illustrated in FIG. 1 has an X-axis, a Y-axis, and a Z-axis.
  • the Z-axis is a coordinate axis that goes vertically upward.
  • the Y-axis is a coordinate axis along the axis 52.
  • the X-axis is a coordinate axis perpendicular to the Y-axis and the Z-axis.
  • the origin of the swivel coordinate system is located at the intersection of the axis 52 and the reference plane 43 (see FIG. 2) described later.
  • the positive direction of the X-axis is referred to as the front of the robot 10.
  • the camera coordinate system illustrated in FIG. 1 has a CX axis, a CY axis, and a CZ axis.
  • the CX axis is a coordinate axis along the optical axis 42 at the center of the field of view 41, and the direction away from the camera 40 is the positive direction.
  • the CZ axis is a coordinate axis whose positive direction is above the image imaged on the image sensor.
  • the CY axis is a coordinate axis perpendicular to the CX axis and the CZ axis.
  • the camera 40 may be built in the swivel portion 12 (for example, housed in the outer shell 82).
  • the camera 40 is arranged in front of the actuator 72 in the outer shell 82.
  • a window 82a for imaging is formed in the front portion of the outer shell 82, and the camera 40 captures an image obliquely downward in front of the swivel portion 12 through the window 82a.
  • the arrangement of the camera 40 in the turning portion 12 is set so that the movable range 31 of the tool 30 by the articulated arm 20 and the field of view 41 of the camera 40 overlap.
  • the arrangement of the camera 40 is set so that the movable range 31 and the field of view 41 overlap in the work area 5.
  • the camera 40 is fixed to the swivel portion 12 so that the optical axis 42 is along the reference surface 43 (see FIG. 2) that intersects (for example, is orthogonal to) the axis 52.
  • the camera 40 may be fixed to the swivel portion 12 so that the optical axis 42 faces diagonally downward on the reference surface 43.
  • the camera 40 is fixed to the swivel portion 12 so that the CX axis (optical axis 42) faces diagonally downward.
  • the CX axis is perpendicular to the Y axis, and the positive direction of the CX axis is toward the positive direction of the X axis and the negative direction of the Z axis.
  • the angle formed by the CX axis and the X axis around the Y axis is, for example, 30 to 60 degrees.
  • FIG. 2 is a front view of the robot 10 as viewed from the positive direction of the X-axis.
  • the movable range A1 of the first arm 21 may be separated from the reference surface 43 of the camera 40 in the direction along the Y axis (axis line 52).
  • the movable range A1 is offset in the negative direction of the Y axis with respect to the reference surface 43.
  • the camera 40 is located within the movable range of the first arm 21, so that the movable angle of the first arm 21 is sufficiently set. In order to secure it, it is necessary to arrange the axis 52 sufficiently above the camera 40. Therefore, the articulated arm 20 becomes large. On the other hand, if the arrangement height of the camera 40 is lowered in order to suppress the increase in size of the articulated arm 20, the imaging range by the camera 40 becomes narrow. As described above, it is difficult to achieve both space saving of the articulated arm 20 and widening of the imaging range of the camera 40.
  • the arrangement height of the camera 40 is increased without affecting the movable range of the first arm 21, and the camera 40 is imaged. It is possible to widen the range.
  • the camera 40 is located below the axis 52, but the camera 40 can also be located above the axis 52.
  • the movable range A2 of the second arm 22 may be separated from the first arm 21 in the direction along the axis 54. Further, the movable range A3 of the third arm 23 may be separated from the second arm 22 in the direction along the axis 56.
  • the direction in which the movable range A2 of the second arm 22 separates from the first arm 21 along the axis 54 is referred to as the “offset direction of the second arm 22”.
  • the direction in which the movable range A3 of the third arm 23 separates from the second arm 22 along the axis 56 is referred to as the “offset direction of the third arm 23”.
  • FIG. 2 shows a state in which the offset direction of the second arm 22 and the offset direction of the third arm 23 are both oriented in the positive direction of the Y axis.
  • the movable range A2 of the second arm 22 may overlap with the reference surface 43.
  • the movable range A3 of the third arm 23 may be separated from the reference surface 43.
  • the robot system 1 may further include a support portion 2 that supports the work W in the work area 5 around the base portion 11.
  • the upper surface 2a of the support portion 2 may be located below the swivel portion 12, or may be located below the base portion 11.
  • the controller 100 controls the robot 10. For example, the controller 100 acquires an image of the work W arranged in the work area 5 from the camera 40, generates an operation command based on the image, and works the first work by the tool 30 based on the operation command. It is configured to control the articulated arm 20 to perform for W and to perform.
  • the controller 100 has an image processing unit 112, a command generation unit 113, an arm control unit 114, and a turning control unit 111 as a functional configuration (hereinafter, referred to as “functional block”).
  • the image processing unit 112 calculates the position and orientation of the work W in the three-dimensional space based on the captured image of the work W (for example, the work W arranged on the support portion 2) by the camera 40. For example, the image processing unit 112 calculates the position and orientation of the work W in the camera coordinate system based on the shape and size of the work W in the captured image and the three-dimensional shape and size of the known work W, and the calculation result.
  • the position and orientation of the work W in the turning coordinate system are calculated by performing coordinate transformation on.
  • the robot 10 may be provided with two cameras 40 for stereoscopic viewing.
  • the image processing unit 112 may calculate the position and orientation of the work W in the camera coordinate system based on the images captured by the work W by the two cameras 40.
  • the command generation unit 113 generates an operation command based on an image captured by the camera 40 of the work W (for example, the work W arranged on the support unit 2).
  • the operation command includes, for example, a plurality of commands in a time series.
  • Each instruction includes at least the target position and orientation of the tool 30.
  • the command generation unit 113 generates an operation command based on the position and orientation of the work W calculated by the image processing unit 112.
  • the command generation unit 113 uses the tool 30 for holding the work W based on the position and orientation of the work W calculated by the image processing unit 112.
  • the target position and target posture (hereinafter referred to as “holding position and posture”) are calculated, and an operation command is calculated so as to displace the tool 30 from the current position and posture to the holding position and posture. Further, the command generation unit 113 calculates an operation command so as to displace the tool 30 holding the work W at the holding position and posture to a predetermined lifting position and posture.
  • the arm control unit 114 controls the articulated arm 20 so as to execute the first work by the tool 30 on the work W based on the operation command. For example, the arm control unit 114 calculates the motion angles of the joints 62, 63, 64, 65, 66, 67 by inverse kinematics calculation so as to move the tool 30 according to the motion command, and the joint 62, according to the calculated motion angles.
  • the actuators 72, 73, 74, 75, 76, 77 are controlled so as to operate 63, 64, 65, 66, 67.
  • the arm control unit 114 operates the tool 30 in conjunction with the displacement of the tool 30 by the articulated arm 20. For example, when the first work is the work of picking up the work W, the arm control unit 114 causes the tool 30 to hold the work W when the tool 30 is arranged at the holding position and posture.
  • the rotation control unit 111 rotates the rotation unit 12 so that the camera 40 faces the work W before the command generation unit 113 generates an operation command, and then rotates the first operation until the articulated arm 20 completes the first operation.
  • the unit 12 is stopped.
  • the controller 100 may further have a work monitoring unit 115.
  • the work monitoring unit 115 detects the irregular state in the first work based on the image captured by the camera 40 of the work W during the period when the articulated arm 20 is executing the first work.
  • specific examples of the irregular state include the displacement of the work W while the tool 30 is being moved to the position where the work W is held, and the work W by the tool 30. Poor retention of
  • the command generation unit 113 may modify the operation command based on the image captured by the camera 40 of the work W. For example, when the work monitoring unit 115 detects the displacement of the work W while the tool 30 is being moved to the position where the work W is held, the command generation unit 113 will perform the displacement after the displacement calculated by the image processing unit 112. The operation command is modified based on the position and orientation of the work W.
  • the arm control unit 114 releases the work W from being held by the tool 30, and then the position and orientation of the work W calculated by the image processing unit 112.
  • the command generation unit 113 corrects the operation command based on the above.
  • the arm control unit 114 causes the articulated arm 20 to continue the first operation based on the corrected operation command.
  • the command generation unit 113 performs a second operation based on an image captured by the camera 40 of another work W (for example, another work W on the support portion 2) during the period in which the articulated arm 20 is executing the first operation. Further commands may be generated.
  • the image processing unit 112 determines the position and orientation of the second work based on the image captured by the camera 40 of the other work W (second work) during the period when the articulated arm 20 is executing the first work. Is calculated.
  • the command generation unit 113 calculates the second operation command based on the calculation result of the position and orientation of the second work by the image processing unit 112.
  • the arm control unit 114 controls the articulated arm 20 so that after the articulated arm 20 executes the first work, the articulated arm 20 executes the second work by the tool 30 on the second work based on the second operation command. ..
  • the swivel control unit 111 swivels the swivel unit 12 with the articulated arm 20 picking up the work W by the first work, and the arm control unit 114 receives the work W.
  • the articulated arm 20 may be controlled so that the work W being picked up is arranged in the field of view of the camera 40 during at least a part of the period in which the rotation control unit 111 is rotating the rotation unit 12.
  • the controller 100 may further have a holding state monitoring unit 116.
  • the holding state monitoring unit 116 inspects the holding state of the work W by the tool 30 based on the image captured by the camera 40 of the work W being picked up during the period in which the turning control unit 111 is turning the turning unit 12.
  • each functional block described above is a component of the controller 100, the process executed by each functional block corresponds to the process executed by the controller 100.
  • FIG. 3 is a block diagram illustrating the hardware configuration of the controller 100.
  • the controller 100 has a circuit 190.
  • the circuit 190 includes one or more processors 191 and a memory 192, a storage 193, an image processing circuit 194, and a driver circuit 195.
  • the storage 193 has a computer-readable storage medium, such as a non-volatile semiconductor memory.
  • the storage 193 acquires an image of the work W arranged in the work area 5 from the camera 40, generates an operation command based on the image, and performs the first work by the tool 30 based on the operation command. It stores the control of the articulated arm 20 to be executed by the controller 100 and the program to be executed by the controller 100.
  • the memory 192 temporarily stores the program loaded from the storage medium of the storage 193 and the calculation result by the processor 191.
  • the processor 191 constitutes each functional block of the controller 100 by executing the above program in cooperation with the memory 192.
  • the image processing circuit 194 executes image processing in accordance with the request from the processor 191. Specific examples of the image processing include recognition of the shape and size of the work W in the captured image acquired from the camera 40.
  • the driver circuit 195 outputs drive power to the actuators 71, 72, 73, 74, 75, 76, 77 in accordance with a command from the processor 191.
  • circuit 190 is not necessarily limited to the one that configures each function by a program.
  • the circuit 190 may have at least a part of its functions configured by a dedicated logic circuit or an ASIC (Application Specific Integrated Circuit) that integrates the logic circuit.
  • ASIC Application Specific Integrated Circuit
  • This procedure includes a base 11, a swivel portion 12 that swivels with respect to the base portion 11, and an articulated arm 20 that is connected to the swivel portion 12 and changes the position and orientation of the work tool 30.
  • An image of the work W arranged in the work area 5 around the base 11 is acquired from the camera 40 provided in the swivel portion 12, and an operation command is generated based on the image, and based on the operation command.
  • the articulated arm 20 is controlled so as to perform the first work by the tool 30 on the work W.
  • This procedure further generates a second operation command based on an image captured by the camera 40 of another work W (second work) while the articulated arm 20 is executing the first work on the work W.
  • the articulated arm 20 is controlled so that the second work by the tool 30 is executed for the second work based on the second operation command.
  • the controller 100 first executes steps S01, S02, S03, S04, S05, S06, S07, S08, S09, and S11.
  • step S01 the swivel control unit 111 swivels the swivel unit 12 so that the camera 40 faces the plurality of work Ws on the support unit 2, and stops the swivel unit 12 with the camera 40 facing the plurality of work Ws. Let me. After that, the turning control unit 111 keeps the turning unit 12 in the stopped state until the articulated arm 20 completes the pick-and-place work on the plurality of work Ws.
  • step S02 the image processing unit 112 acquires captured images of the plurality of work Ws from the camera 40.
  • step S03 the image processing unit 112 calculates the position and orientation of any work W (hereinafter referred to as “target work”) in the camera coordinate system based on the captured image acquired from the camera 40.
  • step S04 the image processing unit 112 performs coordinate transformation on the position and orientation in the camera coordinate system to calculate the position and orientation of the target work in the turning coordinate system.
  • step S05 the command generation unit 113 calculates an operation command for holding the target work based on the captured image of the target work (hereinafter, referred to as “holding command”). For example, the command generation unit 113 calculates the target position and posture (holding position and posture) of the tool 30 for holding the target work based on the position and posture of the target work calculated by the image processing unit 112.
  • step S06 the arm control unit 114 controls the articulated arm 20 so as to arrange the tool 30 at the holding position and posture based on the holding command.
  • step S07 the image processing unit 112 acquires the captured image of the target work from the camera 40.
  • step S08 the image processing unit 112 calculates the position and orientation of the target work in the camera coordinate system based on the captured image acquired from the camera 40.
  • step S09 the image processing unit 112 performs coordinate transformation on the position and orientation in the camera coordinate system to calculate the position and orientation of the target work in the turning coordinate system.
  • step S11 the work monitoring unit 115 confirms whether the position and posture of the target work are within the normal range. For example, in the work monitoring unit 115, the difference between the position and orientation of the target work calculated by the image processing unit 112 in step S04 and the position and orientation of the target work calculated by the image processing unit 112 in step S09 is within the permissible range. Check if.
  • step S11 If it is determined in step S11 that the position and orientation of the target work is not in the normal range, the controller 100 returns the process to step S03. As a result, the command generation unit 113 corrects the holding command based on the captured image of the target work.
  • the arm control unit 114 controls the articulated arm 20 so as to arrange the tool 30 at the corrected holding position and posture based on the corrected holding command.
  • step S11 When it is determined in step S11 that the position and orientation of the target work are within the normal range, the controller 100 executes steps S12, S13, S14, S15, S16, S17, and S18.
  • step S12 the arm control unit 114 causes the tool 30 to hold the work W.
  • step S13 the command generation unit 113 calculates an operation command (hereinafter referred to as “lift command”) so as to displace the tool 30 holding the target work to a predetermined lifting position and posture.
  • step S14 the arm control unit 114 controls the articulated arm 20 so as to arrange the tool 30 at the lifting position and posture based on the lifting command.
  • step S15 the image processing unit 112 acquires captured images of the plurality of work Ws from the camera 40.
  • step S16 the image processing unit 112 calculates the position and orientation of the target work in the camera coordinate system based on the captured image acquired from the camera 40.
  • step S17 the image processing unit 112 performs coordinate transformation on the position and orientation in the camera coordinate system to calculate the position and orientation of the target work in the turning coordinate system.
  • step S18 the work monitoring unit 115 confirms whether the position and posture of the target work are within the normal range. For example, the work monitoring unit 115 confirms whether the relative position and posture of the target work with respect to the tool 30 are within the normal range.
  • step S19 the controller 100 executes step S19.
  • step S19 the arm control unit 114 releases the holding of the work W by the tool 30.
  • the arm control unit 114 may release the holding of the work W by the tool 30 after controlling the articulated arm 20 so as to return the tool 30 from the lifting position and the posture to the holding position and the posture.
  • the controller 100 returns the process to step S03.
  • the command generation unit 113 corrects the holding command based on the captured image of the target work.
  • the arm control unit 114 controls the articulated arm 20 so as to arrange the tool 30 at the corrected holding position and posture based on the corrected holding command.
  • step S21 the command generation unit 113 commands an operation to displace the tool 30 to the target position and posture (hereinafter, referred to as “release target position and posture”) for arranging the target work at the transport target position and posture. (Hereinafter referred to as "transport command”) is calculated.
  • step S22 the arm control unit 114 controls the articulated arm 20 so as to start the displacement of the tool 30 toward the release target position and posture based on the transport command.
  • step S23 the command generation unit 113 confirms whether the undelivered work W remains among the plurality of work W.
  • step S24 the image processing unit 112 acquires a captured image of the unconveyed work W among the plurality of work Ws from the camera 40.
  • step S25 the image processing unit 112 selects the next target work (second work) from the undelivered work W based on the captured image acquired from the camera 40, and positions the next target work in the camera coordinate system. And calculate the posture.
  • step S26 the image processing unit 112 performs coordinate transformation on the position and orientation in the camera coordinate system to calculate the position and orientation of the next target work in the turning coordinate system.
  • step S27 the command generation unit 113 calculates the holding command (second operation command) of the next target work based on the captured image of the next target work. For example, the command generation unit 113 determines the target position and posture (holding position and posture) of the tool 30 for holding the next target work based on the position and posture of the next target work calculated by the image processing unit 112. calculate.
  • step S28 the arm control unit 114 waits for the tool 30 to reach the release target position and posture.
  • step S29 the arm control unit 114 releases the holding of the target work by the tool 30.
  • the controller 100 returns the process to step S06.
  • the pick-and-place work for the next target work is started based on the holding command (second operation command) calculated in step S27.
  • step S31 the arm control unit 114 waits for the tool 30 to reach the release target position and posture.
  • step S32 the arm control unit 114 releases the holding of the target work by the tool 30. This completes the pick-and-place work for the plurality of work Ws.
  • the robot 10 is made to perform the pick-up work for the work W on the support portion 2, then the swivel portion 12 is swiveled, and then the work W is transported to a predetermined transport target position and posture and dropped off.
  • the procedure to be executed is illustrated. This procedure involves turning the swivel portion 12 with the articulated arm 20 picking up the work W in the first operation, and picking up at least a part of the period during which the swivel control unit 111 swivels the swivel portion 12.
  • the articulated arm 20 is controlled so that the work W inside is arranged in the field of view of the camera 40, and the camera 40 of the work W being picked up during the period when the turning control unit 111 is turning the turning unit 12.
  • the procedure for causing the robot 10 to perform the pick-up operation for the work W is the same as the above-mentioned steps S01 to S19, and thus the description thereof will be omitted.
  • step S18 When it is determined in step S18 that the position and orientation of the target work are within the normal range, the controller 100 executes steps S41, S42, S43, S44, S45, S46, and S47 as shown in FIG.
  • step S41 the turning control unit 111 starts turning the turning unit 12 so that the camera 40 faces the transfer target position of the target work.
  • step S42 the arm control unit 114 controls the articulated arm 20 so that the target work being picked up is arranged in the field of view 41 of the camera 40.
  • step S43 the image processing unit 112 acquires captured images of the plurality of work Ws from the camera 40.
  • step S44 the image processing unit 112 calculates the position and orientation of the target work in the camera coordinate system based on the captured image acquired from the camera 40.
  • step S45 the image processing unit 112 performs coordinate transformation on the position and orientation in the camera coordinate system to calculate the position and orientation of the target work in the turning coordinate system.
  • step S46 the holding state monitoring unit 116 inspects the holding state of the work W by the tool 30 based on the position and posture of the target work calculated in step S45. For example, the holding state monitoring unit 116 calculates the relative position and posture of the work W with respect to the tool 30. If the work W at the time of completion of the pickup is located in the field of view 41 of the camera 40 and the captured image for inspection of the holding state of the work W by the tool 30 can be acquired, the step S42 can be omitted.
  • step S47 the turning control unit 111 confirms whether the turning unit 12 has turned until the camera 40 faces the transport target position of the target work. If it is determined in step S47 that the swivel portion 12 has not swiveled until the camera 40 faces the transport target position of the target work, the controller 100 returns the process to step S43. After that, the inspection of the holding state of the work W by the tool 30 is repeated until the camera 40 faces the transfer target position.
  • step S47 When it is determined in step S47 that the turning unit 12 has turned until the camera 40 faces the transfer target position of the target work, the controller 100 executes steps S48, S51, S52, S53, S54, S55, S56, and S57.
  • step S48 the turning control unit 111 stops the turning of the turning unit 12. After that, the turning control unit 111 keeps the turning unit 12 in the stopped state until the articulated arm 20 completes the work of transporting the target work to the transport target position and posture and dropping it off.
  • step S51 the arm control unit 114 controls the articulated arm 20 so that the target work being picked up is retracted from the field of view 41 of the camera 40.
  • step S52 the image processing unit 112 acquires the captured image of the transport target position from the camera 40. Even if the work W is in the field of view 41 of the camera 40, step S51 can be omitted as long as the captured image of the transport target position can be acquired.
  • step S53 the image processing unit 112 calculates the transport target position and the posture in the camera coordinate system based on the captured image acquired from the camera 40.
  • step S54 the image processing unit 112 performs coordinate transformation on the transport target position and posture in the camera coordinate system to calculate the transport target position and posture in the turning coordinate system.
  • step S55 the transport command is calculated so as to displace the tool 30 to the release target position and posture.
  • step S56 the arm control unit 114 controls the articulated arm 20 so as to displace the tool 30 to the release target position and posture based on the transport command.
  • step S57 the arm control unit 114 releases the holding of the work W by the tool 30. This completes the pick-and-place work of the target work.
  • the robot 10 is connected to the base 11, the swivel portion 12 that swivels with respect to the base 11, and the swivel portion 12, and the articulated arm 20 that changes the position and posture of the work tool 30.
  • the camera 40 fixed to the swivel portion 12 is provided, and the movable range 31 of the tool 30 by the articulated arm 20 and the field of view 41 of the camera 40 overlap.
  • a camera 40 is provided in the turning portion 12.
  • the camera 40 and the robot 10 are integrated, so that the system configuration can be simplified.
  • the movable range of the tool 30 by the articulated arm 20 and the field of view range of the camera 40 overlap.
  • an image including both the tool 30 and the work object (work W) by the tool 30 can be acquired from the camera 40. Therefore, it is easy to effectively utilize the image of the camera 40 for controlling the robot 10. Therefore, the robot 10 is effective in both effectively utilizing the camera image for robot control and simplifying the system configuration.
  • the articulated arm 20 may have 6 or more degrees of freedom. In this case, the position and posture of the tool 30 can be freely adjusted by the articulated arm 20 while acquiring a blur-free image from the camera 40.
  • the articulated arm 20 is connected to the swivel portion 12, and is connected to a first arm 21 that swings around an axis 52 that intersects the swivel center axis of the swivel portion 12, and a tip portion of the first arm 21, and is connected to the first arm.
  • a second arm 22 that swivels around the axis 53 along the axis 21 and swings around the axis 54 that intersects the axis 53, and a second arm 22 that is connected to the tip of the second arm 22 and around the axis 55 along the second arm 22.
  • the articulated arm 20 can be provided with 6 degrees of freedom with a simple configuration.
  • the first arm 21 and the optical axis 42 at the center of the field of view 41 are along the reference surface 43 intersecting the axis 52, and the movable range A1 of the first arm 21 is separated from the reference surface 43 in the direction along the axis 52. You may be. In this case, by removing the base end portion of the first arm 21 from the center of the visual field 41, it is difficult to form a blind spot by the articulated arm 20.
  • the robot system 1 executes the first work by the tool 30 on the work W based on the robot 10, the command generation unit 113 that generates an operation command based on the image captured by the camera 40 of the work W, and the operation command.
  • An arm control unit 114 that controls the articulated arm 20 is provided. In this case, the image of the camera 40 can be effectively used for controlling the robot 10.
  • the robot system 1 further includes a work monitoring unit 115 that detects an irregular state in the first work based on an image captured by the camera 40 of the work W during the period in which the articulated arm 20 is executing the first work. You may. In this case, the image of the camera 40 can be more effectively used for controlling the robot 10.
  • the command generation unit 113 corrects the operation command based on the image captured by the camera 40 of the work W, and the arm control unit 114 corrects the operation command based on the corrected operation command.
  • the first work may be continued on the articulated arm 20. In this case, the image of the camera 40 can be more effectively used for controlling the robot 10.
  • the command generation unit 113 further generates a second operation command based on an image captured by the camera 40 of another work W (second work) during the period in which the articulated arm 20 is executing the first work, and the arm
  • the control unit 114 may control the articulated arm 20 so as to execute the second work by the tool 30 on the second work based on the second operation command.
  • the work time for the first work and the second work can be shortened by acquiring the image of the second work during the execution of the first work.
  • the robot system 1 rotates the swivel unit 12 so that the camera 40 faces the work W before the command generation unit 113 generates an operation command, and then the swivel unit until the first work is completed by the articulated arm 20.
  • a turning control unit 111 for stopping the 12 may be further provided. In this case, a blur-free image can be acquired from the camera 40 even during the first operation. Therefore, the image of the camera 40 can be more effectively used for controlling the robot 10.
  • the first work is a work of picking up the work W
  • the swivel control unit 111 swivels the swivel unit 12 with the articulated arm 20 picking up the work W by the first work, and the arm control unit 114 swivels.
  • the articulated arm 20 may be controlled so that the work W being picked up is arranged in the field of view 41 of the camera 40 during at least a part of the period in which the control unit 111 is rotating the turning unit 12.
  • the image of the camera 40 is more effectively used for controlling the robot 10 by utilizing the fact that the rotation of the turning unit 12 does not affect the relative positional relationship between the work W during pickup and the camera 40. be able to.
  • the robot system 1 inspects the holding state of the work W by the tool 30 based on the image captured by the camera 40 of the work W being picked up during the period in which the turning control unit 111 is turning the turning unit 12.
  • a portion 116 may be further provided. In this case, the image acquired from the camera 40 during turning can be further effectively utilized.
  • the robot system 1 further includes an image processing unit 112 that calculates the position and orientation of the work W in the three-dimensional space based on the image captured by the work W by the camera 40, and the command generation unit 113 includes the image processing unit 112.
  • An operation command may be generated based on the calculated position and orientation of the work W.
  • the image from the camera 40 can be more effectively used for controlling the robot 10.
  • the swivel portion 12 may be provided on the base portion 11, and the camera 40 may be provided on the swivel portion 12 so that the optical axis 42 at the center of the field of view 41 faces diagonally downward. In this case, since the camera 40 looks at the work W from diagonally above, it is easy to acquire an image including both the tool 30 and the work W.
  • the robot system 1 further includes a support portion 2 that supports the work W around the base portion 11, and the upper surface 2a of the support portion 2 may be located below the swivel portion 12. In this case, it is easier to acquire an image including both the tool 30 and the work W.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

ロボット（１０）は、基部（１１）と、基部（１１）に対して旋回する旋回部（１２）と、旋回部（１２）に連結され、作業用のツール（３０）の位置及び姿勢を変更する多関節アーム（２０）と、旋回部（１２）に固定されたカメラ（４０）と、を備え、多関節アーム（２０）によるツール（３０）の可動範囲（３１）と、カメラ（４０）の視野（４１）とが重複している。

Description

ロボット、ロボットシステム及び制御方法
　本開示は、ロボット、ロボットシステム及び制御方法に関する。
　特許文献１には、ワークを支持する作業台と、ワークに対する作業を行うロボットアームと、作業台の上方に設置されたカメラと、を備え、カメラから取得した画像に基づいてワークの位置及び姿勢を特定するロボットシステムが開示されている。
特開２０１４－１８０７２０号公報
　本開示は、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効なロボットを提供する。
　本開示の一側面に係るロボットは、基部と、基部に対して旋回する旋回部と、旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、旋回部に固定されたカメラと、を備え、多関節アームによるツールの可動範囲と、カメラの視野とが重複している。
　本開示の他の側面に係るロボットシステムは、上記ロボットと、ワークのカメラによる撮像画像に基づいて動作指令を生成する指令生成部と、動作指令に基づいて、ツールによる第１作業をワークに対し実行するように多関節アームを制御するアーム制御部と、を備える。
　本開示の更に他の側面に係る制御方法は、基部と、基部に対して旋回する旋回部と、旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、を備えるロボットの、基部の周囲の作業エリアに配置されたワークの画像を、旋回部に設けられたカメラから取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツールによる第１作業をワークに対し実行するように多関節アームを制御することと、を含む。
　本開示によれば、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効なロボットを提供する。
ロボットシステムの概略構成を示す模式図である。 図１のロボットシステムの正面図である。 コントローラのハードウェア構成を例示するブロック図である。 ワークの搬送制御手順を例示するフローチャートである。 ワークの搬送制御手順を例示するフローチャートである。 ワークの搬送制御手順の変形例を示すフローチャートである。
　以下、実施形態について、図面を参照しつつ詳細に説明する。説明において、同一要素又は同一機能を有する要素には同一の符号を付し、重複する説明を省略する。
〔ロボットシステム〕
　図１に示すロボットシステム１は、製品の生産ラインにおいて、作業対象物（以下、「ワーク」という。）に対し所定の作業を実行するシステムである。作業の具体例としては、ワークをピックアップし、所定の搬送目標位置及び姿勢まで搬送してドロップオフするピックアンドプレース作業が挙げられるが、これに限定されない。作業の他の例としては、ワークを他のワークに溶接する作業、ワークを他のワークにボルト等により締結する作業、ワークに研磨等の加工を施す作業等が挙げられる。図１に示すように、ロボットシステム１は、ロボット１０と、コントローラ１００とを有する。
　ロボット１０は、所謂垂直多関節型の産業用ロボットであり、基部１１と、旋回部１２と、多関節アーム２０と、アクチュエータ７１，７２，７３，７４，７５，７６，７７と、ツール３０と、カメラ４０とを有する。
　基部１１は、作業エリア５の近傍に位置するロボット支持台３の上に固定されている。基部１１は、ＡＧＶ（Ａｕｔｏｍａｔｅｄ　Ｇｕｉｄｅｄ　Ｖｅｈｉｃｌｅ）上に固定されていてもよい。旋回部１２は、基部１１の上に設けられている。旋回部１２は、基部１１に対して旋回する。例えば旋回部１２は、鉛直な軸線５１まわりに旋回する。
　多関節アーム２０は、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する。多関節アーム２０は、６以上の独立した自由度を有する。例えば多関節アーム２０は、６軸のシリアルリンク型のアームであり、第１アーム２１と、第２アーム２２と、第３アーム２３と、ツール保持部２４とを有する。
　第１アーム２１は、旋回部１２に連結され、第１アーム２１と旋回部１２との連結部を通る軸線５２まわりに揺動する。軸線５２（第１軸線）は、旋回部１２の旋回中心軸線（上記軸線５１）に交差（例えば直交）している。ここでの交差は、所謂立体交差のようにねじれの関係も含む。以下においても同様である。第１アーム２１は、アーム基部２５と旋回アーム２６とを有する。アーム基部２５は、旋回部１２に連結され、軸線５２に交差（例えば直交）する軸線５３に沿っている。旋回アーム２６は、アーム基部２５の先端部に連結され、軸線５３に沿っており、軸線５３まわりに旋回する。
　第２アーム２２は、第１アーム２１の先端部に連結され、第１アーム２１に沿った軸線５３（第２軸線）まわりに旋回し、軸線５３に交差（例えば直交）する軸線５４（第３軸線）まわりに揺動する。例えば第２アーム２２は、旋回アーム２６の先端部に連結されており、第２アーム２２と旋回アーム２６との連結部を通る軸線５４まわりに揺動する。また、第２アーム２２は、旋回アーム２６と共に軸線５３まわりに旋回する。第２アーム２２は、アーム基部２７と旋回アーム２８とを有する。アーム基部２７は、旋回アーム２６の先端部に連結され、軸線５４に交差（例えば直交）する軸線５５に沿っている。旋回アーム２８は、アーム基部２７の先端部に連結され、軸線５５に沿っており、軸線５５まわりに旋回する。
　第３アーム２３は、第２アーム２２の先端部に連結され、第２アーム２２に沿った軸線５５（第４軸線）まわりに旋回し、軸線５５に交差（例えば直交）する軸線５６（第５軸線）まわりに揺動する。例えば第３アーム２３は、旋回アーム２８の先端部に連結されており、第３アーム２３と旋回アーム２８との連結部を通る軸線５６まわりに揺動する。また、第３アーム２３は、旋回アーム２８と共に軸線５５まわりに旋回する。第３アーム２３は、軸線５６に交差（例えば直交）する軸線５７に沿っている。
　ツール保持部２４は、第３アーム２３の先端部に設けられ、ツール３０を保持し、第３アーム２３に沿った軸線５７（第６軸線）まわりに旋回する。
　このように、ロボット１０は、基部１１と旋回部１２とを連結する関節６１と、旋回部１２とアーム基部２５とを連結する関節６２と、アーム基部２５と旋回アーム２６とを連結する関節６３と、旋回アーム２６とアーム基部２７とを連結する関節６４と、アーム基部２７と旋回アーム２８とを連結する関節６５と、旋回アーム２８と第３アーム２３とを連結する関節６６と、第３アーム２３とツール保持部２４とを連結する関節６７とを有する。
　アクチュエータ７１，７２，７３，７４，７５，７６，７７は、例えば電動モータ及び減速機を含み、関節６１，６２，６３，６４，６５，６６，６７をそれぞれ駆動する。例えばアクチュエータ７１は、基部１１に内蔵（例えば基部１１の外殻８１内に収容）されており、軸線５１まわりに旋回部１２を旋回させる。アクチュエータ７２は、旋回部１２に内蔵（例えば旋回部１２の外殻８２内に収容）されており、軸線５２まわりにアーム基部２５を揺動させる。アクチュエータ７３は、アーム基部２５に内蔵（例えばアーム基部２５の外殻８３内に収容）されており、軸線５３まわりに旋回アーム２６を旋回させる。アクチュエータ７４は、旋回アーム２６に内蔵（例えば旋回アーム２６の外殻８４内に収容）されており、軸線５４まわりにアーム基部２７を揺動させる。アクチュエータ７５は、アーム基部２７に内蔵（例えばアーム基部２７の外殻８５内に収容）されており、軸線５５まわりに旋回アーム２８を旋回させる。アクチュエータ７６は、旋回アーム２８に内蔵（例えば旋回アーム２８の外殻８６内に収容）されており、軸線５６まわりに第３アーム２３を揺動させる。アクチュエータ７７は、第３アーム２３に内蔵（例えば第３アーム２３の外殻８７内に収容）されており、軸線５７まわりにツール保持部２４を旋回させる。
　ツール３０は、ロボット１０がワークＷに対し実行する作業においてワークＷに作用する。ツール３０の具体例としては、ワークＷを吸着により保持する吸着ノズル、ワークＷを掴むことにより保持するハンド等が挙げられる。ツール３０の他の例としては、溶接トーチ、ねじ締めツール（例えば電動ドライバ）、及び研磨ツール（例えばグラインダー）等が挙げられる。
　カメラ４０は、旋回部に固定されており、作業エリア５を撮影する。カメラ４０は、ＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子と、視野４１の画像を撮像素子に結像させる光学系とを有する。カメラ４０は、撮影対象部の輝度、色調等を画素ごとに示す２次元画像（例えばカラー画像、モノクロ画像）を取得するカメラであってもよいし、撮像対象部までの距離を画素ごとに示す距離画像を取得するＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）カメラであってもよい。カメラ４０は、２次元画像及び距離画像の両方を取得するカメラであってもよい。
　カメラ４０は、カメラ４０を基準とする座標系（以下、「カメラ座標系」という。）と、旋回部１２を基準とする座標系（以下、「旋回座標系」という。）との関係が不変となるように旋回部１２に固定されている。図１に例示する旋回座標系は、Ｘ軸、Ｙ軸及びＺ軸を有する。Ｚ軸は、鉛直上方に向かう座標軸である。Ｙ軸は軸線５２に沿った座標軸である。Ｘ軸は、Ｙ軸及びＺ軸に垂直な座標軸である。旋回座標系の原点は、軸線５２と、後述の基準面４３（図２参照）との交点に位置する。以下においては、Ｘ軸正方向をロボット１０の前方という。図１に例示するカメラ座標系は、ＣＸ軸、ＣＹ軸及びＣＺ軸を有する。ＣＸ軸は、視野４１の中心の光軸４２に沿った座標軸であり、カメラ４０から遠ざかる方向を正方向とする。ＣＺ軸は、撮像素子に結像する画像の上方を正方向とする座標軸である。ＣＹ軸は、ＣＸ軸及びＣＺ軸に垂直な座標軸である。
　カメラ４０は、旋回部１２に内蔵（例えば外殻８２内に収容）されていてもよい。例えばカメラ４０は、外殻８２内において、アクチュエータ７２の前方に配置されている。外殻８２の前部には、撮像用の窓８２ａ（図２参照）が形成されており、カメラ４０は、窓８２ａを介して旋回部１２の前斜め下方の画像を撮像する。
　旋回部１２におけるカメラ４０の配置は、多関節アーム２０によるツール３０の可動範囲３１と、カメラ４０の視野４１とが重複するように設定されている。例えば、カメラ４０の配置は、可動範囲３１と視野４１とが作業エリア５において重複するように設定されている。
　例えば、カメラ４０は、軸線５２に交差（例えば直交）する基準面４３（図２参照）に光軸４２が沿うように旋回部１２に固定されている。カメラ４０は、基準面４３において光軸４２が斜め下方に向くように旋回部１２に固定されていてもよい。一例として、カメラ４０は、ＣＸ軸（光軸４２）が斜め下方に向くように旋回部１２に固定されている。具体的に、ＣＸ軸は、Ｙ軸に垂直であり、ＣＸ軸の正方向は、Ｘ軸正方向及びＺ軸負方向に向かっている。Ｙ軸まわりでＣＸ軸とＸ軸とのなす角は、例えば３０～６０度である。
　図２は、ロボット１０をＸ軸正方向から見た正面図である。図２に示すように、Ｙ軸（軸線５２）に沿う方向において、第１アーム２１の可動範囲Ａ１は、カメラ４０の基準面４３から離れていてもよい。例えば可動範囲Ａ１は、基準面４３に対してＹ軸負方向にオフセットしている。
　仮に、軸線５２に沿う方向において可動範囲Ａ１と基準面４３とが一致する場合、第１アーム２１の可動範囲内にカメラ４０が位置することとなるので、第１アーム２１の可動角を十分に確保するためには、軸線５２をカメラ４０よりも十分上方に配置する必要がある。このため、多関節アーム２０が大型化することとなる。一方、多関節アーム２０の大型化を抑制するためにカメラ４０の配置高さを低くすると、カメラ４０による撮像範囲が狭くなる。このように、多関節アーム２０の省スペース化と、カメラ４０の撮像範囲の広域化との両立が困難となる。これに対し、軸線５２に沿う方向において可動範囲Ａ１が基準面４３から離れた構成によって、第１アーム２１の可動範囲に影響を及ぼすことなくカメラ４０の配置高さを高くし、カメラ４０の撮像範囲の広域化を図ることが可能となっている。図１において、カメラ４０は、軸線５２よりも下方に位置しているが、カメラ４０を軸線５２よりも上方に配置することも可能である。
　なお、軸線５４に沿う方向において、第２アーム２２の可動範囲Ａ２が第１アーム２１から離れていてもよい。更に、軸線５６に沿う方向において、第３アーム２３の可動範囲Ａ３が第２アーム２２から離れていてもよい。以下、軸線５４に沿って第２アーム２２の可動範囲Ａ２が第１アーム２１から離れる方向を、「第２アーム２２のオフセット方向」という。軸線５６に沿って第３アーム２３の可動範囲Ａ３が第２アーム２２から離れる方向を、「第３アーム２３のオフセット方向」という。
　図２は、第２アーム２２のオフセット方向及び第３アーム２３のオフセット方向が、いずれもＹ軸正方向に向けられた状態を示している。この状態において、第２アーム２２の可動範囲Ａ２は、基準面４３と重なっていてもよい。また、第３アーム２３の可動範囲Ａ３は、基準面４３から離れていてもよい。
　図１に戻り、ロボットシステム１は、基部１１の周囲の作業エリア５においてワークＷを支持する支持部２を更に備えてもよい。支持部２の上面２ａは、旋回部１２よりも下に位置していてもよく、基部１１よりも下に位置していてもよい。
　コントローラ１００は、ロボット１０を制御する。例えばコントローラ１００は、作業エリア５に配置されたワークＷの画像をカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、を実行するように構成されている。例えばコントローラ１００は、機能上の構成（以下、「機能ブロック」という。）として、画像処理部１１２と、指令生成部１１３と、アーム制御部１１４と、旋回制御部１１１とを有する。
　画像処理部１１２は、カメラ４０によるワークＷ（例えば支持部２上に配置されたワークＷ）の撮像画像に基づいて３次元空間におけるワークＷの位置及び姿勢を算出する。例えば画像処理部１１２は、撮像画像内におけるワークＷの形状及び大きさと、既知のワークＷの３次元形状及び大きさとに基づいて、カメラ座標系におけるワークＷの位置及び姿勢を算出し、算出結果に座標変換を施すことで旋回座標系におけるワークＷの位置及び姿勢を算出する。
　なお、ロボット１０は、立体視用に２つのカメラ４０を備えていてもよい。この場合、画像処理部１１２は、２つのカメラ４０によるワークＷの撮像画像に基づいてカメラ座標系におけるワークＷの位置及び姿勢を算出してもよい。
　指令生成部１１３は、ワークＷ（例えば支持部２上に配置されたワークＷ）のカメラ４０による撮像画像に基づいて動作指令を生成する。動作指令は、例えば時系列の複数の命令を含む。各命令は、少なくともツール３０の目標位置及び姿勢を含む。例えば指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて動作指令を生成する。
　一例として、ワークＷをピックアップするための動作指令を生成する場合、指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて、当該ワークＷを保持するためのツール３０の目標位置及び目標姿勢（以下、「保持位置及び姿勢」という。）を算出し、ツール３０を現在位置及び姿勢から保持位置及び姿勢まで変位させるように動作指令を算出する。更に、指令生成部１１３は、保持位置及び姿勢にてワークＷを保持したツール３０を、所定の持ち上げ位置及び姿勢まで変位させるように動作指令を算出する。
　アーム制御部１１４は、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御する。例えばアーム制御部１１４は、動作指令に従ってツール３０を移動させるように、逆運動学演算によって関節６２，６３，６４，６５，６６，６７の動作角度を算出し、算出した動作角度に従って関節６２，６３，６４，６５，６６，６７を動作させるようにアクチュエータ７２，７３，７４，７５，７６，７７を制御する。
　また、アーム制御部１１４は、多関節アーム２０によるツール３０の変位に連動して、ツール３０を動作させる。例えば、第１作業がワークＷをピックアップする作業である場合、アーム制御部１１４は、保持位置及び姿勢にツール３０が配置された場合に、ツール３０にワークＷを保持させる。
　旋回制御部１１１は、指令生成部１１３が動作指令を生成する前に、カメラ４０がワークＷに向くように旋回部１２を旋回させ、その後、第１作業を多関節アーム２０が完了させるまで旋回部１２を停止させる。
　コントローラ１００は、作業監視部１１５を更に有してもよい。作業監視部１１５は、多関節アーム２０が第１作業を実行している期間中におけるワークＷのカメラ４０による撮像画像に基づいて第１作業におけるイレギュラー状態を検知する。第１作業がワークＷをピックアップする作業である場合、イレギュラー状態の具体例としては、ワークＷを保持する位置までツール３０を移動させている最中におけるワークＷの変位、ツール３０によるワークＷの保持不良等が挙げられる。
　作業監視部１１５がイレギュラー状態を検知した場合に、指令生成部１１３は、ワークＷのカメラ４０による撮像画像に基づいて動作指令を修正してもよい。例えば、ワークＷを保持する位置までツール３０を移動させている最中におけるワークＷの変位が作業監視部１１５により検知された場合、指令生成部１１３は、画像処理部１１２が算出した変位後のワークＷの位置及び姿勢に基づいて動作指令を修正する。ツール３０によるワークＷの保持不良が作業監視部１１５により検知された場合、アーム制御部１１４がツール３０によるワークＷの保持を解除させ、その後、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて指令生成部１１３が動作指令を修正する。アーム制御部１１４は、修正後の動作指令に基づいて第１作業を多関節アーム２０に継続させる。
　指令生成部１１３は、第１作業を多関節アーム２０が実行している期間中における他のワークＷ（例えば支持部２上の他のワークＷ）のカメラ４０による撮像画像に基づいて第２動作指令を更に生成してもよい。例えば、第１作業を多関節アーム２０が実行している期間中における上記他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて、画像処理部１１２が第２ワークの位置及び姿勢を算出する。指令生成部１１３は、画像処理部１１２による第２ワークの位置及び姿勢の算出結果に基づいて第２動作指令を算出する。アーム制御部１１４は、第１作業を多関節アーム２０が実行した後に、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御する。
　第１作業がワークＷをピックアップする作業である場合に、旋回制御部１１１は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させ、アーム制御部１１４は、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野内に配置するように多関節アーム２０を制御してもよい。
　この場合、コントローラ１００は、保持状態監視部１１６を更に有してもよい。保持状態監視部１１６は、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査する。
　なお、以上に説明した各機能ブロックは、コントローラ１００の構成要素であるから、各機能ブロックが実行する処理は、コントローラ１００が実行する処理に相当する。
　図３は、コントローラ１００のハードウェア構成を例示するブロック図である。図３に示すように、コントローラ１００は、回路１９０を有する。回路１９０は、一つ又は複数のプロセッサ１９１と、メモリ１９２と、ストレージ１９３と、画像処理回路１９４と、ドライバ回路１９５とを含む。ストレージ１９３は、例えば不揮発性の半導体メモリ等、コンピュータによって読み取り可能な記憶媒体を有する。ストレージ１９３は、作業エリア５に配置されたワークＷの画像をカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、をコントローラ１００に実行させるプログラムを記憶している。
　メモリ１９２は、ストレージ１９３の記憶媒体からロードしたプログラム及びプロセッサ１９１による演算結果を一時的に記憶する。プロセッサ１９１は、メモリ１９２と協働して上記プログラムを実行することで、コントローラ１００の各機能ブロックを構成する。画像処理回路１９４は、プロセッサ１９１からの要求に従って、画像処理を実行する。画像処理の具体例としては、カメラ４０から取得した撮像画像におけるワークＷの形状及び大きさの認識等が挙げられる。ドライバ回路１９５は、プロセッサ１９１からの指令に従って、アクチュエータ７１，７２，７３，７４，７５，７６，７７に駆動電力を出力する。
　なお、回路１９０は、必ずしもプログラムにより各機能を構成するものに限られない。例えば回路１９０は、専用の論理回路又はこれを集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）により少なくとも一部の機能を構成してもよい。
〔ロボットの制御手順〕
　続いて、制御方法の一例として、コントローラ１００が実行するロボット１０の制御手順を例示する。この手順は、基部１１と、基部１１に対して旋回する旋回部１２と、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する多関節アーム２０と、を備えるロボット１０の、基部１１の周囲の作業エリア５に配置されたワークＷの画像を、旋回部１２に設けられたカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、を含む。
　以下、１つの支持部２上において、複数のワークＷに対するピックアンドプレース作業をロボット１０に実行させる手順を例示する。この手順は、ワークＷに対する第１作業を多関節アーム２０が実行している期間中における、他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて、第２動作指令を更に生成することと、第１作業を多関節アーム２０が実行した後に、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御することとを含む。
　図４に示すように、コントローラ１００は、まずステップＳ０１，Ｓ０２，Ｓ０３，Ｓ０４，Ｓ０５，Ｓ０６，Ｓ０７，Ｓ０８，Ｓ０９，Ｓ１１を実行する。ステップＳ０１では、旋回制御部１１１が、支持部２上の複数のワークＷにカメラ４０が向くように旋回部１２を旋回させ、複数のワークＷにカメラ４０が向いた状態で旋回部１２を停止させる。以後、旋回制御部１１１は、複数のワークＷに対するピックアンドプレース作業を多関節アーム２０が完了させるまで、旋回部１２を停止状態に維持する。
　ステップＳ０２では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ０３では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、いずれかのワークＷ（以下、「ターゲットワーク」という。）のカメラ座標系における位置及び姿勢を算出する。ステップＳ０４では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。
　ステップＳ０５では、指令生成部１１３が、ターゲットワークの撮像画像に基づいて、ターゲットワークを保持するための動作指令を算出する（以下、「保持指令」という。）。例えば指令生成部１１３は、画像処理部１１２が算出したターゲットワークの位置及び姿勢に基づいて、ターゲットワークを保持するためのツール３０の目標位置及び姿勢（上記保持位置及び姿勢）を算出する。ステップＳ０６では、アーム制御部１１４が、保持指令に基づいて、保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。
　ステップＳ０７では、画像処理部１１２が、ターゲットワークの撮像画像をカメラ４０から取得する。ステップＳ０８では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ０９では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。
　ステップＳ１１では、ターゲットワークの位置及び姿勢が正常範囲であるかを作業監視部１１５が確認する。例えば作業監視部１１５は、ステップＳ０４において画像処理部１１２が算出したターゲットワークの位置及び姿勢と、ステップＳ０９において画像処理部１１２が算出したターゲットワークの位置及び姿勢との差異が許容範囲内であるかを確認する。
　ステップＳ１１においてターゲットワークの位置及び姿勢が正常範囲でないと判定した場合、コントローラ１００は処理をステップＳ０３に戻す。これにより、指令生成部１１３が、ターゲットワークの撮像画像に基づき保持指令を修正する。アーム制御部１１４は、修正後の保持指令に基づいて修正後の保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。
　ステップＳ１１においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８を実行する。ステップＳ１２では、アーム制御部１１４が、ツール３０にワークＷを保持させる。
　ステップＳ１３では、指令生成部１１３が、ターゲットワークを保持したツール３０を、所定の持ち上げ位置及び姿勢まで変位させるように動作指令（以下、「持ち上げ指令」という。）を算出する。ステップＳ１４では、アーム制御部１１４が、持ち上げ指令に基づいて、持ち上げ位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。
　ステップＳ１５では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ１６では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ１７では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。
　ステップＳ１８では、ターゲットワークの位置及び姿勢が正常範囲であるかを作業監視部１１５が確認する。例えば作業監視部１１５は、ツール３０に対するターゲットワークの相対的な位置及び姿勢が正常範囲であるかを確認する。
　ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲でないと判定した場合、コントローラ１００はステップＳ１９を実行する。ステップＳ１９では、アーム制御部１１４が、ツール３０によるワークＷの保持を解除させる。アーム制御部１１４は、ツール３０を持ち上げ位置及び姿勢から保持位置及び姿勢に戻すように多関節アーム２０を制御した後に、ツール３０によるワークＷの保持を解除させてもよい。その後、コントローラ１００は処理をステップＳ０３に戻す。これにより、指令生成部１１３が、ターゲットワークの撮像画像に基づき保持指令を修正する。アーム制御部１１４は、修正後の保持指令に基づいて修正後の保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。
　ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、図５に示すようにステップＳ２１，Ｓ２２，Ｓ２３を実行する。ステップＳ２１では、指令生成部１１３が、ターゲットワークを搬送目標位置及び姿勢に配置するための目標位置及び姿勢（以下、「解放目標位置及び姿勢」という。）までツール３０を変位させるように動作指令（以下、「搬送指令」という。）を算出する。ステップＳ２２では、アーム制御部１１４が、搬送指令に基づいて、解放目標位置及び姿勢に向けたツール３０の変位を開始するように多関節アーム２０を制御する。ステップＳ２３では、指令生成部１１３が、複数のワークＷのうち未搬送のワークＷが残っているかを確認する。
　ステップＳ２３において未搬送のワークＷが残っていると判定した場合、コントローラ１００は、ステップＳ２４，Ｓ２５，Ｓ２６，Ｓ２７，Ｓ２８，Ｓ２９を実行する。ステップＳ２４では、画像処理部１１２が、複数のワークＷのうち未搬送のワークＷの撮像画像をカメラ４０から取得する。ステップＳ２５では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、未搬送のワークＷから次のターゲットワーク（第２ワーク）を選択し、次のターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ２６では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系における次のターゲットワークの位置及び姿勢を算出する。
　ステップＳ２７では、指令生成部１１３が、次のターゲットワークの撮像画像に基づいて、次のターゲットワークの保持指令（第２動作指令）を算出する。例えば指令生成部１１３は、画像処理部１１２が算出した次のターゲットワークの位置及び姿勢に基づいて、次のターゲットワークを保持するためのツール３０の目標位置及び姿勢（上記保持位置及び姿勢）を算出する。
　ステップＳ２８では、ツール３０が解放目標位置及び姿勢に到達するのをアーム制御部１１４が待機する。ステップＳ２９では、アーム制御部１１４が、ツール３０によるターゲットワークの保持を解除させる。その後、コントローラ１００は処理をステップＳ０６に戻す。これにより、ステップＳ２７において算出された保持指令（第２動作指令）に基づいて、次のターゲットワークに対するピックアンドプレース作業が開始される。
　ステップＳ２３において未搬送のワークＷが残っていないと判定した場合、コントローラ１００はステップＳ３１，Ｓ３２を実行する。ステップＳ３１では、ツール３０が解放目標位置及び姿勢に到達するのをアーム制御部１１４が待機する。ステップＳ３２では、アーム制御部１１４が、ツール３０によるターゲットワークの保持を解除させる。以上で複数のワークＷに対するピックアンドプレース作業が完了する。
（制御手順の変形例）
　以下、支持部２上においてワークＷに対するピックアップ作業をロボット１０に実行させ、その後旋回部１２を旋回させ、その後ワークＷを所定の搬送目標位置及び姿勢まで搬送してドロップオフする作業をロボット１０に実行させる手順を例示する。この手順は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させることと、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野内に配置するように多関節アーム２０を制御することと、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査することとを含む。この手順において、ワークＷに対するピックアップ作業をロボット１０に実行させる手順については、上述したステップＳ０１～Ｓ１９と同じであるため説明を省略する。
　ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、図６に示すようにステップＳ４１，Ｓ４２，Ｓ４３，Ｓ４４，Ｓ４５，Ｓ４６，Ｓ４７を実行する。ステップＳ４１では、旋回制御部１１１が、ターゲットワークの搬送目標位置にカメラ４０が向くように旋回部１２を旋回させることを開始する。ステップＳ４２では、アーム制御部１１４が、ピックアップ中のターゲットワークをカメラ４０の視野４１内に配置するように多関節アーム２０を制御する。
　ステップＳ４３では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ４４では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ４５では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。
　ステップＳ４６では、保持状態監視部１１６が、ステップＳ４５において算出されたターゲットワークの位置及び姿勢に基づいて、ツール３０によるワークＷの保持状態を検査する。例えば保持状態監視部１１６は、ツール３０に対するワークＷの相対的な位置及び姿勢を算出する。なお、ピックアップの完了時点でのワークＷがカメラ４０の視野４１内に位置し、ツール３０によるワークＷの保持状態の検査用の撮像画像を取得可能であれば、ステップＳ４２を省略可能である。
　ステップＳ４７では、ターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回したかを旋回制御部１１１が確認する。ステップＳ４７においてターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回していないと判定した場合、コントローラ１００は処理をステップＳ４３に戻す。以後、搬送目標位置にカメラ４０が向くまでは、ツール３０によるワークＷの保持状態の検査が繰り返される。
　ステップＳ４７においてターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回したと判定した場合、コントローラ１００は、ステップＳ４８，Ｓ５１，Ｓ５２，Ｓ５３，Ｓ５４，Ｓ５５，Ｓ５６，Ｓ５７を実行する。ステップＳ４８では、旋回制御部１１１が、旋回部１２の旋回を停止させる。以後、旋回制御部１１１は、ターゲットワークを搬送目標位置及び姿勢まで搬送してドロップオフする作業を多関節アーム２０が完了させるまで、旋回部１２を停止状態に維持する。
　ステップＳ５１では、アーム制御部１１４が、ピックアップ中のターゲットワークをカメラ４０の視野４１内から退避させるように多関節アーム２０を制御する。ステップＳ５２では、画像処理部１１２が、搬送目標位置の撮像画像をカメラ４０から取得する。なお、ワークＷがカメラ４０の視野４１内にあっても、搬送目標位置の撮像画像を取得可能であれば、ステップＳ５１を省略可能である。ステップＳ５３では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、カメラ座標系における搬送目標位置及び姿勢を算出する。ステップＳ５４では、画像処理部１１２が、カメラ座標系における搬送目標位置及び姿勢に座標変換を施して、旋回座標系における搬送目標位置及び姿勢を算出する。
　ステップＳ５５では、上記解放目標位置及び姿勢までツール３０を変位させるように上記搬送指令を算出する。ステップＳ５６では、アーム制御部１１４が、搬送指令に基づいて、解放目標位置及び姿勢にツール３０を変位させるように多関節アーム２０を制御する。ステップＳ５７では、アーム制御部１１４が、ツール３０によるワークＷの保持を解除させる。以上でターゲットワークのピックアンドプレース作業が完了する。
〔本実施形態の効果〕
　以上に説明したように、ロボット１０は、基部１１と、基部１１に対して旋回する旋回部１２と、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する多関節アーム２０と、旋回部１２に固定されたカメラ４０と、を備え、多関節アーム２０によるツール３０の可動範囲３１と、カメラ４０の視野４１とが重複している。
　このロボット１０では、カメラ４０が旋回部１２に設けられる。これにより、カメラ４０とロボット１０とが一体化されることによって、システム構成の簡素化が可能となる。また、多関節アーム２０によるツール３０の可動範囲と、カメラ４０の視野範囲とが重複している。これにより、ツール３０と、ツール３０による作業対象物（上記ワークＷ）との両方を含む画像をカメラ４０から取得することができる。このため、カメラ４０の画像をロボット１０の制御に有効活用し易い。従って、このロボット１０は、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効である。
　多関節アーム２０は６以上の自由度を有していてもよい。この場合、ブレのない画像をカメラ４０から取得しながら、ツール３０の位置、姿勢を多関節アーム２０によって自在に調節することができる。
　多関節アーム２０は、旋回部１２に連結され、旋回部１２の旋回中心軸線に交差する軸線５２まわりに揺動する第１アーム２１と、第１アーム２１の先端部に連結され、第１アーム２１に沿った軸線５３まわりに旋回し、軸線５３に交差する軸線５４まわりに揺動する第２アーム２２と、第２アーム２２の先端部に連結され、第２アーム２２に沿った軸線５５まわりに旋回し、軸線５５に交差する軸線５６まわりに揺動する第３アーム２３と、第３アーム２３の先端部に設けられ、ツール３０を保持し、第３アーム２３に沿った軸線５７まわりに旋回するツール保持部２４と、を有していてもよい。この場合、簡素な構成にて多関節アーム２０に６自由度を付与することができる。
　第１アーム２１と、視野４１の中心の光軸４２は、軸線５２に交差する基準面４３に沿っており、第１アーム２１の可動範囲Ａ１は、軸線５２に沿う方向において基準面４３から離れていてもよい。この場合、第１アーム２１の基端部を視野４１の中心から外すことで、多関節アーム２０による死角が形成され難い。
　ロボットシステム１は、ロボット１０と、ワークＷのカメラ４０による撮像画像に基づいて動作指令を生成する指令生成部１１３と、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御するアーム制御部１１４と、を備える。この場合、カメラ４０の画像をロボット１０の制御に有効活用することができる。
　ロボットシステム１は、多関節アーム２０が第１作業を実行している期間中におけるワークＷのカメラ４０による撮像画像に基づいて第１作業におけるイレギュラー状態を検知する作業監視部１１５を更に備えていてもよい。この場合、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。
　指令生成部１１３は、作業監視部１１５がイレギュラー状態を検知した場合に、ワークＷのカメラ４０による撮像画像に基づいて動作指令を修正し、アーム制御部１１４は、修正後の動作指令に基づいて第１作業を多関節アーム２０に継続させてもよい。この場合、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。
　指令生成部１１３は、第１作業を多関節アーム２０が実行している期間中における他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて第２動作指令を更に生成し、アーム制御部１１４は、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御してもよい。この場合、第１作業の実行中に、第２ワークの画像を取得することによって、第１ワーク及び第２ワークに対する作業時間の短縮化を図ることができる。
　ロボットシステム１は、指令生成部１１３が動作指令を生成する前に、カメラ４０がワークＷに向くように旋回部１２を旋回させ、その後、第１作業を多関節アーム２０が完了させるまで旋回部１２を停止させる旋回制御部１１１を更に備えていてもよい。この場合、第１作業中にもブレのない画像をカメラ４０から取得することができる。従って、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。
　第１作業は、ワークＷをピックアップする作業であり、旋回制御部１１１は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させ、アーム制御部１１４は、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野４１内に配置するように多関節アーム２０を制御してもよい。この場合、旋回部１２の旋回が、ピックアップ中のワークＷとカメラ４０との相対的な位置関係に影響を及ぼさないことを利用して、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。
　ロボットシステム１は、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査する保持状態監視部１１６を更に備えていてもよい。この場合、旋回中にカメラ４０から取得した画像を更に有効活用することができる。
　ロボットシステム１は、カメラ４０によるワークＷの撮像画像に基づいて、３次元空間におけるワークＷの位置及び姿勢を算出する画像処理部１１２を更に有し、指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて動作指令を生成してもよい。この場合、カメラ４０からの画像をロボット１０の制御に更に有効活用することができる。
　旋回部１２は基部１１の上に設けられ、カメラ４０は、視野４１の中心の光軸４２が斜め下方に向くように旋回部１２に設けられていてもよい。この場合、カメラ４０がワークＷを斜め上方から斜視するので、ツール３０と、ワークＷとの両方を含む画像を取得し易い。
　ロボットシステム１は、基部１１の周囲においてワークＷを支持する支持部２を更に備え、支持部２の上面２ａは、旋回部１２よりも下に位置していてもよい。この場合、ツール３０と、ワークＷとの両方を含む画像を更に取得し易い。
　以上、実施形態について説明したが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変形が可能である。
　１…ロボットシステム、２…支持部、２ａ…上面、５…作業エリア、１０…ロボット、１１…基部、１２…旋回部、２０…多関節アーム、２１…第１アーム、２２…第２アーム、２３…第３アーム、２４…ツール保持部、３０…ツール、３１…ツール３０の可動範囲、４０…カメラ、４１…視野、４２…光軸、４３…基準面、５１…軸線（旋回部１２の旋回中心軸線）、５２…軸線（第１軸線）、５３…軸線（第２軸線）、５４…軸線（第３軸線）、５５…軸線（第４軸線）、５６…軸線（第５軸線）、５７…軸線（第６軸線）、１１１…旋回制御部、１１２…画像処理部、１１３…指令生成部、１１４…アーム制御部、１１５…作業監視部、１１６…保持状態監視部、Ａ１…第１アーム２１の可動範囲、Ｗ…ワーク。

Claims (15)

  1. 　基部と、
    　前記基部に対して旋回する旋回部と、
    　前記旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、
    　前記旋回部に固定されたカメラと、を備え、
    　前記多関節アームによる前記ツールの可動範囲と、前記カメラの視野とが重複している、ロボット。
  2. 　前記多関節アームは６以上の自由度を有する、請求項１記載のロボット。
  3. 　前記多関節アームは、
    　前記旋回部に連結され、前記旋回部の旋回中心軸線に交差する第１軸線まわりに揺動する第１アームと、
    　前記第１アームの先端部に連結され、前記第１アームに沿った第２軸線まわりに旋回し、前記第２軸線に交差する第３軸線まわりに揺動する第２アームと、
    　前記第２アームの先端部に連結され、前記第２アームに沿った第４軸線まわりに旋回し、前記第４軸線に交差する第５軸線まわりに揺動する第３アームと、
    　前記第３アームの先端部に設けられ、前記ツールを保持し、前記第３アームに沿った第６軸線まわりに旋回するツール保持部と、を有する、請求項２記載のロボット。
  4. 　前記第１アームと、前記視野の中心の光軸は、前記第１軸線に交差する基準面に沿っており、前記第１アームの可動範囲は、前記第１軸線に沿う方向において前記基準面から離れている、請求項３記載のロボット。
  5. 　請求項１～４のいずれか一項記載のロボットと、
    　ワークの前記カメラによる撮像画像に基づいて動作指令を生成する指令生成部と、
    　前記動作指令に基づいて、前記ツールによる第１作業を前記ワークに対し実行するように前記多関節アームを制御するアーム制御部と、を備えるロボットシステム。
  6. 　前記多関節アームが前記第１作業を実行している期間中における前記ワークの前記カメラによる撮像画像に基づいて前記第１作業におけるイレギュラー状態を検知する作業監視部を更に備える、請求項５記載のロボットシステム。
  7. 　前記指令生成部は、前記作業監視部がイレギュラー状態を検知した場合に、前記ワークの前記カメラによる撮像画像に基づいて前記動作指令を修正し、
    　前記アーム制御部は、修正後の前記動作指令に基づいて前記第１作業を前記多関節アームに継続させる、請求項６記載のロボットシステム。
  8. 　前記指令生成部は、前記第１作業を前記多関節アームが実行している期間中における第２ワークの前記カメラによる撮像画像に基づいて第２動作指令を更に生成し、
    　前記アーム制御部は、前記第２動作指令に基づいて、前記ツールによる第２作業を前記第２ワークに対し実行するように前記多関節アームを制御する、請求項６又は７記載のロボットシステム。
  9. 　前記指令生成部が前記動作指令を生成する前に、前記カメラが前記ワークに向くように前記旋回部を旋回させ、その後、前記第１作業を前記多関節アームが完了させるまで前記旋回部を停止させる旋回制御部を更に備える、請求項５～８のいずれか一項記載のロボットシステム。
  10. 　前記第１作業は、前記ワークをピックアップする作業であり、
    　前記旋回制御部は、前記第１作業により前記多関節アームが前記ワークをピックアップした状態で前記旋回部を旋回させ、
    　前記アーム制御部は、前記旋回制御部が前記旋回部を旋回させている期間の少なくとも一部において、ピックアップ中の前記ワークを前記カメラの視野内に配置するように前記多関節アームを制御する、請求項９記載のロボットシステム。
  11. 　前記旋回制御部が前記旋回部を旋回させている期間中における前記ピックアップ中のワークの前記カメラによる撮像画像に基づいて、前記ツールによる前記ワークの保持状態を検査する保持状態監視部を更に備える、請求項１０記載のロボットシステム。
  12. 　前記カメラによる前記ワークの撮像画像に基づいて、３次元空間における前記ワークの位置及び姿勢を算出する画像処理部を更に有し、
    　前記指令生成部は、前記画像処理部が算出した前記ワークの位置及び姿勢に基づいて前記動作指令を生成する、請求項５～１１のいずれか一項記載のロボットシステム。
  13. 　前記旋回部は前記基部の上に設けられ、
    　前記カメラは、視野の中心の光軸が斜め下方に向くように前記旋回部に設けられている、請求項５～１２のいずれか一項記載のロボットシステム。
  14. 　前記基部の周囲において前記ワークを支持する支持部を更に備え、
    　前記支持部の上面は、前記旋回部よりも下に位置している、請求項１３記載のロボットシステム。
  15. 　基部と、前記基部に対して旋回する旋回部と、前記旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、を備えるロボットの、前記基部の周囲の作業エリアに配置されたワークの画像を、前記旋回部に設けられたカメラから取得し、当該画像に基づいて動作指令を生成することと、
    　前記動作指令に基づいて、前記ツールによる第１作業を前記ワークに対し実行するように前記多関節アームを制御することと、を含む制御方法。
PCT/JP2020/042678 2019-12-17 2020-11-16 ロボット、ロボットシステム及び制御方法 WO2021124760A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080079344.XA CN114728420A (zh) 2019-12-17 2020-11-16 机器人、机器人系统以及控制方法
JP2021565378A JP7399981B2 (ja) 2019-12-17 2020-11-16 ロボット、ロボットシステム及び制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-227488 2019-12-17
JP2019227488 2019-12-17

Publications (1)

Publication Number Publication Date
WO2021124760A1 true WO2021124760A1 (ja) 2021-06-24

Family

ID=76477231

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/042678 WO2021124760A1 (ja) 2019-12-17 2020-11-16 ロボット、ロボットシステム及び制御方法

Country Status (3)

Country Link
JP (1) JP7399981B2 (ja)
CN (1) CN114728420A (ja)
WO (1) WO2021124760A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029245A1 (ja) * 2022-08-02 2024-02-08 川崎重工業株式会社 ロボットシステム、ロボットおよびロボットシステムの制御方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06218684A (ja) * 1993-01-22 1994-08-09 Mitsui Eng & Shipbuild Co Ltd 操作型マニピュレータの教示装置および操作型マニピュレータによる自動作業方法
JPH09272081A (ja) * 1996-04-05 1997-10-21 Nippon Steel Corp 遠隔操作入力装置及び遠隔操作入力方法
JP2012228761A (ja) * 2011-04-27 2012-11-22 Yaskawa Electric Corp ロボットシステム及び被作業物の製造方法
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法
US9688489B1 (en) * 2015-03-30 2017-06-27 X Development Llc Modular dock for facilities integration
JP2018171688A (ja) * 2017-03-31 2018-11-08 平田機工株式会社 移載方法および移載システム
JP2018187749A (ja) * 2017-05-11 2018-11-29 セイコーエプソン株式会社 ロボット
JP2019126866A (ja) * 2018-01-23 2019-08-01 トヨタ自動車株式会社 動作軌道生成装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104842362B (zh) * 2015-06-18 2017-04-05 厦门理工学院 一种机器人抓取物料包的方法和机器人抓取装置
CN206925844U (zh) * 2017-03-29 2018-01-26 天津农学院 机器人装置
JP7091777B2 (ja) * 2018-03-30 2022-06-28 株式会社安川電機 ロボットシステム及び制御方法
CN110170978A (zh) * 2019-03-08 2019-08-27 华东师范大学 一种全向机械臂危险勘测机器人

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06218684A (ja) * 1993-01-22 1994-08-09 Mitsui Eng & Shipbuild Co Ltd 操作型マニピュレータの教示装置および操作型マニピュレータによる自動作業方法
JPH09272081A (ja) * 1996-04-05 1997-10-21 Nippon Steel Corp 遠隔操作入力装置及び遠隔操作入力方法
JP2012228761A (ja) * 2011-04-27 2012-11-22 Yaskawa Electric Corp ロボットシステム及び被作業物の製造方法
JP2013078825A (ja) * 2011-10-04 2013-05-02 Yaskawa Electric Corp ロボット装置、ロボットシステムおよび被加工物の製造方法
US9688489B1 (en) * 2015-03-30 2017-06-27 X Development Llc Modular dock for facilities integration
JP2018171688A (ja) * 2017-03-31 2018-11-08 平田機工株式会社 移載方法および移載システム
JP2018187749A (ja) * 2017-05-11 2018-11-29 セイコーエプソン株式会社 ロボット
JP2019126866A (ja) * 2018-01-23 2019-08-01 トヨタ自動車株式会社 動作軌道生成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029245A1 (ja) * 2022-08-02 2024-02-08 川崎重工業株式会社 ロボットシステム、ロボットおよびロボットシステムの制御方法

Also Published As

Publication number Publication date
JPWO2021124760A1 (ja) 2021-06-24
JP7399981B2 (ja) 2023-12-18
CN114728420A (zh) 2022-07-08

Similar Documents

Publication Publication Date Title
US7657346B2 (en) Object picking system
JP6823008B2 (ja) バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
JP6228120B2 (ja) 多関節型ロボットを備えた作業機および電気部品装着機
JP5849403B2 (ja) ロボットコントローラー、ロボット、及び、ロボットシステム
JP5630208B2 (ja) 形状計測装置、ロボットシステムおよび形状計測方法
US20140277694A1 (en) Robot system and method for producing to-be-processed material
US20130085604A1 (en) Robot apparatus, robot system, and method for producing a to-be-processed material
US20200149868A1 (en) Image capturing apparatus and machine tool
JP2013086184A (ja) ワーク取出システム、ロボット装置および被加工物の製造方法
CN111687819A (zh) 把持包括连接器的工件的作业工具以及具备作业工具的机器人装置
JP2011194498A (ja) 視覚検査システム
WO2021124760A1 (ja) ロボット、ロボットシステム及び制御方法
US10328582B2 (en) Process system including robot that transfers workpiece to process machine
JP6898374B2 (ja) ロボット装置の動作を調整する動作調整装置およびロボット装置の動作を調整する動作調整方法
JP7358747B2 (ja) ロボットシステム
JP2021133470A (ja) ロボットの制御方法およびロボットシステム
US11077529B2 (en) Wheel alignment adjustment system
WO2023032400A1 (ja) 自動搬送装置、及びシステム
JP7057841B2 (ja) ロボット制御システム及びロボット制御方法
US11759955B2 (en) Calibration method
JP2022126768A (ja) ロボット搭載移動装置
JPS62226308A (ja) 視覚センサを有するロボツトの制御方式
TW202235234A (zh) 控制裝置以及機器人系統
JP6915085B2 (ja) 作業機および把持位置探索方法
US20220258353A1 (en) Calibration Method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20902809

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021565378

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20902809

Country of ref document: EP

Kind code of ref document: A1