WO2020261881A1 - エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 - Google Patents

エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 Download PDF

Info

Publication number
WO2020261881A1
WO2020261881A1 PCT/JP2020/021555 JP2020021555W WO2020261881A1 WO 2020261881 A1 WO2020261881 A1 WO 2020261881A1 JP 2020021555 W JP2020021555 W JP 2020021555W WO 2020261881 A1 WO2020261881 A1 WO 2020261881A1
Authority
WO
WIPO (PCT)
Prior art keywords
end effector
work
control system
feature point
control
Prior art date
Application number
PCT/JP2020/021555
Other languages
English (en)
French (fr)
Inventor
柚香 磯邉
吉成 松山
知之 八代
江澤　弘造
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2021527533A priority Critical patent/JP7186349B2/ja
Priority to CN202080045054.3A priority patent/CN114025928A/zh
Publication of WO2020261881A1 publication Critical patent/WO2020261881A1/ja
Priority to US17/560,614 priority patent/US20220111533A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0206—Gripping heads and other end effectors servo-actuated comprising articulated grippers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B25J15/0253—Gripping heads and other end effectors servo-actuated comprising parallel grippers
    • B25J15/0266—Gripping heads and other end effectors servo-actuated comprising parallel grippers actuated by articulated links
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
    • B25J15/0483—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof with head identification means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/08—Gripping heads and other end effectors having finger members
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • the present disclosure relates to an end effector control system and an end effector control method.
  • Patent Document 1 discloses a robot control device that controls a robot device including a robot hand that grips an object to be gripped.
  • This robot control device is provided by a first acquisition means for acquiring visual information of the gripping object, a second acquisition means for acquiring force sensory information acting on the gripping object by the robot hand, and a first acquisition means.
  • a calculation means for calculating the position and orientation of the gripping object from the acquired visual information, and a derivation means for deriving the gripping state variability of the gripping object based on the force sense information acquired by the second acquisition means.
  • a control means for controlling at least one processing execution of the first acquisition means and the calculation means based on the gripping state variability of the gripping object derived by the derivation means.
  • the present disclosure is devised in view of the above-mentioned conventional situation, and an object of the present disclosure is to provide an end effector control system and an end effector control method capable of controlling an end effector while simplifying a robot hand.
  • the present disclosure is an end effector control system that controls a plurality of end effectors that can be connected to a robot arm, and is an image acquisition unit that acquires an image of the end effector connected to the robot arm among the plurality of end effectors.
  • An identification information acquisition unit that acquires identification information for identifying the end effector, a control unit that controls the end effector, and a memory having control information including target positions of each of the plurality of end effectors.
  • the control unit acquires the identification information from the identification information acquisition unit, determines the target position from the identification information and the control information, and determines the target position based on the image acquired by the image acquisition unit.
  • an end effector control system that controls the end effector so as to match the position.
  • the present disclosure is a method of controlling a plurality of end effectors connectable to a robot arm by a control system including an image acquisition unit, an identification information acquisition unit, and a memory, and each of the plurality of end effectors.
  • the identification information for identifying the robot is acquired from the identification information acquisition unit
  • the target position is determined from the identification information and the control information which is the target position of each of the plurality of end effectors possessed by the memory
  • the image acquisition unit determines the target position.
  • a method for controlling an end effector which controls the end effector so as to match the target position based on the acquired image.
  • the present disclosure is a control system for an end effector connected to a robot arm, which includes a memory, a processor, and a camera, and the camera is a work target of the end effector and the end effector.
  • the memory is arranged at a position where the work can be imaged, and the memory has feature point information indicating a feature point at a first support target position when the end effector supports the work.
  • the processor identifies the feature point at the current position of the end effector and the position of the work based on the image captured by the camera, and the feature point at the current position of the end effector is the feature point information.
  • an end effector control system that controls the end effector so as to coincide with the feature point indicated by.
  • FIG. 1 Block diagram showing a hardware configuration example of the control system 100 Flow chart showing an initial setting example of the control system 100 The figure which shows the feature point information table T stored in the memory 102 A flowchart showing an example in which the control system 100 according to the first embodiment controls the support (grasping) of the work W by the end effector 2.
  • FIG. 9 shows the control example of the end effector 2 by the control system 100 which concerns on Embodiment 2, (a) plan view and conceptual diagram at the time of operation start, (b) plan view and conceptual view at the time of completion of gripping, ( c) Plan view and conceptual view at the time of completion of re-grasping 9 is a diagram showing an example of support confirmation in step St23 of FIG. 9, a flowchart showing (a) a confirmation example based on the amount of movement, and (b) a plan view showing a confirmation example based on deformation of the work W.
  • Robot devices used in factories and the like can perform various operations by attaching end effectors to robot arms.
  • a robot hand is used as an end effector to pick parts flowing on a factory production line.
  • the robot arm and the end effector are controlled by a control device (controller) connected to the robot arm.
  • the above control has been performed using feedback from various sensors such as an encoder and a force sensor.
  • various sensors such as an encoder and a force sensor.
  • the gripping state variability of the gripping object (work) is derived by using the force sensor.
  • the robot arm and the end effector are provided with a plurality of sensors
  • the information obtained as feedback from the plurality of sensors also becomes a plurality of systems, and information processing becomes complicated.
  • the control using artificial intelligence is performed, the data for causing the artificial intelligence to perform machine learning becomes multimodal, and it is difficult to learn.
  • the shape of the end effector is recognized by the camera without using a force sensor or the like, and control is performed based on the image captured by the camera.
  • the calibration is performed only on the camera, which facilitates the calibration of the entire system. That is, it is possible to make a simple system configuration without a sensor.
  • the feedback information from the end effector can be aggregated in the image captured by the camera. That is, multimodal information processing can be avoided. It is also beneficial to reduce the channels of information used when artificial intelligence is made to perform machine learning.
  • a robot hand having two fingers (see FIG. 2) is used as the end effector
  • the end effector can exhibit various shapes.
  • the work to be worked is gripped by two (or five, etc.) fingers, sucked and supported by an adsorbent, or the bent finger is inserted into the hook provided in the work and hooked. be able to.
  • the end effector supports the work to do some work.
  • the support of the work by the end effector as shown in FIG. 2 having two fingers may be referred to as “grasping”.
  • FIG. 1 is a diagram showing a configuration example of a robot arm 1 and an end effector 2, which is (a) a perspective view, (b) a side view, and (c) a plan view.
  • 2A and 2B are views showing the end effector 2 shown in FIG. 1, which are (a) a plan view and (b) a perspective view.
  • an example of a robot device controlled by the control system of the present disclosure will be described based on these drawings.
  • the robot device controlled by the control system of the present disclosure includes a robot arm 1 and an end effector 2.
  • the robot arm 1 is arranged on the base 3.
  • the box-shaped controller 4 is connected to the end effector 2 via the robot arm 1.
  • the end effector 2 is equipped with a finger F (see Fig. 2).
  • the finger F is composed of a first finger F1 and a second finger F2.
  • the number of fingers is not limited to two.
  • the end effector 2 includes a camera CAM. This camera CAM will be described later.
  • the first finger F1 has four links. That is, the first link L1, the second link L2, the third link L3, the fourth link L4, and the fifth link L5 are in order from the tip of the first finger F1.
  • a joint axis is provided between the links. That is, the first joint axis J1 connects the first link L1 and the second link L2, the second joint axis J2 connects the second link L2 and the third link L3, and the third joint axis J3 is the third.
  • the link L3 and the fourth link L4 are connected, and the fourth joint axis J4 connects the fourth link L4 and the fifth link L5.
  • the second finger F2 also has the same configuration as the first finger F1.
  • FIGS. 1 and 2 illustrate a work W which is a work object.
  • the work W having a rectangular parallelepiped shape actually has various sizes, shapes, hardnesses, and weights.
  • the two grip portions G included in the first finger F1 and the second finger F2 sandwich the work W, so that the end effector 2, which is a robot hand in this example, supports (holds) the work W.
  • FIG. 3 is a diagram showing an imaging range of the camera CAM connected to the end effector 2.
  • the conical region AOF in the figure indicates the angle of view (imaging range) of the camera CAM.
  • the control system of the present disclosure controls the end effector 2 based on the image captured by the camera CAM without using various sensors such as a force sensor.
  • the camera CAM is arranged near the connection portion between the end effector 2 and the robot arm 1. Further, the camera CAM is arranged at a position where the end effector 2 and the work W which is the work target of the end effector 2 can be imaged. That is, the shape of the end effector 2 and the shape of the work W, which is the work target for supporting (grasping), are simultaneously reflected in the image captured by the camera CAM.
  • the camera CAM is arranged near the connection portion between the end effector 2 and the robot arm 1, but the camera CAM may be arranged in a place other than this.
  • FIG. 4 is a block diagram showing a hardware configuration example of the control system 100 according to the first embodiment.
  • the control system 100 controls the operations of the robot arm 1 and the end effector 2.
  • the control system 100 in this example has a configuration including a processor 101, a memory 102, an input device 103, an image acquisition unit 104, an end effector connection unit 105, a communication device 106, and an input / output interface 107.
  • the memory 102, the input device 103, the image acquisition unit 104, the end effector connection unit 105, the communication device 106, and the input / output interface 107 are each connected to the processor 101 by an internal bus or the like so that data or information can be input and output.
  • the processor 101 is configured by using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), a DSP (Digital Signal Processor), or an FPGA (Field Programmable Gate Array).
  • the processor 101 functions as a control unit of the control system 100, and controls processing for overall control of the operation of each unit of the control system 100, data or information input / output processing with and from each unit of the control system 100, and data. Calculation processing and storage processing of data or information.
  • the processor 101 also functions as a control unit that controls the end effector 2.
  • the memory 102 may include an HDD (Hard Disk Drive), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and various programs (OS (Operation System), application software, etc.) executed by the processor 101). And various data are stored. Further, the memory 102 may have control information which is a target position for each end effector. This control information may be, for example, feature point information described later.
  • the input device 103 may include a keyboard, a mouse, etc., has a function as a human interface with the user, and inputs the user's operation. In other words, the input device 103 is used for input or instruction in various processes executed by the control system 100.
  • the input device 103 may be a programming pendant connected to the controller 4.
  • the image acquisition unit 104 can be connected to the camera CAM via wire or wireless, and acquires an image captured by the camera CAM.
  • the control system 100 can appropriately perform image processing on the image acquired by the image acquisition unit 104.
  • the main body of this image processing may be the processor 101.
  • the control system 100 may further include an image processing unit (not shown), and the image processing unit may be connected to the control system 100. Image processing can be performed by this image processing unit under the control of the processor 101.
  • the end effector connection portion 105 is a component that secures a connection with the end effector 2 (see also FIG. 1), and the control system 100 and the end effector 2 (and the robot arm 1) are provided via the end effector connection portion 105. And are connected.
  • This connection may be a wired connection using a connector, a cable, or the like, but may be a wireless connection.
  • the end effector connection unit 105 acquires identification information for identifying the end effector 2 from the end effector 2. That is, the end effector connection unit 105 functions as an identification information acquisition unit. The identification information may be further acquired by the processor 101 from the end effector connection unit 105. With this identification information, it is possible to identify the type of the connected end effector 2.
  • the communication device 106 is a component for communicating with the outside via a network. Note that this communication may be wired communication or wireless communication.
  • the input / output interface 107 has a function as an interface for inputting / outputting data or information between the control system 100.
  • control system 100 is an example, and it is not always necessary to include all the above components.
  • control system 100 may further include additional components.
  • the box-shaped control system 100 (controller 4) may have wheels, and the robot arm 1 and the end effector 2 may be mounted on the control system 100 to run on its own.
  • FIG. 5 is a flowchart showing an example of initial setting of the control system 100. The initial setting is performed before the robot arm 1 and the end effector 2 are allowed to perform a predetermined operation.
  • the robot device performs various operations by connecting various end effectors to the robot arm.
  • the shape and function of the end effector are various. Therefore, an appropriate end effector 2 is selected and connected to the robot arm 1 according to the work to be performed on the work (St1).
  • the feature point information corresponding to the connected end effector 2 is read as control information from the memory 102 of the control system 100 into a work memory or the like of the control system 100 (not shown) (St2).
  • This feature point information may be information in the feature point information table T described later.
  • the feature point information table T may be stored in the memory 102 of the control system 100.
  • the feature point information corresponding to the end effector 2 included in the feature point information table T is extracted from the memory 102 and read into the work memory or the like of the control system 100.
  • the feature point information table T has, for example, the following data for each type of end effector (end effectors A to C).
  • Data item 1 Feature points at the target position of the end effector (feature point information)
  • Data item 2 Available workpiece dimensions
  • Data item 3 Compatible workpiece weight (target position of end effector)
  • the end effector performs various operations such as supporting (grasping, etc.) the work and releasing the work. Therefore, there is a target position according to the movement, and the end effector is moved (or deformed) to the target position. For example, in order for the end effector to support the work, the end effector may be moved (or deformed) to the support target position of the end effector. In order for the end effector to release (release) the work, the end effector may be moved (or deformed) to the release target position of the end effector.
  • the control system of the present disclosure controls the end effector based on the image captured by the camera CAM. To that end, one or more feature points on the end effector are identified. In FIG. 6, the feature points are represented by x marks. This feature point may be determined by feature point recognition in a general image recognition technique, or a marker (for example, a red lamp or the like) may be provided on the end effector and this marker may be used as the feature point.
  • a marker for example, a red lamp or the like
  • the place where the feature points are arranged is on the joint axis of the end effector. This is because if the joint axis can be positioned at a predetermined target position when supporting (grasping) the work, appropriate gripping can be performed.
  • the feature points may be arranged on the link of the end effector (for example, the tip of the link).
  • the feature points may be arranged in different places for each type of end effector (end effectors A to C).
  • the end effector connection portion 105 acquires the identification information for identifying the end effector as described above, and the processor 101 ends the identification information. Obtained from the effector connection unit 105, the type (A to C) of the connected end effector is determined.
  • the feature point information table T has the position information (feature point information) of the feature points as the data item 1.
  • the end effector does not always perform only a single operation.
  • the support method may be changed according to the work. For example, for a work having a large size, it is preferable to grip it with the tip of a finger, and for a work having a small size, it is preferable to grip it by winding it with a finger. Therefore, the feature point information table T may have feature point information separately according to the support method by the end effector (grasping with the tip, gripping so as to be involved, etc.).
  • step St2 the feature point information corresponding to the end effector A is read into the control system 100 as control information.
  • the feature point information corresponding to each of the plurality of support methods by the end effector A may be collectively read into the control system 100.
  • the shape and weight of the work are input to the control system 100 by the input device 103 (St3).
  • the control system 100 itself may estimate the shape of the work or the like based on the image or the like captured by the camera CAM.
  • This estimation process may be performed using a general image recognition technique.
  • a measuring device such as a scale may be separately connected to the control system 100, and the control system 100 may acquire the measured weight.
  • control system 100 determines the support method by the end effector A (grasping with the tip, grasping so as to be rolled in, etc.) in consideration of the shape and weight of the work (St4).
  • the initial setting of the control system 100 according to the first embodiment is completed.
  • the control system 100 has already determined the support method by the connected end effector (grasping with the tip, grasping so as to entangle, etc.), and also retains the feature point information according to the supporting method ( St2). That is, the target position of the end effector according to the support method for the connected end effector is in a state determined by the control system 100 (processor 101).
  • FIG. 7 is a flowchart showing an example in which the control system 100 according to the first embodiment controls the support (grasping) of the work W by the end effector 2.
  • FIG. 8 is a diagram showing a control example of the end effector 2 by the control system 100 according to the first embodiment, (a) a plan view at the start of operation, (b) a plan view at the time of completion of gripping, and (c). It is a conceptual diagram which shows the drive control of an end effector 2 based on a feature point. The description will be made on the premise that the work W is moved from one place to another.
  • the prior art may be used for moving the robot arm 1 to move the end effector 2 to a position where the work W can be supported (grasped). Therefore, the state of FIG. 8A in which the end effector 2 has been moved to a position where the work W can be supported (grasped) will be described as an initial state.
  • the camera CAM captures the image.
  • the image acquisition unit 104 of the control system 100 acquires this image.
  • the control system 100 recognizes the position of the work W to be supported (grasped) based on the image captured by the camera CAM (St11). This position recognition may be performed based on the conventional image processing technique.
  • the end effector is controlled so as to match the target position based on the image acquired by the image acquisition unit 104. More specifically, the end effector is controlled so that the feature point at the current position of the end effector 2 coincides with the feature point indicated by the feature point information (feature point at the target position) (St12).
  • the processing performed in this step St12 will be described in more detail.
  • the camera CAM is performing imaging.
  • the camera CAM is arranged at a position where the end effector 2 and the work W, which is the work target of the end effector 2, can be imaged (see FIGS. 1 and 3). That is, both the end effector 2 and the work W are reflected in the image captured by the camera CAM.
  • the control system 100 can identify the feature points at the current position of the end effector 2 based on the captured image.
  • the feature points may be specified by feature point recognition in a general image recognition technique, or a marker (for example, a red lamp or the like) may be provided on the end effector 2 and the marker may be used as the feature point.
  • the feature points at the current position of the end effector 2 are plotted as "feature point initial positions" in FIG. 8 (c).
  • the control system 100 has already provided the feature point information of the end effector 2 connected to the robot arm 1 according to the support method. keeping.
  • the positions of the feature points shown in the feature point information are plotted as "feature point gripping positions" in FIG. 8 (c).
  • step St12 the control system 100 has already specified both the feature point at the current position of the end effector 2 and the feature point at the target position of the end effector. Then, in step St12, the control system 100 determines the end effector so that the feature point (feature point initial position) at the current position of the end effector 2 coincides with the feature point (feature point gripping position) indicated by the feature point information. 2 is controlled. This control is illustrated in FIG. 8C. By controlling the end effector 2 so that the feature point at the initial position coincides with the feature point at the gripping position, the work W Gripping is complete (see (b) in FIG. 8). Since the positions of the feature points of the end effector 2 before and after the movement have already been specified, the above control by the control system 100 can be performed based on the inverse kinematics calculation for the end effector 2.
  • step St14 may be carried out by the same process as step St12. That is, the feature point information table T has feature point information about the release of the work, and the control system 100 uses this feature point information to indicate the feature points at the current position of the end effector 2 by the feature point information. The end effector 2 is controlled so as to match the feature point.
  • the release of the work W in step St14 does not necessarily have to be performed based on the feature point information.
  • the initial positions of the fingers and the joint axes of the end effector 2 may be predetermined, and the end effector 2 may be controlled so as to simply return to the initial positions.
  • the second embodiment assumes, for example, a case where prior information about the work W is insufficient, or a case where the work W is made of a soft material.
  • the prior information about the work W is insufficient, it is difficult to accurately identify the target position of the end effector 2 in advance.
  • the work W is made of a soft material, the work W may be deformed when the work W is gripped by a robot hand. Taking this deformation into consideration, it is difficult to control the end effector 2 so that the end effector 2 appropriately supports the work W.
  • control system 100 can control the work W so that the end effector 2 can appropriately support the work W even in the above case.
  • FIG. 9 is a flowchart showing an example in which the control system 100 according to the second embodiment controls the support (grasping) of the work W by the end effector 2.
  • FIG. 10 is a diagram showing a control example of the end effector 2 by the control system 100 according to the second embodiment, (a) a plan view and a conceptual view at the start of operation, and (b) a plan view at the time of completion of gripping. The figure and the conceptual diagram, (c) the plan view and the conceptual diagram at the time of completion of re-grasping.
  • a conventional technique may be used as a technique for moving the robot arm 1 to move the end effector 2 to a position where the work W can be supported (grasped). Therefore, the state of FIG. 10A in which the end effector 2 has been moved to a position where the work W can be supported (grasped) will be described as an initial state.
  • the camera CAM captures the image.
  • the image acquisition unit 104 of the control system 100 acquires this image.
  • the control system 100 recognizes the position of the work W to be supported (grasped) based on the image captured by the camera CAM (St21). This position recognition may be performed based on the conventional image processing technique.
  • the position of the end effector 2 at this time and the position of the feature point on the end effector 2 are shown in FIG. 10A.
  • the end effector is controlled so as to match the target position based on the image acquired by the image acquisition unit 104. More specifically, the end effector 2 is controlled so that the feature point at the current position of the end effector coincides with the feature point indicated by the feature point information (feature point at the target position) (St22). This process is the same as the above-mentioned step St12 according to the first embodiment.
  • step St22 both the feature point at the current position of the end effector 2 (according to the captured image of the camera CAM) and the feature point at the target position (extracted from the feature point information table T in the memory 102) are extracted. , The control system 100 has been identified. Then, in step St22, the control system 100 controls the end effector 2 so that the feature point at the current position of the end effector coincides with the feature point indicated by the feature point information.
  • FIG. 10 (b) The position of the end effector 2 after the processing of step St22 and the position of the feature point on the end effector 2 are shown in FIG. 10 (b).
  • the processor 101 confirms whether or not the end effector 2 supports the work W (St23).
  • a specific example of this confirmation will be described later based on FIG.
  • the process proceeds to step St25 and step St26 in which the gripped work W is moved and released. That is, it is as follows.
  • the control system 100 controls the robot arm 1 to move the supported (grasped) work W from one point to another (St25). Subsequently, the control system 100 controls the drive unit of the end effector 2 so that the end effector 2 becomes the target position for release (St26). By this step St26, the end effector 2 releases (releases) the work.
  • step St26 may be carried out by the same process as step St22. That is, the feature point information table T has feature point information about the release of the work, and the control system 100 uses this feature point information to indicate the feature points at the current position of the end effector 2 by the feature point information. The drive unit of the end effector 2 is controlled so as to match the feature point.
  • the release of the work W in step St26 does not necessarily have to be performed based on the feature point information.
  • the initial positions of the fingers and the joint axes of the end effector 2 may be predetermined, and the end effector 2 may be controlled so as to simply return to the initial positions.
  • step St23 the case where the end effector 2 does not support the work W (St23, No) in the above-mentioned step St23 will be described. If there is insufficient prior information about the work W, or if the work W is made of a soft material, the end effector 2 that should have moved correctly in the preceding step St22 actually supports the work W ( It may not be possible to grasp). In such a case, the process transitions to step St24 for re-supporting (re-grasping) the work.
  • step St24 the target position is newly determined from the identification information and the control information, and the end effector is controlled so as to match the new target position based on the image acquired by the image acquisition unit 104. More specifically, based on the image captured by the camera CAM, the feature point at the current position of the end effector 2 coincides with the feature point at the new support target position of the end effector 2 based on the position of the work W. , Controls the end effector 2. That is, since the work W could not be supported well at the previous (first) support target position of the end effector 2, the end effector 2 was moved (deformed) to a new (second) support target position different from this. ), And try to re-support (re-grip).
  • the feature points at the new support target position may be separately stored as feature point information in the feature point information table T described above, and may be specified using this information. Further, the processor 101 may dynamically calculate the feature points at the new support target position. For example, information indicating the movement locus of each feature point from the start of operation ((a) in FIG. 10) to the completion of gripping ((b) in FIG. 10) is stored in a work memory or the like, and this movement is performed. A feature point at a new support target position may be set on the extension line of the locus. In addition, this new feature point information may be written in the feature point information table T at a predetermined timing (for example, the timing when the support is successful). The position of the end effector 2 after the processing of step St24 and the position of the feature point on the end effector 2 are shown in FIG. 10 (c).
  • FIG. 11 is a diagram showing an example of support confirmation in step St23 of FIG. 9, a flowchart showing (a) a confirmation example based on the movement amount, and (b) a plan view showing a confirmation example based on deformation of the work W. ..
  • step St231 an image is taken by the camera CAM.
  • the image acquisition unit 104 of the control system 100 acquires this image.
  • step St232 the control system 100 controls the robot arm 1 to move the robot arm 1 and the end effector 2 by a predetermined distance.
  • step St233 imaging is performed by the camera CAM.
  • the image acquisition unit 104 of the control system 100 acquires this image.
  • step St234 the movement amount of the work W and the movement amount of the end effector 2 are compared.
  • the amount of movement can be calculated using the captured images before and after the movement of the work W. If the end effector 2 can correctly support the work W, the amount of movement of the end effector 2 should be equal to the amount of movement of the work W. On the other hand, if the movement amount of the end effector 2 and the movement amount of the work W are different, it means that the end effector 2 cannot correctly support the work W. Therefore, in step St234, when the difference Dif between the movement amount of the work W and the movement amount of the end effector 2 is within the predetermined tolerance value, it can be confirmed that the end effector 2 can support the work W (St23). , Yes). On the other hand, if the difference Dif is not within the predetermined tolerance value, it can be confirmed that the end effector 2 cannot support the work W (St23, No).
  • FIG. 11B shows an example in which the confirmation in step St23 is performed based on the deformation of the work W recognized by the captured image.
  • information indicating the deformation of the work W is derived by using the images before and after the support of the work W by the end effector 2.
  • the camera CAM an image IMG t1 at operation start (time t1)
  • the image IMG t2 captured during gripping is completed (time t2)
  • these images the image acquisition unit 104 of the control system 100 obtains.
  • the work W at time t2 is compressed and deformed as compared with the work W at time t1.
  • the amount of deformation (or deformation rate) is derived by the control system 100 (processor 101) based on the image IMG t1 and the image IMG t2 , and is used as information indicating the deformation of the work W.
  • the deformation rate can be defined as d t2 / d t1 and derived.
  • This deformation rate can be used as information indicating the deformation of the work W, and the support can be confirmed based on this. For example, if 0.9 ⁇ d t2 / d t1 ⁇ 0.95, it can be confirmed that the end effector 2 can support the work W, assuming that the support (grasping) is performed with an appropriate force (St23, Yes). ).
  • the information indicating the deformation of the work may be information other than the above-mentioned deformation rate, and appropriate information may be used according to the shape, size, softness, weight, etc. of the work W.
  • the control system 100 of the end effector 2 that controls a plurality of end effectors 2 connectable to the robot arm 1 identifies the image acquisition unit 104 that acquires the image of the end effector 2 and the end effector 2.
  • the end effector connection unit 105 for acquiring information, the processor 101 for controlling the end effector 2, and the memory 102 having control information which is a target position for each end effector are provided, and the processor 101 is provided from the end effector connection unit 105.
  • the identification information is acquired, the target position is determined from the identification information and the control information, and the end effector 2 is controlled so as to match the target position based on the image acquired by the image acquisition unit 104.
  • a sensorless and simple system configuration can be achieved without using a force sensor or the like. Further, since it is not necessary to calibrate the plurality of sensors, the start-up time of the end effector 2 is shortened. Further, by aggregating the feedback information from the end effector 2 into the image captured by the camera CAM, multimodal information processing can be avoided.
  • the processor 101 confirms whether or not the end effector 2 supports the work W based on the image acquired by the image acquisition unit 104, and if the end effector 2 does not support the work W, the identification information.
  • the target position is newly determined from the above and the control information, and the end effector 2 is controlled so as to match the new target position based on the image acquired by the image acquisition unit 104.
  • This makes it easy to control the support based on the flexibility and weight of the work W even when the prior information about the work W is insufficient or the work W is made of a soft material.
  • the range of operation of the end effector 2 that supports various work W can be expanded.
  • the end effector 2 since the end effector 2 may be controlled based on the captured image, it is not necessary to calculate the motion law formula in which the flexibility of the work is added to the usual inverse kinematics.
  • the processor 101 confirms whether or not the end effector 2 supports the work W by controlling the end effector 2 so that the processor 101 moves the work W, and the image acquired by the image acquisition unit 104 is used. Based on this, it is performed by confirming whether the difference between the movement amount of the work W and the movement amount of the end effector 2 is within the predetermined tolerance value. As a result, it is possible to appropriately confirm whether or not the end effector 2 supports the work W based on the image captured by the camera CAM.
  • the processor 101 confirms whether or not the end effector 2 supports the work W by the processor 101 deriving information indicating the deformation of the work W based on the image acquired by the image acquisition unit 104. Is done by. As a result, it is possible to appropriately confirm whether or not the end effector 2 supports the work W based on the image captured by the camera CAM.
  • At least one of the end effectors included in the plurality of end effectors has one or more finger Fs, and by grasping the work W with the tip of the finger F, or by involving the work W with the finger F. Support work W.
  • the control system 100 can control various support modes of the work W by the end effector 2.
  • At least one of the end effectors included in the plurality of end effectors has one or more finger Fs having a plurality of joint axes, and the feature point of the end effectors is at least one joint axis of the finger F. Placed on top.
  • the joint axis can be positioned at a predetermined position when gripping the work W.
  • the control system 100 includes an image acquisition unit 104, an end effector connection unit 105, a processor 101, and a memory 102.
  • the memory 102 has control information which is a target position for each end effector, the image acquisition unit 104 acquires an image of the end effector 2, and the end effector connection unit 105 identifies the end effector 2.
  • the processor 101 acquires the identification information from the end effector connection unit 105, determines the target position from the identification information and the control information, and determines the target position based on the image acquired by the image acquisition unit 104.
  • the end effector 2 is controlled so as to match.
  • a sensorless and simple system configuration can be achieved without using a force sensor or the like. Further, since it is not necessary to calibrate the plurality of sensors, the start-up time of the end effector 2 is shortened. Further, by aggregating the feedback information from the end effector 2 into the image obtained by the camera CAM, multimodal information processing can be avoided.
  • control system 100 of the end effector 2 connected to the robot arm 1 includes a memory 102, a processor 101, and a camera CAM, and the camera CAM is a work target of the end effector 2 and the end effector 2.
  • the memory 102 is arranged at a position where the work W can be imaged, and the memory 102 provides feature point information (for example, feature point information) indicating a feature point at a first support target position when the end effector 2 supports the work W.
  • the processor 101 identifies the feature point at the current position of the end effector 2 and the position of the work W based on the image captured by the camera CAM, and the processor 101 has the end effector 2 as a data item of the table T.
  • the end effector 2 is controlled so that the feature point at the current position of the robot matches the feature point indicated by the feature point information. As a result, a sensorless and simple system configuration can be achieved without using a force sensor or the like. Further, since it is not necessary to calibrate the plurality of sensors, the start-up time of the end effector 2 is shortened. Further, by aggregating the feedback information from the end effector 2 into the image captured by the camera CAM, multimodal information processing can be avoided.
  • the present disclosure is useful as an end effector control system and an end effector control method that can control end effectors while simplifying the robot hand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

ロボットアームに接続可能な複数のエンドエフェクタを制御するエンドエフェクタの制御システムが、前記複数のエンドエフェクタのうち前記ロボットアームに接続されたエンドエフェクタの画像を取得する画像取得部と、前記エンドエフェクタを識別する識別情報を取得する識別情報取得部と、前記エンドエフェクタを制御する制御部と、前記複数のエンドエフェクタの各々の目標位置を含む制御情報を有するメモリと、を備える。前記制御部は、前記識別情報取得部から前記識別情報を取得し、前記識別情報と前記制御情報とから前記目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う。

Description

エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
　本開示は、エンドエフェクタの制御システムおよびエンドエフェクタの制御方法に関する。
　特許文献１には、把持対象物を把持するロボットハンドを備えるロボット装置を制御するロボット制御装置が開示されている。このロボット制御装置は、把持対象物の視覚情報を取得する第１の取得手段と、ロボットハンドにより把持対象物に作用する力覚情報を取得する第２の取得手段と、第１の取得手段により取得された視覚情報から把持対象物の位置および姿勢を算出する算出手段と、第２の取得手段により取得された力覚情報に基づいて、把持対象物の把持状態変動性を導出する導出手段と、導出手段により導出された把持対象物の把持状態変動性に基づいて、第１の取得手段および算出手段の少なくとも１つの処理実行を制御する制御手段と、を具備する。
特開２０１７－８７３２５号公報
　本開示は、上述した従来の状況に鑑みて案出され、ロボットハンドを簡素化しつつ、エンドエフェクタを制御できるエンドエフェクタの制御システムおよびエンドエフェクタの制御方法を提供することを目的とする。
　本開示は、ロボットアームに接続可能な複数のエンドエフェクタを制御するエンドエフェクタの制御システムであって、前記複数のエンドエフェクタのうち前記ロボットアームに接続されたエンドエフェクタの画像を取得する画像取得部と、前記エンドエフェクタを識別する識別情報を取得する識別情報取得部と、前記エンドエフェクタを制御する制御部と、前記複数のエンドエフェクタの各々の目標位置を含む制御情報を有するメモリと、を備え、前記制御部は、前記識別情報取得部から前記識別情報を取得し、前記識別情報と前記制御情報とから前記目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、エンドエフェクタの制御システムを提供する。
　また、本開示は、画像取得部と、識別情報取得部と、メモリとを備える制御システムによる、ロボットアームに接続可能な複数のエンドエフェクタを制御する方法であって、前記複数のエンドエフェクタの各々を識別する識別情報を前記識別情報取得部から取得し、前記識別情報と前記メモリが有する前記複数のエンドエフェクタの各々の目標位置である制御情報とから目標位置を決定し、前記画像取得部が取得した画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、エンドエフェクタの制御方法を提供する。
　また、本開示は、ロボットアームに接続されたエンドエフェクタの制御システムであって、メモリと、プロセッサと、カメラと、を備え、前記カメラは、前記エンドエフェクタと、前記エンドエフェクタの作業対象であるワークとが撮像可能な位置に配置されており、前記メモリは、前記エンドエフェクタが前記ワークを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を有しており、前記プロセッサは、前記カメラが撮像した画像に基づいて、前記エンドエフェクタの現在位置における特徴点と、前記ワークの位置とを特定するとともに、前記エンドエフェクタの前記現在位置における前記特徴点が前記特徴点情報によって示される前記特徴点と一致するように、前記エンドエフェクタを制御する、エンドエフェクタの制御システムを提供する。
　本開示によれば、ロボットハンドを簡素化しつつ、エンドエフェクタを制御することができる。
ロボットアーム１およびエンドエフェクタ２の構成例を示す図であり、（ａ）斜視図、（ｂ）側面図、（ｃ）平面図 図１に示したエンドエフェクタ２を示す図であり、（ａ）平面図、（ｂ）斜視図 エンドエフェクタ２に接続されたカメラＣＡＭの撮像範囲を示す図 制御システム１００のハードウェア構成例を示すブロック図 制御システム１００の初期設定例を示すフローチャート メモリ１０２に格納された特徴点情報テーブルＴを示す図 実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャート 実施の形態１に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図、（ｂ）把持完了時点における平面図、（ｃ）特徴点に基づくエンドエフェクタ２の駆動制御を示す概念図 実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャート 実施の形態２に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図および概念図、（ｂ）把持完了時点における平面図および概念図、（ｃ）再把持完了時点における平面図および概念図 図９のステップＳｔ２３における支持確認の例を示す図であり、（ａ）移動量に基づく確認例を示すフローチャート、（ｂ）ワークＷの変形に基づく確認例を示す平面図
　（本開示に至る経緯）
　工場等で用いられるロボット装置は、ロボットアームにエンドエフェクタを取り付けることで、種々の作業を行うことができる。例えば、エンドエフェクタとしてロボットハンドを用いて、工場の生産ライン上を流れる部品をピッキングする、等の作業である。このロボットアームおよびエンドエフェクタは、ロボットアームに接続された制御装置（コントローラ）によって制御される。
　上記の制御は、従来、エンコーダや、力覚センサ等の種々のセンサからのフィードバックを用いて行われていた。例えば、特許文献１に記載の技術においても、力覚センサを用いて把持対象物（ワーク）の把持状態変動性を導出している。
　しかしながら、種々のセンサを備えたロボットアームおよびエンドエフェクタの立ち上げ時には、それぞれのセンサについてのキャリブレーションが必要となるため、センサの設定に時間を要するものであった。
　また、ロボットアームおよびエンドエフェクタが複数のセンサを備えている場合、複数のセンサからのフィードバックとして得られる情報も、複数の系統となり、情報処理が煩雑になる。さらに、人工知能を用いた制御を行う場合には、この人工知能に機械学習をさせるためのデータがマルチモーダルとなり、学習させづらい。
　そこで、以下の実施の形態１および実施の形態２では、力覚センサ等を用いることなく、カメラによってエンドエフェクタの形状を認識して、カメラによる撮像画像に基づいた制御を行う。この構成であれば、制御システムにおいてその他のセンサを使わずに済む。そのため、キャリブレーションはカメラのみとなるため、システム全体のキャリブレーションが容易になる。すなわち、センサレスで簡易なシステム構成にすることができる。
　また、力覚センサ等を用いない上記構成であれば、エンドエフェクタからのフィードバック情報を、カメラによる撮像画像に集約することができる。すなわち、マルチモーダルな情報処理を回避することができる。なお、人工知能に機械学習をさせる際にも、用いる情報のチャネルを削減することは有益である。
　以下、適宜図面を参照しながら、本開示に係るエンドエフェクタの制御システムおよびエンドエフェクタの制御方法の構成および動作を具体的に開示した実施の形態を、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるものであり、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　＜実施の形態１＞
　以下の実施の形態１では、エンドエフェクタとして、２本のフィンガを有したロボットハンド（図２参照）を用いた場合を想定して説明する。なお、エンドエフェクタは、種々の形状を呈することができる。例えば、作業対象物であるワークを、２本の（あるいは５本などの）フィンガで把持したり、吸着体によって吸いつけて支持したり、曲げたフィンガをワークが備えるフックに差し入れてひっかけたりすることができる。いずれにせよ、何らかの作業を行うために、エンドエフェクタがワークを支持する。以下、２本のフィンガを有した、図２に示したようなエンドエフェクタによるワークの支持を、「把持」と表現することがある。
　（ロボットアーム１およびエンドエフェクタ２の構成例）
　図１は、ロボットアーム１およびエンドエフェクタ２の構成例を示す図であり、（ａ）斜視図、（ｂ）側面図、（ｃ）平面図である。図２は、図１に示したエンドエフェクタ２を示す図であり、（ａ）平面図、（ｂ）斜視図である。以下、これらの図面に基づいて、本開示の制御システムによって制御を行うロボット装置の一例を説明する。
　本開示の制御システムによって制御を行うロボット装置は、ロボットアーム１とエンドエフェクタ２とを備えている。ロボットアーム１はベース３上に配置されている。この例においては箱型のコントローラ４が、ロボットアーム１を介してエンドエフェクタ２と接続されている。
　エンドエフェクタ２はフィンガＦを備えている（図２参照）。本例においては、フィンガＦは、第１フィンガＦ１および第２フィンガＦ２により構成されている。ただし、フィンガの本数は２本とは限らない。また、図１に示したように、エンドエフェクタ２はカメラＣＡＭを備えている。このカメラＣＡＭについては後述する。
　図２に示すように、本例において、第１フィンガＦ１は４つのリンクを有している。すなわち、第１フィンガＦ１の先端から順に、第１リンクＬ１、第２リンクＬ２、第３リンクＬ３、第４リンクＬ４、第５リンクＬ５である。また、リンクとリンクとの間には関節軸が設けられている。すなわち、第１関節軸Ｊ１が第１リンクＬ１と第２リンクＬ２とを接続し、第２関節軸Ｊ２が第２リンクＬ２と第３リンクＬ３とを接続し、第３関節軸Ｊ３が第３リンクＬ３と第４リンクＬ４とを接続し、第４関節軸Ｊ４が第４リンクＬ４と第５リンクＬ５とを接続する。本例においては、第２フィンガＦ２も、第１フィンガＦ１と同様の構成を備えている。
　第１フィンガＦ１と第２フィンガＦ２はそれぞれ、第１リンクＬ１の先端に把持部Ｇを備えている。また、図１および図２には、作業対象物であるワークＷが例示されている。図の例では直方体形状を呈するワークＷは、実際には様々な大きさ、形状、硬さ、重量を有している。第１フィンガＦ１と第２フィンガＦ２が備える２つの把持部ＧがワークＷを挟み込むことにより、本例ではロボットハンドであるエンドエフェクタ２がワークＷを支持（把持）する。
　（カメラＣＡＭの配置および画角）
　図３は、エンドエフェクタ２に接続されたカメラＣＡＭの撮像範囲を示す図である。図中の円錐状の領域ＡＯＦは、カメラＣＡＭの画角（撮像範囲）を示している。
　既に述べたように、本開示の制御システムは、力覚センサ等の種々のセンサを用いずに、カメラＣＡＭによる撮像画像に基づいて、エンドエフェクタ２を制御する。画像に基づく制御を実現するために、カメラＣＡＭは、エンドエフェクタ２とロボットアーム１との接続部付近に配置される。また、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとを撮像可能な位置に配置される。すなわち、カメラＣＡＭによって撮像された画像には、エンドエフェクタ２の形状と、支持（把持）を行う際の作業対象であるワークＷの形状とが同時に映り込むことになる。
　なお、図３の例において、カメラＣＡＭはエンドエフェクタ２とロボットアーム１との接続部付近に配置されているが、これ以外の場所にカメラＣＡＭが配置されてもよい。
　（制御システムの構成）
　図４は、実施の形態１に係る制御システム１００のハードウェア構成例を示すブロック図である。制御システム１００は、ロボットアーム１およびエンドエフェクタ２の動作を制御する。
　本例における制御システム１００は、プロセッサ１０１と、メモリ１０２と、入力装置１０３と、画像取得部１０４と、エンドエフェクタ接続部１０５と、通信装置１０６と、入出力インターフェース１０７とを含む構成である。メモリ１０２、入力装置１０３、画像取得部１０４、エンドエフェクタ接続部１０５、通信装置１０６、入出力インターフェース１０７は、それぞれプロセッサ１０１との間でデータもしくは情報の入出力が可能に内部バス等で接続される。
　プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、あるいはＦＰＧＡ（Field Programmable Gate Array）を用いて構成される。プロセッサ１０１は、制御システム１００の制御部として機能し、制御システム１００の各部の動作を全体的に統括するための制御処理、制御システム１００の各部との間のデータもしくは情報の入出力処理、データの計算処理、およびデータもしくは情報の記憶処理を行う。また、プロセッサ１０１は、エンドエフェクタ２を制御する制御部としても機能する。
　メモリ１０２は、ＨＤＤ（Hard Disk Drive）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んでいてよく、プロセッサ１０１によって実行される各種プログラム（ＯＳ（Operation System）、アプリケーションソフト等）や各種データを格納している。また、メモリ１０２は、エンドエフェクタ毎の目標位置である制御情報を有していてよい。この制御情報は、例えば後述の特徴点情報等であってよい。
　入力装置１０３は、キーボードやマウス等を含んでいてよく、ユーザとの間のヒューマンインターフェースとしての機能を有し、ユーザの操作を入力する。言い換えると、入力装置１０３は、制御システム１００により実行される各種の処理における、入力または指示に用いられる。なお、入力装置１０３は、コントローラ４に接続されたプログラミングペンダントであってよい。
　画像取得部１０４は、カメラＣＡＭと有線あるいは無線を介して接続可能であり、カメラＣＡＭが撮像した画像を取得する。制御システム１００は、画像取得部１０４が取得した画像に対し、画像処理を適宜行うことができる。この画像処理の主体は、プロセッサ１０１であってよい。また、制御システム１００が、図示を省略する画像処理ユニットをさらに備えてよく、該画像処理ユニットが制御システム１００に接続される構成でもよい。プロセッサ１０１による制御の下、この画像処理ユニットによって、画像処理を行うことができる。
　エンドエフェクタ接続部１０５は、エンドエフェクタ２（図１を併せて参照）との接続を確保する構成要素であり、エンドエフェクタ接続部１０５を介して制御システム１００とエンドエフェクタ２（およびロボットアーム１）とが接続される。この接続は、コネクタおよびケーブル等を用いた有線接続であってよいが、無線による接続であってもよい。この接続の際、エンドエフェクタ接続部１０５は、エンドエフェクタ２を識別する識別情報をエンドエフェクタ２から取得する。すなわち、エンドエフェクタ接続部１０５は、識別情報取得部として機能する。なお、識別情報を、プロセッサ１０１がエンドエフェクタ接続部１０５からさらに取得してよい。この識別情報によって、接続されたエンドエフェクタ２の種類を特定することが可能である。
　通信装置１０６は、ネットワークを介して外部と通信を行うための構成要素である。なお、この通信は有線通信であっても、無線通信であってもよい。
　入出力インターフェース１０７は、制御システム１００の間でデータもしくは情報の入出力を行うインターフェースとしての機能を有する。
　なお、制御システム１００の上記構成は一例であり、必ずしも上記の構成要素を全て備えていなくともよい。また、制御システム１００は追加の構成要素をさらに備えていてもよい。例えば、箱型の制御システム１００（コントローラ４）が車輪を有し、制御システム１００の上にロボットアーム１およびエンドエフェクタ２を載せて自走してもよい。
　（初期設定処理）
　以下、制御システム１００の初期設定例を説明する。図５は、制御システム１００の初期設定例を示すフローチャートである。初期設定は、ロボットアーム１およびエンドエフェクタ２に所定の作業をさせる前に行われる。
　ロボット装置は、ロボットアームに種々のエンドエフェクタを接続して各種の作業を行う。また、エンドエフェクタの形状や機能は様々である。従って、ワークに対して行いたい作業に応じて、適切なエンドエフェクタ２を選定し、ロボットアーム１に接続する（Ｓｔ１）。
　接続されたエンドエフェクタ２に応じた特徴点情報が、制御情報として、制御システム１００のメモリ１０２から、制御システム１００の、図示を省略するワークメモリ等に読み込まれる（Ｓｔ２）。この特徴点情報は、後述の特徴点情報テーブルＴ内の情報であってよい。
　（特徴点情報テーブルＴ）
　ここで、特徴点情報テーブルＴを示す図６を参照する。特徴点情報テーブルＴは、制御システム１００のメモリ１０２に格納されていてよい。上記ステップＳｔ２において、特徴点情報テーブルＴに含まれる、エンドエフェクタ２に応じた特徴点情報が、メモリ１０２から抽出されて、制御システム１００のワークメモリ等に読み込まれる。
　特徴点情報テーブルＴは、例えば以下のようなデータを、エンドエフェクタの種類（エンドエフェクタＡ～Ｃ）毎に有している。
データ項目１：エンドエフェクタの目標位置における特徴点（特徴点情報）
データ項目２：対応可能なワークの寸法
データ項目３：対応可能なワークの重量
　（エンドエフェクタの目標位置）
　エンドエフェクタは、ワークを支持（把持等）する、ワークを解放する等の、種々の動作を行う。そのため、動作に応じた目標位置があり、その目標位置へとエンドエフェクタを移動（あるいは変形）させる。例えば、エンドエフェクタがワークを支持するには、エンドエフェクタの支持目標位置へとエンドエフェクタを移動（あるいは変形）させればよい。エンドエフェクタがワークを解放する（手離す）には、エンドエフェクタの解放目標位置へとエンドエフェクタを移動（あるいは変形）させればよい。
　（特徴点）
　本開示の制御システムは、カメラＣＡＭにより撮像した画像に基づいて、エンドエフェクタの制御を行う。そのために、エンドエフェクタ上の１以上の特徴点を特定する。図６においては、特徴点を×印で表現している。この特徴点は、一般的な画像認識技術における特徴点認識によって決定してもよく、エンドエフェクタ上にマーカ（例えば、赤色のランプ等）を設けて、このマーカを特徴点としても良い。
　図６に示した特徴点情報テーブルＴの例では、特徴点が配置される場所は、エンドエフェクタの関節軸上である。この関節軸を、ワークを支持（把持）する際の所定の目標位置へと位置決めできれば、適切な把持を行うことができるからである。しかし、特徴点をエンドエフェクタのリンク上（例えば、リンクの先端部等）に配置してもよい。
　なお、エンドエフェクタは種類によりその形状が異なるので、エンドエフェクタの種類（エンドエフェクタＡ～Ｃ）毎に、異なる場所に特徴点を配置してもよい。エンドエフェクタ接続部１０５にエンドエフェクタＡ～Ｃのいずれかが接続された際、このエンドエフェクタを識別する識別情報をエンドエフェクタ接続部１０５が前述のように取得し、この識別情報をプロセッサ１０１がエンドエフェクタ接続部１０５から取得し、接続されたエンドエフェクタの種類（Ａ～Ｃ）を決定する。
　（エンドエフェクタの目標位置における特徴点）
　例えば、図６に示したエンドエフェクタＡがワークを掴んだ状態（エンドエフェクタが目標位置にある状態）における、エンドエフェクタＡ上の特徴点が、エンドエフェクタの目標位置における特徴点である。特徴点情報テーブルＴは、この特徴点の位置情報（特徴点情報）を、データ項目１として有している。
　なお、エンドエフェクタは、単一の動作のみを行うとは限らない。さらに、ワークに応じて支持方法を変えることもあり得る。例えば、寸法の大きなワークについては、フィンガの先端でこれを掴むのが好適であり、寸法の小さなワークについては、フィンガで巻き込むことで掴むのが好適である。そこで、特徴点情報テーブルＴは、エンドエフェクタによる支持方法（先端で掴む、巻き込むように掴む、等）に応じて別々に、特徴点情報を有していてよい。
　以上を踏まえて、再び図５の説明に戻る。例えば、エンドエフェクタＡがロボットアーム１に接続された（Ｓｔ１）場合、ステップＳｔ２においては、エンドエフェクタＡに応じた特徴点情報が、制御情報として、制御システム１００に読み込まれる。この例においては、エンドエフェクタＡによる複数の支持方法（先端で掴む、巻き込むように掴む、等）にそれぞれ対応する特徴点情報が、制御システム１００にまとめて読み込まれてよい。
　続いて、入力装置１０３により、ワークの形状や重量が制御システム１００に入力される（Ｓｔ３）。なお、この入力は人間であるオペレータが行ってよいが、カメラＣＡＭが撮像した画像等に基づいて、制御システム１００自身が、ワークの形状等を推定してもよい。この推定処理は、一般の画像認識技術を用いて行ってよい。秤などの計測機器を制御システム１００に別途接続して、測定された重量を制御システム１００が取得してもよい。
　次に、ワークの形状や重量も考慮して、エンドエフェクタＡによる支持方法（先端で掴む、巻き込むように掴む、等）を制御システム１００が決定する（Ｓｔ４）。
　以上のステップＳｔ１～Ｓｔ４を行うことにより、実施の形態１に係る制御システム１００の初期設定が終了する。初期設定の終了時点において、制御システム１００は、接続されたエンドエフェクタによる支持方法（先端で掴む、巻き込むように掴む、等）を決定済みであり、その支持方法に応じた特徴点情報も保持（Ｓｔ２）している。すなわち、接続されたエンドエフェクタについての、支持方法に応じたエンドエフェクタの目標位置が、制御システム１００（のプロセッサ１０１）によって決定された状態にある。
　（エンドエフェクタ２によるワーク支持の制御例）
　次に、実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークの支持を制御する制御例について、図７および図８を参照して説明する。
　図７は、実施の形態１に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャートである。図８は、実施の形態１に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図、（ｂ）把持完了時点における平面図、（ｃ）特徴点に基づくエンドエフェクタ２の駆動制御を示す概念図である。なお、ワークＷを、ある場所から別の場所へと移動させる作業を行うという前提で説明する。
　まず、ロボットアーム１を動かして、ワークＷを支持（把持）可能な位置へとエンドエフェクタ２を移動させる点については、従来技術を用いてよい。そこで、エンドエフェクタ２が、ワークＷを支持（把持）可能な位置へと移動済みである、図８の（ａ）の状態を初期状態として説明する。
　まず、カメラＣＡＭが画像を撮像する。制御システム１００の画像取得部１０４が、この画像を取得する。そして、支持（把持）対象となるワークＷの位置を、カメラＣＡＭが撮像した画像に基づいて、制御システム１００が認識する（Ｓｔ１１）。この位置認識は、従来の画像処理技術に基づいて行ってよい。
　次に、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点（目標位置における特徴点）と一致するように、エンドエフェクタを制御する（Ｓｔ１２）。以下、このステップＳｔ１２で行われる処理ついて、より詳しく説明する。
　上述のように、先行するステップＳｔ１１において、カメラＣＡＭは撮像を行っている。ここで、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとが撮像可能な位置に配置されている（図１および図３参照）。つまり、カメラＣＡＭによる撮像画像には、エンドエフェクタ２とワークＷの両方が映り込んでいる。制御システム１００は、この撮像画像に基づき、エンドエフェクタ２の現在位置における特徴点を特定することができる。この特徴点の特定は、一般の画像認識技術における特徴点認識によって特定してもよく、エンドエフェクタ２にマーカ（例えば、赤色のランプ等）を設けて、このマーカを特徴点としても良い。なお、理解を容易とするため、エンドエフェクタ２の現在位置における特徴点が、図８の（ｃ）に「特徴点　初期位置」としてプロットされている。
　また、図５および図６に基づいて前述した初期設定（Ｓｔ１～Ｓｔ４）により、制御システム１００は、ロボットアーム１に接続されているエンドエフェクタ２についての、支持方法に応じた特徴点情報も既に保持している。この特徴点情報に示される特徴点の位置が、図８の（ｃ）に「特徴点　把持位置」としてプロットされている。
　従って、ステップＳｔ１２の開始時点において、制御システム１００は、エンドエフェクタ２の現在位置における特徴点と、エンドエフェクタの目標位置における特徴点との両方を特定済みである。そして、ステップＳｔ１２において、制御システム１００は、エンドエフェクタ２の現在位置における特徴点（特徴点　初期位置）が、特徴点情報によって示される特徴点（特徴点　把持位置）と一致するように、エンドエフェクタ２を制御する。この制御を図示しているのが図８の（ｃ）であり、初期位置にある特徴点が、把持位置にある特徴点に一致するように、エンドエフェクタ２を制御することにより、ワークＷの把持が完了する（図８の（ｂ）参照）。なお、制御システム１００による上記の制御は、エンドエフェクタ２の特徴点の、移動前後の位置が特定済みであるので、エンドエフェクタ２についての逆運動学の計算に基づいて行うことができる。
　ワークＷの支持（把持）が完了したので、制御システム１００は次に、ロボットアーム１を制御して、支持（把持）済みのワークＷをある地点から別の地点へと移動させる（Ｓｔ１３）。続いて、制御システム１００は、エンドエフェクタ２が解放の目標位置になるように、エンドエフェクタ２を制御する（Ｓｔ１４）。このステップＳｔ１４によって、エンドエフェクタ２はワークを解放する（離す）。なお、ステップＳｔ１４は、ステップＳｔ１２と同様の処理によって実施してよい。すなわち、特徴点情報テーブルＴが、ワークの解放についての特徴点情報を有し、制御システム１００がこの特徴点情報を用いて、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。
　なお、ステップＳｔ１４におけるワークＷの解放は、必ずしも、特徴点情報に基づいて行わなくともよい。例えば、エンドエフェクタ２が有する各フィンガおよび各関節軸の初期位置を予め定めておき、単にその初期位置に戻るように、エンドエフェクタ２を制御してもよい。
　＜実施の形態２＞
　次に、本開示の実施の形態２について説明する。実施の形態２においても、エンドエフェクタ２として、２本のフィンガを有したロボットハンドを用いた場合を想定して説明する。ロボットアーム１およびエンドエフェクタ２の構成、カメラＣＡＭの配置、制御システム１００の構成、初期設定処理については、実施の形態１と同様であるため、説明を省略する。
　実施の形態２は、例えば、ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合等を想定している。ワークＷに関する事前情報が不足している場合、エンドエフェクタ２の目標位置を事前に正確に特定するのは困難である。また、ワークＷが軟らかい素材でできている場合、ワークＷをロボットハンドで把持するとワークＷが変形し得る。この変形も考慮した上で、エンドエフェクタ２がワークＷを適切に支持するようにエンドエフェクタ２を制御するのは、困難である。
　しかし、実施の形態２に係る制御システム１００は、上記のような場合であっても、エンドエフェクタ２がワークＷを適切に支持できるように、制御を行うことができる。
　（エンドエフェクタ２によるワーク支持の制御例）
　実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持を制御する例について、図９および図１０を参照して説明する。
　図９は、実施の形態２に係る制御システム１００が、エンドエフェクタ２によるワークＷの支持（把持）を制御する例を示すフローチャートである。また、図１０は、実施の形態２に係る制御システム１００による、エンドエフェクタ２の制御例を示す図であり、（ａ）動作開始時点における平面図および概念図、（ｂ）把持完了時点における平面図および概念図、（ｃ）再把持完了時点における平面図および概念図である。
　ロボットアーム１を動かして、ワークＷを支持（把持）可能な位置へとエンドエフェクタ２を移動させる技術は、従来技術を用いてよい。そこで、エンドエフェクタ２が、ワークＷを支持（把持）可能な位置へと移動済みである、図１０の（ａ）の状態を初期状態として説明する。
　まず、カメラＣＡＭが画像を撮像する。制御システム１００の画像取得部１０４が、この画像を取得する。そして、支持（把持）対象となるワークＷの位置を、カメラＣＡＭが撮像した画像に基づいて、制御システム１００が認識する（Ｓｔ２１）。この位置認識は、従来の画像処理技術に基づいて行ってよい。なお、この時点におけるエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ａ）に示されている。
　次に、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、エンドエフェクタの現在位置における特徴点が、特徴点情報によって示される特徴点（目標位置における特徴点）と一致するように、エンドエフェクタ２を制御する（Ｓｔ２２）。この処理は、実施の形態１に係る、前述のステップＳｔ１２と同様である。
　すなわち、ステップＳｔ２２の開始時点において、エンドエフェクタ２の現在位置における特徴点（カメラＣＡＭの撮像画像による）と、目標位置における特徴点（メモリ１０２内の特徴点情報テーブルＴから抽出）との両方を、制御システム１００は特定済みである。そして、ステップＳｔ２２において、制御システム１００は、エンドエフェクタの現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。ステップＳｔ２２の処理が行われた後のエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ｂ）に示されている。
　次に、プロセッサ１０１が、エンドエフェクタ２がワークＷを支持しているか否かを確認する（Ｓｔ２３）。この確認の具体例は、図１１に基づいて後述する。エンドエフェクタ２がワークを支持している場合には（Ｓｔ２３、Ｙｅｓ）、把持したワークＷを移動させて解放する、ステップＳｔ２５およびステップＳｔ２６の処理へと遷移する。すなわち、以下の通りである。
　制御システム１００は、ロボットアーム１を制御して、支持（把持）済みのワークＷをある地点から別の地点へと移動させる（Ｓｔ２５）。続いて、制御システム１００は、エンドエフェクタ２が解放の目標位置になるように、エンドエフェクタ２の駆動部を制御する（Ｓｔ２６）。このステップＳｔ２６によって、エンドエフェクタ２はワークを解放する（離す）。なお、ステップＳｔ２６は、ステップＳｔ２２と同様の処理によって実施してよい。すなわち、特徴点情報テーブルＴが、ワークの解放についての特徴点情報を有し、制御システム１００がこの特徴点情報を用いて、エンドエフェクタ２の現在位置における特徴点が、特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２の駆動部を制御する。
　また、ステップＳｔ２６におけるワークＷの解放は、必ずしも、特徴点情報に基づいて行わなくともよい。例えば、エンドエフェクタ２が有する各フィンガおよび各関節軸の初期位置を予め定めておき、単にその初期位置に戻るように、エンドエフェクタ２を制御してもよい。
　次に、前述のステップＳｔ２３における、エンドエフェクタ２がワークＷを支持していない場合（Ｓｔ２３、Ｎｏ）について説明する。ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合には、先行するステップＳｔ２２にて正しく移動したはずのエンドエフェクタ２が、実際にはワークＷを支持（把持）できないことがある。このような場合に、ワークの再支持（再把持）を行うステップＳｔ２４へと処理が遷移する。
　ステップＳｔ２４においては、識別情報と制御情報とから目標位置を新たに決定し、画像取得部１０４が取得した画像をもとに新たな目標位置に一致するようにエンドエフェクタの制御を行う。より特定的には、カメラＣＡＭが撮像した画像に基づいて、エンドエフェクタ２の現在位置における特徴点が、ワークＷの位置に基づくエンドエフェクタ２の新たな支持目標位置における特徴点と一致するように、エンドエフェクタ２を制御する。すなわち、エンドエフェクタ２の従前の（第１の）支持目標位置ではワークＷをうまく支持できなかったので、これとは異なる新たな（第２の）支持目標位置へとエンドエフェクタ２を移動（変形）させて、再支持（再把持）を試行するのである。
　新たな支持目標位置における特徴点は、前述の特徴点情報テーブルＴに特徴点情報として別途格納しておき、この情報を用いて特定してよい。また、新たな支持目標位置における特徴点を、プロセッサ１０１が動的に計算で求めてもよい。例えば、動作開始時（図１０の（ａ））から把持完了時（図１０の（ｂ））に至るまでの各特徴点の移動軌跡を示す情報をワークメモリ等に保持しておき、この移動軌跡の延長線上に、新たな支持目標位置における特徴点を設定してよい。なお、この新たな特徴点情報を、所定のタイミング（例えば、支持が成功したタイミング等）で、特徴点情報テーブルＴに書き入れてもよい。ステップＳｔ２４の処理が行われた後のエンドエフェクタ２の位置、およびエンドエフェクタ２上の特徴点の位置が、図１０の（ｃ）に示されている。
　次に、プロセッサ１０１が、エンドエフェクタ２がワークＷを支持しているか否かを確認するステップＳｔ２３における、確認の具体例について説明する。図１１は、図９のステップＳｔ２３における支持確認の例を示す図であり、（ａ）移動量に基づく確認例を示すフローチャート、（ｂ）ワークＷの変形に基づく確認例を示す平面図である。
　図１１の（ａ）に示したように、ステップＳｔ２３１において、カメラＣＡＭによる撮像を行う。制御システム１００の画像取得部１０４が、この画像を取得する。次に、ステップＳｔ２３２において、制御システム１００がロボットアーム１を制御して、ロボットアーム１およびエンドエフェクタ２を所定の距離だけ移動させる。続いて、ステップＳｔ２３３において、カメラＣＡＭによる撮像を行う。制御システム１００の画像取得部１０４が、この画像を取得する。以上の処理によって、ワークＷの移動前後の撮像画像が得られる。
　そしてステップＳｔ２３４において、ワークＷの移動量と、エンドエフェクタ２の移動量とを比較する。なお、この移動量は、ワークＷの移動前後の撮像画像を用いて計算することができる。エンドエフェクタ２がワークＷを正しく支持できているのであれば、エンドエフェクタ２の移動量と、ワークＷの移動量とが等しくなるはずである。一方、エンドエフェクタ２の移動量と、ワークＷの移動量とが異なる場合は、エンドエフェクタ２がワークＷを正しく支持できていないことになる。従って、ステップＳｔ２３４において、ワークＷの移動量とエンドエフェクタ２の移動量との差Ｄｉｆが、既定の許容誤差値以内である場合、エンドエフェクタ２がワークＷを支持できていると確認できる（Ｓｔ２３、Ｙｅｓ）。一方、前記の差Ｄｉｆが、既定の許容誤差値以内でない場合、エンドエフェクタ２がワークＷを支持できていないと確認できる（Ｓｔ２３、Ｎｏ）。
　図１１の（ｂ）は、ステップＳｔ２３における確認を、撮像画像によって認識されたワークＷの変形に基づいて行う例を示している。この確認例においては、エンドエフェクタ２によるワークＷの支持前後の画像を用いて、ワークＷの変形を示す情報を導出する。例えば、カメラＣＡＭによって、動作開始時（時刻ｔ１）における画像ＩＭＧｔ１と、把持完了時（時刻ｔ２）における画像ＩＭＧｔ２を撮像し、これらの画像を制御システム１００の画像取得部１０４が取得する。時刻ｔ１におけるワークＷに比して、時刻ｔ２におけるワークＷは圧縮変形している。この変形量（あるいは変形率）を、上記画像ＩＭＧｔ１および画像ＩＭＧｔ２に基づいて制御システム１００（のプロセッサ１０１）が導出して、ワークＷの変形を示す情報とする。
　例えば、時刻ｔ１におけるワークＷの幅をｄｔ１とし、時刻ｔ２におけるワークＷの幅をｄｔ２とした場合、変形率をｄｔ２／ｄｔ１と定義して導出可能である。この変形率を、前記ワークＷの変形を示す情報として用いて、これに基づき支持の確認を行うことができる。例えば、０．９≦ｄｔ２／ｄｔ１＜０．９５ならば、適正な力で支持（把持）を行っているとして、エンドエフェクタ２がワークＷを支持できていると確認できる（Ｓｔ２３、Ｙｅｓ）。ｄｔ２／ｄｔ１＜０．９である場合は、支持（把持）の力が強すぎるとして、０．９５≦ｄｔ２／ｄｔ１である場合は、支持（把持）の力が弱すぎるとして、それぞれ、エンドエフェクタ２がワークＷを支持できていないと確認できる（Ｓｔ２３、Ｎｏ）。なお、前記ワークの変形を示す情報は、上記の変形率以外の情報であってよく、ワークＷの形状、大きさ、軟らかさ、重量等に応じて適切なものを用いればよい。
　以上のように、ロボットアーム１に接続可能な複数のエンドエフェクタ２を制御するエンドエフェクタ２の制御システム１００が、エンドエフェクタ２の画像を取得する画像取得部１０４と、エンドエフェクタ２を識別する識別情報を取得するエンドエフェクタ接続部１０５と、エンドエフェクタ２を制御するプロセッサ１０１と、エンドエフェクタ毎の目標位置である制御情報を有するメモリ１０２と、を備え、プロセッサ１０１は、エンドエフェクタ接続部１０５から識別情報を取得し、識別情報と制御情報とから目標位置を決定し、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる撮像画像に集約することで、マルチモーダルな情報処理を回避することができる。
　また、プロセッサ１０１は、画像取得部１０４が取得した画像に基づいて、エンドエフェクタ２がワークＷを支持しているか否かを確認し、エンドエフェクタ２がワークＷを支持していない場合、識別情報と制御情報とから目標位置を新たに決定し、画像取得部１０４が取得した画像をもとに新たな目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、ワークＷに関する事前情報が不足している場合や、ワークＷが軟らかい素材でできている場合であっても、ワークＷの柔軟性や重量に基づく支持の制御が容易となる。その結果、様々なワークＷを支持するエンドエフェクタ２の動作の範囲を広げることができる。さらに、撮像した画像に基づいてエンドエフェクタ２を制御すればよいので、通常の逆運動学にワークの柔軟性を加味した運動法則式の計算が不要となる。
　また、プロセッサ１０１による、エンドエフェクタ２がワークＷを支持しているか否かの確認は、プロセッサ１０１が、ワークＷを移動するようにエンドエフェクタ２を制御し、画像取得部１０４によって取得した画像に基づいて、ワークＷの移動量と、エンドエフェクタ２の移動量との差が既定の許容誤差値以内であるかを確認することによって行われる。これにより、エンドエフェクタ２がワークＷを支持しているか否かを、カメラＣＡＭによる撮像画像に基づいて適切に確認することができる。
　また、プロセッサ１０１による、エンドエフェクタ２がワークＷを支持しているか否かの確認は、プロセッサ１０１が、画像取得部１０４によって取得した画像に基づいて、ワークＷの変形を示す情報を導出することによって行われる。これにより、エンドエフェクタ２がワークＷを支持しているか否かを、カメラＣＡＭによる撮像画像に基づいて適切に確認することができる。
　また、複数のエンドエフェクタに含まれるエンドエフェクタのうち少なくとも１つが、１以上のフィンガＦを有し、フィンガＦの先端でワークＷを掴むことにより、もしくは、フィンガＦでワークＷを巻き込むことにより、ワークＷを支持する。これにより、エンドエフェクタ２によるワークＷの種々の支持態様を、制御システム１００が制御することができる。
　また、複数のエンドエフェクタに含まれるエンドエフェクタのうち少なくとも１つが、複数の関節軸を備えた１以上のフィンガＦを有し、エンドエフェクタの特徴点が、少なくとも、フィンガＦの１以上の関節軸上に配置される。これにより、関節軸を、ワークＷを把持する際の所定の位置へと位置決めできる。
　また、制御システム１００による、ロボットアーム１に接続可能な複数のエンドエフェクタ２を制御する方法において、制御システム１００は、画像取得部１０４と、エンドエフェクタ接続部１０５と、プロセッサ１０１と、メモリ１０２とを備え、メモリ１０２は、エンドエフェクタ毎の目標位置である制御情報を有しており、画像取得部１０４は、エンドエフェクタ２の画像を取得し、エンドエフェクタ接続部１０５は、エンドエフェクタ２を識別する識別情報を取得し、プロセッサ１０１は、エンドエフェクタ接続部１０５から識別情報を取得し、識別情報と制御情報とから目標位置を決定し、画像取得部１０４が取得した画像をもとに目標位置に一致するようにエンドエフェクタ２の制御を行う。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる画像に集約することで、マルチモーダルな情報処理を回避することができる。
　また、ロボットアーム１に接続されたエンドエフェクタ２の制御システム１００が、メモリ１０２と、プロセッサ１０１と、カメラＣＡＭと、を備え、カメラＣＡＭは、エンドエフェクタ２と、エンドエフェクタ２の作業対象であるワークＷとが撮像可能な位置に配置されており、メモリ１０２は、エンドエフェクタ２がワークＷを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を（例えば特徴点情報テーブルＴのデータ項目として）有しており、プロセッサ１０１は、カメラＣＡＭが撮像した画像に基づいて、エンドエフェクタ２の現在位置における特徴点と、ワークＷの位置とを特定するとともに、エンドエフェクタ２の現在位置における特徴点が特徴点情報によって示される特徴点と一致するように、エンドエフェクタ２を制御する。これにより、力覚センサ等を用いずに、センサレスで簡易なシステム構成にすることができる。また、複数のセンサについてのキャリブレーションを行わなくて済むので、エンドエフェクタ２の立ち上げ時間が短くなる。さらに、エンドエフェクタ２からのフィードバック情報をカメラＣＡＭによる撮像画像に集約することで、マルチモーダルな情報処理を回避することができる。
　以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。
　本開示は、ロボットハンドを簡素化しつつ、エンドエフェクタを制御できるエンドエフェクタの制御システムおよびエンドエフェクタの制御方法として有用である。
１　　　ロボットアーム
２　　　エンドエフェクタ
３　　　ベース
４　　　コントローラ
１００　制御システム
１０１　プロセッサ
１０２　メモリ
１０３　入力装置
１０４　画像取得部
１０５　エンドエフェクタ接続部
１０６　通信装置
１０７　入出力インターフェース
ＣＡＭ　カメラ
Ｄｉｆ　差
Ｆ　　　フィンガ
Ｆ１　　第１フィンガ
Ｆ２　　第２フィンガ
Ｇ　　　把持部
ＩＭＧｔ１，ＩＭＧｔ２　画像
Ｊ１　　第１関節軸
Ｊ２　　第２関節軸
Ｊ３　　第３関節軸
Ｊ４　　第４関節軸
Ｌ１　　第１リンク
Ｌ２　　第２リンク
Ｌ３　　第３リンク
Ｌ４　　第４リンク
Ｌ５　　第５リンク
Ｔ　　　特徴点情報テーブル
Ｗ　　　ワーク

Claims (9)

  1. 　ロボットアームに接続可能な複数のエンドエフェクタを制御するエンドエフェクタの制御システムであって、
    　前記複数のエンドエフェクタのうち前記ロボットアームに接続されたエンドエフェクタの画像を取得する画像取得部と、
    　前記エンドエフェクタを識別する識別情報を取得する識別情報取得部と、
    　前記エンドエフェクタを制御する制御部と、
    　前記複数のエンドエフェクタの各々の目標位置を含む制御情報を有するメモリと、を備え、
    　前記制御部は、前記識別情報取得部から前記識別情報を取得し、前記識別情報と前記制御情報とから前記目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、
    　エンドエフェクタの制御システム。
  2. 　前記制御部は、
    　前記画像取得部が取得した前記画像に基づいて、前記エンドエフェクタがワークを支持しているか否かを確認し、
    　前記エンドエフェクタが前記ワークを支持していない場合、前記識別情報と前記制御情報とから新たな目標位置を決定し、前記画像取得部が取得した前記画像をもとに前記新たな目標位置に一致するように前記エンドエフェクタの制御を行う、
    　請求項１に記載のエンドエフェクタの制御システム。
  3. 　前記制御部による、前記エンドエフェクタが前記ワークを支持しているか否かの確認は、
    　前記制御部が、前記ワークを移動するように前記エンドエフェクタを制御し、前記画像取得部によって取得した前記画像に基づいて、前記ワークの移動量と、前記エンドエフェクタの移動量との差が既定の許容誤差値以内であるかを確認することによって行われる、
    　請求項２に記載のエンドエフェクタの制御システム。
  4. 　前記制御部による、前記エンドエフェクタが前記ワークを支持しているか否かの確認は、
    　前記制御部が、前記画像取得部によって取得した前記画像に基づいて、前記ワークの変形を示す情報を導出することによって行われる、
    　請求項２に記載のエンドエフェクタの制御システム。
  5. 　前記複数のエンドエフェクタに含まれる少なくとも１つのエンドエフェクタが、１以上のフィンガを有し、前記フィンガの先端でワークを掴むことにより、前記ワークを支持する、
    　請求項１から請求項４のいずれか１項に記載のエンドエフェクタの制御システム。
  6. 　前記複数のエンドエフェクタに含まれる少なくとも１つエンドエフェクタが、１以上のフィンガを有し、前記フィンガでワークを巻き込むことにより、前記ワークを支持する、
    　請求項１から請求項５のいずれか１項に記載のエンドエフェクタの制御システム。
  7. 　前記複数のエンドエフェクタに含まれる少なくとも１つエンドエフェクタが、複数の関節軸を備えた１以上のフィンガを有し、
    　前記エンドエフェクタの特徴点が、少なくとも、前記１以上のフィンガの前記複数の関節軸のうち１以上の関節軸上に配置される、
    　請求項１から請求項６のいずれか１項に記載のエンドエフェクタの制御システム。
  8. 　画像取得部と、識別情報取得部と、メモリとを備える制御システムによる、ロボットアームに接続可能な複数のエンドエフェクタを制御する方法であって、
    　前記複数のエンドエフェクタの各々を識別する識別情報を前記識別情報取得部から取得し、
    　前記識別情報と前記メモリが有する前記複数のエンドエフェクタの各々の目標位置である制御情報とから目標位置を決定し、
    　前記画像取得部が取得した画像をもとに前記目標位置に一致するように前記エンドエフェクタの制御を行う、
    　エンドエフェクタの制御方法。
  9. 　ロボットアームに接続されたエンドエフェクタの制御システムであって、
    　メモリと、プロセッサと、カメラと、を備え、
    　前記カメラは、前記エンドエフェクタと、前記エンドエフェクタの作業対象であるワークとが撮像可能な位置に配置されており、
    　前記メモリは、前記エンドエフェクタが前記ワークを支持する時の第１の支持目標位置における特徴点を示す、特徴点情報を有しており、
    　前記プロセッサは、
    　前記カメラが撮像した画像に基づいて、前記エンドエフェクタの現在位置における特徴点と、前記ワークの位置とを特定するとともに、
    　前記エンドエフェクタの前記現在位置における前記特徴点が前記特徴点情報によって示される前記特徴点と一致するように、前記エンドエフェクタを制御する、
    　エンドエフェクタの制御システム。
PCT/JP2020/021555 2019-06-27 2020-06-01 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法 WO2020261881A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021527533A JP7186349B2 (ja) 2019-06-27 2020-06-01 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
CN202080045054.3A CN114025928A (zh) 2019-06-27 2020-06-01 末端执行器的控制系统以及末端执行器的控制方法
US17/560,614 US20220111533A1 (en) 2019-06-27 2021-12-23 End effector control system and end effector control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-120594 2019-06-27
JP2019120594 2019-06-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/560,614 Continuation US20220111533A1 (en) 2019-06-27 2021-12-23 End effector control system and end effector control method

Publications (1)

Publication Number Publication Date
WO2020261881A1 true WO2020261881A1 (ja) 2020-12-30

Family

ID=74059710

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021555 WO2020261881A1 (ja) 2019-06-27 2020-06-01 エンドエフェクタの制御システムおよびエンドエフェクタの制御方法

Country Status (4)

Country Link
US (1) US20220111533A1 (ja)
JP (1) JP7186349B2 (ja)
CN (1) CN114025928A (ja)
WO (1) WO2020261881A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093356A (zh) * 2021-03-18 2021-07-09 北京空间机电研究所 一种基于机械臂的大型分块光学组件装配方法
WO2024014080A1 (ja) * 2022-07-13 2024-01-18 パナソニックＩｐマネジメント株式会社 推定システムおよび推定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11302134B2 (en) * 2019-07-23 2022-04-12 Japan Cash Machine Co., Ltd. Automatic bill handling system
CN114851208B (zh) * 2022-06-16 2024-02-02 梅卡曼德（北京）机器人科技有限公司 物体抓取方法以及用于抓取物体的系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59232781A (ja) * 1983-06-17 1984-12-27 株式会社日立製作所 ロボツトのハンドの制御装置
JPS60104688A (ja) * 1983-11-07 1985-06-10 廣瀬　茂男 柔軟把握機構
JPH0929674A (ja) * 1995-07-19 1997-02-04 Kawasaki Heavy Ind Ltd 指状把持装置
JP2009214269A (ja) * 2008-03-12 2009-09-24 Toyota Motor Corp ロボットハンド
JP2009255192A (ja) * 2008-04-14 2009-11-05 Canon Inc マニュピュレーション装置及びその制御方法
JP2017094482A (ja) * 2015-11-17 2017-06-01 富士電機株式会社 ロボット制御システム及びロボット制御方法
JP2019010724A (ja) * 2017-06-30 2019-01-24 大成建設株式会社 物品配置システム及び食品盛り付けシステム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5297238A (en) * 1991-08-30 1994-03-22 Cimetrix Incorporated Robot end-effector terminal control frame (TCF) calibration method and device
GB2261069B (en) * 1991-10-30 1995-11-01 Nippon Denso Co High speed picking system for stacked parts
JP2769947B2 (ja) * 1992-05-15 1998-06-25 株式会社椿本チエイン マニピュレータの位置・姿勢制御方法
GB9803364D0 (en) * 1998-02-18 1998-04-15 Armstrong Healthcare Ltd Improvements in or relating to a method of an apparatus for registering a robot
JP3910134B2 (ja) * 2002-10-30 2007-04-25 ファナック株式会社 ロボット装置
WO2006006624A1 (ja) * 2004-07-13 2006-01-19 Matsushita Electric Industrial Co., Ltd. 物品保持システム、ロボット及びロボット制御方法
WO2008076942A1 (en) * 2006-12-15 2008-06-26 Braintech Canada, Inc. System and method of identifying objects
TW200910505A (en) * 2007-05-08 2009-03-01 Brooks Automation Inc Substrate transport apparatus with multiple movable arms utilizing a mechanical switch mechanism
US9144909B2 (en) * 2007-07-05 2015-09-29 Re2, Inc. Defense related robotic systems
US7957583B2 (en) * 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
JP5448326B2 (ja) * 2007-10-29 2014-03-19 キヤノン株式会社 把持装置および把持装置制御方法
KR101479232B1 (ko) * 2008-05-13 2015-01-06 삼성전자 주식회사 로봇과 로봇 핸드, 로봇 핸드의 제어 방법
US9393694B2 (en) * 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
EP2729850A4 (en) * 2011-08-11 2015-07-08 Siemens Healthcare Diagnostics METHOD AND DEVICE FOR CALIBRATING AN ALIGNMENT OF A ROBOT GRIPPER AND A CAMERA
EP2862679A1 (en) * 2012-06-19 2015-04-22 Kabushiki Kaisha Yaskawa Denki Robotic system and method for manufacturing processed goods
US8996167B2 (en) * 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
JP2014024162A (ja) * 2012-07-27 2014-02-06 Seiko Epson Corp ロボットシステム、ロボット制御装置、ロボット制御方法及びロボット制御プログラム
BR112015023547B8 (pt) * 2013-03-15 2022-09-27 Synaptive Medical Inc Montagem de braço automatizado para uso usado durante um procedimento médico sobre uma parte anatômica
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP6454960B2 (ja) * 2013-10-31 2019-01-23 セイコーエプソン株式会社 ロボット、ロボットシステム、ロボット制御装置
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
CN107000199B (zh) * 2014-12-26 2020-04-17 川崎重工业株式会社 自行式关节机械手
US10959795B2 (en) * 2015-08-25 2021-03-30 Kawasaki Jukogyo Kabushiki Kaisha Remote-control manipulator system and method of operating the same
US9718188B2 (en) * 2015-09-21 2017-08-01 Amazon Technologies, Inc. Networked robotic manipulators
JP6648469B2 (ja) * 2015-10-07 2020-02-14 セイコーエプソン株式会社 ロボットシステム、及びロボット制御装置
US9751211B1 (en) * 2015-10-08 2017-09-05 Google Inc. Smart robot part
CN111832702A (zh) * 2016-03-03 2020-10-27 谷歌有限责任公司 用于机器人抓取的深度机器学习方法和装置
US10166676B1 (en) * 2016-06-08 2019-01-01 X Development Llc Kinesthetic teaching of grasp parameters for grasping of objects by a grasping end effector of a robot
CN109641354B (zh) * 2016-08-30 2022-08-05 本田技研工业株式会社 机器人的控制装置和机器人的控制方法
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods
US10360531B1 (en) * 2016-12-19 2019-07-23 Amazon Technologies, Inc. Robot implemented item manipulation
JP6680720B2 (ja) * 2017-04-10 2020-04-15 ファナック株式会社 ロボットの動作軌跡を自動で生成する装置、システム、および方法
US10773382B2 (en) * 2017-09-15 2020-09-15 X Development Llc Machine learning methods and apparatus for robotic manipulation and that utilize multi-task domain adaptation
JP2020196059A (ja) * 2019-05-31 2020-12-10 セイコーエプソン株式会社 ロボット

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59232781A (ja) * 1983-06-17 1984-12-27 株式会社日立製作所 ロボツトのハンドの制御装置
JPS60104688A (ja) * 1983-11-07 1985-06-10 廣瀬　茂男 柔軟把握機構
JPH0929674A (ja) * 1995-07-19 1997-02-04 Kawasaki Heavy Ind Ltd 指状把持装置
JP2009214269A (ja) * 2008-03-12 2009-09-24 Toyota Motor Corp ロボットハンド
JP2009255192A (ja) * 2008-04-14 2009-11-05 Canon Inc マニュピュレーション装置及びその制御方法
JP2017094482A (ja) * 2015-11-17 2017-06-01 富士電機株式会社 ロボット制御システム及びロボット制御方法
JP2019010724A (ja) * 2017-06-30 2019-01-24 大成建設株式会社 物品配置システム及び食品盛り付けシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HIRAKAWA, ATSUSHI ET AL.: "Adaptive Grasping Movement of Robotic Hand with Visual Feedback", THE 21ST ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN, 20 September 2003 (2003-09-20) *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093356A (zh) * 2021-03-18 2021-07-09 北京空间机电研究所 一种基于机械臂的大型分块光学组件装配方法
CN113093356B (zh) * 2021-03-18 2022-08-12 北京空间机电研究所 一种基于机械臂的大型分块光学组件装配方法
WO2024014080A1 (ja) * 2022-07-13 2024-01-18 パナソニックＩｐマネジメント株式会社 推定システムおよび推定方法

Also Published As

Publication number Publication date
CN114025928A (zh) 2022-02-08
JP7186349B2 (ja) 2022-12-09
JPWO2020261881A1 (ja) 2020-12-30
US20220111533A1 (en) 2022-04-14

Similar Documents

Publication Publication Date Title
WO2020261881A1 (ja) エンドエフェクタの制御システムおよびエンドエフェクタの制御方法
JP5685027B2 (ja) 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
KR102140639B1 (ko) 학습 장치, 학습 완료 모델이 저장된 비일시적인 컴퓨터 가독 매체, 및 학습 방법
JP3876234B2 (ja) コネクタ把持装置、同装置を備えたコネクタ検査システム及びコネクタ接続システム
US10532461B2 (en) Robot and robot system
CN105598987B (zh) 借助机器人确定关于对象的抓取空间
JP6771744B2 (ja) ハンドリングシステム及びコントローラ
JP2007245326A (ja) ロボットとロボットの制御方法
JP2011230245A (ja) ロボットシステム
JP2007098501A (ja) ロボットシステム
JP2015030086A (ja) ロボット制御方法、ロボットシステム、プログラム及び記録媒体
JP2015000455A (ja) ロボット装置及びロボット装置の制御方法
US11376732B2 (en) Robot system for correcting teaching of robot using image processing
CN116423526B (zh) 一种机械臂工具坐标的自动标定方法及系统、存储介质
JP2022163719A (ja) 対象物を挿入部に挿入するようにロボットを制御するための装置及び方法
US20220134550A1 (en) Control system for hand and control method for hand
US20180215044A1 (en) Image processing device, robot control device, and robot
CN113894774A (zh) 一种机器人抓取控制方法、装置、存储介质和机器人
CN208584552U (zh) 一种柔性抓取装置和机器人
JP4441615B2 (ja) 電源用３ピンプラグの挿入を行うためのロボットアーム制御装置
JP2006130580A (ja) ロボットによる任意形状物体の把持方法
JP2019212681A (ja) リード線挿入装置およびリード線挿入方法
US20200298410A1 (en) Robot hand controller
JP4715296B2 (ja) ロボットハンドの持ち替え把持制御方法。
CN110722591A (zh) 柔性体的力感知方法、夹爪及机械手

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20833159

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021527533

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20833159

Country of ref document: EP

Kind code of ref document: A1