WO2019171822A1 - 制御システム及び制御システムにおける方法 - Google Patents

制御システム及び制御システムにおける方法 Download PDF

Info

Publication number
WO2019171822A1
WO2019171822A1 PCT/JP2019/002728 JP2019002728W WO2019171822A1 WO 2019171822 A1 WO2019171822 A1 WO 2019171822A1 JP 2019002728 W JP2019002728 W JP 2019002728W WO 2019171822 A1 WO2019171822 A1 WO 2019171822A1
Authority
WO
WIPO (PCT)
Prior art keywords
end effector
gripping
control system
target
actuator
Prior art date
Application number
PCT/JP2019/002728
Other languages
English (en)
French (fr)
Inventor
佳和 古山
亘 小久保
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2019171822A1 publication Critical patent/WO2019171822A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices

Definitions

  • the present disclosure relates to a control system and a method in the control system.
  • Patent Document 1 in a robot hand provided with a finger portion composed of a plurality of finger driving means and links that respectively connect the finger driving means, the work object at the tip of the most advanced link of the finger portion It is described that a sensor capable of recognizing a work object in a non-contact manner is provided in the vicinity of the contact point.
  • Patent Document 2 describes that an electronic camera is provided on a hand support provided at the arm tip of a robot arm.
  • an action unit that acts on an object, a situation recognition sensor that recognizes a surrounding situation including the object, and an actuator that controls the posture of the situation recognition sensor relative to the action part.
  • a control system is provided.
  • control system includes: an action unit that acts on an object; a situation recognition sensor that recognizes a surrounding situation including the object; and an actuator that controls an attitude of the situation recognition sensor. And obtaining object information including a position of the object based on a recognition result by the situation recognition sensor, and controlling the actuator based on the object information.
  • FIG. 1 It is a schematic diagram which shows a mode that the holding part of an end effector hold
  • FIG. It is a schematic diagram which shows operation
  • the present disclosure relates to a visual sensor that measures a distance / posture to an object or environment that is a work target, and an end effector that has a mechanism that can change the position and orientation of the visual sensor.
  • FIG. 1 is a schematic diagram illustrating a configuration of an end effector 100 according to the present disclosure.
  • the end effector 100 includes three gripping units 102, a visual sensor 104, an actuator 106 that changes the posture of the visual sensor 104, and a main body 108.
  • the end effector 100 is attached to the tip of a general movable arm having a plurality of joints and a plurality of links having six degrees of freedom.
  • the movement of the end effector 100 can be expressed by, for example, a base coordinate system based on the base (base) of the arm.
  • Translation in the X-axis, Y-axis, and Z-axis directions, and X-axis, Y-axis, and Z-axis Can be represented by rotation with the axis of rotation.
  • the movement of the end effector 100 with six degrees of freedom is realized by controlling the actuator provided at the joint of the arm.
  • Each end of each of the three grip portions 102 is attached to the main body 108.
  • Each of the three grip portions 102 includes a plurality of joint portions, and an actuator that drives the grip portion 102 is incorporated in each joint portion.
  • Each grip part 102 can grip an object by being bent toward the main body 108 by driving an actuator provided in the joint part.
  • the visual sensor 104 is a sensor that visually recognizes the environment around the end effector 100.
  • the visual sensor 104 includes a camera such as a stereo camera, for example, and images an object and environment around the end effector 100.
  • a stereo camera By configuring the visual sensor 104 from a stereo camera, distance information can be obtained from the parallax between the left and right captured images. Thereby, the end effector 100 can recognize surrounding objects and environments from the captured image.
  • the visual sensor 104 may be configured by, for example, a TOF sensor or a distance measuring device equipped with a TOF sensor, and recognize an object and environment around the end effector 100.
  • the mounting position of the visual sensor 104 is not particularly limited as long as it is on the end effector 100. For example, by mounting the visual sensor 104 at the tip of the grip portion 102, the side surface of the grip target 200 can be measured.
  • the actuator 106 is attached to the main body 108.
  • the actuator 106 can change the pan / tilt direction of the visual sensor 104 by driving.
  • the actuator 106 includes a plurality of motors, linear actuators, and the like.
  • the actuator 106 is composed of a linear actuator, the visual sensor 104 is translated by driving the actuator 106.
  • the posture of the visual sensor 104 with respect to the grip portion 102 (or the main body 108) is relatively changed by driving the actuator 106.
  • the relative “posture” of the visual sensor 104 with respect to the grip portion 102 includes the direction or position of the visual sensor 104 with respect to the grip portion 102.
  • a region A1 illustrated in FIG. 1 indicates a region in which the surrounding environment can be recognized when the visual sensor 104 faces a predetermined direction. By driving the actuator 106, the direction of the region A1 can be controlled.
  • gripping parts 102 is shown, it is not limited to this. Further, the actuator 106 is not limited to one having two degrees of freedom.
  • the grasping unit 102 grasps the grasped object 200, but instead of the grasping unit 102, the object touches the object, presses the object, sucks the object, and is in a non-contact state.
  • An action unit that acts on the object (such as measuring the object or acquiring predetermined information from the object) may be provided.
  • FIG. 2 is a schematic diagram illustrating an operation example in which the end effector 100 is brought close to the gripping object 200.
  • a cup is exemplified.
  • an object can be observed even in the approaching direction as indicated by the arrow A2 in FIG.
  • a high-resolution captured image including distance information can be obtained near the gripping target 200, and the target gripping position can be calculated with high accuracy. It becomes.
  • FIG. 3 is a flowchart showing a control processing procedure for causing the end effector 100 to approach the grasped object 200.
  • a general gripping operation flow as described in Patent Document 2 described above can be used.
  • the visual sensor 104 may always recognize the surrounding environment.
  • step S10 the position of the gripping object 200 is acquired in advance, the target position and target posture of the end effector 100 are acquired based on this, and the movement path of the end effector 100 is calculated.
  • a method for acquiring the position of the gripping object 200 a method based on object position measurement by another sensor, a method given by the user, or a measurement direction of the visual sensor 104 on the end effector 100 is controlled (scanned) to search for the gripping object 200. Or the like can be used.
  • step S12 the direction of measurement by the visual sensor 104 (the direction of the area A1 shown in FIG. 1) is controlled in the direction of the grasped object 200, that is, the traveling direction of the end effector 100.
  • step S14 surrounding objects and environment are measured by the visual sensor 104.
  • step S16 it is determined whether or not the grasping object 200 is measured by the visual sensor 104. If the grasping object 200 is measured, the process proceeds to step S18.
  • step S ⁇ b> 16 whether or not the grip target 200 is measured is determined by, for example, an image of the grip target 200 that is held in advance on the end effector 100 side and an image of the grip target 200 obtained by the visual sensor 104. The determination can be made based on whether or not they match.
  • step S ⁇ b> 18 the target position, target posture, and path of the end effector 100 are calculated based on the information about the gripping target 200 measured by the visual sensor 104.
  • step S18 the target coordinates of the grip portion 102 are calculated. Specifically, as illustrated in FIG. 4, an edge image 210 is extracted from an image captured by the visual sensor 104. Then, based on the information of the edge image, determining the target coordinates H P g and target coordinates of the grip portion 102 of the end effector 100. Target coordinates of the grip portion 102 can be calculated from the target coordinates Pg N of the end effector 100.
  • various methods can be used, for example, using a Sobel filter.
  • the target coordinates H P g of the end effector 100 can be determined from the position of the center of gravity of the distribution of the extracted edge image 210. Since the edge image 210 can be estimated to represent the contour of the gripping object 200, the center of gravity of the distribution of the edge image 210 is used as the center of the gripping object 200, and the target coordinates for the movement of the end effector 100 are used.
  • the target coordinates of the gripper 102 are 3 degrees by 120 ° in the circumferential direction around the center of gravity of the closed curve of the edge image 210. Divide and decide. As shown in FIG. 1, when the three grip portions 102 are provided with respect to the main body 108 at every angle divided into three in the circumferential direction, a circle centered on the center of gravity of the closed curve of the edge image 210 is set. By setting a straight line extending in the direction equally divided into three in the circumferential direction from the center, the intersection point of the closed curve and the straight line of the edge image 210 is set as the target coordinate of the grip portion 102.
  • FIG. 5 shows an example in which the gripping object 200 is gripped by the two gripping portions 102 when the two gripping portions 102 are provided.
  • a gradient image is calculated based on the captured image obtained by the visual sensor 104, and a coordinate p whose dz / dx (differential value in the X-axis direction of the image) is larger than a threshold value ⁇ is extracted.
  • calculating the area density is high coordinate group p shown in the right figure as the target coordinates H P g of the grip portion 102.
  • Target coordinates H P g obtained as described above are the visual sensor 104 and reference coordinate system sigma H, in order to control the end effector 100 to the target coordinates, converted into the base coordinate system sigma B There is a need to.
  • the target coordinate B P g in the base coordinate system is obtained.
  • the target angle q 1 ⁇ q n of each joint for moving the end effector 100 to the target coordinates B P g.
  • step S18 the process proceeds to step S20. Moreover, also when not grasping
  • step S20 based on the measurement of the visual sensor 104, it is determined whether an obstacle is detected in the traveling direction of the end effector 100. If an obstacle is detected in the traveling direction, the process proceeds to step S22. In step S22, the path of the end effector 100 is corrected so as to avoid the obstacle.
  • step S20 since the path of the end effector 100 has been calculated in advance in step S18, the size that the end effector 100 can collide with in the traveling direction of the end effector 100 on the image acquired by the visual sensor 104.
  • the presence or absence of an obstacle is determined by whether or not there is an object.
  • step S24 the end effector 100 is moved along the calculated path. At this time, if an obstacle is detected in the traveling direction in step S20, the end effector 100 is moved along the route corrected in step S22. If no obstacle is detected in the traveling direction in step S20, the end effector 100 is moved along the route calculated in step S18.
  • step S24 the process proceeds to step S26.
  • step S26 it is determined whether or not the end effector 100 has reached the target position (target coordinates B P g ). If the end effector 100 has reached the target position, the process ends (END). On the other hand, if the end effector 100 has not reached the target position in step S26, the process returns to step S12 and the subsequent processing is performed again.
  • the posture of the visual sensor 104 is controlled in that direction, the target position of the end effector 100 is calculated, and the end effector 100 approaches the target gripping unit 200. Let Even during the approach, the measurement by the visual sensor 104 and the calculation of the target position are repeated, so that the ratio of the grip target 200 in the captured image increases as the grip target 200 is approached. Attitude measurement accuracy will improve. If there is an obstacle while approaching, the end effector 100 can be moved so as to avoid the obstacle.
  • FIG. 6A and FIG. 6B are schematic diagrams showing how the grip portion 102 of the end effector 100 grips the grip target 200.
  • FIG. FIG. 6A is a schematic diagram illustrating a state in which the end effector 100 and the gripping target object 200 are viewed from a direction orthogonal to the direction in which the end effector 100 approaches the gripping target object 200.
  • 6B is a schematic diagram showing a state in which the end effector 100 and the gripping target object 200 are viewed from the direction in which the end effector 100 approaches the gripping target object 200, and the end effector 100 is viewed from the arrow A2 direction in FIG. 6A.
  • FIG. 6 is a schematic diagram illustrating a state in which the grasped object 200 is viewed.
  • the actuator 106 when the end effector 100 grips the gripping object 200, the actuator 106 is controlled so that the direction of the visual sensor 104 faces the gripping object 200. Thereby, the position of the grasped object 200 with respect to the end effector 100 is accurately acquired. Further, it is possible to accurately determine the contact between the grip portion 102 and the grip target 200.
  • FIG. 7 is a flowchart showing the flow of processing when gripping the gripping object 200.
  • step S30 the target coordinates of the grip portion 102 are acquired. Note that the value already calculated by the above-described method is used as the target coordinates of the grip portion 102.
  • step S ⁇ b> 32 the measurement direction of the visual sensor 104 is controlled toward the target coordinates of the grip unit 102.
  • step S34 measurement by the visual sensor 104 is performed.
  • next step S36 based on the measurement by the visual sensor 104, the target coordinates and posture of the grip portion 102 are recalculated.
  • the gripper 102 is moved to the target coordinates.
  • next step S40 it is determined whether or not the grip part 102 has contacted the grip target 200. If the grip part 102 has touched the grip target 200, the process proceeds to step S42. The gripping object 200 is lifted up while gripping. On the other hand, if the grip portion 102 is not in contact with the gripping object 200 in step S40, the process returns to step S32 and the subsequent processing is performed again.
  • the gripper 102 when the gripper 102 reaches the target position according to the flow of FIG. 3, the contact surface of the gripper 102 with respect to the grip target 200 and the contacted surface of the grip target 200 can be observed.
  • the posture of the sensor 104 is controlled. Thereby, the measurement accuracy of the contact position of the grip portion 104 is improved, and it is possible to accurately detect whether or not the grip portion 104 is in contact with the grip target 200.
  • FIG. 8 is a schematic diagram for explaining a method of determining contact in step S40 of FIG.
  • FIG. 8 shows an image captured by the visual sensor 104, and shows a case where the grasped object 200 is grasped from above.
  • step S ⁇ b> 40 of FIG. 7 depending on whether or not the three-dimensional position of the gripping part 102 in the image captured by the visual sensor 104 matches the coordinates of the edge of the gripping target 200, the gripping part 102 holds the gripping target 200. It is determined whether or not contact has been made. The same applies when the grip portion 102 is brought into contact with another position during a manipulation operation.
  • the contact detection may be performed using another sensor, for example, by providing a contact force sensor at the tip of the grip portion 104.
  • FIG. 9 is a schematic diagram showing a state in which the end effector 100 moves in the direction of arrow A3 and the gripping target object 200 is transported in a state where the gripping part 102 grips the gripping target object 200. is there.
  • the visual sensor 104 is directed in the moving direction of the end effector 100 (the direction of the arrow A3). Accordingly, the environment of the movement path of the end effector 200 can be surely recognized while the gripping target object 200 is being transported by the end effector 100, and when there is an obstacle on the movement path, the obstacle is reliably detected. Is possible.
  • the surrounding environment can be measured by controlling the measurement direction of the visual sensor 104, and the collision with an obstacle present in the surrounding environment is possible. Can be avoided.
  • the process of transporting the gripping object 200 can be performed in the same manner as in FIG. 3, for example, by setting the target coordinates of the end effector 100 to a desired target position.
  • FIG. 10 is a schematic diagram showing an operation when the end effector 100 transports the gripping target object 200 and places it at a desired position.
  • the visual sensor 104 measures the situation and environment around the placement place while gripping the gripping object 200. By controlling the measurement direction of the visual sensor 104, it is possible to search for the placement target position while gripping the gripping object 200. Thereby, it is possible to place the grasped object 200 at an optimal place.
  • FIG. 11 is a flowchart showing a flow of processing when the gripping object 200 is arranged.
  • step S50 the position of the placement target surface, which is a target point when placing the gripping object 200, is acquired.
  • the actuator 106 is controlled so that the direction of measurement by the visual sensor 104 is directed to the placement target plane.
  • the target position and orientation of the end effector 100 are calculated based on the image information obtained from the visual sensor 104.
  • the end effector 100 is moved so as to achieve the target position and posture calculated in step S54.
  • step S58 it is determined whether or not the gripping object 200 and the target placement surface are in contact. If it is determined that the gripping object 200 and the target placement surface are in contact, the process proceeds to step S60. In step S ⁇ b> 60, the grip portion 102 is separated from the gripping target object 200 and the gripping of the gripping target object 200 is released. After step S60, the process ends (END).
  • step S52 when it is determined in step S52 that the gripping object 200 and the target placement surface are not in contact, the process returns to step S52 and the subsequent processing is performed again.
  • the target position to be placed in advance is acquired in the same manner as when the gripping target object 20 is gripped. Then, by controlling the measurement direction of the visual sensor 104 toward the target position, the captured image of the visual sensor 104 can be used for calculation of the target position / posture for placing the grasped object 200.
  • FIG. 12 is a schematic diagram for explaining a method of calculating the arrangement target position.
  • a region 250 that is a plane and has a size where both the gripping object 200 and the gripping part 102 can be placed is a candidate for a position that can be placed.
  • a planar area can be recognized from distance information of an image captured by the visual sensor 104. Further, for the detection of the plane, a known method prepared by various image processing libraries can be used.
  • the size of the gripping object 200 can be estimated from the size of the contour of the gripping object 200 when gripping. Of the areas that satisfy this condition, the area that becomes the shortest path from the current position is defined as an arrangementable area 260 shown in FIG.
  • the arrangement possible area corresponds to the arrangement target plane in step S50.
  • the bottom surface of the grasped object 200 and the arrangement surface 204 are in contact based on the image captured by the visual sensor 104, it is possible to determine the success of the arrangement.
  • the contact between the bottom surface 202 of the gripping object 200 and the arrangement surface 204 can be determined by whether or not the edge of the bottom surface 202 of the gripping object 200 is in contact with the placement surface 204 as shown in FIG.
  • FIG. 14 is a schematic diagram showing an example in which the grasped object 200 is a tool (an action tool) that acts on another object.
  • the gripping object 200 is a knife 300 instead of a cup.
  • the end effector 100 holds the knife 300, and the end effector 100 moves the knife 300 downward (in the direction of arrow A4) to cut the fruit 310.
  • the tool (knife 300) gripped by the end effector 100 is used while being brought into contact with another object (fruit 310) or the environment, the contact surface of the tool and the target object are covered in the same manner as described above.
  • the visual sensor 104 By measuring the contact surface with the visual sensor 104, errors in the contact position and orientation can be reduced.
  • FIG. 15 is a schematic diagram showing an image obtained by imaging the kitchen knife 300 and the fruit 310 with the visual sensor 104 in the example shown in FIG.
  • the position of the edge 302 where the knife 300 and the fruit 310 are in contact with each other is specified by the user based on the captured image. If the position of the edge 302 is known, the target coordinates of the edge 302 can be obtained. Similarly to FIG. 8, the distance distribution (distribution of the three-dimensional position) of the contact position (edge 302) of the knife 300 and the contact target It can be determined from the distance distribution of the object fruit 310 whether or not the knife 300 and the fruit 302 are in contact with each other.
  • the position of the edge 302 can be obtained in advance from the shape and size of the kitchen knife 300 and the position where the gripper 102 grips the kitchen knife 300.
  • FIG. 16 is a schematic diagram showing an environment in which the grasped object 200 is shielded from other sensors provided around the end effector 100.
  • the gripping object 200 is placed on the shelf 320.
  • the gripping object 200 cannot be recognized by other sensors, but the gripping object 200 can be recognized by the visual sensor 104.
  • the shielding environment can be searched independently of the movement of the end effector by controlling the direction of the visual sensor 104.
  • FIG. 17 is a block diagram illustrating a configuration of a system 1000 including the end effector 100 according to the present embodiment and a control device 400 that controls the end effector 100.
  • the end effector 100 includes a visual sensor 104, an actuator 106, and a grip portion 102.
  • the control device 400 also includes an object information acquisition unit 405 that acquires information including the position of the gripping object 200 detected by the visual sensor 104, a target position of the end effector 100, a target position of the gripping part 102, and the end effector 100.
  • a calculation unit 410 that calculates the movement path of the actuator, an actuator control unit 420 that controls the actuator 106 based on the calculation result of the calculation unit 410, and an end effector that controls the movement of the end effector 100 based on the calculation result of the calculation unit 410
  • the control unit 430 includes a contact determination unit 440 that determines contact between the gripping target object 200 and the gripping part 102 or contact between the gripping target object 200 and the arrangement surface 204.
  • the calculation unit 410 calculates the target coordinates of the end effector 100 and the target coordinates of the gripping unit 102 by the method described above. In addition, the calculation unit 410 performs matrix conversion of the target coordinates of the gripping target 200 based on the visual sensor 104 to the base coordinate system, and calculates the target coordinates of the gripping target 200 based on the base coordinate system.
  • the actuator control unit 420 controls the actuator 106 based on the calculation result of the calculation unit 410 so that the direction of the visual sensor 104 is also directed to the target coordinate. Based on the calculation result of the calculation unit 410, the end effector control unit 430 controls the joint actuator of the grip unit 102 so that the tip of the grip unit 102 matches the target coordinates. Further, the end effector control unit 430 controls the arm that supports the end effector 100 based on the calculation result of the calculation unit 410 so that the position of the end effector 100 matches the target coordinates.
  • the contact determination unit 440 uses the above-described method to determine whether or not the three-dimensional position of the gripping unit 102 recognized by the visual sensor 104 matches the three-dimensional position of the edge of the gripping target 200. And contact with the grasped object 200 is determined. Further, the contact determination unit 440 makes contact between the gripping target object 200 and the placement surface 204 based on whether or not the three-dimensional position of the edge of the bottom surface 202 of the gripping target object 200 is in contact with the three-dimensional position of the edge of the placement surface 240. Determine.
  • the measurement range of the visual sensor 104 is controlled, Measurement by the visual sensor 104 can be performed in various approach directions, and the target position / posture of the end effector 100 can be calculated from information obtained from the visual sensor 104.
  • the gripping object 200 is shielded from other sensors, such as when there is a gripping object on the shelf, when the end effector 100 is brought close to the gripping object 200, only the direction of the visual sensor 104 is used. By changing, the shielded area can be searched independently of the movement of the end effector 100.
  • the measurement range of the visual sensor 104 is controlled, thereby controlling the end effector 100.
  • the measurement range of the contact position of the effector is expanded, and contact detection is possible by measuring the contact surface of the end effector and the contacted surface of the object.
  • the periphery of the end effector 100 can be measured with the visual sensor 104 while gripping the gripping target object 200, so that an obstacle can be avoided and the shortest route can be calculated.
  • the measurement direction of the visual sensor 104 is controlled to thereby grasp the grasped object 200.
  • the target contact position can be searched for with the gripping held, and the error of the contact position / posture can be reduced.
  • the measurement range of the visual sensor 104 is controlled, and the contact surface of the gripping object 200 and the contacted surface of the environment are observed, so that the gripping object 200 and the placement surface are observed. Contact determination with 204 becomes possible.
  • a control system comprising: (2) The control system according to (1), further including an object information acquisition unit that acquires object information including a position of the object based on a recognition result by the situation recognition sensor. (3) The control system according to (2), further including an actuator control unit that controls the actuator based on the object information. (4) The control system according to (3), wherein the actuator control unit controls the actuator so that the situation recognition sensor faces a direction of the object.
  • the control system according to (2) further including an end effector control unit that controls movement of an end effector having the action unit, the situation recognition sensor, and the actuator based on the object information.
  • a calculation unit that converts the object information based on the coordinate system of the end effector into information based on a base coordinate system of the movable arm on which the end effector is mounted,
  • the control system according to (5) wherein the end effector control unit controls movement of the end effector based on the information based on the base coordinate system.
  • the control system according to (5) wherein, when an obstacle is recognized by the situation recognition sensor, the end effector control unit controls movement of the end effector so as to avoid the obstacle.
  • a calculation unit that calculates an action position that causes the action part to act on the object based on the object information;
  • the said actuator control part is a control system as described in said (5) which makes the said action part act on the said target object based on the said action position.
  • a contact determination unit that determines contact between the object and the action unit or contact between the object and another object based on the object information;
  • the control system according to (5), wherein the end effector control unit controls the movement of the end effector based on a determination result by the contact determination unit.
  • the control system according to any one of (1) to (9), wherein the action unit grips the object.
  • the action unit has a mechanism for gripping the object, and when it is determined that the object and the placement surface on which the object is placed are in contact with each other, the action part is gripped.
  • An actuator for controlling the posture of the situation recognition sensor;
  • a method in a control system comprising: Obtaining object information including a position of the object based on a recognition result by the situation recognition sensor; Controlling the actuator based on the object information;
  • a method comprising:

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

【課題】対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにする。 【解決手段】本開示に係る制御システムは、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、を備える。この構成により、対象物を把持するなど対象物に作用する際に、対象物を確実に認識して所望の制御を行うことが可能となる。

Description

制御システム及び制御システムにおける方法
　本開示は、制御システム及び制御システムにおける方法に関する。
　従来、下記の特許文献１には、複数の指駆動手段と、指駆動手段間をそれぞれ連結するリンクから成る指部を備えたロボットハンドにおいて、指部の最先端のリンクの先端の作業対象物との接触点近傍に、作業対象物を非接触で認識可能なセンサを設けることが記載されている。また、下記の特許文献２には、ロボットアームのアーム先端部に設けられたハンド支持部に電子カメラを設けることが記載されている。
特開２００９－０６６６７８号公報 特開２００５－２０５５１９号公報
　しかしながら、上記特許文献に記載された技術では、把持部（指部またはハンド部）で把持対象物を把持すると、センサで作業対象物を認識できなくなる問題がある。このため、把持部で把持対象物を把持するまでの間は、センサの情報を利用することができるが、把持部で把持対象物を把持した後は、センサの情報を利用することができない。従って、把持部で把持対象物を把持した状態で、把持対象物を搬送したり、他の場所に載置等する際に、センサの情報を利用して最適な制御を行うことは困難である。したがって、運搬時や把持物の配置時に、環境に衝突する可能性がある。また、把持対象物の配置位置の計測をセンサで行うことは困難である。
　また、上記特許文献に記載された技術では、把持対象物へ把持部をアプローチさせる際に、センサの計測範囲が把持部の移動方向に依存してしまうため、センサの計測方向以外の方向から把持対象物を掴もうとする際には、把持対象物の検出ができない問題がある。また、物体の裏に把持対象物があるケースや棚の上に把持対象物があるケースなど、物体が遮蔽されている環境においては、把持対象物を探索するためにセンサが設けられた把持部の位置・姿勢を制御する必要があり、計算時間が増加する問題がある。
　更に、上記特許文献に記載された技術では、把持対象物を指部で把持した状態で操り動作をすることを想定した場合に、センサの観測範囲外で操作すると、誤った位置に把持部が接触してしまい、把持対象物を落としてしまう可能性がある。また、把持対象物を、別の物体や環境に接触させて使用する際に、センサの計測範囲が限られるため、把持対象物の接触面と環境の被接触面の計測ができず、接触を行うことができない可能性がある。
　そこで、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが求められていた。
　本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、を備える、制御システムが提供される。
　また、本開示によれば、対象物に作用する作用部と、前記対象物を含む周辺の状況を認識する状況認識センサと、前記状況認識センサの姿勢を制御するアクチュエータと、を備える、制御システムにおける方法であって、前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、前記対象物情報に基づいて前記アクチュエータを制御することと、を備える、方法が提供される。
　以上説明したように本開示によれば、対象物を把持するなど対象物に作用する際に、対象物を確実に認識できるようにすることが可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係るエンドエフェクタの構成を示す模式図である。 エンドエフェクタを把持対象物に接近させる動作例を示す模式図である。 エンドエフェクタを把持対象物に接近させる制御の処理手順を示すフローチャートである。 視覚センサによる撮像画像に対してエッジ画像を抽出する様子を示す模式図である。 ２つの把持部を備える場合に、２つの把持部で把持対象物を掴む例を示す模式図である。 エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。 エンドエフェクタの把持部が把持対象物を把持する様子を示す模式図である。 把持対象物を把持する際の処理の流れを示すフローチャートである。 図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。 把持対象物を把持部が把持した状態でエンドエフェクタが矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。 エンドエフェクタが把持対象物を運搬して、所望の位置に配置する際の動作を示す模式図である。 把持対象物を配置する際の処理の流れを示すフローチャートである。 配置目標位置を計算する方法を説明するための模式図である。 視覚センサによる撮像画像に基づいて、把持対象物の底面と配置面が接触したかどうかを計算する様子を示す模式図である。 把持対象物を、別の物体に作用させる道具とした例を示す模式図である。 図１３に示す例において、視覚センサで包丁と果物を撮像して得られる画像を示す模式図である。 他のセンサから把持対象物が遮蔽されている環境を示す模式図である。 本実施形態に係るエンドエフェクタと、エンドエフェクタを制御する制御装置とからなるシステムの構成を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．エンドエフェクタの構成例
　２．エンドエフェクタの動作の例
　　２．１．エンドエフェクタを把持対象物に接近させる動作
　　２．２．把持対象物を把持する動作
　　２．３．把持対象物を運搬する動作
　　２．４．把持対象物を配置する動作
　　２．５．その他の動作の例
　３．エンドエフェクタを含むシステムの構成例
　１．エンドエフェクタの構成例
　本開示は、作業対象としている物体や環境までの距離・姿勢を計測する視覚センサと、視覚センサの位置や向きを変えられる機構を有するエンドエフェクタに関する。物体の把持、運搬、配置といった作業内容に応じて視覚センサの計測方向を変えることで、作業の失敗を防止し、高精度な作業を実現する。
　図１は、本開示に係るエンドエフェクタ１００の構成を示す模式図である。図１に示すように、エンドエフェクタ１００は、３つの把持部１０２、視覚センサ１０４、視覚センサ１０４の姿勢を変えるアクチュエータ１０６、本体１０８を有して構成されている。
　エンドエフェクタ１００は、６自由度を有する、複数の関節と複数のリンクを備える一般的な可動アームの先端に装着されている。エンドエフェクタ１００の動きは、例えば、アームの根元（ベース）を基準とするベース座標系で表すことができ、Ｘ軸、Ｙ軸、Ｚ軸の方向の並進と、Ｘ軸、Ｙ軸、Ｚ軸を回転軸とする回転で表すことができる。このアームの関節に設けられたアクチュエータの制御によって、エンドエフェクタ１００の６自由度の動きが実現される。
　３つの把持部１０２のそれぞれは、その一端が本体１０８に装着されている。３つの把持部１０２のそれぞれは、複数の関節部を備え、各関節部には把持部１０２を駆動するアクチュエータが内蔵されている。各把持部１０２は、関節部に設けられたアクチュエータの駆動により、本体１０８に向けて折れ曲がることで、物体を把持することができる。
　視覚センサ１０４は、視覚的にエンドエフェクタ１００の周辺の環境を認識するセンサである。視覚センサ１０４は、例えばステレオカメラなどのカメラから構成され、エンドエフェクタ１００の周囲の物体、環境を撮像する。視覚センサ１０４をステレオカメラから構成することにより、左右の撮像画像の視差から距離情報を得ることができる。これにより、エンドエフェクタ１００は、撮像画像から周囲の物体、環境を認識することができる。また、視覚センサ１０４は、例えばＴＯＦセンサ、またはＴＯＦセンサを搭載した測距装置により構成され、エンドエフェクタ１００の周囲の物体、環境を認識するものであっても良い。
　図１では、エンドエフェクタ１００に１つの視覚センサ１０４を搭載した例を示しているが、視覚センサ１０４の搭載個数は特に限定されるものではない。また、視覚センサ１０４の搭載位置は、エンドエフェクタ１００上であれば特に限定されるものではない。例えば、把持部１０２の先端に視覚センサ１０４を搭載することで、把持対象物２００の側面を計測することも可能になる。
　アクチュエータ１０６は、本体１０８に装着されている。アクチュエータ１０６は、その駆動により、視覚センサ１０４のパン・チルトの方向を可変することができる。アクチュエータ１０６は、複数のモータ、リニアアクチュエータ等から構成される。アクチュエータ１０６がリニアアクチュエータから構成される場合、アクチュエータ１０６の駆動により視覚センサ１０４が並進移動する。このように、アクチュエータ１０６の駆動により、把持部１０２（または本体１０８）に対する視覚センサ１０４の姿勢が相対的に変化する。そして、視覚センサ１０４の把持部１０２に対する相対的な「姿勢」とは、視覚センサ１０４の把持部１０２に対する方向または位置を含むものである。図１に示す領域Ａ１は、視覚センサ１０４が所定の方向を向いた場合に、周辺の環境を認識可能な領域を示している。アクチュエータ１０６の駆動により、領域Ａ１の方向を制御することが可能である。
　なお、図１では、３つの把持部１０２による３指ハンドのエンドエフェクタ１００を示しているが、これに限定されるものではない。また、アクチュエータ１０６は、２自由度のものに限定されるものではない。また、図１では、把持部１０２が把持対象物２００を把持するものとしたが、把持部１０２の代わりに、対象物に接触する、対象物を押す、対象物を吸引する、非接触の状態で対象物に作用する（対象物を計測したり対象物から所定の情報を取得する）など、対象物に何らかの作用を及ぼす作用部が設けられていても良い。
　２．エンドエフェクタの動作の例
　次に、エンドエフェクタ１００の動作の例について説明する。ここでは、把持対象物（物体）２００に対してエンドエフェクタ１００を接近させ、把持部１０２を把持対象物２００に接触させて把持対象物２００を掴み、把持した把持対象物２００を目的地へ運び、把持対象物２００を目的地に置く、という一連の流れを例に挙げて説明する。
　　２．１．エンドエフェクタを把持対象物に接近させる動作
　図２は、エンドエフェクタ１００を把持対象物２００に接近させる動作例を示す模式図である。なお、把持対象物２００としては、コップを例示する。視覚センサ１０４の方向を接近方向に合わせることで、図２中に矢印Ａ２で示すような接近方向であっても、物体を観測できる。このように、視覚センサ１０４による計測方向を制御することで、把持対象物２００の近くで距離情報を含む高解像度の撮像画像を得ることができ、目標把持位置を高精度に計算することが可能となる。
　図３は、エンドエフェクタ１００を把持対象物２００に接近させる制御の処理手順を示すフローチャートである。なお、図３の処理のうち既存の処理については、前述した特許文献２に記載されているような、一般的な把持の動作フローを用いることができる。図７、図１１においても同様である。また、視覚センサ１０４による周辺環境の認識は常に行っていて良い。先ず、ステップＳ１０では、事前に把持対象物２００の位置を取得し、これに基づいてエンドエフェクタ１００の目標位置、目標姿勢を取得し、エンドエフェクタ１００の移動経路を計算する。把持対象物２００の位置を取得する方法として、別センサによる物体位置計測による方法、ユーザが与える方法、エンドエフェクタ１００上の視覚センサ１０４の計測方向を制御(走査)して把持対象物２００を探索する方法などを用いることができる。
　次に、ステップＳ１２では、把持対象物２００の方向、すなわちエンドエフェクタ１００の進行方向へ視覚センサ１０４による計測方向（図１中に示す領域Ａ１の方向）を制御する。次のステップＳ１４では、視覚センサ１０４による周囲の物体、環境の計測を行う。
　次のステップＳ１６では、視覚センサ１０４により把持対象物２００を計測したか否かを判定し、把持対象物２００を計測した場合は、ステップＳ１８へ進む。ステップＳ１６において、把持対象物２００を計測したか否かは、例えば、予めエンドエフェクタ１００側で保持している把持対象物２００の画像と、視覚センサ１０４により得られる把持対象物２００の画像とが一致するか否かによって判定できる。
　ステップＳ１８では、視覚センサ１０４により計測した把持対象物２００の情報に基づいて、エンドエフェクタ１００の目標位置、目標姿勢、経路を計算する。また、ステップＳ１８では、把持部１０２の目標座標を計算する。具体的には、図４に示すように、視覚センサ１０４による撮像画像に対してエッジ画像２１０を抽出する。そして、このエッジ画像の情報に基づいて、エンドエフェクタ１００の目標座標ＨＰｇと把持部１０２の目標座標を決定する。把持部１０２の目標座標は、エンドエフェクタ１００の目標座標ＰｇＮから算出できる。エッジの抽出の際には、例えばＳｏｂｅｌフィルタを用いるなど、様々な手法を用いることができる。
　例えば、エンドエフェクタ１００の目標座標ＨＰｇは、抽出したエッジ画像２１０の分布の重心位置から求めることができる。エッジ画像２１０は、把持対象物２００の輪郭を表していると推定できるため、エッジ画像２１０の分布の重心位置を把持対象物２００の中心として、エンドエフェクタ１００の移動の目標座標とする。
　また、把持部１０２の目標座標（把持位置候補２２０（把持部の接触目標位置））は、図４に示すように、エッジ画像２１０の閉曲線の重心を中心として、周方向に１２０°ずつ３等分して決定する。図１に示すように、本体１０８に対して３つの把持部１０２が円周方向に３等分した角度毎に設けられている場合、エッジ画像２１０の閉曲線の重心を中心とする円を設定し、中心から円周方向に３等分した方向に伸びる直線を設定することで、エッジ画像２１０の閉曲線と直線との交点を把持部１０２の目標座標とする。
　また、図５は、２つの把持部１０２を備える場合に、２つの把持部１０２で把持対象物２００を掴む例を示している。この例では、視覚センサ１０４により得られた撮像画像に基づいて、勾配画像を計算し、ｄｚ／ｄｘ（画像のＸ軸方向の微分値）が閾値δより大きい座標ｐを抽出し、図５の右図に示す座標群ｐの密度が高い領域を把持部１０２の目標座標ＨＰｇとして算出する。
　以上のようにして得られた目標座標ＨＰｇは、視覚センサ１０４を基準とした座標系ΣＨであるため、エンドエフェクタ１００を目標座標に制御するためには、ベース座標系ΣＢに変換する必要がある。現在のアームの関節角度θ１～θｎと関節間のリンク長Ｌ１～Ｌｎを用いて、ΣＢからΣＨへの同次変換行列ＢＴＨを計算し、目標座標ＨＰｇに乗算することでベース座標系における目標座標ＢＰｇを求める。そして、ＢＰｇに対して逆運動学を解くことで、エンドエフェクタ１００を目標座標ＢＰｇに移動するための各関節の目標角度ｑ１～ｑｎを得る。
　ステップＳ１８の後はステップＳ２０へ進む。また、ステップＳ１６で把持対象物２００を計測していない場合もステップＳ２０へ進む。ステップＳ２０では、視覚センサ１０４の計測に基づき、エンドエフェクタ１００の進行方向に障害物を検出したか否かを判定し、進行方向に障害物を検出した場合は、ステップＳ２２へ進む。ステップＳ２２では、障害物を回避するようにエンドエフェクタ１００の経路を修正する。
　ステップＳ２０の処理では、エンドエフェクタ１００の経路はステップＳ１８で事前に計算済であるため、視覚センサ１０４で取得した画像上において、エンドエフェクタ１００の進行方向に、エンドエフェクタ１００が衝突し得る大きさの物体があるか否かによって、障害物の有無を判定する。
　ステップＳ２２の後はステップＳ２４へ進む。また、ステップＳ２０で進行方向に障害物を検出していない場合もステップＳ２４へ進む。ステップＳ２４では、計算した経路に沿ってエンドエフェクタ１００を移動する。この際、ステップＳ２０で進行方向に障害物を検出した場合は、ステップＳ２２で修正した経路に沿ってエンドエフェクタ１００を移動する。また、ステップＳ２０で進行方向に障害物を検出していない場合は、ステップＳ１８で計算した経路に沿ってエンドエフェクタ１００を移動する。
　ステップＳ２４の後はステップＳ２６へ進む。ステップＳ２６では、エンドエフェクタ１００が目標位置（目標座標ＢＰｇ）に到達したか否かを判定し、エンドエフェクタ１００が目標位置に到達した場合は処理を終了する（ＥＮＤ）。一方、ステップＳ２６でエンドエフェクタ１００が目標位置に到達していない場合は、ステップＳ１２へ戻り、以降の処理を再度行う。
　図３の処理によれば、把持対象物２００の位置が判明すると、その方向へ視覚センサ１０４の姿勢を制御し、エンドエフェクタ１００の目標位置を計算してエンドエフェクタ１００を目標把持部２００に接近させる。接近中においても、視覚センサ１０４による計測と目標位置の計算を繰り返すことで、把持対象物２００に近づくにつれて、撮像画像中で把持対象物２００が占める割合が増えるため、把持対象物２００の位置、姿勢の計測精度が向上していく。また、接近中に障害物がある場合は、障害物を回避するようにエンドエフェクタ１００を動かすことも可能である。
　　２．２．把持対象物を把持する動作
　図６Ａ及び図６Ｂは、エンドエフェクタ１００の把持部１０２が把持対象物２００を把持する様子を示す模式図である。図６Ａは、エンドエフェクタ１００が把持対象物２００に接近する方向に対して直交する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。また、図６Ｂは、エンドエフェクタ１００が把持対象物２００に接近する方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図であって、図６Ａ中の矢印Ａ２方向からエンドエフェクタ１００及び把持対象物２００を見た状態を示す模式図である。
　図６Ａ及び図６Ｂに示すように、エンドエフェクタ１００が把持対象物２００を把持する際には、視覚センサ１０４の方向が把持対象物２００を向くようにアクチュエータ１０６が制御される。これにより、エンドエフェクタ１００に対する把持対象物２００の位置が正確に取得される。また、把持部１０２と把持対象物２００との接触を精度良く判定することができる。
　図７は、把持対象物２００を把持する際の処理の流れを示すフローチャートである。先ず、ステップＳ３０では、把持部１０２の目標座標を取得する。なお、把持部１０２の目標座標としては、上述した手法により既に計算されている値を使用する。次のステップＳ３２では、把持部１０２の目標座標に向けて視覚センサ１０４の計測方向を制御する。次のステップＳ３４では、視覚センサ１０４による計測を行う。
　次のステップＳ３６では、視覚センサ１０４による計測に基づいて、把持部１０２の目標座標、姿勢を再計算する。次のステップＳ３８では、目標座標へ把持部１０２を移動する。次のステップＳ４０では、把持部１０２が把持目標物２００に接触したか否かを判定し、把持部１０２が把持対象物２００に接触した場合はステップＳ４２へ進み、把持部１０２で把持対象物２００を把持した状態で把持対象物２００を持ち上げる。一方、ステップＳ４０で把持部１０２が把持対象物２００を接触していない場合はステップＳ３２へ戻り、以降の処理を再度行う。
　以上のように、把持部１０２が図３のフローに従って目標位置に到達した時点で、把持部１０２の把持対象物２００に対する接触面と、把持対象物２００の被接触面を観測できるように、視覚センサ１０４の姿勢を制御する。これにより、把持部１０４の接触位置の計測精度が向上し、更に把持部１０４が把持対象物２００に接触したか否かの検出も精度良く行うことが可能となる。
　なお、把持対象物２００を把持した後に、エンドエフェクタ１００内で把持対象物２００を持ち直す「操り操作」をする際も、図７と同様のフローで行うことができる。視覚センサ１０４の計測方向を把持部１０４の目標座標へ制御することで、把持対象物２００の掴み損ねや接触位置の誤差が低減し、操り操作の成功確率が向上する。
　図８は、図７のステップＳ４０において、接触を判定する方法を説明するための模式図である。図８では、視覚センサ１０４が撮像した画像を示しており、把持対象物２００を上から把持する場合を示している。図７のステップＳ４０では、視覚センサ１０４が撮像した画像中の把持部１０２の三次元位置が把持対象物２００のエッジの座標と一致するか否かに応じて、把持部１０２が把持対象物２００と接触したか否かを判定する。操り操作時に把持部１０２を別の位置へ接触させる際も同様である。なお、接触検出は、例えば把持部１０４の先端に接触力センサを設けるなどして、他のセンサを用いて行ってもよい。
　　２．３．把持対象物を運搬する動作
　図９は、把持対象物２００を把持部１０２が把持した状態でエンドエフェクタ１００が矢印Ａ３方向に移動し、把持対象物２００を運搬している様子を示す模式図である。図９に示すように、把持対象物２００を運搬している際には、視覚センサ１０４がエンドエフェクタ１００の移動方向（矢印Ａ３方向）に向けられる。これにより、エンドエフェクタ１００による把持対象物２００の運搬中に、エンドエフェクタ２００の移動経路の環境を確実に認識することができ、移動経路に障害物が存在する場合は、障害物を確実に検出することが可能である。
　図９に示すように、把持対象物２００を把持した後においても、視覚センサ１０４の計測方向を制御することで、周辺環境を計測することができ、周辺環境中に存在する障害物との衝突を回避することが可能である。把持対象物２００を運搬する処理は、例えばエンドエフェクタ１００の目標座標を所望の目標位置に設定することで、図３と同様に行うことができる。
　　２．４．把持対象物を配置する動作
　図１０は、エンドエフェクタ１００が把持対象物２００を運搬して、所望の位置に配置する際の動作を示す模式図である。図１０に示すように、把持対象物２００を所望の位置に配置する際に、把持対象物２００を把持した状態で、視覚センサ１０４が配置場所の周辺の状況、環境を計測する。視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持した状態で配置目標位置を探索できる。これにより、最適な場所に把持対象物２００を置くことが可能である。
　図１１は、把持対象物２００を配置する際の処理の流れを示すフローチャートである。先ず、ステップＳ５０では、把持対象物２００を配置する際の目標地点である配置目標面の位置を取得する。次のステップＳ５２では、視覚センサ１０４による計測の方向が配置目標面に向かうようにアクチュエータ１０６を制御する。
　次のステップＳ５４では、視覚センサ１０４から得られる画像情報に基づいて、エンドエフェクタ１００の目標位置、姿勢を計算する。次のステップＳ５６では、ステップＳ５４で計算した目標位置、姿勢となるようにエンドエフェクタ１００を移動する。
　次のステップＳ５８では、把持対象物２００と目標配置面とが接触したか否かを判定し、把持対象物２００と目標配置面とが接触したことが判定された場合は、ステップＳ６０へ進む。ステップＳ６０では、把持部１０２を把持対象物２００から離し、把持対象物２００の把持を解除する。ステップＳ６０の後は処理を終了する（ＥＮＤ）。
　一方、ステップＳ５２で把持対象物２００と目標配置面とが接触していないことが判定された場合は、ステップＳ５２へ戻り、以降の処理を再度行う。
　以上のように、把持対象物２００を所望の位置に配置する際には、把持対象物２０を把持する場合と同様な方法で、事前に配置する目標位置を取得する。そして、目標位置に向けて視覚センサ１０４の計測方向を制御することで、把持対象物２００を配置するための目標位置・姿勢の計算に、視覚センサ１０４の撮像画像を利用することができる。
　図１２は、配置目標位置を計算する方法を説明するための模式図である。図１２に示すように、視覚センサ１０４が撮像した画像中で、平面であり且つ把持対象物２００と把持部１０２を共に配置可能な広さの領域２５０が配置可能位置の候補となる。視覚センサ１０４で撮像した画像の距離情報から、平面の領域を認識できる。また、平面の検出は様々な画像処理ライブラリで用意されている公知の手法を利用できる。把持対象物２００の大きさは、把持する際の把持対象物２００の輪郭の大きさで推定できる。この条件を満たす領域の内、現在位置から最短経路となるエリアを図１２に示す配置可能領域２６０とする。配置可能領域は、ステップＳ５０の配置目標面に対応する。
　また、図１３に示すように、視覚センサ１０４による撮像画像に基づいて、把持対象物２００の底面と配置面２０４が接触したかどうかを計算することで、配置の成功判定も可能になる。把持対象物２００の底面２０２と配置面２０４との接触は、図１３に示す通り、把持対象物２００の底面２０２のエッジが配置面２０４と接触したか否かにより判定することができる。
　　２．５．その他の動作の例
　図１４は、把持対象物２００を、別の物体に作用させる道具（作用具）とした例を示す模式図である。図１４に示す例では、把持対象物２００をコップの代わりに包丁３００とした例を示している。図１４に示す例では、エンドエフェクタ１００で包丁３００を把持し、エンドエフェクタ１００が包丁３００を下（矢印Ａ４方向）に移動して果物３１０を切る様子を示している。このように、エンドエフェクタ１００で把持した道具（包丁３００）を、別の物体（果物３１０）や環境に接触させて使用する場合も、上述した手法と同様に道具の接触面と対象物体の被接触面を視覚センサ１０４で計測することで、接触位置、姿勢の誤差を低減できる。
　図１５は、図１３に示す例において、視覚センサ１０４で包丁３００と果物３１０を撮像して得られる画像を示す模式図である。図１５において、包丁３００と果物３１０が接触するエッジ３０２の位置は、ユーザが撮像画像に基づいて指定するなどして既知であるものとする。エッジ３０２の位置が既知であれば、エッジ３０２の目標座標を求めることができ、図８と同様に、包丁３００の接触位置（エッジ３０２）の距離分布（三次元位置の分布）と、被接触物体である果物３１０の距離分布から、包丁３００と果物３０２が接触したか否かを判定することができる。なお、エッジ３０２の位置は、包丁３００の形状、寸法と、把持部１０２が包丁３００を掴む位置とから予め求めることができる。
　図１６は、エンドエフェクタ１００の周囲に設けられる他のセンサから把持対象物２００が遮蔽されている環境を示す模式図である。図１６に示す例では、棚３２０の上に把持対象物２００が置かれている。このような場合、他のセンサでは把持対象物２００を認識することはできないが、視覚センサ１０４により把持対象物２００を認識できる。このため、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向を制御させることで、エンドエフェクタの移動とは独立して遮蔽環境を探索することができる。
　３．エンドエフェクタを含むシステムの構成例
　図１７は、本実施形態に係るエンドエフェクタ１００と、エンドエフェクタ１００を制御する制御装置４００とからなるシステム１０００の構成を示すブロック図である。図１７に示すように、エンドエフェクタ１００は、視覚センサ１０４、アクチュエータ１０６、把持部１０２を有して構成される。
　また、制御装置４００は、視覚センサ１０４が検出した把持対象物２００の位置を含む情報を取得する対象物情報取得部４０５と、エンドエフェクタ１００の目標位置、把持部１０２の目標位置、エンドエフェクタ１００の移動経路を計算する計算部４１０と、計算部４１０の計算結果に基づいてアクチュエータ１０６を制御するアクチュエータ制御部４２０と、計算部４１０の計算結果に基づいてエンドエフェクタ１００の動きを制御するエンドエフェクタ制御部４３０、把持対象物２００と把持部１０２との接触、または把持対象物２００と配置面２０４との接触を判定する接触判定部４４０と、を有して構成されている。
　計算部４１０は、上述した手法により、エンドエフェクタ１００の目標座標、把持部１０２の目標座標を計算する。また、計算部４１０は、視覚センサ１０４を基準とした把持対象物２００の目標座標をベース座標系に行列変換して、ベース座標系による把持対象物２００の目標座標を計算する。
　アクチュエータ制御部４２０は、計算部４１０の計算結果に基づいて、視覚センサ１０４の方向が把持対象物２００も目標座標に向くようにアクチュエータ１０６を制御する。エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、把持部１０２の先端が目標座標と一致するように把持部１０２の関節のアクチュエータを制御する。また、エンドエフェクタ制御部４３０は、計算部４１０の計算結果に基づいて、エンドエフェクタ１００の位置が目標座標と一致するようにエンドエフェクタ１００を支持するアームを制御する。
　また、接触判定部４４０は、上述した手法により、視覚センサ１０４により認識した把持部１０２の三次元位置が把持対象物２００のエッジの三次元位置と一致するか否かに応じて、把持部１０２と把持対象物２００との接触を判定する。また、接触判定部４４０は、把持対象物２００の底面２０２のエッジの三次元位置が配置面２４０のエッジの三次元位置と接触したか否かにより、把持対象物２００と配置面２０４との接触を判定する。
　以上説明したように本実施形態によれば、把持対象物２００にエンドエフェクタ１００を接近させる際(物体を把持する、物体を押す、など)に、視覚センサ１０４の計測範囲を制御することで、様々な接近方向に対して視覚センサ１０４による計測が可能になり、視覚センサ１０４から得られる情報からエンドエフェクタ１００の目標位置・姿勢を計算することが可能となる。
　また、棚の上に把持対象物がある場合など、他のセンサから把持対象物２００が遮蔽されている環境において、把持対象物２００にエンドエフェクタ１００を接近させる際に、視覚センサ１０４の方向のみを変化させることで、エンドエフェクタ１００の移動とは独立して遮蔽された領域を探索することができる。
　また、把持対象物２００にエンドエフェクタ１００を接触させる際(物体を把持する、物体を押す、把持物の持ち直しなどの操り操作、など)に、視覚センサ１０４の計測範囲を制御することで、エンドエフェクタの接触位置の計測範囲が拡大し、エンドエフェクタの接触面と物体の被接触面を計測することで、接触検出が可能になる。
　また、把持対象物２００を運搬する際に、把持対象物２００を把持したままエンドエフェクタ１００の周囲を視覚センサ１０４で計測できるため、障害物の回避や最短ルートの計算が可能になる。
　また、把持対象物２００を環境に接触させる際(把持した道具を別の物体に作用させる、把持物を配置する、など)に、視覚センサ１０４の計測方向を制御することで、把持対象物２００を把持したまま目標接触位置の探索ができ、接触位置・姿勢の誤差を低減することができる。
　また、把持対象物２００を環境に接触させる際に、視覚センサ１０４の計測範囲を制御し、把持対象物２００の接触面と環境の被接触面を観測することで、把持対象物２００と配置面２０４との接触判定が可能になる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　対象物に作用する作用部と、
　前記対象物を含む周辺の状況を認識する状況認識センサと、
　前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
　を備える、制御システム。
（２）　前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、前記（１）に記載の制御システム。
（３）　前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、前記（２）に記載の制御システム。
（４）　前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、前記（３）に記載の制御システム。
（５）　前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、前記（２）に記載の制御システム。
（６）　前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
　前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（７）　前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（８）　前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
　前記アクチュエータ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、前記（５）に記載の制御システム。
（９）　前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
　前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、前記（５）に記載の制御システム。
（１０）　前記作用部は、前記対象物を把持する、前記（１）～（９）のいずれかに記載の制御システム。
（１１）　前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、前記（９）に記載の制御システム。
（１２）　前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、前記（１）に記載の制御システム。
（１３）　対象物に作用する作用部と、
　前記対象物を含む周辺の状況を認識する状況認識センサと、
　前記状況認識センサの姿勢を制御するアクチュエータと、
　を備える、制御システムにおける方法であって、
　前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
　前記対象物情報に基づいて前記アクチュエータを制御することと、
　を備える、方法。
　１００　　エンドエフェクタ
　１０２　　把持部
　１０４　　視覚センサ
　１０６　　アクチュエータ
　４１０　　計算部
　４２０　　アクチュエータ制御部
　４３０　　エンドエフェクタ制御部
　４４０　　接触判定部

Claims (13)

  1. 　対象物に作用する作用部と、
    　前記対象物を含む周辺の状況を認識する状況認識センサと、
    　前記状況認識センサの姿勢を前記作用部に対して相対的に制御するアクチュエータと、
    　を備える、制御システム。
  2. 　前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得する対象物情報取得部を備える、請求項１に記載の制御システム。
  3. 　前記対象物情報に基づいて前記アクチュエータを制御するアクチュエータ制御部を備える、請求項２に記載の制御システム。
  4. 　前記アクチュエータ制御部は、前記状況認識センサが前記対象物の方向に向くように前記アクチュエータを制御する、請求項３に記載の制御システム。
  5. 　前記対象物情報に基づいて前記作用部、前記状況認識センサ及び前記アクチュエータを有するエンドエフェクタの動きを制御するエンドエフェクタ制御部を備える、請求項２に記載の制御システム。
  6. 　前記エンドエフェクタの座標系に基づく前記対象物情報を前記エンドエフェクタが装着された可動アームのベース座標系に基づく情報に変換する計算部を備え、
    　前記エンドエフェクタ制御部は、前記ベース座標系に基づく前記情報に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
  7. 　前記エンドエフェクタ制御部は、前記状況認識センサにより障害物が認識された場合は、前記障害物を避けるように前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
  8. 　前記対象物情報に基づいて、前記作用部を前記対象物に作用させる作用位置を計算する計算部を備え、
    　前記エンドエフェクタ制御部は、前記作用位置に基づいて前記作用部を前記対象物に作用させる、請求項５に記載の制御システム。
  9. 　前記対象物情報に基づいて、前記対象物と前記作用部との接触、又は前記対象物と他の物体との接触を判定する接触判定部を備え、
    　前記エンドエフェクタ制御部は、前記接触判定部による判定結果に基づいて前記エンドエフェクタの動きを制御する、請求項５に記載の制御システム。
  10. 　前記作用部は、前記対象物を把持する、請求項１に記載の制御システム。
  11. 　前記作用部は、前記対象物を把持する機構を有し、前記対象物と前記対象物が載置される載置面とが接触したことが判定されると、把持していた前記対象物を離す、請求項９に記載の制御システム。
  12. 　前記作用部は、前記対象物を把持する機構を有し、前記対象物を別の物体に作用させる、請求項１に記載の制御システム。
  13. 　対象物に作用する作用部と、
    　前記対象物を含む周辺の状況を認識する状況認識センサと、
    　前記状況認識センサの姿勢を制御するアクチュエータと、
    　を備える、制御システムにおける方法であって、
    　前記状況認識センサによる認識結果に基づいて、前記対象物の位置を含む対象物情報を取得することと、
    　前記対象物情報に基づいて前記アクチュエータを制御することと、
    　を備える、方法。
PCT/JP2019/002728 2018-03-09 2019-01-28 制御システム及び制御システムにおける方法 WO2019171822A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018042506A JP2021073099A (ja) 2018-03-09 2018-03-09 制御システム及び制御システムにおける方法
JP2018-042506 2018-03-09

Publications (1)

Publication Number Publication Date
WO2019171822A1 true WO2019171822A1 (ja) 2019-09-12

Family

ID=67847012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002728 WO2019171822A1 (ja) 2018-03-09 2019-01-28 制御システム及び制御システムにおける方法

Country Status (2)

Country Link
JP (1) JP2021073099A (ja)
WO (1) WO2019171822A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024142159A1 (ja) * 2022-12-26 2024-07-04 ファナック株式会社 制御装置、ロボットシステム、物体有無判定方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6352990A (ja) * 1986-08-22 1988-03-07 三菱電機株式会社 マニピユレ−タ視覚装置
JP2007527800A (ja) * 2004-02-05 2007-10-04 ダイムラークライスラー・アクチェンゲゼルシャフト 工具、カメラ及び光源を装備したロボット装置
JP2010131685A (ja) * 2008-12-03 2010-06-17 Seiko Epson Corp ロボット装置および撮像方法
JP2011000703A (ja) * 2009-05-19 2011-01-06 Canon Inc カメラ付きマニピュレータ
JP2011093015A (ja) * 2009-10-27 2011-05-12 Ihi Corp ハンドアイ式ビンピッキングロボットの制御装置
JP2014046433A (ja) * 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6352990A (ja) * 1986-08-22 1988-03-07 三菱電機株式会社 マニピユレ−タ視覚装置
JP2007527800A (ja) * 2004-02-05 2007-10-04 ダイムラークライスラー・アクチェンゲゼルシャフト 工具、カメラ及び光源を装備したロボット装置
JP2010131685A (ja) * 2008-12-03 2010-06-17 Seiko Epson Corp ロボット装置および撮像方法
JP2011000703A (ja) * 2009-05-19 2011-01-06 Canon Inc カメラ付きマニピュレータ
JP2011093015A (ja) * 2009-10-27 2011-05-12 Ihi Corp ハンドアイ式ビンピッキングロボットの制御装置
JP2014046433A (ja) * 2012-09-03 2014-03-17 Canon Inc 情報処理システム、方法及びプログラム

Also Published As

Publication number Publication date
JP2021073099A (ja) 2021-05-13

Similar Documents

Publication Publication Date Title
US10894324B2 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
US11090814B2 (en) Robot control method
US10589424B2 (en) Robot control device, robot, and robot system
JP5620445B2 (ja) 選択条件に基づいてロボットの保持位置姿勢を決定する物品取出装置
EP2364823B1 (en) Robot system and transfer method
US9878446B2 (en) Determination of object-related gripping regions using a robot
US8879822B2 (en) Robot control system, robot system and program
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2018176334A5 (ja)
WO2020022302A1 (ja) 把持装置
JP2002018754A (ja) ロボット装置及びその制御方法
US8954183B2 (en) Aircraft component manufacturing method and apparatus
JP2018533006A (ja) センサ装置、および、当該センサ装置を備えたロボットシステム
JP2014176923A (ja) ロボットシステムおよび被加工物の製造方法
JP2009274204A (ja) ロボット、ロボットハンド及びロボットハンドの制御方法
JP2009091129A (ja) ワーク把持具及びワーク把持具を用いたワーク搬送装置
JP2005169564A (ja) ロボットによる任意形状物体の把持方法
CN110621447A (zh) 机器人传送器校准方法、机器人系统以及控制系统
CN113858188A (zh) 工业机器人的抓取方法和设备、计算机存储介质以及工业机器人
JP2015071207A (ja) ロボットハンドおよびその制御方法
JP7454132B2 (ja) ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム
JP2008168372A (ja) ロボット装置及び形状認識方法
WO2019171822A1 (ja) 制御システム及び制御システムにおける方法
JP5983506B2 (ja) 把持対象物の把持パターン検出方法およびロボット
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19764902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19764902

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP