WO2022138864A1 - 干渉判定装置、ロボット制御システム、及び干渉判定方法 - Google Patents
干渉判定装置、ロボット制御システム、及び干渉判定方法 Download PDFInfo
- Publication number
- WO2022138864A1 WO2022138864A1 PCT/JP2021/048017 JP2021048017W WO2022138864A1 WO 2022138864 A1 WO2022138864 A1 WO 2022138864A1 JP 2021048017 W JP2021048017 W JP 2021048017W WO 2022138864 A1 WO2022138864 A1 WO 2022138864A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- robot
- interference
- vertices
- control unit
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 40
- 230000002452 interceptive effect Effects 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 92
- 239000012636 effector Substances 0.000 description 27
- 239000000470 constituent Substances 0.000 description 21
- 230000008859 change Effects 0.000 description 20
- 238000012937 correction Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000032258 transport Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40317—For collision avoidance and detection
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40607—Fixed camera to observe workspace, object, workpiece, global
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Definitions
- the robot 2 can control the position of the end effector 2B by operating the arm 2A.
- the end effector 2B may have a reference axis in the direction of action on the work object 8.
- the robot 2 can control the direction of the axis of the end effector 2B by operating the arm 2A.
- the robot 2 controls the start and end of the operation of the end effector 2B acting on the work object 8.
- the robot 2 can move or process the work object 8 by controlling the operation of the end effector 2B while controlling the position of the end effector 2B or the direction of the axis of the end effector 2B.
- the robot control device 10 may include a storage unit.
- the storage unit may include an electromagnetic storage medium such as a magnetic disk, or may include a memory such as a semiconductor memory or a magnetic memory.
- the storage unit stores various information, a program executed by the robot control device 10, and the like. In addition, the storage unit can also store information or the like acquired or generated according to the configuration requirements of the robot control device 10.
- the storage unit may be configured as a non-temporary readable medium.
- the storage unit may function as a work memory of the robot control device 10. At least a part of the storage unit may be configured as a separate body from the robot control device 10.
- the interference determination device 20 includes a spatial information acquisition unit 52, a recognition unit 50, a control unit 30, a robot information acquisition unit 40, and a planning unit 60.
- a spatial information acquisition unit 52 As shown in FIG. 2, the interference determination device 20 includes a spatial information acquisition unit 52, a recognition unit 50, a control unit 30, a robot information acquisition unit 40, and a planning unit 60.
- a recognition unit 50 As shown in FIG. 2, the interference determination device 20 includes a spatial information acquisition unit 52, a recognition unit 50, a control unit 30, a robot information acquisition unit 40, and a planning unit 60.
- the spatial information acquisition unit 52 may acquire a captured image from the camera 4.
- the spatial information acquisition unit 52 may be configured to include the camera 4.
- the camera 4 may be installed at the tip of the arm 2A of the robot 2 or the tip of the end effector 2B.
- the spatial information acquisition unit 52 acquires RGB information of the captured image acquired from the camera 4.
- the spatial information acquisition unit 52 may detect the spatial point cloud information based on the depth information of the captured image.
- the depth information includes information regarding the depth of the subject of the camera 4.
- the depth information is, for example, information indicating the distance between the subject and the shooting point.
- the spatial point cloud information may have attribute information such as position coordinate information in the XYZ coordinate system and RGB information for each position coordinate.
- the recognition unit 50 recognizes an object by distinguishing, for example, an object of work and an object such as a background or an obstacle that is not the object of work. Recognition of objects is also called clustering.
- the recognition unit 50 may approximate the clustered object with a polyhedron.
- the recognition unit 50 may acquire the vertex information of the polyhedron obtained by approximating the object.
- the recognition unit 50 may acquire spatial point cloud information of each clustered object.
- the recognition unit 50 may recognize each object without generating spatial point cloud information.
- the robot information acquisition unit 40 may acquire the physical information of the robot 2 as the detection result of the sensor 3.
- the robot information acquisition unit 40 may acquire physical information by estimating physical information that cannot be directly detected by the sensor 3.
- the robot information acquisition unit 40 outputs the acquired physical information to the control unit 30 and the planning unit 60.
- the control unit 30 includes an interference area calculation unit 32.
- the interference area calculation unit 32 acquires recognition information from the recognition unit 50 and also acquires physical information of the robot 2 from the robot information acquisition unit 40.
- the interference area calculation unit 32 determines the interference between the object existing in the operating range of the robot 2 and the robot 2 based on the recognition information and the physical information of the robot 2.
- the interference area calculation unit 32 determines the interference between the robot 2 and the object in the space where the robot 2 performs work on the target object while avoiding the obstacle 80.
- the space in which the robot 2 executes work is also referred to as a real space.
- the real space corresponds to the space that is visually recognized as a real space by humans.
- the state of the robot 2 is specified by the position and posture of the arm 2A as illustrated in FIG.
- Robot 2 further has joints 2C and 2D. It is assumed that the position and posture of the arm 2A are specified by the value of the drive angle ⁇ 1 of the joint 2C and the value of the drive angle ⁇ 2 of the joint 2D. That is, it is assumed that the state of the robot 2 is specified by the values of ⁇ 1 and ⁇ 2. Further, it is assumed that the joints 2C and 2D rotate the arm 2A in the XY plane. That is, the arm 2A of the robot 2 is located in the XY plane. ⁇ 1 and ⁇ 2 are angles defined in the XY plane.
- the interference area calculation unit 32 acquires the vertices of the obstacle 80 and their coordinates (position information).
- the interference area calculation unit 32 may acquire the spatial point cloud information of each object clustered by the recognition unit 50, and may consider at least a part of the points included in the spatial point cloud information of each object as the vertices of the object. ..
- the interference area calculation unit 32 calculates the state of the robot 2 when at least a part of the robot 2 interferes with each vertex of the obstacle 80.
- the control unit 30 acquires the value of the interference parameter when the robot 2 interferes with a plurality of vertices as an interference value, and interferes with the interference value in the configuration space based on the interference parameter.
- the area may be determined.
- the configuration space approximation unit 34 of the control unit 30 newly generates a region including a point, a locus, or an region constituting the interference region.
- the region newly generated by the configuration space approximation unit 34 is also referred to as a correction interference region.
- the configuration space approximation unit 34 may newly generate a region A represented by a broken line quadrilateral as a region including all four loci T as a correction interference region.
- the constituent space approximation unit 34 may generate a region represented by various plane figures such as a polygon as a correction interference region.
- the control unit 30 stores spatial information such as spatial point cloud information, information or interference values related to the acquired or generated plurality of vertices and their coordinates, and information such as an interference region or a correction interference region in a storage unit. May be good.
- the acquired or generated information is compared with the previously acquired or generated past information, and if there is identity and certain similarity, control is performed.
- the unit 30 may output planning information such as a route and an operation planned in the past. Further, when only a part has the sameness and the similarity, the control unit 30 may plan the path or the operation of the robot 2 in consideration of only the other part having the sameness and the similarity.
- the identity and a certain degree of similarity may be determined by, for example, whether the difference in the positions of a plurality of vertices or the interference value is included in the correction interference region.
- the control unit 30 generates a correction interference region (step S4). Specifically, the configuration space approximation unit 34 of the control unit 30 generates a new region including the interference region generated by the interference region calculation unit 32.
- the configuration space approximation unit 34 may generate a region represented by a simple figure including an interference region as a new region.
- the interference region calculation unit 32 may set a potential at or near a singular point in the configuration space and determine the validity of the operation of the robot 2 so as to avoid the potential. Further, the interference area calculation unit 32 may set potentials at or near a plurality of vertices, interference areas, and the vicinity thereof in the configuration space, and determine the validity of the operation of the robot 2 so as to avoid the potentials. Further, the interference region calculation unit 32 may set a potential in or near the correction interference region in the configuration space and determine the validity of the operation of the robot 2 so as to avoid the potential. The potential corresponds to a value determined based on the distance between, for example, an interference region or a singular point and a point representing the state of the robot 2.
- the interference area calculation unit 32 may set a potential in the configuration space and select an operation path so that the total value or the integrated value according to the path length of the operation path of the robot 2 becomes small.
- the interference region calculation unit 32 can control the operation of the robot 2 so that the path of the robot 2 is shortened by selecting a path having a small total value or integral value.
- the interference area calculation unit 32 sets the parameter to the state of the robot 2 by a predetermined amount or more. It may be regarded as an influential parameter.
- the interference area calculation unit 32 may consider a parameter that contributes to a predetermined ratio of the change amount of the coordinates of a specific part of the robot 2 as a parameter that affects the state of the robot 2 by a predetermined amount or more. ..
- the specific portion of the robot 2 may be, for example, an end effector 2B located at the tip of the robot 2.
- the ratio of the amount of movement corresponding to the third joint is 10%. It is assumed that the ratio of the amount of movement corresponding to the 4th joint is 5%. It is assumed that the ratio of the amount of movement corresponding to the fifth joint is 3%. It is assumed that the ratio of the amount of movement corresponding to the 6th joint was 2%.
- the angles of the first joint and the second joint are considered to be parameters that affect a predetermined amount or more.
- the angles of the first joint, the second joint, the third joint, and the fourth joint are regarded as parameters that affect a predetermined amount or more.
- the joint located on the most tip side of the robot 2 is the sixth joint, and the joint located farthest from the tip is the first joint.
- the interference area calculation unit 32 generates a plurality of approximate figures, and when the plurality of approximate figures have overlapping overlapping areas, the vertices located in the overlapping areas are excluded from the interference determination. May be good. Further, when the plurality of approximate figures have overlapping regions, the interference area calculation unit 32 may determine the interference based on the vertices located in the outer shape composed of the plurality of approximate figures. That is, the interference area calculation unit 32 may acquire the vertices of a plurality of approximate figures having overlapping regions as one approximate figure.
- the recognition unit 50 may acquire the spatial point cloud information and acquire the point information corresponding to the apex of the object among the spatial point cloud information as the apex. Further, the recognition unit 50 may acquire a polyhedron that approximates an object based on the acquired point information, and may acquire the vertices of the polyhedron.
- the point information corresponding to the vertices of the object includes not only the information indicating the vertices of the object but also the information defined as the vertices of the object.
- the information defined as the vertices of an object refers to, for example, a vertex defined on a curved surface including a virtual vertex, or a vertex defined by aggregating a plurality of vertices.
- the recognition unit 50 may process or recognize a plurality of vertices as one vertex based on a predetermined standard. Specifically, the recognition unit 50 may recognize, for example, a plurality of vertices existing in a predetermined range as one vertex. The predetermined range may be set in advance. Further, the recognition unit 50 may acquire the thickness of the arm 2A of the robot 2 and set the acquired value in a predetermined range. When a plurality of vertices are aggregated, the recognition unit 50 may aggregate the vertices of different objects. Further, when a plurality of vertices are aggregated, the recognition unit 50 may aggregate a plurality of vertices of a single object.
- control unit 30 may divide the acquired recognition information, spatial information, or spatial point cloud information into information for each of a plurality of regions, and determine interference based on the divided information.
- the recognition unit 50 may process or recognize a plurality of objects existing in one region as one object based on a predetermined standard.
- the recognition unit 50 may process or recognize a part of the objects located in each region as one object. That is, for example, when one object straddles the first region and the second region, the recognition unit 50 treats the portion existing in the first region as the first object and the portion existing in the second region as the second object. It may be treated as an object.
- the interference area calculation unit 32 may enlarge the figure representing the object to the outside based on the shape of the cross section orthogonal to the axis of the columnar shape of the arm 2A. In this case, the interference area calculation unit 32 may calculate the interference value by regarding the arm 2A of the robot 2 as a line segment. By doing so, the calculation load of the interference value can be reduced.
- the control unit 30 slows down the operation speed of the robot 2 or stops the operation. You may. Further, when a new object is recognized in the influence range 5, the control unit 30 may slow down the operation speed of the robot 2 or stop the operation. The above process may be executed even when the moving object or the new object is outside the operating range of the robot 2.
- the interference determination and operation amount generation described above may be realized as a cloud service or may be realized in an on-premises environment.
- embodiment according to the present disclosure is not limited to any specific configuration of the above-described embodiment.
- the embodiments according to the present disclosure extend to all the novel features described in the present disclosure, or combinations thereof, or all the novel methods described, steps of processing, or combinations thereof. be able to.
- Robot control system (3: sensor, 4: camera, 5: range of influence, 6: work start point, 7: work target point, 8: work object) 2 robots (2A: arm, 2B: end effector, 2C, 2D: joint) 10 Robot control device 20 Interference determination device 30 Control unit (32: Interference area calculation unit, 34: Configuration space approximation unit) 40 Robot information acquisition unit 50 Recognition unit 52 Spatial information acquisition unit 60 Planning department (62: Route planning department, 64: Motion planning department) 70 Operation amount generator 80 Obstacles (81-84: vertices)
Abstract
Description
図1に示されるように、一実施形態に係るロボット制御システム1は、ロボット2と、ロボット制御装置10とを備える。本実施形態において、ロボット2は、作業対象物8を作業開始地点6から作業目標地点7へ移動させるとする。つまり、ロボット制御装置10は、作業対象物8が作業開始地点6から作業目標地点7へ移動するようにロボット2を制御する。作業対象物8は、作業対象とも称される。
ロボット2は、アーム2Aと、エンドエフェクタ2Bとを備える。アーム2Aは、例えば、6軸又は7軸の垂直多関節ロボットとして構成されてよい。アーム2Aは、3軸又は4軸の水平多関節ロボット又はスカラロボットとして構成されてもよい。アーム2Aは、2軸又は3軸の直交ロボットとして構成されてもよい。アーム2Aは、パラレルリンクロボット等として構成されてもよい。アーム2Aを構成する軸の数は、例示したものに限られない。言い換えれば、ロボット2は、複数の関節で接続されるアーム2Aを有し、関節の駆動によって動作する。なお、アーム2Aは、複数の関節を有しているともいえる。具体的には、アーム2Aは、複数の関節と、これらの関節をつなぐ複数のリンクとを有しているともいれる。
図2に示されるように、ロボット制御システム1は、更にセンサ3を備える。センサ3は、ロボット2の物理情報を検出する。ロボット2の物理情報は、ロボット2の各構成部の現実の位置若しくは姿勢、又は、ロボット2の各構成部の速度若しくは加速度に関する情報を含んでよい。ロボット2の物理情報は、ロボット2の各構成部に作用する力に関する情報を含んでよい。ロボット2の物理情報は、ロボット2の各構成部を駆動するモータに流れる電流又はモータのトルクに関する情報を含んでよい。ロボット2の物理情報は、ロボット2の実際の動作の結果を表す。つまり、ロボット制御システム1は、ロボット2の物理情報を取得することによって、ロボット2の実際の動作の結果を把握することができる。
図1に示される構成例において、ロボット制御システム1は、2台のカメラ4を備えるとする。カメラ4は、ロボット2の動作に影響を及ぼす可能性がある影響範囲5に位置する物品又は人間等を撮影可能である。カメラ4が撮影する画像は、モノクロの輝度情報を含んでもよいし、RGB(Red, Green and Blue)等で表される各色の輝度情報を含んでもよい。影響範囲5は、ロボット2の動作範囲を含む。影響範囲5は、ロボット2の動作範囲を更に外側に広げた範囲であるとする。影響範囲5は、ロボット2の動作範囲の外側から動作範囲の内側へ向かって移動する人間等がロボット2の動作範囲の内側に入るまでにロボット2を停止できるように設定されてよい。影響範囲5は、例えば、ロボット2の動作範囲の境界から所定距離だけ外側まで拡張された範囲に設定されてもよい。カメラ4は、ロボット2の影響範囲5若しくは動作範囲又はこれらの周辺の領域を俯瞰的に撮影できるように設置されてもよい。カメラ4の数は、2つに限られず、1つであってもよいし、3つ以上であってもよい。
ロボット制御装置10は、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも1つのプロセッサを含んで構成されてよい。ロボット制御装置10の各構成部は、少なくとも1つのプロセッサを含んで構成されてもよい。例えば、干渉判定装置20は、少なくとも1つのプロセッサを含んで構成されてもよい。ロボット制御装置10の各構成部のうち複数の構成部が1つのプロセッサで実現されてもよい。ロボット制御装置10の全体が1つのプロセッサで実現されてもよい。プロセッサは、ロボット制御装置10の種々の機能を実現するプログラムを実行しうる。プロセッサは、単一の集積回路として実現されてよい。集積回路は、IC(Integrated Circuit)とも称される。プロセッサは、複数の通信可能に接続された集積回路及びディスクリート回路として実現されてよい。プロセッサは、他の種々の既知の技術に基づいて実現されてよい。
図2に示されるように、干渉判定装置20は、空間情報取得部52と、認識部50と、制御部30と、ロボット情報取得部40と、計画部60とを備える。以下、干渉判定装置20の各構成が説明される。
空間情報取得部52は、空間情報として、空間に存在する物体に関する空間点群情報を取得する。空間点群情報は、空間を特徴点によって表す情報である。空間情報取得部52は、空間情報として、空間のRGB情報を取得してよい。空間情報取得部52は、空間情報を認識部50に出力する。なお、RGB情報とは、例えば、被写体の色情報を示す情報である。
認識部50は、空間情報取得部52から得た空間情報に基づいて、ロボット2に実行させる作業の対象を認識し、対象の情報を取得する。認識部50は、作業の対象として作業対象物8を認識してよい。認識部50は、作業の対象として作業開始地点6及び作業目標地点7を認識してよい。
ロボット情報取得部40は、センサ3の検出結果としてロボット2の物理情報を取得してよい。ロボット情報取得部40は、センサ3によって直接検出できない物理情報を推定することによって取得してもよい。ロボット情報取得部40は、取得した物理情報を、制御部30及び計画部60に出力する。
制御部30は、干渉領域計算部32を備える。干渉領域計算部32は、認識部50から認識情報を取得するとともに、ロボット情報取得部40からロボット2の物理情報を取得する。干渉領域計算部32は、認識情報とロボット2の物理情報とに基づいて、ロボット2の動作範囲に存在する物体と、ロボット2との干渉を判定する。
計画部60は、障害物80等の物体と干渉しないと判定されたロボット2の動作に関する情報を制御部30から取得するとともに、ロボット情報取得部40からロボット2の物理情報を取得する。ロボット2の動作に関する情報は、動作情報とも称される。計画部60は、ロボット2の動作情報と物理情報とに基づいて、ロボット2が操作する際に移動する経路を計画するとともに、計画した経路の各位置におけるロボット2の速度又は加速度を計画する。計画部60は、計画した経路及び経路の各位置における速度又は加速度を特定する情報を、操作量生成装置70に出力する。計画部60が計画した経路及び経路の各位置における速度又は加速度を特定する情報は、計画情報とも称される。
操作量生成装置70は、干渉判定装置20の計画部60から取得した計画情報に基づいてロボット2を適切に制御できるように、ロボット2に対する操作量を生成してロボット2に出力する。ロボット2に対する操作量は、例えば、ロボット2の関節2C等の各部を駆動するモータの出力を制御する情報を含んでよい。操作量生成装置70は、ロボット2のアーム2Aに対する操作量を生成するアーム制御部と、ロボット2のエンドエフェクタ2Bに対する操作量を生成するエンドエフェクタ制御部とを備えてよい。
干渉判定装置20は、上述してきたように、ロボット2の動作を仮定して、仮定した動作によってロボット2の少なくとも一部が物体と干渉するか判定する。干渉判定装置20は、ロボット2と物体との干渉を判定した結果に基づいて、ロボット2の動作の経路等を決定する。
以上述べてきたように、本実施形態に係る干渉判定装置20は、ロボット2が動作する空間に存在する障害物80等の物体の頂点についてロボット2の干渉値を算出し、構成空間内で干渉領域を生成する。干渉判定装置20は、物体の各頂点に対応する干渉領域を全て包含する補正干渉領域を生成する。干渉判定装置20は、ロボット2の動作を仮定し、仮定した動作に対応する動作領域を構成空間内で生成する。干渉判定装置20は、補正干渉領域と動作領域とに基づいて、仮定した動作によってロボット2が物体に干渉するか判定する。干渉判定装置20は、ロボット2が物体に干渉しない動作を生成し、その動作の計画情報を生成する。
以下、他の実施形態が説明される。
ロボット2は、動作不可能な状態に陥る特異点を有する。特異点は、構成空間において点又は領域として表され得る。干渉判定装置20の干渉領域計算部32は、構成空間において干渉領域だけでなく特異点にも基づいて、ロボット2の動作の妥当性を判定してもよい。また、干渉領域計算部32は、特異点を考慮しなくても、干渉領域を考慮するだけでロボット2に自動的に特異点を回避させ得る。つまり、構成空間でロボット2の動作の妥当性を判定することによって、特異点が容易に回避され得る。
制御部30の干渉領域計算部32は、実空間におけるロボット2の形状に更に基づいて干渉値を計算してもよい。
制御部30の干渉領域計算部32は、ロボット2の位置及び姿勢に所定量以上の影響を及ぼすパラメータを対象として干渉値を計算してもよい。具体的には、干渉領域計算部32は、ロボット2の状態を特定する一部のパラメータについて干渉値を計算してよい。
以下、物体の頂点の認識についてさらに説明する。物体の頂点の認識は、様々な手段で行われ、上述した手段で行われてもよいし、上述した手段以外の手段によって行われてもよい。また、物体の頂点の認識については、本明細書に記載された様々な手段を適宜組み合わせた手段によって、行われてもよい。
制御部30は、ロボット2が1つの動作を行う間に、干渉の判定を複数回行ってよい。具体的には、制御部30は、例えばロボット2が1つの移動を行う間に、複数の判定を行ってよい。ロボット2の1つの移動は、例えば、ロボット2が作業開始地点6から作業目標地点7まで移動することを含んでよい。なお、2回目以降の干渉の判定は、例えば、図8に示すように「空間情報の取得」から行われてもよい。また、この場合、制御部30は、上述したように、過去情報との同一性及び類似性を判定して、一部のプロセス又は処理をスキップしてもよい。
以上述べてきた干渉判定及び操作量生成は、クラウドサービスとして実現されてもよいし、オンプレミス環境で実現されてもよい。
2 ロボット(2A:アーム、2B:エンドエフェクタ、2C、2D:関節)
10 ロボット制御装置
20 干渉判定装置
30 制御部(32:干渉領域計算部、34:構成空間近似部)
40 ロボット情報取得部
50 認識部
52 空間情報取得部
60 計画部(62:経路計画部、64:動作計画部)
70 操作量生成装置
80 障害物(81~84:頂点)
Claims (15)
- ロボットと、物体との干渉を判定する制御部を備え、
前記制御部は、
実空間における前記ロボットの動作範囲に存在する少なくとも1つの物体の複数の頂点及び前記複数の頂点の位置情報を取得し、
前記複数の頂点及び前記位置情報に基づいて、前記実空間において前記ロボットの前記物体への干渉を判定する、干渉判定装置。 - 前記制御部は、前記ロボットの形状に更に基づいて、前記干渉を判定する、請求項1に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体のうち、前記ロボットの動作に干渉し得る物体のみの前記複数の頂点を取得する、請求項1又は2に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体のうち、前記ロボット自身を前記複数の頂点の取得対象から除外する、請求項1から3までのいずれか一項に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体のうち、前記動作範囲の内側に位置した前記ロボットの作業範囲に存在する少なくとも1つの物体の前記複数の頂点を取得する、請求項1から4までのいずれか一項に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体のうち、前記ロボットの作業対象物を前記干渉の判定に用いない、請求項1から5までのいずれか一項に記載の干渉判定装置。
- 前記制御部は、前記ロボットが1つの動作を行う間に、複数の前記判定を行う、請求項1から6までのいずれか一項に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体の少なくとも一部を包含する近似図形を取得し、前記近似図形の頂点を前記複数の頂点として取得する、請求項1から7までのいずれか一項に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体が曲面を有する場合、前記曲面を、少なくとも1つの頂点を共有する複数の平面を有する近似図形として取得する、請求項8に記載の干渉判定装置。
- 前記制御部は、前記少なくとも1つの物体又は前記近似図形が所定の範囲内に位置する少なくとも2つの頂点を有する場合、前記少なくとも2つの頂点を1つの頂点とする、請求項8又は9に記載の干渉判定装置。
- 前記制御部は、
前記ロボットの状態を特定するパラメータのうち、前記実空間において前記少なくとも1つの物体への干渉に影響するパラメータを干渉パラメータとしたときに、前記複数の頂点に干渉する場合における前記干渉パラメータの値を干渉値として取得し、
前記干渉パラメータを基底とする構成空間において、前記干渉値を包含する干渉領域を決定する、請求項1から10までのいずれか一項に記載の干渉判定装置。 - 前記制御部は、前記ロボットの状態に所定量以上の影響を及ぼすパラメータを対象として前記干渉値を計算する、請求項11に記載の干渉判定装置。
- 前記制御部は、前記ロボットが動作する場合に前記構成空間において前記パラメータの値が前記干渉領域に干渉しないように、前記ロボットの経路を計画する、請求項11又は12に記載の干渉判定装置。
- 請求項13に記載の干渉判定装置と、前記干渉判定装置で計画された経路に基づいて前記ロボットの操作量を生成する操作量生成装置と、前記ロボットとを備えるロボット制御システム。
- ロボットの実空間における動作範囲に存在する少なくとも1つの物体の複数の頂点及び前記複数の頂点の位置情報を取得することと、
前記複数の頂点及び前記位置情報に基づいて、前記実空間において前記ロボットの前記物体への干渉を判定することと
を含む、干渉判定方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202180086942.4A CN116635194A (zh) | 2020-12-23 | 2021-12-23 | 干扰确定装置、机器人控制系统以及干扰确定方法 |
EP21911003.8A EP4269050A1 (en) | 2020-12-23 | 2021-12-23 | Interference determination device, robot control system, and interference determination method |
US18/269,242 US20240051135A1 (en) | 2020-12-23 | 2021-12-23 | Interference determination device, robot control system, and method for determining interference |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020214160A JP2022100030A (ja) | 2020-12-23 | 2020-12-23 | 干渉判定装置、ロボット制御システム、及び干渉判定方法 |
JP2020-214160 | 2020-12-23 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2022138864A1 true WO2022138864A1 (ja) | 2022-06-30 |
Family
ID=82158020
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/048017 WO2022138864A1 (ja) | 2020-12-23 | 2021-12-23 | 干渉判定装置、ロボット制御システム、及び干渉判定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240051135A1 (ja) |
EP (1) | EP4269050A1 (ja) |
JP (1) | JP2022100030A (ja) |
CN (1) | CN116635194A (ja) |
WO (1) | WO2022138864A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7429807B2 (ja) | 2021-01-12 | 2024-02-08 | 川崎重工業株式会社 | 経路生成装置、経路生成方法及び経路生成プログラム |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147020A (ja) * | 1994-11-18 | 1996-06-07 | Toyota Central Res & Dev Lab Inc | ロボットの自動経路生成装置 |
JP2004202627A (ja) | 2002-12-25 | 2004-07-22 | Yaskawa Electric Corp | 水平多関節ロボットの干渉チェック装置および方法 |
JP2006338389A (ja) * | 2005-06-02 | 2006-12-14 | Toyota Motor Corp | 物体間衝突判定装置及び方法 |
JP2008033522A (ja) * | 2006-07-27 | 2008-02-14 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2012223845A (ja) * | 2011-04-18 | 2012-11-15 | Fanuc Ltd | ロボットの着目部位と周辺物との干渉を予測する方法及び装置 |
JP2015009314A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2018017654A (ja) * | 2016-07-29 | 2018-02-01 | セイコーエプソン株式会社 | 検出装置、ロボットおよびロボット制御装置 |
JP2019025621A (ja) * | 2017-08-02 | 2019-02-21 | オムロン株式会社 | 干渉判定方法、干渉判定システム及びコンピュータプログラム |
JP2019126866A (ja) * | 2018-01-23 | 2019-08-01 | トヨタ自動車株式会社 | 動作軌道生成装置 |
JP2019198914A (ja) * | 2018-05-15 | 2019-11-21 | オムロン株式会社 | 多関節ロボットの干渉判定装置、多関節ロボットの干渉判定方法、多関節ロボットの干渉判定プログラム、及び経路計画生成装置 |
WO2019230037A1 (en) * | 2018-05-30 | 2019-12-05 | Sony Corporation | Control apparatus, control method, robot apparatus and program |
-
2020
- 2020-12-23 JP JP2020214160A patent/JP2022100030A/ja active Pending
-
2021
- 2021-12-23 CN CN202180086942.4A patent/CN116635194A/zh active Pending
- 2021-12-23 WO PCT/JP2021/048017 patent/WO2022138864A1/ja active Application Filing
- 2021-12-23 US US18/269,242 patent/US20240051135A1/en active Pending
- 2021-12-23 EP EP21911003.8A patent/EP4269050A1/en active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08147020A (ja) * | 1994-11-18 | 1996-06-07 | Toyota Central Res & Dev Lab Inc | ロボットの自動経路生成装置 |
JP2004202627A (ja) | 2002-12-25 | 2004-07-22 | Yaskawa Electric Corp | 水平多関節ロボットの干渉チェック装置および方法 |
JP2006338389A (ja) * | 2005-06-02 | 2006-12-14 | Toyota Motor Corp | 物体間衝突判定装置及び方法 |
JP2008033522A (ja) * | 2006-07-27 | 2008-02-14 | Namco Bandai Games Inc | プログラム、情報記憶媒体、及び画像生成システム |
JP2012223845A (ja) * | 2011-04-18 | 2012-11-15 | Fanuc Ltd | ロボットの着目部位と周辺物との干渉を予測する方法及び装置 |
JP2015009314A (ja) * | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2018017654A (ja) * | 2016-07-29 | 2018-02-01 | セイコーエプソン株式会社 | 検出装置、ロボットおよびロボット制御装置 |
JP2019025621A (ja) * | 2017-08-02 | 2019-02-21 | オムロン株式会社 | 干渉判定方法、干渉判定システム及びコンピュータプログラム |
JP2019126866A (ja) * | 2018-01-23 | 2019-08-01 | トヨタ自動車株式会社 | 動作軌道生成装置 |
JP2019198914A (ja) * | 2018-05-15 | 2019-11-21 | オムロン株式会社 | 多関節ロボットの干渉判定装置、多関節ロボットの干渉判定方法、多関節ロボットの干渉判定プログラム、及び経路計画生成装置 |
WO2019230037A1 (en) * | 2018-05-30 | 2019-12-05 | Sony Corporation | Control apparatus, control method, robot apparatus and program |
Non-Patent Citations (1)
Title |
---|
INADA, DAISUKE ET AL.: "Generating online avoidance behavior based on real-time interference measurement with measurement point clouds by high-speed 3D distance sensor", PREPRINTS OF THE 33RD ANNUAL CONFERENCE OF THE ROBOTICS SOCIETY OF JAPAN; TOKYO; SEPTEMBER 3-5, 2015, vol. 33, no. RSJ2015AC2B2-05, 3 September 2015 (2015-09-03) - 5 September 2015 (2015-09-05), pages 1 - 4, XP009537877 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7429807B2 (ja) | 2021-01-12 | 2024-02-08 | 川崎重工業株式会社 | 経路生成装置、経路生成方法及び経路生成プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2022100030A (ja) | 2022-07-05 |
US20240051135A1 (en) | 2024-02-15 |
CN116635194A (zh) | 2023-08-22 |
EP4269050A1 (en) | 2023-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7338034B2 (ja) | リモートクライアントデバイスからの入力に基づく効率的なロボットの制御 | |
JP7410270B2 (ja) | ロボット動作計画方法、経路計画方法、把持方法及びその装置 | |
US9862090B2 (en) | Surrogate: a body-dexterous mobile manipulation robot with a tracked base | |
Flacco et al. | A depth space approach for evaluating distance to objects: with application to human-robot collision avoidance | |
US9089971B2 (en) | Information processing apparatus, control method thereof and storage medium | |
JP5778311B1 (ja) | ピッキング装置およびピッキング方法 | |
CN108818530B (zh) | 基于改进rrt算法的机械臂抓取散乱堆放活塞运动规划方法 | |
CN111788041A (zh) | 由机器人基于使用(一个或多个)机器学习模型确定的抓取策略对物体的抓取 | |
Sayour et al. | Autonomous robotic manipulation: Real-time, deep-learning approach for grasping of unknown objects | |
US20220063099A1 (en) | Framework of robotic online motion planning | |
CN111462154A (zh) | 基于深度视觉传感器的目标定位方法、装置及自动抓取机器人 | |
WO2022138864A1 (ja) | 干渉判定装置、ロボット制御システム、及び干渉判定方法 | |
KR20230122118A (ko) | 지도된 자율 파지 | |
Han et al. | Grasping control method of manipulator based on binocular vision combining target detection and trajectory planning | |
Xue et al. | Gesture-and vision-based automatic grasping and flexible placement in teleoperation | |
TWI741943B (zh) | 機器人控制方法、動作計算裝置及機器人系統 | |
CN116018599A (zh) | 用于训练机器学习模型以从对象的图像中识别对象的对象拓扑的设备和方法 | |
CN113146637B (zh) | 一种机器人笛卡尔空间的运动规划方法 | |
US11964400B2 (en) | Device and method for controlling a robot to pick up an object in various positions | |
Chang et al. | Model-based manipulation of linear flexible objects with visual curvature feedback | |
JP2023551723A (ja) | 把持の生成のためのピクセル単位の予測 | |
Pedrosa et al. | A skill-based architecture for pick and place manipulation tasks | |
Kabutan et al. | Development of robotic intelligent space using multiple RGB-D cameras for industrial robots | |
Fryc et al. | Efficient pipeline for mobile brick picking | |
WO2024020733A1 (zh) | 机器人的遥操作方法、机器人及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21911003 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180086942.4 Country of ref document: CN |
|
WWE | Wipo information: entry into national phase |
Ref document number: 18269242 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2021911003 Country of ref document: EP Effective date: 20230724 |