WO2023073959A1 - 作業支援装置及び作業支援方法 - Google Patents

作業支援装置及び作業支援方法 Download PDF

Info

Publication number
WO2023073959A1
WO2023073959A1 PCT/JP2021/040136 JP2021040136W WO2023073959A1 WO 2023073959 A1 WO2023073959 A1 WO 2023073959A1 JP 2021040136 W JP2021040136 W JP 2021040136W WO 2023073959 A1 WO2023073959 A1 WO 2023073959A1
Authority
WO
WIPO (PCT)
Prior art keywords
work
projection
robot
support device
virtual space
Prior art date
Application number
PCT/JP2021/040136
Other languages
English (en)
French (fr)
Inventor
聡 稲垣
Original Assignee
ファナック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ファナック株式会社 filed Critical ファナック株式会社
Priority to PCT/JP2021/040136 priority Critical patent/WO2023073959A1/ja
Priority to TW111136885A priority patent/TW202319851A/zh
Publication of WO2023073959A1 publication Critical patent/WO2023073959A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D5/00—Bending sheet metal along straight lines, e.g. to form simple curves
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B21—MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D—WORKING OR PROCESSING OF SHEET METAL OR METAL TUBES, RODS OR PROFILES WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21D5/00—Bending sheet metal along straight lines, e.g. to form simple curves
    • B21D5/02—Bending sheet metal along straight lines, e.g. to form simple curves on press brakes without making use of clamping means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details, by setting parameters

Definitions

  • the present invention relates to a device and method for supporting work to be done by a robot.
  • a technique for simulating various actions using a robot in advance using a simulation device For example, in the bending process in which a robot grips a workpiece and supplies it to a bending machine, there is a well-known simulation technique that displays a developed view of the workpiece so that the operator can determine the bending order of the workpiece (for example, Patent Document 1 ).
  • the difficulty of the work depends on how the object is displayed. are very different. For example, it is easier to specify the position of a workpiece, which is a three-dimensional object, if it is represented by a two-dimensional image projected in a certain direction. Have difficulty.
  • an object having a work surface including a work target portion on which a robot works is projected in a direction perpendicular to the work surface, and a projected view parallel to the work surface is virtual.
  • Another aspect of the present disclosure is to project an object having a work surface including a work target portion on which a robot works in a direction perpendicular to the work surface, thereby obtaining a projection parallel to the work surface. creating it in a virtual space; specifying the work target part on the projection view; and converting the position of the work target part specified on the projection view into a position in the virtual space. And, it is a work support method including.
  • FIG. 1 is a block diagram of a system including a work support device according to an embodiment
  • FIG. FIG. 4 is a diagram illustrating an object to be bent set in virtual space
  • FIG. 3 is a diagram illustrating a method of designating a bend line on the object of FIG. 2
  • FIG. 4 is a diagram showing an example in which the direction of an object is different from that in FIG. 3; It is a figure explaining the projection direction of the work object surface of a bending process object.
  • 4 is a flowchart showing an example of processing of the work support device
  • FIG. 4 is a diagram showing an example of a directed bounding box that contains a work object
  • FIG. 4 is a diagram showing a projection view of a working surface of an object to be bent
  • FIG. 4 is a diagram illustrating the positional relationship between a work target and a projection plane
  • FIG. 10 is a diagram for explaining the projection direction of the work surface of the take-out work object
  • FIG. 11 is a diagram showing a projection view of the work target surface of FIG. 10;
  • FIG. 1 is a schematic block diagram of a system including a work support device and a robot according to a preferred embodiment.
  • the system 10 includes at least one robot 12, a robot control device 14 that controls the robot 12, a work support device 16 that supports work to be performed by the robot 12 by processing described later, a work object (workpiece) of the robot 12, and a work support device 16. ) and a shape data storage device 18 for storing three-dimensional (3D) shape data (for example, CAD data), etc. These devices are connected to each other so as to be communicable by wire or wirelessly.
  • 3D three-dimensional
  • the robot 12 is, for example, an industrial articulated robot, and is configured to be able to perform various operations such as bending and taking out operations, which will be described later, based on commands sent from the robot control device 14 .
  • the robot control device 14 includes a processor, a memory, and the like, and is configured to control the robot 12 based on prepared robot programs, simulation results of the work support device 16, and the like.
  • the work support device 16 is, for example, a computer such as a personal computer (PC) that is independent of the robot control device 14, and includes a processor 20 for executing processing described later, a memory 22, an input unit 24 such as a keyboard or touch panel, and a display 26 .
  • the control device 14 and the work support device 16 can also be substantially integrated.
  • the shape data storage device 18 is, for example, a CAD device, and can store data such as 3D shape data of workpieces. Also, the work support device 16 and the shape data storage device 18 can be substantially integrated.
  • the work support device 16 uses the three-dimensional data of the work stored in the CAD device 18 or the like to move the work target plane, which is the part where the robot 12 works on the work, in a direction perpendicular to the work target plane.
  • the robot 12 has a projection drawing creation function for creating a projection drawing projected onto the virtual space in the virtual space, and a work part setting function for setting a part on which the robot 12 works on the created projection drawing.
  • the processor of the work support device 16 is responsible for the projected drawing creation function and the work part conversion function, and the processor and the input unit are responsible for the work part designation function. A specific example of processing in the work support device 16 will be described below.
  • Example 1 In this embodiment, as an example of processing of an object using a robot, an apparatus and method for simulating bending will be described.
  • 2 and 3 show a virtual space displayed on the display 26 or the like of the work support device 16.
  • the robot 12 grips a workpiece 30 that is a plate-shaped sheet metal, and places the workpiece on the work surface 32 of the workpiece.
  • a simulation of processing (here, bending) of the work 30 along designated processing lines (for example, bending lines) 34 is performed.
  • the bending line 34 there is a method of setting a virtual plane 36 as shown in FIG. Since the sheet metal is usually bent in the thinnest direction of the sheet metal, it is preferred that the normal direction 38 of the plane 36 be specified perpendicular to the thinnest direction of the sheet metal.
  • the normal direction 38 of the plane 36 is the coordinate system 40 Since it is only necessary to specify the bending line 34 so as to match one axial direction (here, the x direction), the operator can relatively easily specify the bending line 34 via the input unit 24 of the work support device 16 can be done.
  • a direction 42 perpendicular to the surface 32 of the work 30 to be worked (in this embodiment, the thinnest direction of the work 30) is specified by the operator or determined by a process described later,
  • a projection is created by projecting the surface to be worked 32 onto a plane (that is, a plane parallel to the surface to be worked 32) with this direction 42 as the normal vector, and a bending line is specified on the created projection.
  • step S1 the 3D data of the workpiece 30 stored in the CAD device 18 is divided into an appropriate number of meshes, and a coordinate group of representative points such as mesh vertices is obtained.
  • step S2 as shown in FIG. 7, the workpiece 30, more specifically, an oriented bounding box (hereinafter also referred to as OBB) 44 that includes the acquired vertex coordinate group is mapped to the robot coordinates. It is created in a virtual space with the system 40 as a reference.
  • the OBB 44 is a rectangular parallelepiped with directivity, and the OBB 44 itself and its preparation method are well known, so detailed description thereof will be omitted.
  • the direction of each side of the OBB 44 is represented by the OBB coordinate system 46 set in the OBB 44, but for clarity in FIG. are doing.
  • a virtual plane 48 (see FIG. 9 to be described later) whose normal vector is the direction vector of the shortest side of the OBB 44 (the z direction of the OBB coordinate system 46 in the illustrated example) is created.
  • the z-direction of the OBB is the thinnest direction of the work 30 and the direction perpendicular to the work surface 32 .
  • step S4 the coordinate group obtained in step S1 is projected onto the created plane 48 in the direction of the normal vector (z direction of the OBB coordinate system 46) to obtain a projection 50 as shown in FIG. create.
  • step S5 the operator or the like inputs/designates the position of the bending line 34 via the input unit 24 or the like on the projection drawing 50 displayed on the display 26, and the display 26 displays the designated bending line 34. display.
  • step S6 the positions of the bend lines 34 specified on the projection drawing 50 are transformed into positions in the virtual space with the robot coordinate system 40 as a reference, thereby completing setting of the bend lines. In this way, three-dimensional data of the bend line that can be used by the robot 12 when bending is obtained.
  • steps other than S5 can be automatically executed by the work support device 16, and S5 is performed based on the operator's input.
  • S5 can also be automatically executed by the processor 20 or the like of the work support device 16 by setting bending line conditions and the like in advance.
  • the worker can specify the position of the bending line 34 on the projected drawing 50 by creating the projected drawing 50 by projecting the 3D model of the workpiece 30 in the thinnest direction. Since the projected view 50 accurately reflects the shape of the work surface 32, even if the direction of each side of the work 30 does not match the direction of each axis of the robot coordinate system 40, the operator can rotate the 3D model. A desired bending line can be specified easily and accurately without performing troublesome work such as
  • the direction vector of the shortest side of the OBB 44 coincides with the thinnest direction of the workpiece 30, so the projection 50 suitable for specifying the bend line 34 can be calculated more easily. ⁇ Can be created.
  • FIG. 9 is a schematic diagram showing the positional relationship between the work surface 32 of the workpiece 30 and the plane 48 on which the projected drawing 50 is created. Even if the thickness of the workpiece 30 is not uniform as shown in FIG. By projecting each mesh vertex and setting points 58, 60 and 62 on projection 50, a projection suitable for specifying bendlines is obtained.
  • the bend line is specified at the thinnest part of the work, so in the example of FIG. Therefore, if the thickness is not uniform, the distance between each point on the workpiece 30 and each corresponding point on the plane 48 (for example, point 54 and the point 60), each point on the projection can be visually identified by changing the color or shape of the mark. In this way, for example, the point 60 on the thin portion of the workpiece 30 is displayed in a different color and shape from the points 58 and 62 on the thick portion, so that the operator can determine which portion on the projection drawing is the bending line. should be specified more clearly.
  • the work support device 16 functions as a simulation device configured to be capable of executing a bending process simulation and transmitting the simulation results to the robot control device 14 .
  • the work support device 16 functions as a device that supports the work of picking up articles by the robot 12 .
  • a plurality of workpieces 64 having elliptical working surfaces 68 are randomly stacked, and based on the results of detecting these workpieces with a visual sensor (for example, images captured by a camera), , in which workpieces 64 are successively picked up by the robot 12 .
  • a visual sensor for example, images captured by a camera
  • the workpiece 64 is divided into an appropriate number of meshes, and a point group 66 representing representative points such as vertexes of the meshes is acquired.
  • the point cloud 66 is projected onto a virtual plane to create a projection view.
  • a projected view 78 including a point group having the same positional relationship as the point group on the work surface 68 is obtained. can be specified accurately as a work target site such as adsorption.
  • the position of the center of gravity of the work surface 68 can be automatically calculated based on the position of the point group 66 in the projected drawing 78, and the position of the center of gravity can be set as the work target portion. .
  • the site of the work target surface 68 to be held by the robot 12 can be appropriately determined.
  • the work support device 16 performs OBB as in the first embodiment based on the 3D data and the camera image of the workpiece. You can also create In that case, the work 64 and the point group 66 are projected in a direction (for example, the Z-axis direction) perpendicular to the work surface 68 (for example, the XY plane) of the work 64 in the OBB, and a projection parallel to the work surface 68 is obtained. If it is created, the same effects as those of the first embodiment can be obtained.

Abstract

対象物上の作業部位の指定に適した投影図を、作業者の熟練度等に依らず、自動的に作成することができる作業支援装置及び作業支援方法を提供する。作業支援装置は、ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、作業対象面に垂直な方向に投影して、作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、投影図上において作業対象部位を指定する作業部位指定機能と、投影図上に指定された作業対象部位の位置を、仮想空間内の位置に変換する作業部位変換機能と、を有する。

Description

作業支援装置及び作業支援方法
　本発明は、ロボットに行わせるべき作業を支援する装置及び方法に関する。
　ロボットを使用した種々の動作を、シミュレーション装置を用いて予めシミュレートする技術が知られている。例えば、ロボットでワークを把持して曲げ機械に供給する曲げ加工において、ワークの展開図を表示して作業者がワークの曲げ順を決定できるようにしたシミュレーション技術が周知である（例えば特許文献１を参照）。
　また、対象物の３次元ＣＡＤデータを用いて２次元の投影データを取得することで、必要とされる部分のＮＣデータのみを選択的に作成できるようにした技術が周知である（例えば特許文献２を参照）。
特開２００４－０８２２１６号公報 特開平０５－０８８７３２号公報
　ワークの曲げ線等、ロボットによる作業の対象物においてその作業を行うべき部位を、作業者が端末等を利用して指定する場合、対象物をどのような形で表示するかで作業の難易度は大きく異なる。例えば、３次元の物体であるワークは、ある方向に投影した２次元画像で表した方が位置等の指定がしやすいが、最適な投影方向を作業者の熟練度に依らず決定することは困難である。
　本開示の一態様は、ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、前記投影図上において前記作業対象部位を指定する作業部位指定機能と、前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換する作業部位変換機能と、を有する、作業支援装置である。
　本開示の他の態様は、ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成することと、前記投影図上において前記作業対象部位を指定することと、前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換することと、を含む、作業支援方法である。
　本開示によれば、ワーク上の作業部位の指定に適した投影図を、作業者の熟練度等に依らず、自動的に作成することができるので、作業者の負担や作業時間を大幅に低減することができる。
実施形態に係る作業支援装置を含むシステムのブロック図である。 仮想空間内に設定された曲げ加工対象物を例示する図である。 図２の対象物に曲げ線を指定する方法を説明する図である。 対象物の向きが図３とは異なる例を示す図である。 曲げ加工対象物の作業対象面の投影方向を説明する図である。 作業支援装置の処理の一例を示すフローチャートである。 作業対象物を包含する有向バウンディングボックスの一例を示す図である。 曲げ加工対象物の作業対象面の投影図を示す図である。 作業対象物と投影面の位置関係を例示する図である。 取り出し作業対象物の作業対象面の投影方向を説明する図である。 図１０の作業対象面の投影図を示す図である。
　図１は、好適な実施形態に係る作業支援装置及びロボットを含むシステムの概略ブロック図である。システム１０は、少なくとも１台のロボット１２と、ロボット１２を制御するロボット制御装置１４と、後述する処理によってロボット１２が行うべき作業を支援する作業支援装置１６と、ロボット１２の作業対象物（ワーク）の３次元（３Ｄ）形状のデータ（例えばＣＡＤデータ）等を記憶する形状データ記憶装置１８とを有し、これらの装置は互いに有線又は無線で通信可能に接続されている。
　ロボット１２は、例えば産業用の多関節ロボットであり、ロボット制御装置１４から送信される指令に基づいて、後述する曲げ加工や取り出し操作等の種々の動作を実行できるように構成されている。ロボット制御装置１４は、プロセッサ及びメモリ等を備え、用意されたロボットプログラムや作業支援装置１６のシミュレーション結果等に基づいてロボット１２を制御するように構成されている。
　作業支援装置１６は例えば、ロボット制御装置１４とは独立した、パーソナルコンピュータ（ＰＣ）等の計算機であり、後述する処理を実行するためのプロセッサ２０、メモリ２２、キーボード又はタッチパネル等の入力部２４、及びディスプレイ２６を備える。但し制御装置１４及び作業支援装置１６は、実質一体の装置とすることもできる。形状データ記憶装置１８は、例えばＣＡＤ装置であり、ワークの３Ｄ形状データ等のデータを保存することができる。また作業支援装置１６及び形状データ記憶装置１８は、実質一体の装置とすることもできる。
　作業支援装置１６は、ＣＡＤ装置１８等に保存されたワークの３次元データを用いて、ロボット１２が該ワークに対して作業を行う部位である作業対象面を、該作業対象面に垂直な方向に投影した投影図を仮想空間内に作成する投影図作成機能と、作成された投影図上に、ロボット１２が作業を行う部位を設定する作業部位設定機能とを有する。本実施形態では、作業支援装置１６のプロセッサが、投影図作成機能及び作業部位変換機能を担い、プロセッサ及び入力部が作業部位指定機能を担うものとする。以下、作業支援装置１６における処理の具体例を説明する。
（実施例１）
　本実施例では、ロボットを用いた対象物の加工の一例として、曲げ加工のシミュレーションを行う装置及び方法について説明する。図２及び図３は、作業支援装置１６のディスプレイ２６等に表示された仮想空間を示し、ここでは、平板状の板金であるワーク３０をロボット１２で把持し、ワークの作業対象面３２上に指定された加工線（例えば曲げ線）３４に沿ってワーク３０の加工（ここでは曲げ加工）を行うシミュレーションを行うものとする。
　曲げ線３４を指定する一つの方法として、図３に示すような仮想平面３６を仮想空間内に設定し、ワーク３０と平面３６との交線を曲げ線３４とする方法がある。通常、板金の曲げは該板金の最も薄い方向に対して行われるので、平面３６の法線方向３８は、板金の最も薄い方向と直交する方向に指定することが好ましい。
　ここで、図２及び図３に示すように、仮想３次元空間のロボット座標系４０の各軸の方向がワーク３０の各辺と平行であれば、平面３６の法線方向３８が座標系４０の１つの軸方向（ここではｘ方向）に一致するような指定を行えばよいので、作業者は作業支援装置１６の入力部２４等を介して、比較的容易に曲げ線３４を指定することができる。
　しかし図４に示すように、座標系４０の各軸の方向がワーク３０の各辺と平行でない場合は、平面３６の法線方向３８が座標系４０のいずれの軸方向とも一致しないので、作業者は曲げ線３４を指定する前に、法線方向３８の適切な変更（回転移動等）をしなければならない。このような操作は、作業者の熟練度にもよるが、困難かつ時間を要する。
　そこで実施例１では、図５に示すように、ワーク３０の作業対象面３２に垂直な方向（本実施例ではワーク３０の最も薄い方向）４２を作業者が指定し又は後述する処理によって求め、この方向４２を法線ベクトルとする平面（すなわち作業対象面３２に平行な面）に作業対象面３２を投影した投影図を作成し、作成された投影図上で曲げ線を指定する。以下、図６のフローチャートを参照して、これらの処理を説明する。
　先ずステップＳ１において、ＣＡＤ装置１８に保存されているワーク３０の３Ｄデータを適当な数のメッシュに分割し、メッシュの頂点等の代表点の座標群を取得する。
　次にステップＳ２において、図７に示すように、ワーク３０、より具体的には取得した頂点の座標群を包含する有向バウンディングボックス（Oriented Bounding Box、以下、ＯＢＢとも称する）４４を、ロボット座標系４０を基準とする仮想空間内に作成する。ＯＢＢ４４は方向性を持つ直方体であり、ＯＢＢ４４自体及びその作成方法は周知であるので、詳細な説明は省略する。なおＯＢＢ４４の各辺の方向は、ＯＢＢ４４に設定されたＯＢＢ座標系４６によって表されるが、図７では明瞭化のため、ワーク３０の厚さ方向（座標系４６のｚ方向）の寸法を拡大している。
　次にステップＳ３において、ＯＢＢ４４の最も短い辺の方向ベクトル（図示例ではＯＢＢ座標系４６のｚ方向）を法線ベクトルとする仮想平面４８（後述する図９を参照）を作成する。ここでＯＢＢのｚ方向は、ワーク３０の最も薄い方向であるとともに、作業対象面３２に垂直な方向である。
　次にステップＳ４において、作成した平面４８の上にステップＳ１で取得した座標群を上記法線ベクトル方向（ＯＢＢ座標系４６のｚ方向）に射影して、図８に示すような投影図５０を作成する。
　次にステップＳ５において、作業者等が、ディスプレイ２６に表示された投影図５０上に、入力部２４等を介して曲げ線３４の位置を入力・指定し、ディスプレイ２６は指定された曲げ線３４を表示する。最後にステップＳ６において、投影図５０上に指定された曲げ線３４の位置を、ロボット座標系４０を基準とする仮想空間の位置に変換することで、曲げ線の設定が完了する。このようにして、ロボット１２が曲げ加工を行う際に使用できる曲げ線の３次元データが得られる。
　なおステップＳ１－Ｓ６のうち、Ｓ５以外は作業支援装置１６が自動的に実行可能であり、Ｓ５は作業者の入力に基づいて行われる。但し、予め曲げ線の条件等を設定しておくことにより、Ｓ５も作業支援装置１６のプロセッサ２０等が自動的に実行することもできる。
　実施例１では、ワーク３０の３Ｄモデルをその最も薄い方向に投影した投影図５０を作成することで、作業者は投影図５０上で曲げ線３４の位置を指定することができる。投影図５０は作業対象面３２の形状を正確に反映したものであるので、ワーク３０の各辺の方向とロボット座標系４０の各軸方向とが一致しない場合でも、作業者は３Ｄモデルの回転等の面倒な作業を行うことなく、容易かつ正確に所望の曲げ線を指定することができる。
　またＯＢＢ４４を使用すれば、ＯＢＢ４４の最も短い辺の方向ベクトル（ここではｚ方向）が、ワーク３０の最も薄い方向に一致するので、曲げ線３４の指定に適した投影図５０をより容易に計算・作成することができる。
　図９は、ワーク３０の作業対象面３２と、投影図５０が作成される平面４８との位置関係を示す概略図である。図９のようにワーク３０の厚さが均一でない場合でも、ＯＢＢ４４最も短い辺の方向（座標系４６のｚ方向）を法線ベクトルとする平面４８上に、点５２、５４及び５６で示すような各メッシュの頂点を射影し、投影図５０上に点５８、６０及び６２を設定することで、曲げ線の指定に適した投影図が得られる。
　通常は、曲げ線はワークの最も薄い部位に指定されるので、図９の例では曲げ線は、点６０には指定され得るが、点５８及び６２には指定されない。そこで、厚さが均一でない場合はワークの作業面と投影図との距離が場所によって異なることを利用して、ワーク３０上の各点と平面４８上の対応する各点との距離（例えば点５４と点６０との距離）に基づいて、投影図上の各点を、色彩やマーク形状の変更等によって視覚的に識別できるようにすることができる。このようにすれば、例えばワーク３０の薄い部位にある点６０は、厚い部位にある点５８及び６２とは異なる色彩や形状で表示されるので、作業者は投影図上のどの部位に曲げ線を指定すべきかをより明確に把握できるようになる。
　このように実施例１では、作業支援装置１６は、曲げ加工のシミュレーションを実行し、そのシミュレーション結果をロボット制御装置１４に送信可能に構成されたシミュレーション装置として機能する。
（実施例２）
　実施例２では、作業支援装置１６は、ロボット１２による物品の取り出し作業を支援する装置として機能する。ここでは図１０に示すように、楕円形状の作業対象面６８を有するワーク６４が複数個バラ積みされており、これらのワークを視覚センサで検出した結果（例えばカメラで撮像した画像）に基づいて、ワーク６４を逐次的にロボット１２で取り出す作業を考える。
　この場合も実施例１と同様に、ワーク６４を適当な数のメッシュに分割して、メッシュの頂等の代表点を表す点群６６を取得する。次に点群６６を仮想平面に射影して投影図を作成するのであるが、バラ積みされたワーク６４は傾斜しているので、例えば鉛直方向７０に垂直な仮想平面７２に点群６６を射影すると、得られた投影図上では、各点間の距離や位置関係が正確に反映されないことがある。
　そこで実施例２では、作業対象面（ここではロボット１２のハンドで吸着等の保持をされる面）６８の法線ベクトル７４に垂直な（すなわち作業対象面６８に平行な）仮想平面７６上に、点群６６を方向７４に沿って射影して投影図を得ることが好ましい。このようにすれば、図１１に示すように、作業対象面６８上の点群と同じ位置関係の点群を含む投影図７８が得られるので、作業者は、作業対象面６８上のどの部位を吸着等の作業対象部位とすべきかを的確に指定することができる。なお作業者による指定の代わりに、例えば、投影図７８内の点群６６の位置に基づいて作業対象面６８の重心位置を自動的に計算し、該重心位置を作業対象部位とすることもできる。このようにして得られた作業対象部位の位置を利用して、ロボット１２が保持すべき作業対象面６８の部位を適切に決定することができる。
　なお実施例２においても、ワーク６４の３Ｄデータが予めＣＡＤ装置１８等に保存されていれば、該３Ｄデータ及びワークのカメラ画像に基づいて、作業支援装置１６が実施例１のようなＯＢＢを作成することもできる。その場合、ＯＢＢのうちワーク６４の作業対象面６８（例えばＸＹ面）に垂直な方向（例えばＺ軸方向）にワーク６４及び点群６６を投影し、該作業対象面６８に平行な投影図を作成すれば、実施例１と同様の効果が得られる。
　本開示によれば、作業対象面に平行な投影図を仮想的に生成することで、曲げ線の指定やワーク把持位置の指定等、ロボットによる種々の作業に必要な設定を容易かつ正確に行えるようになる。
　１０　　システム
　１２　　ロボット
　１４　　ロボット制御装置
　１６　　作業支援装置
　１８　　形状データ記憶装置
　２０　　プロセッサ
　２２　　メモリ
　２４　　入力部
　２６　　ディスプレイ
　３０、６４　　ワーク
　３２、６８　　作業対象面
　３４　　曲げ線
　３６、４８、７２、７６　　仮想平面
　３８、４２、７４　　法線ベクトル
　４０　　ロボット座標系
　４４　　有向バウンディングボックス
　４６　　ＯＢＢ座標系
　５０、７８　　投影図

Claims (6)

  1. 　ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成する投影図作成機能と、
    　前記投影図上において前記作業対象部位を指定する作業部位指定機能と、
    　前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換する作業部位変換機能と、
    を有する、作業支援装置。
  2. 　前記作業は前記対象物の曲げ加工であり、前記作業対象部位は前記曲げ加工における曲げ線である、請求項１に記載の作業支援装置。
  3. 　前記対象物を包含する有向バウンディングボックスを作成し、前記投影図は、前記有向バウンディングボックスのうち最も短い辺の方向に前記対象物を投影することで作成される、請求項２に記載の作業支援装置。
  4. 　前記投影図上の前記作業対象部位は、前記投影図上の前記作業対象部位と、対応する前記対象物上の前記作業対象部位との距離に基づいて、視覚的に識別できるように表示される、請求項２又は３に記載の作業支援装置。
  5. 　前記作業は前記対象物の取り出し動作であり、前記作業対象部位は前記ロボットが前記対象物を保持する部位である、請求項１に記載の作業支援装置。
  6. 　ロボットが作業を行う作業対象部位を含む作業対象面を有する対象物を、前記作業対象面に垂直な方向に投影して、前記作業対象面に平行な投影図を仮想空間内に作成することと、
    　前記投影図上において前記作業対象部位を指定することと、
    　前記投影図上に指定された前記作業対象部位の位置を、前記仮想空間内の位置に変換することと、
    を含む、作業支援方法。
PCT/JP2021/040136 2021-10-29 2021-10-29 作業支援装置及び作業支援方法 WO2023073959A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/040136 WO2023073959A1 (ja) 2021-10-29 2021-10-29 作業支援装置及び作業支援方法
TW111136885A TW202319851A (zh) 2021-10-29 2022-09-29 作業支援裝置及作業支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/040136 WO2023073959A1 (ja) 2021-10-29 2021-10-29 作業支援装置及び作業支援方法

Publications (1)

Publication Number Publication Date
WO2023073959A1 true WO2023073959A1 (ja) 2023-05-04

Family

ID=86157670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040136 WO2023073959A1 (ja) 2021-10-29 2021-10-29 作業支援装置及び作業支援方法

Country Status (2)

Country Link
TW (1) TW202319851A (ja)
WO (1) WO2023073959A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030042A (ja) * 1994-11-09 2007-02-08 Amada Co Ltd 板金曲げ計画の作成・実行用知能システム
US20200306980A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007030042A (ja) * 1994-11-09 2007-02-08 Amada Co Ltd 板金曲げ計画の作成・実行用知能システム
US20200306980A1 (en) * 2019-03-25 2020-10-01 Dishcraft Robotics, Inc. Automated Manipulation Of Transparent Vessels

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RUDEK MARCELO, OSIRIS CANCIGLIERI JR, PAULO ROBERTO GARDEL KURKA: "Multiple 3D Objects Identification from Images Based on Bounding Box Reconstruction", ABCM SYMPOSIUM SERIES IN MECHATRONICS, vol. 4, 1 January 2010 (2010-01-01), pages 38 - 43, XP093061935 *
VALENCIA ANGEL J.; IDROVO ROGER M.; SAPPA ANGEL D.; GUINGLA DOUGLAS PLAZA; OCHOA DANIEL: "A 3D vision based approach for optimal grasp of vacuum grippers", 2017 IEEE INTERNATIONAL WORKSHOP OF ELECTRONICS, CONTROL, MEASUREMENT, SIGNALS AND THEIR APPLICATION TO MECHATRONICS (ECMSM), IEEE, 24 May 2017 (2017-05-24), pages 1 - 6, XP033105825, DOI: 10.1109/ECMSM.2017.7945886 *

Also Published As

Publication number Publication date
TW202319851A (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
JP4271232B2 (ja) ロボットのオフラインプログラミングを実行するための装置、方法、プログラム及び記録媒体
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP4171488B2 (ja) オフラインプログラミング装置
JP5113666B2 (ja) ロボット教示システム及びロボットの動作のシミュレーション結果の表示方法
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
JP2005135278A (ja) シミュレーション装置
JP6469159B2 (ja) 接触センサによるワーク位置検出プログラム生成機能を備えたオフラインプログラミング装置及び方法
US20170197308A1 (en) Teaching data generating device and teaching data-generating method for work robot
JP2021016922A (ja) 三次元データ生成装置及びロボット制御システム
JP2016093869A (ja) 教示データの作成方法、作成装置、及び作成プログラム、並びに、教示データのデータ構造、記録媒体
JP2014184543A (ja) ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法及びロボット制御プログラム
JP2019089201A (ja) 教示データ作成装置、教示データ作成装置の制御方法及びロボットシステム
JP5806105B2 (ja) パラメータ補正方法および制御システム
JP4649554B1 (ja) ロボット制御装置
JP5291482B2 (ja) ロボット教示プログラム修正装置
JP7439410B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023073959A1 (ja) 作業支援装置及び作業支援方法
JP7190552B1 (ja) ロボット教示システム
JP7366264B2 (ja) ロボット教示方法及びロボット作業方法
WO2022181500A1 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置
JPH09323280A (ja) マニピュレータの制御方法及びシステム
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
JP2021058979A (ja) ロボットアーム試験装置
WO2022163580A1 (ja) 視覚センサにて取得される３次元の位置情報から断面画像を生成する処理装置および処理方法
JP7177239B1 (ja) マーカ検出装置及びロボット教示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21962499

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023556063

Country of ref document: JP