JP5427566B2

JP5427566B2 - Robot control method, robot control program, and robot hand used in robot control method

Info

Publication number: JP5427566B2
Application number: JP2009266808A
Authority: JP
Inventors: 浩米澤; 光俊野村; 航一濱田
Original assignee: Idec Corp
Current assignee: Idec Corp
Priority date: 2009-11-24
Filing date: 2009-11-24
Publication date: 2014-02-26
Anticipated expiration: 2029-11-24
Also published as: JP2011110627A

Description

本発明は、ロボット制御方法、ロボット制御プログラムおよびロボット制御方法に用いられるティーチングペンダントに関し、特に、作業者がティーチングペンダントなどを操作して実際のロボットハンドの位置の変更を繰り返すようなティーチング作業を行う必要がないロボット制御方法、ロボット制御プログラムおよびロボット制御方法に用いられるティーチングペンダントに関する。 The present invention relates to a teaching pendant used in a robot control method, a robot control program, and a robot control method, and in particular, a teaching operation in which an operator repeatedly changes the position of an actual robot hand by operating the teaching pendant or the like. The present invention relates to a robot control method, a robot control program, and a teaching pendant used in the robot control method that are not necessary.

産業用ロボットは、一般に、旋回可能かつ上下動可能なロボットアームと、ロボットアームの先端に設けられ、ワーク（部品）を把持するためのチャック部を有するロボットハンドと、ロボットアームおよびロボットハンドを所定の制御プログラムにしたがって駆動制御する制御部とを備えている。また、自動組立装置は、ワークテーブル面上のそれぞれ所定位置に配置された、多数の部品を収容する複数の部品供給トレイと、部品の組立てを行うための組立用治具とを有している。 Industrial robots generally have a robot arm that can be swiveled and moved up and down, a robot hand that is provided at the tip of the robot arm and has a chuck portion for gripping a workpiece (part), and a robot arm and a robot hand. And a control unit that controls driving according to the control program. The automatic assembling apparatus includes a plurality of component supply trays that are arranged at predetermined positions on the work table surface and accommodate a large number of components, and an assembly jig for assembling the components. .

自動組立装置の運転時には、ロボットアームを駆動して、ロボットハンドを所定の部品供給トレイの位置まで移動させ、先端のチャック部で部品を把持する。この状態から、ロボットアームを駆動して、ロボットハンドを組立用治具の位置まで移動させ、チャック部に把持されていた部品を組立用治具に組み付ける。以下、同様の動作を繰り返すことにより、所望の機器が自動的に組み立てられることになる。 During operation of the automatic assembly apparatus, the robot arm is driven, the robot hand is moved to the position of a predetermined component supply tray, and the component is gripped by the tip chuck portion. From this state, the robot arm is driven, the robot hand is moved to the position of the assembly jig, and the part held by the chuck portion is assembled to the assembly jig. Thereafter, by repeating the same operation, a desired device is automatically assembled.

このような産業用ロボットを含む自動組立装置においては、自動運転を開始する前に、ロボットに対して動作基準座標や動作手順等を教示するティーチングという作業が必要になる。従来のティーチング作業では、パソコン上のコンピュータシミュレーションなどにより、概略の座標位置を求めた後、作業者が、ティーチングペンダントやティーチングボックスを用いて実際にロボットハンドをマニュアル操作することにより、正確な座標位置の設定を行うようにしている（例えば、特許文献１および特許文献２参照）。 In such an automatic assembling apparatus including an industrial robot, before starting an automatic operation, an operation called teaching for teaching the operation reference coordinates and the operation procedure to the robot is required. In conventional teaching work, an approximate coordinate position is obtained by computer simulation on a personal computer, etc., and then the operator manually operates the robot hand manually using a teaching pendant or teaching box. (See, for example, Patent Document 1 and Patent Document 2).

上述したティーチング作業では、細かな座標位置の設定が非常に煩雑であって所要時間も長くなるという問題点があったため、ティーチング作業の簡略化およびティーチング時間の短縮を可能とする技術も提案されている（例えば、特許文献３参照）。 In the teaching work described above, setting the detailed coordinate position is very complicated and requires a long time, so a technique that can simplify the teaching work and shorten the teaching time has been proposed. (For example, see Patent Document 3).

この特許文献３で提案されているロボット制御システムは、ロボットアームと、ロボットアームの先端に設けられ、ワーク把持用チャック部を有するロボットハンドとを含むロボットと、前記ロボットに対してティーチング入力を行うための操作部と、少なくともワークを撮影できるカメラ部と、前記操作部にティーチング入力された所定の座標位置を前記カメラ部で撮影された画像に基づいて補正して、補正された座標位置に移動するように前記ロボットを駆動制御する制御部と、を備えることを特徴とするものである。 The robot control system proposed in Patent Document 3 performs teaching input to the robot including a robot arm, a robot provided at the tip of the robot arm and having a workpiece gripping chuck portion, and the robot. And a camera unit that can photograph at least a workpiece, and a predetermined coordinate position input by teaching on the operation unit is corrected based on an image captured by the camera unit and moved to the corrected coordinate position. And a control unit that drives and controls the robot.

特開２０００−３５４９１９号公報JP 2000-354919 A 特開２００６−０４３８４４号公報JP 2006-043844 A 特開２００９−０００７８２号公報JP 2009-000782 A

しかしながら、上述のような従来技術においてティーチングペンダントなどによるティーチング作業を行う際、少なくとも初回はロボットハンドの位置を複雑に変更させることを繰り返す必要がある。そのため、ティーチング作業はやはり非常に煩雑であって所要時間も長かった。 However, when performing teaching work using a teaching pendant or the like in the conventional technology as described above, it is necessary to repeat changing the position of the robot hand in a complicated manner at least for the first time. Therefore, the teaching work is still very complicated and takes a long time.

最近では、ロボット導入台数の増加および製品の多種多様化に伴い、必要とされるティーチング工数が急増している。一方で、製造現場では慢性的に人員が不足しており、特にティーチング作業の熟練者が極めて不足している。また、製造現場で実際に使用されているロボットにティーチングを行うときには、そのロボットが設置されている製造ラインなどが停止することになるので、その製造ラインの稼働率が低下してしまう。 Recently, with the increase in the number of robots introduced and the diversification of products, the required teaching man-hours are rapidly increasing. On the other hand, there is a chronic shortage of personnel at the manufacturing site, and in particular, there is an extremely shortage of skilled workers in teaching work. In addition, when teaching a robot that is actually used at a manufacturing site, the manufacturing line on which the robot is installed is stopped, so that the operating rate of the manufacturing line is lowered.

従来技術のこのような課題に鑑み、本発明の第１の目的は、作業者がティーチングペンダントなどを操作して実際のロボットハンドの位置の変更を繰り返すティーチング作業を行うことなく、自動的にティーチングを行うことが可能なロボット制御方法およびロボット制御プログラムを提供することである。 In view of such problems of the prior art, the first object of the present invention is to automatically teach without performing a teaching operation in which an operator operates a teaching pendant to repeatedly change the position of the actual robot hand. A robot control method and a robot control program capable of performing the above are provided.

また、本発明の第２の目的は、作業者がティーチングペンダントなどを操作して実際のロボットハンドの位置の変更を繰り返すティーチング作業を行うことなく、ティーチングペンダントなどに表示される画像上をタッチペンで操作するなどの極めて簡単な操作のみでロボットハンドの移動経路を容易にティーチングできるロボット制御方法、ロボット制御プログラムおよびロボット制御方法に用いられるティーチングペンダントを提供することである。 The second object of the present invention is to use a touch pen on the image displayed on the teaching pendant, etc., without performing the teaching operation in which the operator operates the teaching pendant to repeatedly change the actual position of the robot hand. To provide a robot control method, a robot control program, and a teaching pendant used for a robot control method that can easily teach a movement path of a robot hand only by an extremely simple operation such as operation.

上記の第１の目的を達成するため、本発明のロボット制御方法は、作業対象物が搭載される領域を撮像する撮像工程と、前記撮像工程で撮像された画像データから検出された目印のパターンに基づいて、前記目印のパターンに対応させて予め登録した初期位置を得る第１画像処理工程と、前記撮像工程で撮像された画像データから前記目印の位置を得る第２画像処理工程と、前記初期位置へロボットハンドを移動させる第１移動工程と、前記初期位置から前記目印の位置に基づいて前記作業対象物へ前記ロボットハンドを接近させる第２移動工程と、を備えたことを特徴とする。 In order to achieve the first object described above, a robot control method of the present invention includes an imaging process for imaging an area where a work object is mounted, and a pattern of landmarks detected from image data captured in the imaging process. A first image processing step for obtaining an initial position registered in advance corresponding to the mark pattern , a second image processing step for obtaining the position of the mark from the image data captured in the imaging step, A first movement step of moving the robot hand to an initial position; and a second movement step of causing the robot hand to approach the work object based on the position of the mark from the initial position. .

このような構成のロボット制御システムの教示方法によれば、作業者がティーチングペンダントなどを操作して実際のロボットハンドの位置の変更を繰り返すティーチング作業を行うことなく、ティーチングの負荷が軽減する。 According to the teaching method of the robot control system configured as described above, the teaching load is reduced without the operator performing the teaching operation of repeatedly changing the position of the actual robot hand by operating the teaching pendant or the like.

また、本発明のロボット制御方法において、前記撮像工程は、前記第１画像処理工程用の画像データを撮像する第１撮像工程と、前記第２画像処理工程用の画像データを撮像する第２撮像工程と、を含み、前記第２撮像工程は、前記初期位置から前記領域を撮像することが好ましい。 In the robot control method of the present invention, the imaging step includes a first imaging step for imaging the image data for the first image processing step and a second imaging for imaging the image data for the second image processing step. And the second imaging step preferably images the region from the initial position.

このような構成のロボット制御方法によれば、初期位置から前記領域を撮像するので、ロボットハンドから眺めた目印の正確な位置を把握することができ、また、目印が隠されることがなく、作業対象物へのアクセスの正確性が増す。 According to the robot control method having such a configuration, since the area is imaged from the initial position, it is possible to grasp the exact position of the mark viewed from the robot hand, and the mark is not hidden and the work is performed. Increases accuracy of access to objects.

また、本発明のロボット制御方法において、前記第２撮像工程における撮像は、前記ロボットハンドに設けられたカメラによって行われることが好ましい。 In the robot control method of the present invention, it is preferable that imaging in the second imaging step is performed by a camera provided in the robot hand.

このような構成のロボット制御方法によれば、ロボットハンドがカメラを初期位置に位置させるので、カメラを作業者が初期位置に予め設置する必要がない。 According to the robot control method having such a configuration, since the robot hand positions the camera at the initial position, it is not necessary for the operator to previously install the camera at the initial position.

また、このようなロボット制御方法に用いられるロボットハンドも本発明の範疇である。A robot hand used in such a robot control method is also within the scope of the present invention.

また、このようなロボット制御方法をコンピュータに実行させるためのロボット制御プログラムも本発明の範疇である。 A robot control program for causing a computer to execute such a robot control method is also within the scope of the present invention.

本発明のロボット制御方法によれば、作業者がティーチングペンダントなどを操作して実際のロボットハンドの位置の変更を繰り返すティーチング作業を行うことなく、ティーチングの負荷が軽減する。 According to the robot control method of the present invention, the teaching load is reduced without the operator performing the teaching operation of repeatedly changing the actual position of the robot hand by operating the teaching pendant or the like.

本発明の第１実施形態に係るロボット制御システム１の平面概略図である。1 is a schematic plan view of a robot control system 1 according to a first embodiment of the present invention. ロボット制御システム１で制御されるロボット３の側面斜視図である。2 is a side perspective view of a robot 3 controlled by the robot control system 1. FIG. ロボット３が有するロボットアーム３０の先端に設けられるロボットハンド３１の拡大斜視図である。3 is an enlarged perspective view of a robot hand 31 provided at the tip of a robot arm 30 included in the robot 3. FIG. ロボット制御システム１のティーチングに使用されるティーチングペンダント１０の正面拡大図である。2 is an enlarged front view of a teaching pendant 10 used for teaching of the robot control system 1. FIG. ロボット制御システム１の制御部１００のブロック構成図である。2 is a block configuration diagram of a control unit 100 of the robot control system 1. FIG. 第１実施形態で使用されるトレイ２０の一例の概略を示す平面図である。It is a top view which shows the outline of an example of the tray 20 used by 1st Embodiment. 可搬型カメラ８によって撮像され、トレイ２０のマーカー２３がすべて写っている画像がパソコン１１０の画面に表示された一例を示す図である。FIG. 6 is a diagram illustrating an example in which an image captured by the portable camera 8 and showing all the markers 23 of the tray 20 is displayed on the screen of the personal computer 110. ロボットハンド３１の小型カメラ３４によって撮像され、トレイ２０のマーカー２３の１つが写っている画像がパソコン１１０の画面に表示された一例を示す図である。3 is a diagram illustrating an example in which an image captured by a small camera 34 of a robot hand 31 and showing one of markers 23 on a tray 20 is displayed on a screen of a personal computer 110. FIG. 本発明の第２実施形態において、可搬型カメラ８によって撮像された画像がティーチングペンダント１０のディスプレイ１１に表示された一例を示す図である。In 2nd Embodiment of this invention, it is a figure which shows an example by which the image imaged with the portable camera 8 was displayed on the display 11 of the teaching pendant 10. FIG.

以下、本発明の実施形態を、図面を参照して説明する。 Embodiments of the present invention will be described below with reference to the drawings.

＜＜＜第１実施形態＞＞＞
＜ロボット制御システム１の構成＞
図１は本発明の第１実施形態に係るロボット制御システム１の平面概略図である。図２はこのロボット制御システム１で制御されるロボット３の側面斜視図である。図３はこのロボット３が有するロボットアーム３０の先端に設けられるロボットハンド３１の拡大斜視図である。図４はロボット制御システム１のティーチングに使用されるティーチングペンダント１０の正面拡大図である。 <<<< first embodiment >>
<Configuration of robot control system 1>
FIG. 1 is a schematic plan view of a robot control system 1 according to the first embodiment of the present invention. FIG. 2 is a side perspective view of the robot 3 controlled by the robot control system 1. FIG. 3 is an enlarged perspective view of the robot hand 31 provided at the tip of the robot arm 30 of the robot 3. FIG. 4 is an enlarged front view of the teaching pendant 10 used for teaching of the robot control system 1.

図１に示すように、ロボット制御システム１は、ワークテーブル２上に離隔配置された２つの組立用ロボット３、４を備えている。ロボット３、４はいずれも多関節ロボットであって、複数のロボットアーム３０、４０をそれぞれ有している。先端側のロボットアーム３０、４０の先端には、ロボットハンド３１、４１がそれぞれ設けられている。 As shown in FIG. 1, the robot control system 1 includes two assembly robots 3 and 4 that are spaced apart from each other on a work table 2. The robots 3 and 4 are all articulated robots and have a plurality of robot arms 30 and 40, respectively. Robot hands 31 and 41 are provided at the distal ends of the robot arms 30 and 40 on the distal end side, respectively.

ワークテーブル２上の一側部には、それぞれ多数の部品（ワーク）（図示せず）を収容する複数の部品供給トレイ５、６が整列して配置されている。これらの部品供給トレイ５、６は、図示しない搬入装置によって、ワークテーブル２上に搬入されるようになっている。ワークテーブル２上において、略中央位置には、各ロボット３、４により部品の組立作業が行われる組立用治具７が取り付けられている。ワークテーブル２の下方には、それぞれロボット３、４を駆動制御するためのコントローラＡ、Ｂが設けられている。また、ワークテーブル２の一側方には、ロボットアーム３０、４０の可動範囲全体を撮影するための可搬型カメラ８が配置されている。可搬型カメラ８は、部品供給トレイ５、６周辺や組立用治具７周辺を撮像するためにレンズを振るパン機能及びレンズが向けられた方向を拡大して撮像するためのズーム機能を有するものが好ましい。 On one side of the work table 2, a plurality of component supply trays 5 and 6 that accommodate a large number of components (work pieces) (not shown) are arranged and arranged. These component supply trays 5 and 6 are carried onto the work table 2 by a carry-in device (not shown). On the work table 2, an assembly jig 7 for assembling parts by the robots 3 and 4 is attached at a substantially central position. Below the work table 2, there are provided controllers A and B for driving and controlling the robots 3 and 4, respectively. A portable camera 8 for photographing the entire movable range of the robot arms 30 and 40 is disposed on one side of the work table 2. The portable camera 8 has a pan function for shaking the lens for imaging the parts supply trays 5 and 6 and the assembly jig 7 and a zoom function for enlarging the direction in which the lens is directed. Is preferred.

ロボット３は、図２に示すように、先端側のロボットアーム３０の先端に着脱自在なロボットハンド３１を有している。ロボットハンド３１には、複数のワーク把持用チャック部３２が設けられている。 As shown in FIG. 2, the robot 3 has a detachable robot hand 31 at the tip of a robot arm 30 on the tip side. The robot hand 31 is provided with a plurality of workpiece gripping chuck portions 32.

チャック部３２は、図３に示すように、支持台３３に支持されている。支持台３３には、チャック部３２を駆動する駆動機構が内蔵されている。ロボットハンド３１は、ベース板３１Ａを有している。図示された４つの支持台３３のうちの一つが、ベース板３１Ａ上において図示矢印方向に移動可能に設けられており、この移動可能な支持台３３の側面には、チャック部３２の先端を撮影するための例えばビジョンカメラまたはＣＣＤ等の小型カメラ３４が取り付けられている。 As shown in FIG. 3, the chuck portion 32 is supported by a support base 33. The support 33 has a built-in drive mechanism for driving the chuck portion 32. The robot hand 31 has a base plate 31A. One of the four support bases 33 shown in the figure is provided on the base plate 31A so as to be movable in the direction of the arrow shown in the figure. For example, a small camera 34 such as a vision camera or a CCD is attached.

なお、ロボット４のロボットハンド４１についても同様の構成を有しているため、ここでは、説明を省略する。 Since the robot hand 41 of the robot 4 has the same configuration, the description thereof is omitted here.

また、このロボット制御システム１は、図４に示すようなティーチングペンダント（操作部、可搬型の教示装置）１０を有している。ティーチングペンダント１０は、カメラ８又はロボットハンド３１のカメラ３４で撮影された画像を表示するためのＬＣＤ（液晶）ディスプレイ１１と、操作者が握るための左右のグリップ１２、１３と、非常停止スイッチ１４とを備えている。 The robot control system 1 also has a teaching pendant (operation unit, portable teaching device) 10 as shown in FIG. The teaching pendant 10 includes an LCD (liquid crystal) display 11 for displaying an image photographed by the camera 8 or the camera 34 of the robot hand 31, left and right grips 12 and 13 for the operator to hold, and an emergency stop switch 14. And.

ディスプレイ１１は、タッチパネル式のディスプレイである。また、ディスプレイ１１の左右両側には、起動、停止、ティーチングなどのロボット操作用の押しボタンスイッチ１１ａが複数個設けられている。グリップ１２の裏面には、ティーチング時や試運転時などの非定常作業時に操作者が危険を回避するための３ポジション方式のイネーブルスイッチ１５（図５参照）が設けられている。 The display 11 is a touch panel display. In addition, a plurality of push button switches 11 a for operating the robot such as starting, stopping, and teaching are provided on both the left and right sides of the display 11. On the back surface of the grip 12, a three-position enable switch 15 (see FIG. 5) is provided for the operator to avoid danger during unsteady work such as teaching or trial operation.

次に、ロボット制御システム１の制御部について図５を用いて説明する。図５はロボット制御システム１の制御部１００のブロック構成図である。 Next, the control unit of the robot control system 1 will be described with reference to FIG. FIG. 5 is a block diagram of the control unit 100 of the robot control system 1.

制御部１００は記憶部とコンピュータを含んでいる。記憶部は以下に説明するロボット制御方法を実行するためのコンピュータプログラムが記憶され、コンピュータは当該プログラムを実行する。詳細には制御部１００は例えば図５に示すようにロボット３のコントローラＡと、ロボット４のコントローラＢとパソコン１１０を含んで構成されている。コントローラＡ、Ｂは互いに通信可能に構成されている。 The control unit 100 includes a storage unit and a computer. The storage unit stores a computer program for executing the robot control method described below, and the computer executes the program. Specifically, the control unit 100 includes a controller A of the robot 3, a controller B of the robot 4, and a personal computer 110 as shown in FIG. The controllers A and B are configured to be able to communicate with each other.

コントローラＡの入力側には、ティーチングペンダント１０がワイヤレスで接続されている。ティーチングペンダント１０には、上述したように、タッチパネル式のディスプレイ１１、非常停止スイッチ１４およびイネーブルスイッチ１５が接続されている。また、コントローラＡの入力側には、小型カメラ３４および可搬型カメラ８が接続されている。 The teaching pendant 10 is connected to the input side of the controller A wirelessly. As described above, the touch panel display 11, the emergency stop switch 14, and the enable switch 15 are connected to the teaching pendant 10. A small camera 34 and a portable camera 8 are connected to the input side of the controller A.

コントローラＡの出力側には、ロボットアーム３０およびロボットハンド３１を駆動するためのモータｍａ₁〜ｍａ_nが接続されている。また、コントローラＡの出力側には、自動運転中の「チョコ停」の発生時に仕掛品をワークテーブル２上から撤去するための撤去装置１０５が接続されている。この撤去装置１０５は、ロボットハンド３１に設けられており、好ましくは、ロボットハンド３１におけるいずれかのチャック部３２が撤去装置１０５として機能している。なお、ワークテーブル２上に向けて圧搾空気を噴出させるためのエアーノズルを撤去装置１０５に設けるようにしてもよいし、このエアーノズルをロボットハンド３１に設けるようにしてもよい。 The output side of the controller A, the motor ma ₁ to Ma _n for driving the robot arm 30 and the robot hand 31 is connected. Further, a removal device 105 is connected to the output side of the controller A for removing work in process from the work table 2 when a “chocolate stop” occurs during automatic operation. The removal device 105 is provided in the robot hand 31, and preferably any one of the chuck portions 32 in the robot hand 31 functions as the removal device 105. Note that an air nozzle for ejecting the compressed air toward the work table 2 may be provided in the removal device 105, or the air nozzle may be provided in the robot hand 31.

コントローラＡの出力側には、さらにパソコン１１０が接続されている。パソコン１１０は、ティーチング時のシミュレーションを行うだけでなく、可搬型カメラ８で撮影した自動運転中の映像をモニターするのに用いられている。パソコン１１０は、コントローラＡに無線ＬＡＮで接続されている。なお、自動運転中の映像は、ティーチングペンダント１０に表示するようにしてもよい。 A personal computer 110 is further connected to the output side of the controller A. The personal computer 110 is used not only to perform simulation during teaching, but also to monitor an image during automatic driving taken by the portable camera 8. The personal computer 110 is connected to the controller A via a wireless LAN. Note that an image during automatic operation may be displayed on the teaching pendant 10.

一方、コントローラＢの入力側には、同様にロボット４において、ロボットハンド４１のチャック部の支持台に設けられた小型カメラ４４が接続されている。また、コントローラＢの出力側には、ロボットアーム４０およびロボットハンド４１を駆動するためのモータｍｂ₁〜ｍｂ_nと、撤去装置１０５と同様の撤去装置１０６とが接続されている。 On the other hand, on the input side of the controller B, similarly, in the robot 4, a small camera 44 provided on the support base of the chuck portion of the robot hand 41 is connected. Further, motors mb _{1 to} mb _n for driving the robot arm 40 and the robot hand 41 and a removal device 106 similar to the removal device 105 are connected to the output side of the controller B.

＜部品搭載用のトレイ２０およびその種類などを識別するためのマーカー２３＞
図６は第１実施形態で使用される部品供給トレイ５、６であるトレイ２０の一例の概略を示す平面図である。このトレイ２０は、複数の部品を同時に整列配置可能な構造を有しており、その部品搭載面２１の周辺部などにトレイの種類および位置を識別可能にするために複数の目印であるマーカー２３（２３ａ〜２３ｄ）が印されている。これらのマーカー２３は、部品搭載面２１において、部品を搭載しても隠されることがないような位置、例えば、部品搭載面２１の周辺部などに印すことが好ましい。 <Marker 23 for identifying component mounting tray 20 and its type>
FIG. 6 is a plan view showing an outline of an example of the tray 20 which is the component supply trays 5 and 6 used in the first embodiment. The tray 20 has a structure in which a plurality of components can be aligned and arranged at the same time, and a marker 23 serving as a plurality of marks is provided on the periphery of the component mounting surface 21 so that the type and position of the tray can be identified. (23a-23d) is marked. These markers 23 are preferably marked on the component mounting surface 21 so as not to be hidden even when components are mounted, for example, on the periphery of the component mounting surface 21.

なお、以下の説明では、マーカー２３ａ〜２３ｄのそれぞれの特定が必要でない場合は、マーカー２３として総称する。また、ロボット３についてのティーチングの例を説明するが、ロボット４でも同様のティーチングが可能である。 In the following description, when it is not necessary to specify each of the markers 23a to 23d, they are collectively referred to as the marker 23. Although an example of teaching for the robot 3 will be described, the robot 4 can perform the same teaching.

これらのマーカー２３はそれぞれ、円形であり、中心角が４５度の白で塗られた扇形２３２及び黒で塗られた扇形２３１に塗り分けられていることが望ましい。このように黒及び白でマーカの模様を構成することで、画像処理によってマーカ２３ａ〜２３ｄの中心の位置を正確かつ容易に検出することができる。 Each of these markers 23 is circular, and it is desirable that the markers 23 are divided into a sector 232 painted in white and a sector 231 painted in black with a central angle of 45 degrees. By configuring the marker pattern with black and white as described above, the positions of the centers of the markers 23a to 23d can be accurately and easily detected by image processing.

図６に示すように、このトレイ２０は具体的には押しボタンスイッチの自動組立作業などに使用される横長矩形平板状のトレイであって、部品搭載面２１の６行×９列の格子位置に、各押しボタンスイッチＳＷの下側の軸を挿入することによって複数の押しボタンスイッチＳＷを整列配置可能な丸孔２２がそれぞれ設けられている。 As shown in FIG. 6, this tray 20 is a horizontally long rectangular flat plate tray used specifically for automatic assembly of push button switches, and has a grid position of 6 rows × 9 columns on the component mounting surface 21. In addition, a circular hole 22 is provided, in which a plurality of push button switches SW can be aligned by inserting a lower shaft of each push button switch SW.

これらの丸孔２２のうちで左上の丸孔２２ａのすぐ左側にはマーカー２３ａが、左下の丸孔２２ｂのすぐ左側にはマーカー２３ｂが、右上の丸孔２２ｃのすぐ右側にはマーカー２３ｃが、右下の丸孔２２ｄのすぐ右側にはマーカー２３ｄがそれぞれ印されている。 Among these round holes 22, a marker 23a is located immediately on the left side of the upper left round hole 22a, a marker 23b is located on the left side of the lower left round hole 22b, and a marker 23c is located on the right side of the upper right round hole 22c. Markers 23d are respectively marked on the right side of the lower right round hole 22d.

なお、図６に図示した例では、４箇所のマーカー２３ａ〜２３ｄはいずれも同じ形状のものを使用しているが、そのような使用には限らない。異なる形状、配色、配置やそれらを組み合わせて使用してもよい。 In the example illustrated in FIG. 6, the four markers 23 a to 23 d are all the same shape, but are not limited to such use. Different shapes, color schemes, arrangements and combinations thereof may be used.

トレイ２０の種類毎に、搭載可能な部品や数量、およびそれに応じた作業内容などは異なるから、トレイ２０に印すマーカー２３のパターン（例えば、それぞれの形状や配置の組み合わせなど）は、トレイ２０の種類毎に応じてそれぞれ異なるように定めて制御部１００内（例えばパソコン１１０）に事前に登録しておく。また、実際に使用される可能性があるトレイ２０の種類毎のマーカー２３のパターンデータを、制御部１００内（例えばパソコン１１０）に事前に登録しておく。さらに、トレイ２０の種類毎に、マーカー２３が印されている正確な位置やそのトレイ２０を使用する場合のロボット３の作業内容なども併せて事前登録しておく。これにより、トレイ２０の部品搭載面２１上に印されているマーカー２３を画像認識によって識別できれば、トレイ２０の種類を判別するとともにその部品搭載面２１に搭載されている部品情報や配置を求めることができ、さらに、そのトレイ２０を使用する場合のロボット３の作業内容も判断できる。 Depending on the type of tray 20, the mountable parts and quantity, and the work contents corresponding thereto vary, so the pattern of the marker 23 (for example, a combination of each shape and arrangement) marked on the tray 20 is different from the tray 20. It is determined so as to be different depending on the type of information, and is registered in advance in the control unit 100 (for example, the personal computer 110). Further, the pattern data of the marker 23 for each type of tray 20 that may be actually used is registered in advance in the control unit 100 (for example, the personal computer 110). Furthermore, for each type of tray 20, the exact position where the marker 23 is marked and the work contents of the robot 3 when using the tray 20 are also registered in advance. Thus, if the marker 23 marked on the component mounting surface 21 of the tray 20 can be identified by image recognition, the type of the tray 20 is determined and the component information and arrangement mounted on the component mounting surface 21 are obtained. Furthermore, the work contents of the robot 3 when using the tray 20 can also be determined.

＜トレイに印されたマーカーを用いる自動ティーチング（自動運転）＞
トレイ２０に印されたマーカー２３を用いるロボット３などの自動ティーチングは、以下の各ステップによって行う。なお、これらに先立って、上述した可搬型カメラ８を、ロボットハンド３１に対向するほぼ正面からトレイ２０を見下ろすような位置に配置しておく。 <Automatic teaching using the marker on the tray (automatic operation)>
Automatic teaching such as the robot 3 using the marker 23 marked on the tray 20 is performed by the following steps. Prior to these, the above-described portable camera 8 is disposed at a position where the tray 20 is looked down from almost the front facing the robot hand 31.

（１）可搬型カメラ８による、トレイ２０に印されたマーカー２３を含む撮像
まず、部品搭載用のトレイ２０が、ロボットハンド３１によって作業が行われるべき所定位置（図１の部品供給トレイ５、６が配置されている位置）に置かれた状態で、可搬型カメラ８によって、トレイ２０の部品搭載面２１に印された各マーカー２３のすべてが含まれていて、できるだけ明瞭に写るように撮像を行う。このようにして撮像された画像が、パソコン１１０の画面に表示され、この画像の一例を図７に示す。 (1) Imaging including the marker 23 marked on the tray 20 by the portable camera 8 First, the component mounting tray 20 is to be operated by the robot hand 31 at a predetermined position (the component supply tray 5 in FIG. In the state where the camera is placed at the position 6), the portable camera 8 includes all of the markers 23 marked on the component mounting surface 21 of the tray 20 so as to be captured as clearly as possible. I do. The image thus captured is displayed on the screen of the personal computer 110, and an example of this image is shown in FIG.

（２）撮像された画像からのマーカー２３検出および事前登録データとの照合
可搬型カメラ８によって撮像された画像を、パソコン１１０によって画像処理することによって、トレイ２０の部品搭載面２１に印されている各マーカー２３を検出する。なお、マーカー２３が正しく検出できたかどうかが作業者にも容易に視認できるように、例えば、検出したマーカー２３を画面上で強調表示するようにしてもよい。強調表示は、具体的には、赤色で表示したり、所定のマークを表示したりすることなどが考えられるが、そのような表示態様に限るわけではない。 (2) Marker 23 Detection from Captured Image and Collation with Pre-Registered Data The image captured by the portable camera 8 is image-processed by the personal computer 110 and is marked on the component mounting surface 21 of the tray 20. Each marker 23 is detected. For example, the detected marker 23 may be highlighted on the screen so that the operator can easily recognize whether the marker 23 has been correctly detected. Specifically, the highlighting may be displayed in red or a predetermined mark, but is not limited to such a display mode.

さらに、検出されたマーカー２３のデータを、事前に登録されているトレイ２０の種類毎のマーカー２３のパターンデータと照合し、いずれのパターンデータに該当するかを判断する。そして、該当すると判断されたパターンデータのマーカー２３が印されているトレイ２０を使用する場合のロボット３の作業内容も併せて取得する。 Furthermore, the data of the detected marker 23 is collated with the pattern data of the marker 23 for each type of tray 20 registered in advance, and it is determined which pattern data corresponds. Then, the operation contents of the robot 3 when using the tray 20 on which the marker 23 of the pattern data determined to be applicable is also acquired.

このように、トレイ２０が写った画像からマーカー２３を検出するだけで、ロボット３の作業内容の概略ティーチングを作業者に代わって自動的に行うことができる。 As described above, only by detecting the marker 23 from the image in which the tray 20 is captured, it is possible to automatically perform rough teaching of the work contents of the robot 3 on behalf of the operator.

（３）マーカー２３に応じた初期位置へロボットハンド３１を移動
該当すると判断されたパターンデータのマーカー２３に応じたロボット３の作業内容に従って、ロボットハンド３１を初期位置へ移動させる。なお、この初期位置では、ロボットハンド３１の小型カメラ３４が、マーカー２３の少なくとも１つを撮像できるようにしておく。 (3) Move the robot hand 31 to the initial position corresponding to the marker 23 The robot hand 31 is moved to the initial position according to the work contents of the robot 3 corresponding to the marker 23 of the pattern data determined to be applicable. It should be noted that at this initial position, the small camera 34 of the robot hand 31 can capture at least one of the markers 23.

（４）小型カメラ３４による、トレイ２０に印されたマーカー２３を含む撮像
ロボットハンド３１を初期位置へ移動させた後、ロボットハンド３１の小型カメラ３４によって、トレイ２０の部品搭載面２１に印されたマーカー２３の少なくとも１つが含まれるように撮像を行う。このようにして撮像された画像が、パソコン１１０の画面に表示された一例を図８に示す。 (4) Imaging including the marker 23 marked on the tray 20 by the small camera 34 After moving the robot hand 31 to the initial position, it is marked on the component mounting surface 21 of the tray 20 by the small camera 34 of the robot hand 31. Imaging is performed so that at least one of the markers 23 is included. FIG. 8 shows an example in which an image captured in this way is displayed on the screen of the personal computer 110.

（５）撮像された画像からマーカー２３の位置誤差を算出
小型カメラ３４によって撮像された画像をパソコン１１０によって画像処理することによって、その画像に含まれているマーカー２３およびその詳細な位置を検出する。そして、ロボットハンド３１の初期位置におけるマーカー２３の本来の位置データとの比較によってマーカー２３の位置誤差を算出する。 (5) Calculating the position error of the marker 23 from the captured image The image captured by the small camera 34 is image-processed by the personal computer 110 to detect the marker 23 included in the image and its detailed position. . Then, the position error of the marker 23 is calculated by comparison with the original position data of the marker 23 at the initial position of the robot hand 31.

誤差が生じていればそれを補正して、以降のロボットハンド３１の作業内容の制御データに反映させる。これにより、詳細ティーチングも自動的に行うことができることになる。 If an error has occurred, it is corrected and reflected in the control data of the work contents of the robot hand 31 thereafter. Thus, detailed teaching can be automatically performed.

その後は、位置誤差が補正された制御データに基づいてロボットハンド３１を制御し、まず、最初の作業対象物をハンドリングできる位置へロボットハンド３１を移動させる。そして、その位置での作業を実行して異常がなければ、登録されているそれ以降の作業内容を順次実行する。 Thereafter, the robot hand 31 is controlled based on the control data in which the position error is corrected. First, the robot hand 31 is moved to a position where the first work object can be handled. If the work at that position is executed and there is no abnormality, the registered work contents thereafter are sequentially executed.

以上で説明した第１実施形態の構成によれば、作業者がティーチングペンダント１０の操作によってロボットハンド３の位置を複雑に変更させることを繰り返したりすることなく、専ら、使用するトレイ２０の種類毎に適切なマーカー２３を印しておくことで自動的に運転することができ、正確な位置のティーチングを行う負荷が軽減する。これにより、ティーチング作業が極めて容易になるとともにティーチング所要時間も大幅に短縮可能となる。 According to the configuration of the first embodiment described above, the operator does not repeatedly change the position of the robot hand 3 by operating the teaching pendant 10 and does not repeatedly change the type of the tray 20 to be used. If an appropriate marker 23 is marked on the vehicle, it can be automatically operated, and the load for teaching the accurate position is reduced. As a result, teaching work becomes extremely easy and the time required for teaching can be greatly shortened.

なお、以上の説明では作業対象物が搭載される領域は、マーカー２３が印されたトレイ２０の場合を説明したが、マーカー２３を印した組立用治具７であってもよい。 In the above description, the area on which the work object is mounted is the tray 20 on which the marker 23 is marked. However, the assembly jig 7 on which the marker 23 is marked may be used.

また、作業対象物によっては少しずれてもハンドリングできる場合や可搬型カメラ８の画像データからマーカー２３の詳細な位置を検出できる場合などは、小型カメラ３４による撮像を省略して、可搬型カメラ８で得られた画像データからマーカー２３の位置を検出してもよい。 Further, when handling is possible even if the work object is slightly deviated, or when the detailed position of the marker 23 can be detected from the image data of the portable camera 8, imaging by the small camera 34 is omitted, and the portable camera 8 is omitted. The position of the marker 23 may be detected from the image data obtained in the above.

また、あるマーカー２３が検出された場合には、小型カメラ３４による撮像を省略して、可搬型カメラ８の画像データからマーカー２３の詳細な位置を検出し、あるマーカーが検出された場合には、小型カメラ３４による撮像も行って、小型カメラ８の画像データからマーカー２３の詳細な位置を検出するようにしてもよい。このように、マーカー２３のより精度の高い詳細な位置を検出する場合にのみ、小型カメラ３４による撮像を行うようにしてもよい。 Further, when a certain marker 23 is detected, imaging by the small camera 34 is omitted, the detailed position of the marker 23 is detected from the image data of the portable camera 8, and when a certain marker is detected. Further, the detailed position of the marker 23 may be detected from the image data of the small camera 8 by performing imaging with the small camera 34. As described above, only when the detailed position of the marker 23 is detected with high accuracy, the small camera 34 may be used for imaging.

また、以上の説明では１回目の撮像は可搬型カメラ８で撮像を行い、２回目の撮像は小型カメラ３４で行ったが、１回目及び２回目とも可搬型カメラ８で行ってもよいし、小型カメラ３４で行ってもよい。 In the above description, the first imaging is performed with the portable camera 8, and the second imaging is performed with the small camera 34. However, the first imaging and the second imaging may be performed with the portable camera 8, You may perform with the small camera 34. FIG.

＜＜＜第２実施形態＞＞＞
第２実施形態は、ロボットハンド３１に行わせるべき作業全体あるいはその一部について、移動経路の始点および終点が予め定まっている場合などに、その途中の移動のためのティーチング作業を容易にするためのものである。例えば、始点と終点との間に障害物が存在するときなどに好適である。なお、以下の説明では、第１実施形態と相違する点を中心に説明する。 <<< Second Embodiment >>
In the second embodiment, in order to facilitate teaching work for movement in the middle of the work to be performed by the robot hand 31 or a part thereof, when the start point and the end point of the movement path are determined in advance. belongs to. For example, it is suitable when an obstacle exists between the start point and the end point. In the following description, differences from the first embodiment will be mainly described.

この第２実施形態では、可搬型カメラ８は、図１に示されているように配置すればよいが、ズーム機能やパン機能を使用して対象とするロボットハンド３１の動作する領域が専ら撮影できるように変更してもよい。また、この可搬型カメラ８で撮像される画像がティーチングペンダント１０のタッチパネル式のディスプレイ（表示部）１１に表示されるようにしておく。そのようにしたときのディスプレイ１１の表示例を図９に示す。 In this second embodiment, the portable camera 8 may be arranged as shown in FIG. 1, but the region in which the target robot hand 31 operates using the zoom function or pan function is exclusively photographed. You may change it as you can. In addition, an image captured by the portable camera 8 is displayed on the touch panel display (display unit) 11 of the teaching pendant 10. A display example of the display 11 when doing so is shown in FIG.

このとき、ロボットハンド３１は、ディスプレイ１１の左下に表示されている部品供給トレイ５のすぐ上に位置しているが、ここを作業の始点とする。また、ディスプレイ１１の右下に表示されている別の部品供給トレイ５のすぐ上を作業の終点とする。なお、これらの始点および終点のロボット座標系における３次元座標は既知としておく。 At this time, the robot hand 31 is located immediately above the component supply tray 5 displayed at the lower left of the display 11, but this is the starting point of the work. In addition, the work end point is immediately above another component supply tray 5 displayed at the lower right of the display 11. Note that the three-dimensional coordinates in the robot coordinate system of these start points and end points are assumed to be known.

ロボットハンド３１が、始点と終点との間をどのような経路で移動すべきかをティーチングするためには、以下の各ステップを実行する。 In order to teach what route the robot hand 31 should move between the start point and the end point, the following steps are executed.

（１）ティーチングペンダント１０のディスプレイ１１上で中継点を指示
ロボットハンド３１が現在の始点から次にどの位置へ移動すべきか、つまり、移動経路上の中継点をタッチペンでディスプレイ１１上に直接タッチすることによって指示する。ティーチングペンダント１０は、ディスプレイ１１でタッチされた位置の２次元座標を認識することができるので、その２次元座標を記憶しておく。 (1) Specifying a relay point on the display 11 of the teaching pendant 10. To which position the robot hand 31 should move next from the current start point, that is, a relay point on the movement path is directly touched on the display 11 with a touch pen. Direct by. The teaching pendant 10 can recognize the two-dimensional coordinates of the position touched on the display 11, and stores the two-dimensional coordinates.

このような操作を必要回数だけ繰り返すことによって、始点から終点までの間の中継点を順次指示する。中継点の指示が正しく行えたかどうかが容易に視認できるように、例えば、指示された位置にマーク（例えば文字「Ｐ」）を表示したり、始点と中継点との間、中継点間、および中継点と終点との間を線で結ぶなどの表示を行ってもよい。 By repeating such an operation as many times as necessary, a relay point from the start point to the end point is sequentially indicated. For example, a mark (for example, a letter “P”) is displayed at the indicated position, or between the start point and the relay point, between the relay points, and Display such as connecting a line between the relay point and the end point may be performed.

（２）ディスプレイ１１上の２次元座標をロボット座標系の３次元座標に変換
ディスプレイ１１上の２次元座標だけでは、ロボットハンド３１のロボット座標系の３次元座標を一意に定めることはできない。そこで、ロボット座標系における３次元座標が既知である始点および終点を含む鉛直平面上に各中継点があることにすれば、各中継点のディスプレイ１１上の２次元座標をロボット座標系の３次元座標へ変換できる。 (2) Converting the two-dimensional coordinates on the display 11 to the three-dimensional coordinates of the robot coordinate system The three-dimensional coordinates of the robot coordinate system of the robot hand 31 cannot be uniquely determined only by the two-dimensional coordinates on the display 11. Therefore, if each relay point is on a vertical plane including a start point and an end point where the three-dimensional coordinates in the robot coordinate system are known, the two-dimensional coordinates on the display 11 of each relay point are converted into the three-dimensional coordinates of the robot coordinate system. Can be converted to coordinates.

このようにして変換された各中継点のロボット座標系の３次元座標に基づいてロボットハンド３１を制御することにより、ディスプレイ１１上においてタッチペンで指示した通りの経路でロボットハンド３１を移動させることができる。 By controlling the robot hand 31 based on the three-dimensional coordinates in the robot coordinate system of each relay point converted in this way, the robot hand 31 can be moved on the display 11 along the route indicated by the touch pen. it can.

以上で説明した第２実施形態の構成によれば、作業者がティーチングペンダント１０の操作によってロボットハンド３１の位置を複雑に変更させることを繰り返したりすることなく、ティーチングペンダント１０のディスプレイ１１に表示された画像上で移動経路を指示するだけで、ロボットハンド３１に所望の動作をさせることができる。これにより、ティーチング作業が極めて容易になるとともにティーチング所要時間も大幅に短縮可能となる。 According to the configuration of the second embodiment described above, the operator does not repeatedly change the position of the robot hand 31 by operating the teaching pendant 10 and is displayed on the display 11 of the teaching pendant 10. It is possible to cause the robot hand 31 to perform a desired operation only by instructing the movement path on the image. As a result, teaching work becomes extremely easy and the time required for teaching can be greatly shortened.

なお、ティーチングペンダント１０の表示部に画像を表示させて作業者が指示する場合を説明したが、ティーチングペンダント１０以外の場所において、表示部に画像を表示させて作業者が指示してもよい。 In addition, although the case where an operator displayed an image on the display unit of the teaching pendant 10 and instructed the instruction has been described, the operator may display the image on the display unit and instruct at a place other than the teaching pendant 10.

＜＜＜第３実施形態＞＞＞
第３実施形態では、第１及び第２実施形態を組み合わせる。つまり、第１実施形態で説明したようにトレイ２０及び組立用治具７のいずれについてもマーカーを付して自動ティーチング（自動運転）を行うとともに、トレイ２０と組立用治具７との間にある障害物を避けるティーチングについては、第２実施形態で説明したように作業者が指示することによってティーチングを行う。これにより、大幅にティーチングの負荷を軽減することができる。 <<< Third Embodiment >>>
In the third embodiment, the first and second embodiments are combined. That is, as described in the first embodiment, both the tray 20 and the assembly jig 7 are attached with a marker to perform automatic teaching (automatic operation), and between the tray 20 and the assembly jig 7. Teaching that avoids an obstacle is taught by an operator as instructed in the second embodiment. Thereby, the teaching load can be greatly reduced.

本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態や実施例はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。 The present invention can be implemented in various other forms without departing from the gist or main features thereof. For this reason, the above-described embodiments and examples are merely examples in all respects and should not be interpreted in a limited manner. The scope of the present invention is indicated by the claims, and is not restricted by the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.

１ロボット制御システム
２ワークテーブル
３ロボット
５部品供給トレイ
６部品供給トレイ
７組立用治具
３０ロボットアーム
３１ロボットハンド
３２チャック部
３３支持台
３４小型カメラ
４ロボット
４０ロボットアーム
４１ロボットハンド
４４小型カメラ
８可搬型カメラ
１０ティーチングペンダント
１１タッチパネル式ディスプレイ
１２グリップ
１３グリップ
１４非常停止ボタン
１５イネーブルスイッチ
２０トレイ
２１部品搭載面
２２丸孔
２３マーカー（目印）
１００制御部
１０５撤去装置
１０６撤去装置
１１０パソコン
Ａ、Ｂコントローラ
Ｗワーク DESCRIPTION OF SYMBOLS 1 Robot control system 2 Worktable 3 Robot 5 Parts supply tray 6 Parts supply tray 7 Assembly jig 30 Robot arm 31 Robot hand 32 Chuck part 33 Support stand 34 Small camera 4 Robot 40 Robot arm 41 Robot hand 44 Small camera 8 Possible Portable camera 10 Teaching pendant 11 Touch panel display 12 Grip 13 Grip 14 Emergency stop button 15 Enable switch 20 Tray 21 Component mounting surface 22 Round hole 23 Marker (mark)
100 control unit 105 removal device 106 removal device 110 personal computer A, B controller W work

Claims

An imaging process for imaging an area where a work object is mounted;
A first image processing step for obtaining a pre-registered initial position corresponding to the mark pattern based on the mark pattern detected from the image data captured in the image pickup step;
A second image processing step of obtaining the position of the mark from the image data imaged in the imaging step;
A first movement step of moving the robot hand to the initial position;
A second movement step of causing the robot hand to approach the work object based on the position of the mark from the initial position;
A robot control method comprising:

The imaging step includes
A first imaging step of imaging image data for the first image processing step;
A second imaging step of imaging image data for the second image processing step;
Including
The robot control method according to claim 1, wherein the second imaging step images the area from the initial position.

The robot control method according to claim 2, wherein imaging in the second imaging step is performed by a camera provided in the robot hand.

A robot hand used in the robot control method according to claim 3.

Robot control program for executing a robot control method according to the computer in any one of claims 1 to 3.