WO2020067257A1 - Control device - Google Patents

Control device Download PDF

Info

Publication number
WO2020067257A1
WO2020067257A1 PCT/JP2019/037794 JP2019037794W WO2020067257A1 WO 2020067257 A1 WO2020067257 A1 WO 2020067257A1 JP 2019037794 W JP2019037794 W JP 2019037794W WO 2020067257 A1 WO2020067257 A1 WO 2020067257A1
Authority
WO
WIPO (PCT)
Prior art keywords
robot
image
unit
instruction
input
Prior art date
Application number
PCT/JP2019/037794
Other languages
French (fr)
Japanese (ja)
Inventor
石川 博一
Original Assignee
日本電産株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2018-185682 priority Critical
Priority to JP2018185682 priority
Application filed by 日本電産株式会社 filed Critical 日本電産株式会社
Publication of WO2020067257A1 publication Critical patent/WO2020067257A1/en

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine

Abstract

A control device according to the present invention, which controls a robot, is provided with: a structure database that stores structures of a robot to be controlled; an image input unit that inputs an image of the robot; an associating unit that associates prescribed regions in the image of the robot, input by the image input unit, with the structures of the robot, stored in the structure database; a library database that stores action instructions for the robot and instruction inputs corresponding to the action instructions; an instruction input unit that inputs a prescribed region in the image of the robot and an instruction input corresponding to that region; and an action setting unit that sets the action instruction in the library database, corresponding to the instruction input input by the instruction input unit, as the action instruction corresponding to the instruction input.

Description

制御装置Control device
 本発明は、ロボットの制御を行う制御装置に関する。 The present invention relates to a control device for controlling a robot.
 画像でロボットの動作を指示するいわゆるプログラミング・ペンダントと称される制御装置が知られている。例えば日本国公開公報特開2007-242054号公報には、ロボット言語に対する在来のキャラクタベースでの言語表現及び編集方法をグラフィカルな表現に変えることで、教示内容の把握を容易にするとともに、初心者にも容易にプログラミングや作業プログラムの教示を行える技術が開示されている。 A control device called a programming pendant for instructing an operation of a robot by an image is known. For example, Japanese Patent Laid-Open Publication No. 2007-242054 discloses that a conventional character-based linguistic expression and editing method for a robot language is changed to a graphical expression, thereby facilitating grasping of teaching contents and for beginners. Discloses a technique for easily teaching programming and work programs.
日本国公開公報:特開2007-242054号公報Japanese Unexamined Patent Publication: JP-A-2007-242054
 しかしながら、日本国公開公報特開2007-242054号公報に開示された技術では、溶接経路等の予め決められた処理についてロボットの移動経路を予め決められたグラフィカルな表現で指定できるが、そもそもグラフィカルな表現自体の変更は考慮されていない。このため、予め決められたグラフィカルな表現や操作に慣れる必要があり、専門性が要求されていた。
 上述の課題に鑑み、本発明は、ユーザが容易にロボットの動作を設定することができる制御装置を提供することを目的とする。
However, in the technique disclosed in Japanese Patent Application Laid-Open Publication No. 2007-242054, the movement path of the robot can be designated by a predetermined graphical representation for a predetermined process such as a welding path. Changes in the expression itself are not taken into account. For this reason, it is necessary to get used to predetermined graphical expressions and operations, and specialty is required.
In view of the above-mentioned problems, an object of the present invention is to provide a control device that allows a user to easily set the operation of a robot.
 上記課題を解決するため、本発明に係る制御装置のある態様によれば、ロボットの制御を行う制御装置であって、制御対象のロボットの構造を保持する構造データベースと、前記ロボットの画像を入力する画像入力部と、前記画像入力部により入力された前記ロボットの画像中の所定の領域と前記構造データベースに保持されている前記ロボットの構造とを対応付ける対応付け部と、前記ロボットに対する動作指示と当該動作指示に対応する指示入力とを保持するライブラリデータベースと、前記ロボットの画像中の所定の領域と当該領域に対応する指示入力を入力する指示入力部と、前記指示入力部により入力された前記指示入力に対応する前記ライブラリデータベース中の前記動作指示を前記指示入力に対応する前記動作指示として設定する動作設定部と、を備えることを特徴とする制御装置が提供される。 According to an embodiment of the present invention, there is provided a control device for controlling a robot, comprising: inputting a structure database holding a structure of a robot to be controlled and an image of the robot; An image input unit, a correspondence unit that associates a predetermined area in the image of the robot input by the image input unit with the structure of the robot held in the structure database, and an operation instruction to the robot. A library database that holds an instruction input corresponding to the operation instruction, a predetermined area in the image of the robot and an instruction input unit that inputs an instruction input corresponding to the area, and the library input by the instruction input unit. The operation instruction in the library database corresponding to the instruction input is set as the operation instruction corresponding to the instruction input. Control device is provided, characterized in that it comprises an operation setting unit, the for.
 以上の構成を有する本発明によれば、ユーザが容易にロボットの動作を設定することができる。 According to the present invention having the above configuration, the user can easily set the operation of the robot.
本発明の実施形態の制御装置を用いたロボット制御システムの構成例を示すブロック図である。It is a block diagram showing the example of composition of the robot control system using the control device of an embodiment of the present invention. 制御対象のロボットの構成の例を示す図である。FIG. 3 is a diagram illustrating an example of a configuration of a robot to be controlled. DHパラメータの例を示す図である。It is a figure showing an example of a DH parameter. 図1に示した制御装置によるロボットの制御処理の例を示すフローチャートである。3 is a flowchart illustrating an example of a control process of the robot by the control device illustrated in FIG. 1. ロボットの画像の例を示す図である。It is a figure showing an example of an image of a robot. 対応付けを行う際に表示する画面の例を示す図である。It is a figure showing the example of the screen displayed when performing correspondence. 対応付けを行う際に表示する画面の例を示す図である。It is a figure showing the example of the screen displayed when performing correspondence. ライブラリDBに格納されているデータの例を示す図である。FIG. 4 is a diagram illustrating an example of data stored in a library DB. 領域の指定と指示入力の例を示す図である。It is a figure showing an example of specification of a field and instruction input. 領域の指定と指示入力の例を示す図である。It is a figure showing an example of specification of a field and instruction input. 操作入力画面の例を示す図である。It is a figure showing an example of an operation input screen. 動作の合成を行う際の表示画像の例を示す図である。It is a figure showing an example of a display picture at the time of performing composition of operation. 合成された動作の操作入力が面の例を示す図である。FIG. 10 is a diagram illustrating an example of a surface where an operation input of a synthesized operation is a surface; ロボットの画像の他の例を示す図である。It is a figure showing other examples of an image of a robot. ロボットの画像の他の例を示す図である。It is a figure showing other examples of an image of a robot.
 以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。
 図1は、本発明の実施形態に係る制御装置を用いたロボット制御システムの構成例を示すブロック図である。このロボット制御システムは、制御対象のロボット1と、ロボット1が備えるモータの制御等を行うコントローラ2と、ロボット1等の撮像を行うカメラ3と、システム全体の制御を行う制御装置10とを備えている。
Hereinafter, an embodiment for carrying out the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a block diagram illustrating a configuration example of a robot control system using a control device according to an embodiment of the present invention. The robot control system includes a robot 1 to be controlled, a controller 2 for controlling a motor provided in the robot 1, a camera 3 for imaging the robot 1, and the like, and a control device 10 for controlling the entire system. ing.
 以下、制御対象のロボット1として、例えば図2に示すように、複数の関節部とアーム部とを有する多関節ロボットを用いる場合について説明する。
 ロボット1は、複数の関節部41a,41b,42a,42b,43a,43bと、関節部43bの先端に取り付けられたハンド部44とを備えている。関節部41aは基台40に対して回動自在に取り付けられている。また、アーム部は、複数のアーム45,46を備えている。ハンド部44は、例えば加工対象の部材を挟んで移動させる。図3は、ロボット1の制御を行うために用いるDH(Denavit-Hartenberg)パラメータの例を示している。このDHパラメータは、例えば各関節部41a~43bの角度と各アーム45,46の長さに応じて、ロボット1の先端のハンド部44の位置を求めたり、逆にハンド部44の位置が指定された場合に、各関節部41a~43bの角度を求めたりする場合に用いられる。
Hereinafter, a case where an articulated robot having a plurality of joints and arms as shown in FIG. 2 will be described as the robot 1 to be controlled.
The robot 1 includes a plurality of joints 41a, 41b, 42a, 42b, 43a, 43b, and a hand 44 attached to a tip of the joint 43b. The joint portion 41a is rotatably attached to the base 40. The arm section has a plurality of arms 45 and 46. The hand unit 44 moves, for example, a member to be processed. FIG. 3 shows an example of DH (Denavit-Hartenberg) parameters used for controlling the robot 1. For example, the DH parameter determines the position of the hand unit 44 at the tip of the robot 1 or specifies the position of the hand unit 44 in accordance with the angles of the joints 41a to 43b and the lengths of the arms 45 and 46. This is used to determine the angles of the joints 41a to 43b.
 制御装置10は、例えばパーソナルコンピュータやタブレット型の携帯情報端末等の情報処理装置から構成される。
 この制御装置10は、図1に示すように、制御装置10全体の制御を行う制御部11と、プログラム、データ等を格納する記憶部12と、画像等を表示する表示部13と、制御部11からの指示に応じて表示部13に表示する画像を生成する画像生成部14とを備えている。表示部13は、例えば画像を表示する表示画面と、タッチパネル等により、ユーザの操作に応じた座標・画像等のデータを入力する。また、制御装置10は、音声を入力する音声入力部15と、文章を入力する文章入力部16と、操作指示を入力する操作入力部17と、ロボット1の動作を制御するための設定を行う設定処理部18とを備えている。
The control device 10 includes an information processing device such as a personal computer or a tablet-type portable information terminal.
As shown in FIG. 1, the control device 10 includes a control unit 11 that controls the entire control device 10, a storage unit 12 that stores programs, data, and the like, a display unit 13 that displays images and the like, And an image generation unit 14 that generates an image to be displayed on the display unit 13 in response to an instruction from the control unit 11. The display unit 13 inputs data such as coordinates and images according to a user's operation on a display screen that displays images and a touch panel or the like. Further, the control device 10 performs a setting for controlling the operation of the robot 1, a voice input unit 15 for inputting a voice, a text input unit 16 for inputting a text, an operation input unit 17 for inputting an operation instruction. And a setting processing unit 18.
 記憶部12には、上述のDHパラメータ等を含むロボット1の構造を示すデータが格納される構造DB(データベース)21と、ロボット1の構造とロボットの画像との対応関係を示すデータが格納される対応DB22と、ロボット1の動作を制御するためのコントローラ2に対するコマンド等が格納されるライブラリDB23が記憶されている。また、記憶部12には、ロボットの画像とライブラリDB23のコマンド等との対応関係が格納される動作DB24、合成された動作が格納される合成DB25が記憶されている。 The storage unit 12 stores a structure DB (database) 21 in which data indicating the structure of the robot 1 including the above-mentioned DH parameters and the like is stored, and data indicating a correspondence between the structure of the robot 1 and an image of the robot. A correspondence DB 22 and a library DB 23 storing commands and the like for the controller 2 for controlling the operation of the robot 1 are stored. In addition, the storage unit 12 stores an operation DB 24 that stores a correspondence between a robot image and a command in the library DB 23 and a combination DB 25 that stores a combined operation.
 設定処理部18は、カメラ3あるいは表示部13からロボットの画像を入力する画像入力部31と、画像中の領域とロボット1の構成との対応付けを行う対応付け部32と、ロボットの動作指示を入力する指示入力部33と、指示入力に応じてロボットの動作を設定する動作設定部34とを備えている。また、設定処理部18は、設定されたロボットの動作を合成する動作合成部35と、操作指示に応じてロボットの動作を選択する選択部36とを備えている。 The setting processing unit 18 includes an image input unit 31 for inputting an image of the robot from the camera 3 or the display unit 13, an associating unit 32 for associating a region in the image with the configuration of the robot 1, and a robot operation instruction. And an operation setting unit 34 for setting the operation of the robot in accordance with the instruction input. In addition, the setting processing unit 18 includes an operation synthesizing unit 35 that synthesizes the set operation of the robot, and a selecting unit 36 that selects the operation of the robot in accordance with the operation instruction.
<制御処理>
 図4は、制御装置10によるロボット1の制御処理の概要を示すフローチャートである。
 この制御装置10では、まず、S11において、処理部18の画像入力部31は、ロボットの画像を入力する。このロボットの画像は、ユーザが表示部13のタッチパネルで入力した手書きの画像、カメラ3を介して入力した実際のロボット1を撮像した画像等、ロボット1の動作との対応関係を定義し得る画像であればよい。具体的には、例えば図5に示すロボット1の構造を模した手書き画像、あるいはカメラ3で撮像したロボット1の画像等を用いることができる。
<Control processing>
FIG. 4 is a flowchart illustrating an outline of control processing of the robot 1 by the control device 10.
In the control device 10, first, in S11, the image input unit 31 of the processing unit 18 inputs an image of the robot. The image of the robot 1 is an image that can define the correspondence with the operation of the robot 1, such as a handwritten image input by the user on the touch panel of the display unit 13 or an image of the actual robot 1 input via the camera 3. Should be fine. Specifically, for example, a handwritten image simulating the structure of the robot 1 shown in FIG. 5 or an image of the robot 1 captured by the camera 3 can be used.
 次に、S12において、対応付け部32は、ロボットの画像と、上述のように、実際のロボット1の構造との対応付けを行う。上述のように手書き画像をロボットの画像として用いる場合には、関節部の配置やアームの長さがロボット1の構造と正確に一致していないことがある。このため、対応付け部32は、ロボットの画像中の領域と、構造DB21に格納されている実際のロボット1の構造とを対応付けする。対応付け部32は、対応付けした結果を対応DB22に格納する。 Next, in S12, the association unit 32 associates the image of the robot with the actual structure of the robot 1 as described above. When a handwritten image is used as an image of a robot as described above, the arrangement of joints and the length of an arm may not exactly match the structure of the robot 1. For this reason, the associating unit 32 associates an area in the image of the robot with the actual structure of the robot 1 stored in the structure DB 21. The association unit 32 stores the result of the association in the association DB 22.
 具体的には、対応付け部32は、例えば図6に示すように、表示部13の表示画面にロボットの画像51を表示させ、表示部13のタッチパネル等により、ユーザからの対応付けの定義を入力する。対応付けの定義は、例えば対象となるロボットの画像の所定の領域を選択する領域選択画像52と、当該領域選択画像52に対応する定義情報画像53とを含んでいる。この図6は、領域選択画像52とロボット1のハンド部44との対応付けを行う場合の画像の例を示している。関節部との対応付けを行う場合には、ユーザは、例えば図7に示すように、関節部を選択する領域選択画像54と、当該領域選択画像54に対応する定義情報画像55により、対応付けの定義を入力する。なお、対応付けの定義は、画像として入力するだけでなく、音声入力部15を介してユーザが入力した音声に対応する文字、文章入力部16を介してユーザが入力した文章等として入力するようにしてもよい。 Specifically, as shown in FIG. 6, for example, the associating unit 32 displays an image 51 of the robot on the display screen of the display unit 13 and uses the touch panel or the like of the display unit 13 to define the definition of the association from the user. input. The definition of the association includes, for example, an area selection image 52 for selecting a predetermined area of the target robot image, and a definition information image 53 corresponding to the area selection image 52. FIG. 6 shows an example of an image when the area selection image 52 is associated with the hand unit 44 of the robot 1. When associating with a joint, the user, for example, as shown in FIG. 7, uses an area selection image 54 for selecting a joint and a definition information image 55 corresponding to the area selection image 54. Enter the definition of It should be noted that the definition of the correspondence is not only input as an image, but also as characters corresponding to the voice input by the user via the voice input unit 15, texts input by the user via the text input unit 16, and the like. It may be.
 この後、S13において、動作設定部34は、ロボットの画像に対応するロボット1の動作を設定する。ライブラリDB23には、例えば図8に示すように、ロボット1を動作させるコマンドとパラメータに対応する画像、キーワードが格納されている。この図8は、ロボット1のハンド部44を直線的に移動させるコマンド(Line)と、ハンド部44を最速で移動させるコマンド(Move)と、各々のパラメータ(移動先、方向、移動速度)と画像、キーワードを対応付けた例を示している。動作設定部34は、指示入力部33を介してユーザが入力したロボットの画像内の所定の領域に対して、ライブラリDB23に格納されているロボット1の動作を示すコマンド、パラメータから、ユーザの選択に対応するものを選択し、選択したコマンド、パラメータを当該画像内の所定の領域に対応する動作として設定し、動作DB24に格納する。 After that, in S13, the operation setting unit 34 sets the operation of the robot 1 corresponding to the image of the robot. The library DB 23 stores, for example, images and keywords corresponding to commands and parameters for operating the robot 1, as shown in FIG. FIG. 8 shows a command (Line) for moving the hand unit 44 of the robot 1 linearly, a command (Move) for moving the hand unit 44 at the highest speed, and respective parameters (movement destination, direction, and movement speed). The example which matched the image and the keyword is shown. The operation setting unit 34 selects a user from a command and parameters indicating the operation of the robot 1 stored in the library DB 23 for a predetermined area in the robot image input by the user via the instruction input unit 33. Is selected, the selected command and parameter are set as an operation corresponding to a predetermined area in the image, and stored in the operation DB 24.
 指示入力部33は、例えば表示部13のタッチパネルを介してユーザが入力した領域に応じて、ロボットの画像内の所定の領域として選択する。また、指示入力部33は、例えば表示部13のタッチパネルを介してユーザが入力した手書き文字または画像、音声入力部15を介してユーザが入力した音声に対応する文字、文章入力部16を介してユーザが入力した文章等に対応するコマンドおよびパラメータをライブラリDB23から選択する。なお、機械学習により、手書き文字または画像の認識、ユーザが入力した音声の認識、ユーザが入力した文章中のキーワードの認識等を学習させることにより、認識精度を向上させることができる。 The instruction input unit 33 selects a predetermined area in the image of the robot according to an area input by the user via the touch panel of the display unit 13, for example. In addition, the instruction input unit 33 is, for example, a handwritten character or an image input by the user via the touch panel of the display unit 13, a character corresponding to the voice input by the user via the voice input unit 15, and the text input unit 16. A command and a parameter corresponding to a sentence or the like input by the user are selected from the library DB 23. The recognition accuracy can be improved by learning the recognition of handwritten characters or images, the recognition of voice input by the user, the recognition of keywords in text input by the user, and the like by machine learning.
 所定の領域とコマンドおよびパラメータを手書きで入力する場合には、動作設定部34は、例えば図9に示すように、画像生成部14を介して表示部13にロボットの画像51を表示させる。この画像を見たユーザは、表示部13のタッチパネル等を介して、領域を示す領域選択画像56と、動作指示画像57、58を、指示入力部33を介して入力する。なお、図9は、上述のハンド44の位置を移動させる指示を入力する例を示している。また、図9は、領域を示す領域選択画像56として当該領域を選択する四角の画像を用い、パラメータを示す動作指示画像57、58として移動方向を示す矢印の画像と、移動先を示す四角の画像を用いた場合について示している。関節部の回転を指示する場合には、ユーザが、例えば図10に示すように、対象となる領域を示す四角の領域選択画像59と、回転方向を示す矢印の動作指示画像60を入力するようにしてもよい。あるいは、領域を示す領域選択画像は「x」等の文字あるいは記号等としてもよい。コマンドとパラメータを音声で入力する場合は、指示入力部33は、音声入力部15に、ユーザが入力した音声を認識させ、認識結果の文字データ中のキーワードに該当するコマンドおよびパラメータを、ライブラリDB23から取得し、当該ロボットの画像に対応する動作として設定し、設定した結果を動作DB24に格納する。 When inputting a predetermined area, a command, and a parameter by hand, the operation setting unit 34 causes the display unit 13 to display an image 51 of the robot via the image generation unit 14, as shown in FIG. 9, for example. The user who sees this image inputs an area selection image 56 indicating an area and operation instruction images 57 and 58 through the instruction input unit 33 via the touch panel or the like of the display unit 13. FIG. 9 shows an example in which an instruction to move the position of the hand 44 is input. Further, FIG. 9 uses a square image for selecting the area as the area selection image 56 indicating the area, an arrow image indicating the movement direction as the operation instruction images 57 and 58 indicating the parameters, and a square image indicating the movement destination. The case where an image is used is shown. When instructing the rotation of the joint, the user inputs a square area selection image 59 indicating a target area and an operation instruction image 60 of an arrow indicating a rotation direction, as shown in FIG. 10, for example. It may be. Alternatively, the area selection image indicating the area may be a character such as “x” or a symbol. When the command and the parameter are input by voice, the instruction input unit 33 causes the voice input unit 15 to recognize the voice input by the user, and stores the command and parameter corresponding to the keyword in the character data of the recognition result in the library DB 23. , And set as an operation corresponding to the image of the robot, and the set result is stored in the operation DB 24.
 さらに、S14において、動作設定部34は、設定が終了したか否かを判定し、終了していなければS13の処理を繰り返す。設定が終了していれば、S15に進んで、ロボットの画像を用いた動作を開始する。具体的には、例えば図11に示すように、選択部36は、表示部13に、動作DB24に格納されているロボットの画像61、62を表示させる。ユーザがポインタ65あるいは表示部13のタッチパネル等により、ロボットの画像61、62のいずれかを指示すると、選択部36は、指示されたロボットの画像に対応する動作の設定を動作DB24から読み出す。さらに、制御部11は、選択部36が読み出した動作の設定に応じて、コントローラ2を介してロボット1の動作を制御する。なお、ユーザによる動作の指示は、ロボットの画像の指示の他に、選択部36が、音声入力部15にユーザの音声を認識させ、認識結果に応じて行ってもよい。選択部36は、音声入力部15による認識結果の文字データに対応するキーワードに対応する動作の設定を、動作DB24から読み出す。具体的には、例えば認識結果の文字データが「移動」である場合には、ロボットの画像62に対応する動作の設定を動作DB24から読み出す。あるいは、認識結果の文字データが「回転」である場合には、ロボットの画像61に対応する動作の設定を動作DB24から読み出す。あるいは、ユーザが表示部13のタッチパネルを操作して手書き文字を入力し、選択部36が、認識結果の文字データに対応する動作の設定を動作DB24から読み出すようにしてもよい。あるいは、上述のように、ロボットの画像を表示させる代わりに、動作に対応する文字や記号等の表示を対応付けて動作DB24に格納しておき、表示部13に文字や記号等の表示を表示させ、この表示の中からユーザが選択したものに対応する動作の設定を動作DB24から読み出すようにしてもよい。 Further, in S14, the operation setting unit 34 determines whether or not the setting has been completed, and if not completed, repeats the processing of S13. If the setting has been completed, the process proceeds to S15, and the operation using the robot image is started. Specifically, for example, as illustrated in FIG. 11, the selection unit 36 causes the display unit 13 to display the robot images 61 and 62 stored in the motion DB 24. When the user designates one of the robot images 61 and 62 using the pointer 65 or the touch panel of the display unit 13, the selection unit 36 reads the operation setting corresponding to the designated robot image from the operation DB 24. Further, the control unit 11 controls the operation of the robot 1 via the controller 2 according to the setting of the operation read by the selection unit 36. In addition to the instruction of the image of the robot, the selection unit 36 may make the voice input unit 15 recognize the user's voice, and give the user's operation instruction according to the recognition result. The selection unit 36 reads, from the operation DB 24, the setting of the operation corresponding to the keyword corresponding to the character data of the recognition result by the voice input unit 15. Specifically, for example, when the character data of the recognition result is “movement”, the setting of the operation corresponding to the robot image 62 is read from the operation DB 24. Alternatively, when the character data of the recognition result is “rotation”, the setting of the operation corresponding to the robot image 61 is read from the operation DB 24. Alternatively, the user may input a handwritten character by operating the touch panel of the display unit 13, and the selection unit 36 may read out the operation setting corresponding to the character data of the recognition result from the operation DB 24. Alternatively, instead of displaying the image of the robot as described above, the display of characters and symbols corresponding to the motion is stored in the motion DB 24 in association with the display, and the display of the characters and symbols is displayed on the display unit 13. Then, the setting of the operation corresponding to the one selected by the user from the display may be read from the operation DB 24.
 ところで、このロボット制御システムでは、上述のようにロボットの画像に対応する動作として設定した複数の動作の設定を合成することができる。具体的には、図12に示すように、動作合成部35は、上述のように動作が対応付けられて動作DB24に格納された複数のロボットの画像91、92、・・・を、表示部13の一覧表示領域82に表示させる。そして、動作合成部35は、この複数のロボットの画像91、92、・・・の中からユーザが選択した画像95、96、・・・を、ユーザが選択した順番に並べて表示部13の時系列表示領域81に表示させる。ユーザによる選択が終了すると、動作合成部35は、選択された複数のロボットの画像を時系列に示す情報を、合成された動作として合成DB25に格納する。これにより、本実施形態では、複数の動作を時系列に組み合わせた動作を容易に設定することができる。 By the way, in this robot control system, it is possible to combine the settings of a plurality of operations set as the operations corresponding to the images of the robot as described above. Specifically, as shown in FIG. 12, the motion synthesizing unit 35 displays a plurality of robot images 91, 92,... Stored in the motion DB 24 in association with the motions as described above, on the display unit. 13 in the list display area 82. The motion synthesizer 35 arranges the images 95, 96,... Selected by the user from the plurality of robot images 91, 92,. It is displayed in the series display area 81. When the selection by the user is completed, the motion synthesizing unit 35 stores information indicating the images of the selected robots in chronological order in the synthesis DB 25 as a synthesized motion. Thus, in the present embodiment, an operation in which a plurality of operations are combined in time series can be easily set.
 上述のように設定した合成された動作に応じてロボット1の動作を制御する場合には、選択部36は、例えば図13に示すように、表示部13に、合成DB25に格納されている合成された動作に対応するロボットの画像85、86、・・・を動作DB24から読み出して表示させる。ユーザがポインタ87あるいは表示部13のタッチパネル等により、ロボットの画像85、62のいずれかを指示すると、選択部36は、指示されたロボットの画像に対応する合成された動作を示す情報を合成DB25から読み出す。さらに、選択部36は、当該情報中の複数のロボットの画像を時系列に示す情報に基づいて、個々の動作の設定を動作DB24から順次読み出す。制御部11は、選択部36が順次読み出した動作の設定に応じて、コントローラ2を介してロボット1の動作を順次制御する。 When the operation of the robot 1 is controlled in accordance with the synthesized operation set as described above, the selection unit 36 displays the synthesis stored in the synthesis DB 25 on the display unit 13 as shown in, for example, FIG. The robot images 85, 86,... Corresponding to the performed operations are read out from the operation DB 24 and displayed. When the user designates one of the robot images 85 and 62 with the pointer 87 or the touch panel of the display unit 13, the selection unit 36 outputs information indicating a combined operation corresponding to the designated robot image to the combination DB 25. Read from Further, the selection unit 36 sequentially reads out the setting of each operation from the operation DB 24 based on the information indicating the images of the plurality of robots in the information in chronological order. The control unit 11 sequentially controls the operation of the robot 1 via the controller 2 according to the setting of the operation sequentially read by the selection unit 36.
<実施形態の効果>
 以上説明したように、本実施形態によれば、ロボットの画像に対応するロボットの動作指示を設定することにより、ユーザが容易にロボットの動作を設定することができる。また、本実施形態では、ユーザが、ロボットの画像等の指示入力に対応する動作指示を示す表示を選択することにより、動作設定部で設定された動作指示をロボットに供給して動作を制御することができる。また、本実施形態では、動作設定部により設定された複数の動作指示を時系列に組み合わせることにより、容易に合成された動作を設定することができる。
<Effects of Embodiment>
As described above, according to the present embodiment, the user can easily set the operation of the robot by setting the operation instruction of the robot corresponding to the image of the robot. In the present embodiment, the user controls the operation by selecting the display indicating the operation instruction corresponding to the instruction input such as the image of the robot and supplying the operation instruction set by the operation setting unit to the robot. be able to. Further, in the present embodiment, by combining a plurality of operation instructions set by the operation setting unit in a time series, it is possible to easily set a synthesized operation.
<変形例>
 上述の実施形態では、ロボットの画像として、ロボットの構成を模した手書き画像を用いた例について説明したが、ロボット1の動作との対応関係を定義し得る画像であれば、例えば図14に示す人型ロボットの画像67や、図15に示すように、カメラ3を介して入力した実際のロボット1を撮像した画像71等を用いてもよい。このようなロボットの画像を用いた場合にも、上述と同様の動作の設定を行うことにより、容易にロボットの動作を設定することができる。
<Modification>
In the above-described embodiment, an example has been described in which a handwritten image simulating the configuration of a robot is used as an image of the robot. However, any image that can define a correspondence relationship with the operation of the robot 1 is illustrated in FIG. An image 67 of a humanoid robot, an image 71 of the actual robot 1 input through the camera 3 and the like as shown in FIG. Even when such a robot image is used, the operation of the robot can be easily set by performing the same operation setting as described above.
 なお、図14は、ロボット1のハンド部44を選択する領域選択画像69aとして四角の画像を用い、動作指示画像69b、69cとして矢印とパラメータを示す文字を用いた場合について示している。また、図15は、ロボット1のハンド部44を選択する領域選択画像72として四角の画像を用い、動作指示画像73、74として移動の方向を示す矢印と移動先を示す四角の画像を用いた場合について示している。
 上記した実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置やシステムの構成や各種条件によって適宜修正または変更されるべきものであり、本発明は上記した実施形態に限定されるものではない。
FIG. 14 shows a case where a rectangular image is used as the area selection image 69a for selecting the hand unit 44 of the robot 1, and characters indicating arrows and parameters are used as the operation instruction images 69b and 69c. FIG. 15 uses a square image as the region selection image 72 for selecting the hand unit 44 of the robot 1, and uses arrow images indicating the direction of movement and square images indicating the destination as the operation instruction images 73 and 74. The case is shown.
The above embodiment is an example as a means for realizing the present invention, and should be appropriately modified or changed according to the configuration of the apparatus or system to which the present invention is applied or various conditions. However, the present invention is not limited to this.
 1…ロボット、2…コントローラ、3…カメラ、11…制御部、12…記憶部、13…表示部、14…画像生成部、15…音声入力部、16…文章入力部、17…操作入力部、18…設定処理部、21…構造DB、22…対応DB、23…ライブラリDB、24…動作DB、25…合成DB、31…画像入力部、32…対応付け部、33…指示入力部、34…動作設定部、35…動作合成部、36…選択部、41a,41b,42a,42b,43a,43b…関節部、44…ハンド部、45,46,47…アーム DESCRIPTION OF SYMBOLS 1 ... Robot, 2 ... Controller, 3 ... Camera, 11 ... Control part, 12 ... Storage part, 13 ... Display part, 14 ... Image generation part, 15 ... Voice input part, 16 ... Text input part, 17 ... Operation input part , 18 setting processing unit, 21 structure DB, 22 correspondence DB, 23 library DB, 24 operation DB, 25 synthesis DB, 31 image input unit, 32 association unit, 33 instruction input unit, 34: motion setting unit, 35: motion synthesis unit, 36: selection unit, 41a, 41b, 42a, 42b, 43a, 43b: joint unit, 44: hand unit, 45, 46, 47: arm

Claims (6)

  1.  ロボットの制御を行う制御装置であって、
     制御対象のロボットの構造を保持する構造データベースと、
     前記ロボットの画像を入力する画像入力部と、
     前記画像入力部により入力された前記ロボットの画像中の所定の領域と前記構造データベースに保持されている前記ロボットの構造とを対応付ける対応付け部と、
     前記ロボットに対する動作指示と当該動作指示に対応する指示入力とを保持するライブラリデータベースと、
     前記ロボットの画像中の所定の領域と当該領域に対応する指示入力を入力する指示入力部と、
     前記指示入力部により入力された前記指示入力に対応する前記ライブラリデータベース中の前記動作指示を前記指示入力に対応する前記動作指示として設定する動作設定部と、
    を備えることを特徴とする制御装置。
    A control device for controlling a robot,
    A structure database that holds the structure of the robot to be controlled,
    An image input unit for inputting an image of the robot,
    An association unit that associates a predetermined area in the image of the robot input by the image input unit with the structure of the robot held in the structure database;
    A library database that stores an operation instruction to the robot and an instruction input corresponding to the operation instruction;
    An instruction input unit for inputting a predetermined area in the image of the robot and an instruction input corresponding to the area,
    An operation setting unit that sets the operation instruction in the library database corresponding to the instruction input input by the instruction input unit as the operation instruction corresponding to the instruction input;
    A control device comprising:
  2.  前記動作設定部により設定された前記指示入力に対応する動作指示を示す表示を表示させ、当該表示が選択された際に、前記ロボットに当該動作指示を供給させる選択部、
    を備えることを特徴とする請求項1記載の制御装置。
    A selection unit for displaying a display indicating an operation instruction corresponding to the instruction input set by the operation setting unit, and when the display is selected, supplying the operation instruction to the robot;
    The control device according to claim 1, further comprising:
  3.  前記ライブラリデータベースは、前記動作指示に対応するキーワードを保持しており、
     前記指示入力部は、前記指示入力に対応する文字を出力し、
     前記動作設定部は、前記指示入力部からの文字と前記ライブラリデータベース中のキーワードに応じて前記設定を行う、
    ことを特徴とする請求項1または2に記載の制御装置。
    The library database holds a keyword corresponding to the operation instruction,
    The instruction input unit outputs a character corresponding to the instruction input,
    The operation setting unit performs the setting according to a character from the instruction input unit and a keyword in the library database.
    The control device according to claim 1 or 2, wherein:
  4.  前記ライブラリデータベースは、前記動作指示に対応する画像を保持しており、
     前記指示入力部は、前記指示入力に対応する画像を出力し、
     前記動作設定部は、前記指示入力部からの画像と前記ライブラリデータベース中の画像に応じて前記設定を行う、
    ことを特徴とする請求項1または2に記載の制御装置。
    The library database holds images corresponding to the operation instructions,
    The instruction input unit outputs an image corresponding to the instruction input,
    The operation setting unit performs the setting according to the image from the instruction input unit and the image in the library database.
    The control device according to claim 1 or 2, wherein:
  5.  前記指示入力部は、
     前記ロボットの構成部分を示す画像と、前記構成部分の移動先を示す画像を前記指示入力に対応する画像として出力する、
    ことを特徴とする請求項4記載の制御装置。
    The instruction input unit,
    Outputting an image indicating a component of the robot and an image indicating a destination of the component as an image corresponding to the instruction input;
    The control device according to claim 4, wherein:
  6.  前記動作設定部により設定された複数の前記動作指示を時系列に組み合わせる合成部、
    を備えることを特徴とする請求項1から5のいずれか1項に記載の制御装置。
    A combining unit that combines the plurality of operation instructions set by the operation setting unit in a time-series manner,
    The control device according to any one of claims 1 to 5, further comprising:
PCT/JP2019/037794 2018-09-28 2019-09-26 Control device WO2020067257A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018-185682 2018-09-28
JP2018185682 2018-09-28

Publications (1)

Publication Number Publication Date
WO2020067257A1 true WO2020067257A1 (en) 2020-04-02

Family

ID=69951869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037794 WO2020067257A1 (en) 2018-09-28 2019-09-26 Control device

Country Status (1)

Country Link
WO (1) WO2020067257A1 (en)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002144263A (en) * 2000-11-09 2002-05-21 Nippon Telegr & Teleph Corp <Ntt> Motion teaching and playback device of robot, its method and recording medium recording motion teaching and playback program of robot
JP2003334779A (en) * 2002-05-13 2003-11-25 Canon Inc Operation code generating method
JP2004054841A (en) * 2002-07-24 2004-02-19 Nippon Telegr & Teleph Corp <Ntt> Control method, device, program and recording medium for robot
JP2004348712A (en) * 2003-04-09 2004-12-09 Snecma Moteurs Graphical interface system
JP2011189431A (en) * 2010-03-12 2011-09-29 Denso Wave Inc Robot system
JP2012035348A (en) * 2010-08-04 2012-02-23 Spring:Kk Program creation support system, and computer program for the same
US20150321351A1 (en) * 2014-05-08 2015-11-12 Chetan Kapoor Intuitive Motion Coordinate System for Controlling an Industrial Robot
KR20170116310A (en) * 2016-04-08 2017-10-19 한국전자통신연구원 System and method for task teaching

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002144263A (en) * 2000-11-09 2002-05-21 Nippon Telegr & Teleph Corp <Ntt> Motion teaching and playback device of robot, its method and recording medium recording motion teaching and playback program of robot
JP2003334779A (en) * 2002-05-13 2003-11-25 Canon Inc Operation code generating method
JP2004054841A (en) * 2002-07-24 2004-02-19 Nippon Telegr & Teleph Corp <Ntt> Control method, device, program and recording medium for robot
JP2004348712A (en) * 2003-04-09 2004-12-09 Snecma Moteurs Graphical interface system
JP2011189431A (en) * 2010-03-12 2011-09-29 Denso Wave Inc Robot system
JP2012035348A (en) * 2010-08-04 2012-02-23 Spring:Kk Program creation support system, and computer program for the same
US20150321351A1 (en) * 2014-05-08 2015-11-12 Chetan Kapoor Intuitive Motion Coordinate System for Controlling an Industrial Robot
KR20170116310A (en) * 2016-04-08 2017-10-19 한국전자통신연구원 System and method for task teaching

Similar Documents

Publication Publication Date Title
JP6343353B2 (en) Robot motion program generation method and robot motion program generation device
US6853881B2 (en) Robot information processing system
EP2923806A1 (en) Robot control device, robot, robotic system, teaching method, and program
JP2006293826A (en) Apparatus for correcting robot program
JP2003117863A (en) Robot simulation device
US7802193B1 (en) Controlling motion using a human machine interface
GB2270788A (en) Robot operation training system
JP2009066738A (en) Teaching device for robot
WO2020067257A1 (en) Control device
WO2020067256A1 (en) Control device
US10315305B2 (en) Robot control apparatus which displays operation program including state of additional axis
KR101787865B1 (en) Inverse kinematic solution for multi-joint link mechanism, and device for creating instructional data by using inverse kinematic solution
JP2018144228A (en) Robot control apparatus, robot, robot system, teaching method, and program
JP6385627B1 (en) Display control apparatus, display control method, and display control program
JP2009166172A (en) Simulation method and simulator for robot
Charoenseang et al. Human–robot collaboration with augmented reality
JPH06324668A (en) Screen display method and display device
JP2010179388A (en) Robot teaching system
JP2015100874A (en) Robot system
US10532460B2 (en) Robot teaching device that sets teaching point based on motion image of workpiece
JP2955654B2 (en) Manipulator work teaching device
JP2005138245A (en) Controller of human intervention type robot
JP2019188545A (en) Robot control device
JP2021130158A (en) Control device of robot and control method of robot
JP2528878B2 (en) Robot operation sequence diagram output method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19867270

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19867270

Country of ref document: EP

Kind code of ref document: A1