JP6529758B2

JP6529758B2 - Image processing apparatus, image processing system, image processing method and computer program

Info

Publication number: JP6529758B2
Application number: JP2014262242A
Authority: JP
Inventors: 直哉内山
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2014-12-25
Filing date: 2014-12-25
Publication date: 2019-06-12
Anticipated expiration: 2034-12-25
Also published as: JP2016120566A

Description

本発明は、ロボットのエンドエフェクタが正しく移動目標位置に到達したか否かを確認することが可能な画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラムに関する。 The present invention relates to an image processing apparatus, an image processing system, an image processing method, and a computer program capable of confirming whether an end effector of a robot has correctly reached a movement target position.

撮像装置によりロボットの作業領域を撮像して、撮像された画像内のワークの位置を検出し、検出されたワークの位置情報を撮像された画像に基づいて算出することで、ロボットの動作を高い精度で制御する制御システムが多々開発されている。例えば特許文献１では、撮像装置を含むセンサにより検出された情報に基づいてロボットの動作を制御するロボット制御装置が開示されている。また、特許文献２では、外部のコンピュータでコンパイルしたロードモジュール（ロボット動作制御プログラム）を送信することでロボットの動作を制御するロボット制御装置が開示されている。 The operation of the robot is made high by imaging the work area of the robot with the imaging device, detecting the position of the workpiece in the imaged image, and calculating the detected position information of the workpiece based on the imaged image Many control systems have been developed to control with accuracy. For example, Patent Document 1 discloses a robot control device that controls the operation of a robot based on information detected by a sensor including an imaging device. Further, Patent Document 2 discloses a robot control apparatus that controls the operation of a robot by transmitting a load module (robot operation control program) compiled by an external computer.

このように従来のロボット制御システムでは、精緻な動作制御をするべく、画像処理装置において表示される座標系で算出された位置座標を、ロボットコントローラがエンドエフェクタを動作させる座標系の位置座標へと座標変換をする必要がある。座標変換を行うための変換式を算出する処理をキャリブレーションと呼んでいる。ここで、エンドエフェクタとは、例えばワークを把持して固着できるロボットアームの先端部分を意味する。 As described above, in the conventional robot control system, the position coordinates calculated in the coordinate system displayed in the image processing apparatus are converted to the position coordinates of the coordinate system in which the robot controller operates the end effector in order to perform precise motion control. It is necessary to do coordinate transformation. The process of calculating a conversion equation for performing coordinate conversion is called calibration. Here, the end effector means, for example, a tip portion of a robot arm capable of gripping and fixing a workpiece.

キャリブレーションの実行時には、例えばロボットのエンドエフェクタにてワークを把持し、エンドエフェクタを複数の所定の位置に移動させた状態における位置座標と、ワークを撮像装置で撮像し、撮像された画像に基づいて検出した位置座標とを比較することで、変換式を算出することができる。 At the time of executing calibration, for example, the workpiece is held by the end effector of the robot, position coordinates in a state in which the end effector is moved to a plurality of predetermined positions, and the workpiece are imaged by the imaging device, and The conversion equation can be calculated by comparing the detected position coordinates.

特開平０４−１３４５０１号公報Unexamined-Japanese-Patent No. 04-134501 特開平０９−０９１０２２号公報JP 09-091022

ロボットのエンドエフェクタの移動状態は、撮像装置により撮像された画像により確認することができる。しかし、例えばロボットのアーム部分が撮像装置による撮像範囲に存在する場合、エンドエフェクタの位置を画像で確認することができない。したがって、場合によっては、エンドエフェクタが移動目標位置に正しく到達しているか否かを確認することが困難であるという問題点があった。 The movement state of the end effector of the robot can be confirmed by the image captured by the imaging device. However, for example, when the arm portion of the robot is present in the imaging range of the imaging device, the position of the end effector can not be confirmed by the image. Therefore, in some cases, it has been difficult to confirm whether the end effector has reached the movement target position correctly.

本発明は斯かる事情に鑑みてなされたものであり、ロボットのエンドエフェクタが正しい移動目標位置へ移動しているか否かを正確に確認することができる画像処理装置、画像処理システム、画像処理方法及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an image processing apparatus, an image processing system, and an image processing method capable of accurately confirming whether or not an end effector of a robot has moved to a correct movement target position. And providing a computer program.

上記目的を達成するために第１発明に係る画像処理装置は、ロボットの動作を制御するロボットコントローラとデータ通信することが可能に接続された通信装置、及び前記ロボットとは別体に設けられ、操作対象である対象物を撮像する撮像装置とを有する画像処理装置であって、マークが付与された対象物をキャリブレーションターゲットとして前記ロボットのエンドエフェクタに把持させた状態で、前記エンドエフェクタを複数の位置に移動させ、実際の前記エンドエフェクタの複数の位置座標と画像上の対象物の複数の位置座標とに基づいて、画像上で検出された座標値を、実際のロボットのエンドエフェクタの座標値に変換する変換式を求めるキャリブレーションを実行するキャリブレーション実行手段と、表示手段に表示されている画像上で使用者により指定を受け付けた位置情報、又は該画像上で検出された対象物の位置情報を、前記変換式に基づいてエンドエフェクタの移動目標位置に変換し、変換された移動目標位置を含む移動命令を前記ロボットコントローラに対して送信する命令送信手段と、前記ロボットコントローラから、前記移動命令により移動した前記エンドエフェクタの各位置座標である第一の座標値を受信し、前記変換式に基づいて、前記表示手段に表示させる画像上の座標値に変換することにより第一の位置情報を定期的に取得する位置情報取得手段と、前記エンドエフェクタが移動中に対象物を撮像するよう前記撮像装置の動作を制御する撮像制御手段と、撮像された対象物の画像を動画として、又は定期的に更新される静止画として表示する際に、前記移動目標位置と、第一の位置情報の位置とを示す印を、前記表示手段に表示されている対象物の画像上に重畳して表示する表示制御手段とを備えることを特徴とする。 The image processing apparatus according to the first invention to achieve the above object, is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and provided separately from the said robot Image processing apparatus having an imaging device for imaging an object to be operated, the end effector being in a state where the end effector of the robot holds the object to which the mark is attached as a calibration target Are moved to a plurality of positions, and coordinate values detected on the image are calculated based on the plurality of position coordinates of the actual end effector and the plurality of position coordinates of the object on the image, and the actual robot end effector Displayed on the display means, and calibration executing means for executing calibration for obtaining a conversion formula to be converted into coordinate values of The movement target position converted from the movement target position of the end effector based on the conversion formula, the position information of the position received by the user on the image or the position information of the target detected on the image. Command transmission means for transmitting to the robot controller a movement command including: and a first coordinate value which is each position coordinate of the end effector moved by the movement command from the robot controller, the conversion formula Position information acquiring means for periodically acquiring the first position information by converting into coordinate values on the image to be displayed on the display means, and imaging the object while the end effector is moving Imaging control means for controlling the operation of the imaging device, and displaying an image of the imaged object as a moving image or as a still image periodically updated And display control means for superimposing a mark indicating the movement target position and the position of the first position information on the image of the object displayed on the display means. Do.

また、第２発明に係る画像処理装置は、第１発明において、前記撮像装置を複数備えており、撮像装置ごとに前記変換式を一又は複数記憶することが好ましい。 An image processing apparatus according to a second aspect of the present invention is preferably the image processing apparatus according to the first aspect , including a plurality of the imaging devices, and storing one or more of the conversion formulas for each imaging device.

また、第３発明に係る画像処理装置は、第１又は第２発明において、前記エンドエフェクタの移動の履歴情報を表示することが好ましい。 The image processing apparatus according to the third invention, Oite the first or second invention, it is preferable to display the history information of movement of the end effector.

また、第４発明に係る画像処理装置は、第１乃至第３発明のいずれか１つにおいて、前記エンドエフェクタの基準位置からオフセットした位置情報を表示することが好ましい。 In the image processing apparatus according to the fourth aspect of the present invention, it is preferable that the position information offset from the reference position of the end effector be displayed in any one of the first to third aspects.

次に、上記目的を達成するために第５発明に係る画像処理システムは、ロボットの動作を制御するロボットコントローラとデータ通信することが可能に接続された通信装置、及び前記ロボットとは別体に設けられ、操作対象である対象物を撮像する撮像装置を含む画像処理装置とで構成される画像処理システムであって、前記画像処理装置は、マークが付与された対象物をキャリブレーションターゲットとして前記ロボットのエンドエフェクタに把持させた状態で、前記エンドエフェクタを複数の位置に移動させ、実際の前記エンドエフェクタの複数の位置座標と画像上の対象物の複数の位置座標とに基づいて、画像上で検出された座標値を、実際のロボットのエンドエフェクタの座標値に変換する変換式を求めるキャリブレーションを実行するキャリブレーション実行手段と、表示手段に表示されている画像上で使用者により指定された位置情報、又は該画像上で検出された対象物の位置情報を、前記変換式に基づいてエンドエフェクタの移動目標位置に変換し、変換された移動目標位置を含む移動命令を前記ロボットコントローラに対して送信する命令送信手段とを備え、前記ロボットコントローラは、前記移動命令を解釈し、ロボットの種別に応じたエンドエフェクタに対する移動命令に変換する命令変換手段と、前記エンドエフェクタを移動させるとともに、移動した前記エンドエフェクタの各位置座標である第一の座標値を取得する座標値取得手段と、前記第一の座標値を前記画像処理装置に送信する座標値送信手段とを有し、前記画像処理装置は、前記第一の座標値を受信し、前記変換式に基づいて、前記表示手段に表示させる画像上の座標値に変換することにより第一の位置情報を定期的に取得する位置情報取得手段と、前記エンドエフェクタが移動中に対象物を撮像するよう前記撮像装置の動作を制御する撮像制御手段と、撮像された対象物の画像を動画として、又は定期的に更新される静止画として表示する際に、前記移動目標位置と、第一の位置情報の位置とを示す印を、前記表示手段に表示されている対象物の画像上に重畳して表示する表示制御手段とを備えることを特徴とする。 Next, the image processing system according to the fifth aspect of the present invention in order to achieve the above object, is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and separate from the robot An image processing system comprising an imaging device provided on a body and capturing an object to be manipulated, the image processing system comprising: a calibration target that marks an object provided with a mark The end effector is moved to a plurality of positions while being held by the end effector of the robot, and based on a plurality of position coordinates of the actual end effector and a plurality of position coordinates of an object on an image, Perform calibration to find a conversion formula that converts the coordinate values detected on the image into the coordinate values of the actual robot end effector Calibration execution means, position information designated by the user on the image displayed on the display means, or position information of the object detected on the image, based on the conversion equation, And command transmitting means for converting to the movement target position and transmitting a movement command including the converted movement target position to the robot controller, the robot controller interprets the movement command, and is adapted to the type of robot Command conversion means for converting the end effector into movement commands for moving the end effector, coordinate value acquisition means for moving the end effector and acquiring first coordinate values that are position coordinates of the moved end effector, the first And coordinate value transmitting means for transmitting the coordinate values of the image processing apparatus to the image processing apparatus, the image processing apparatus including the first coordinate value Position information acquiring means for periodically acquiring the first position information by converting into coordinate values on the image to be displayed on the display means based on the conversion equation, and the end effector being moved Imaging control means for controlling the operation of the imaging device to image an object; and the moving target position when displaying the image of the imaged object as a moving image or as a still image periodically updated And display control means for superimposing and displaying a mark indicating the position of the first position information on the image of the object displayed on the display means.

また、第６発明に係る画像処理システムは、第５発明において、前記撮像装置を複数備えており、撮像装置ごとに前記変換式を一又は複数記憶することが好ましい。 Preferably, in the image processing system according to the sixth aspect of the present invention, in the fifth aspect , a plurality of the imaging devices are provided, and one or more of the conversion formulas are stored for each of the imaging devices.

また、第７発明に係る画像処理システムは、第５又は第６発明において、前記エンドエフェクタの移動の履歴情報を表示することが好ましい。 Preferably, in the image processing system according to the seventh invention, in the fifth or sixth invention , history information of movement of the end effector is displayed.

また、第８発明に係る画像処理システムは、第５乃至第７発明のいずれか１つにおいて、前記エンドエフェクタの基準位置からオフセットした位置情報を表示することが好ましい。 In the image processing system according to an eighth aspect of the present invention, in any one of the fifth to seventh aspects, it is preferable to display position information offset from a reference position of the end effector.

次に、上記目的を達成するために第９発明に係る画像処理方法は、ロボットの動作を制御するロボットコントローラとデータ通信することが可能に接続された通信装置、及び前記ロボットとは別体に設けられ、操作対象である対象物を撮像する撮像装置を含む画像処理装置とで構成される画像処理システムで実行することが可能な画像処理方法であって、前記画像処理装置が、マークが付与された対象物をキャリブレーションターゲットとして前記ロボットのエンドエフェクタに把持させた状態で、前記エンドエフェクタを複数の位置に移動させ、実際の前記エンドエフェクタの複数の位置座標と画像上の対象物の複数の位置座標とに基づいて、画像上で検出された座標値を、実際のロボットのエンドエフェクタの座標値に変換する変換式を求めるキャリブレーションを実行する工程と、表示手段に表示されている画像上で使用者により指定された位置情報、又は該画像上で検出された対象物の位置情報を、前記変換式に基づいてエンドエフェクタの移動目標位置に変換し、変換された移動目標位置を含む移動命令を前記ロボットコントローラに対して送信する工程とを含み、前記ロボットコントローラが、前記移動命令を解釈し、ロボットの種別に応じたエンドエフェクタに対する移動命令に変換する工程と、前記エンドエフェクタを移動させるとともに、移動した前記エンドエフェクタの各位置座標である第一の座標値を取得する工程と、前記第一の座標値を前記画像処理装置に送信する工程とを含み、前記画像処理装置が、前記第一の座標値を受信し、前記変換式に基づいて、前記表示手段に表示させる画像上の座標値に変換することにより第一の位置情報を定期的に取得する工程と、前記エンドエフェクタが移動中に対象物を撮像するよう前記撮像装置の動作を制御する工程と、撮像された対象物の画像を動画として、又は定期的に更新される静止画として表示する際に、前記移動目標位置と、第一の位置情報の位置とを示す印を、前記表示手段に表示されている対象物の画像上に重畳して表示する工程とを含むことを特徴とする。 Next, the image processing method according to a ninth aspect of the invention in order to achieve the above object, is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and separate from the robot An image processing method that can be executed by an image processing system including an image processing apparatus including an imaging device provided on a body and capturing an object to be operated, the image processing apparatus being a mark The end effector is moved to a plurality of positions in a state in which the end effector of the robot is gripped by the robot as a calibration target, the plurality of position coordinates of the actual end effector and the object on the image of based on the plurality of position coordinates, the detected coordinate values on the image, the actual conversion formula for converting the coordinates of the end effector of the robot Performing calibration, and positional information designated by the user on the image displayed on the display means, or positional information of the object detected on the image, based on the conversion equation. Converting the movement target position of the end effector and transmitting a movement command including the converted movement target position to the robot controller, the robot controller interprets the movement command, and the robot type is determined. Converting the end effector into a movement command for the corresponding end effector, moving the end effector, acquiring a first coordinate value which is each position coordinate of the moved end effector, and converting the first coordinate value Sending the image processing apparatus to the image processing apparatus, wherein the image processing apparatus receives the first coordinate value, and based on the conversion equation. A step of periodically acquiring first position information by converting into coordinate values on an image to be displayed on the display means, and controlling an operation of the imaging device so as to image an object while the end effector is moving And displaying the image of the imaged target as a moving image or as a still image periodically updated, the mark indicating the movement target position and the position of the first position information, And displaying the image on the image of the object displayed on the display means.

次に、上記目的を達成するために第１０発明に係るコンピュータプログラムは、ロボットの動作を制御するロボットコントローラとデータ通信することが可能に接続された通信装置、及び前記ロボットとは別体に設けられ、操作対象である対象物を撮像する撮像装置とを有する画像処理装置で実行することが可能なコンピュータプログラムであって、前記画像処理装置を、マークが付与された対象物をキャリブレーションターゲットとして前記ロボットのエンドエフェクタに把持させた状態で、前記エンドエフェクタを複数の位置に移動させ、実際の前記エンドエフェクタの複数の位置座標と画像上の対象物の複数の位置座標とに基づいて、画像上で検出された座標値を、実際のロボットのエンドエフェクタの座標値に変換する変換式を求めるキャリブレーションを実行するキャリブレーション実行手段、表示手段に表示されている画像上で使用者により指定を受け付けた位置情報、又は該画像上で検出された対象物の位置情報を、前記変換式に基づいてエンドエフェクタの移動目標位置に変換し、変換された移動目標位置を含む移動命令を前記ロボットコントローラに対して送信する命令送信手段、前記ロボットコントローラから、前記移動命令により移動した前記エンドエフェクタの各位置座標である第一の座標値を受信し、前記変換式に基づいて、前記表示手段に表示させる画像上の座標値に変換することにより第一の位置情報を定期的に取得する位置情報取得手段、前記エンドエフェクタが移動中に対象物を撮像するよう前記撮像装置の動作を制御する撮像制御手段、及び撮像された対象物の画像を動画として、又は定期的に更新される静止画として表示する際に、前記移動目標位置と、第一の位置情報の位置とを示す印を、前記表示手段に表示されている対象物の画像上に重畳して表示する表示制御手段として機能させることを特徴とする。 Then, a computer program according to a tenth invention for achieving the above object, is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and separate from the said robot Computer program that can be executed by an image processing apparatus provided with an imaging device for imaging an object to be operated, the image processing device being calibrated with an object provided with a mark The end effector is moved to a plurality of positions while being held by the end effector of the robot as a target, and based on a plurality of position coordinates of the actual end effector and a plurality of position coordinates of an object on an image , the detected coordinate values on the image, the conversion formula determined to be converted to the actual coordinates of the end effector of the robot Calibration execution means for performing calibration, position information for which designation has been received by the user on the image displayed on the display means, or position information of an object detected on the image, based on the conversion equation Command transmitting means for converting to the movement target position of the end effector and transmitting a movement command including the converted movement target position to the robot controller; each of the end effector moved from the robot controller according to the movement command Position information acquisition for periodically acquiring first position information by receiving a first coordinate value, which is position coordinates, and converting the coordinate value on an image to be displayed on the display means based on the conversion equation An imaging control unit configured to control an operation of the imaging device such that the end effector captures an object while moving; When the image of the imaged object is displayed as a moving image or as a still image periodically updated, a mark indicating the movement target position and the position of the first position information is displayed on the display means. It is characterized in that it functions as a display control means for displaying superimposed on the image of the target object being displayed.

第１発明、第５発明、第９発明及び第１０発明では、画像処理装置は、マークが付与された対象物をキャリブレーションターゲットとしてロボットのエンドエフェクタに把持させた状態で、エンドエフェクタを複数の位置に移動させ、実際のエンドエフェクタの複数の位置座標と画像上の対象物の複数の位置座標とに基づいて、画像上で検出された座標値を、実際のロボットのエンドエフェクタの座標値に変換する変換式を求めるキャリブレーションを実行し、表示手段に表示されている画像上で使用者により指定された位置情報、又は該画像上で検出された対象物の位置情報を、変換式に基づいてエンドエフェクタの移動目標位置に変換し、変換された移動目標位置を含む移動命令をロボットコントローラに対して送信する。ロボットコントローラが、移動命令を解釈し、ロボットの種別に応じたエンドエフェクタに対する移動命令に変換し、エンドエフェクタを移動させるとともに、移動したエンドエフェクタの各位置座標である第一の座標値を取得して、第一の座標値を画像処理装置に送信する。画像処理装置は、第一の座標値を受信し、変換式に基づいて、表示手段に表示させる画像上の座標値に変換することにより第一の位置情報を定期的に取得し、エンドエフェクタが移動中に対象物を撮像するよう撮像装置の動作を制御し、撮像された対象物の画像を動画として、又は定期的に更新される静止画として表示する際に、移動目標位置と、第一の位置情報の位置とを示す印を、表示手段に表示されている対象物の画像上に重畳して表示する。これにより、ロボットのエンドエフェクタの移動先の位置情報を画像上で目視確認するべく、画像で目視確認することが可能な位置へエンドエフェクタを移動させることができるので、エンドエフェクタが正しい移動目標位置へ移動しているか否かを正確に確認することが可能となる。また、エンドエフェクタの実際の位置と、表示されている画像上の位置とを対応付けることができ、移動目標位置を画像から指定することができるとともに、実際に移動した状態を画像で目視確認することが可能となる。 In the first invention, the fifth invention, the ninth invention and the tenth invention, the image processing apparatus is configured to hold a plurality of end effectors in a state in which the end effector of the robot is held by the end effector of the robot as a calibration target. The coordinate values detected on the image are converted to the coordinate values of the actual robot end effector based on the plurality of position coordinates of the actual end effector and the plurality of position coordinates of the object on the image. Calibration is performed to obtain a conversion formula to be converted, and position information designated by the user on the image displayed on the display means or position information of an object detected on the image is calculated based on the conversion formula Then, the movement target position of the end effector is converted, and a movement command including the converted movement target position is transmitted to the robot controller. The robot controller interprets the movement command, converts it into a movement command for the end effector according to the type of robot, moves the end effector, and acquires a first coordinate value which is each position coordinate of the moved end effector And transmits the first coordinate value to the image processing apparatus. The image processing apparatus receives the first coordinate value, and periodically acquires the first position information by converting it into the coordinate value on the image to be displayed on the display means based on the conversion equation, and the end effector When controlling the operation of the imaging apparatus to capture an object while moving and displaying the image of the captured object as a moving image or as a still image periodically updated, the movement target position, and The mark indicating the position of the position information is superimposed and displayed on the image of the object displayed on the display means. As a result, the end effector can be moved to a position where visual confirmation can be performed on the image so that the positional information of the movement destination of the end effector of the robot can be visually confirmed on the image. It becomes possible to confirm correctly whether it is moving or not. In addition, the actual position of the end effector can be associated with the position on the displayed image, so that the movement target position can be specified from the image, and visual confirmation of the actual movement state can be performed using the image. Is possible.

第２発明及び第６発明では、撮像装置を複数備えており、撮像装置ごとに変換式を一又は複数記憶するので、撮像装置ごとにキャリブレーションを複数回実行して、その結果を逐次記憶することができるので、エンドエフェクタが正しい移動目標位置へ移動しているか否かを正確に確認することが可能となる。 In the second invention and the sixth invention, a plurality of imaging devices are provided, and one or more conversion formulas are stored for each imaging device. Therefore, calibration is performed a plurality of times for each imaging device, and the results are sequentially stored. As a result, it becomes possible to accurately check whether the end effector is moving to the correct movement target position.

第３発明及び第７発明では、エンドエフェクタの移動の履歴情報を表示するので、エンドエフェクタが正しい移動目標位置へ移動しているか否かを移動途上でも確認することが可能となる。 In the third and seventh inventions, since the history information of the movement of the end effector is displayed, it is possible to check whether the end effector is moving to the correct movement target position even while moving.

第４発明及び第８発明では、エンドエフェクタの基準位置からオフセットした位置情報を表示するので、エンドエフェクタの中心位置と、実際に対象物を把持する位置とがずれている場合であっても、画像上で移動目標位置へ移動させるようエンドエフェクタの動作を制御することが可能となる。 In the fourth and eighth inventions, since the position information offset from the reference position of the end effector is displayed, even if the center position of the end effector and the position at which the object is actually gripped are deviated, It is possible to control the operation of the end effector to move to the movement target position on the image.

本発明によれば、マニピュレータ（ロボット）のエンドエフェクタの移動先の位置情報を画像上で目視確認するべく、画像で目視確認することが可能な位置へエンドエフェクタを移動させることができるので、エンドエフェクタが正しい移動目標位置へ移動しているか否かを正確に確認することが可能となる。また、エンドエフェクタの実際の位置と、表示されている画像上の位置とを対応付けることができ、移動目標位置を画像から指定することができるとともに、実際に移動した状態を画像で目視確認することが可能となる。 According to the present invention, in order to visually check the Endoefeku position information of the destination data of the manipulator (robot) on the image, the image in the visual confirmation that capable of position can be moved to the end effector, it becomes possible to Endoefeku data to accurately confirm whether or not to move to the correct movement target position. In addition, the actual position of the end effector can be associated with the position on the displayed image, so that the movement target position can be specified from the image, and visual confirmation of the actual movement state can be performed using the image. Is possible.

本発明の実施の形態に係る画像処理システムの構成を示す模式図である。FIG. 1 is a schematic view showing a configuration of an image processing system according to an embodiment of the present invention. 本発明の実施の形態に係る画像処理システムの画像処理装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an image processing device of an image processing system concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理装置の機能ブロック図である。1 is a functional block diagram of an image processing apparatus according to an embodiment of the present invention. 本発明の実施の形態に係る画像処理システムのキャリブレーションの処理手順を示すフローチャートである。It is a flow chart which shows a processing procedure of calibration of an image processing system concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理装置のエンドエフェクタの位置の表示画面の例示図である。It is an illustration figure of a display screen of a position of an end effector of an image processing device concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理装置のマスター位置の登録画面の例示図である。It is an illustration figure of a registration screen of a master position of an image processing device concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理装置の移動目標位置の表示画面の例示図である。It is an illustration figure of the display screen of the movement target position of the image processing apparatus which concerns on embodiment of this invention. 本発明の実施の形態に係るロボットコントローラの機能ブロック図である。It is a functional block diagram of a robot controller concerning an embodiment of the invention. 本発明の実施の形態に係るロボットコントローラの変換プログラムの処理手順を示すフローチャートである。It is a flow chart which shows a processing procedure of a conversion program of a robot controller concerning an embodiment of the invention. 本発明の実施の形態に係るロボットコントローラの変換プログラムの例示図である。It is an illustration figure of the conversion program of the robot controller concerning an embodiment of the invention. 本発明の実施の形態に係る画像処理システムのピックアップ位置を補正する場合のピッキングの処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of picking in the case of correcting the pick-up position of the image processing system which concerns on embodiment of this invention.

以下、本発明の実施の形態に係る画像処理システムについて、図面に基づいて具体的に説明する。図１は、本発明の実施の形態に係る画像処理システムの構成を示す模式図である。 Hereinafter, an image processing system according to an embodiment of the present invention will be specifically described based on the drawings. FIG. 1 is a schematic view showing a configuration of an image processing system according to an embodiment of the present invention.

図１に示すように、本実施の形態に係る画像処理システムは、対象物（ワーク）６を移動させるマニピュレータ（ロボット）１、マニピュレータ１の動作を制御するロボットコントローラ２、画像処理装置３、及び撮像装置４で構成されている。マニピュレータ１の先端には、対象物６を把持又は解放することが可能なエンドエフェクタ５が設けられており、ロボットコントローラ２はエンドエフェクタ５の開閉動作も制御する。 As shown in FIG. 1, the image processing system according to the present embodiment includes a manipulator (robot) 1 for moving an object (workpiece) 6, a robot controller 2 for controlling the operation of the manipulator 1, an image processing device 3, and The imaging device 4 is configured. An end effector 5 capable of gripping or releasing an object 6 is provided at the tip of the manipulator 1, and the robot controller 2 also controls the opening / closing operation of the end effector 5.

撮像装置４は、例えばカラーＣＣＤカメラであり、移動する対象物であるワーク６を撮像する。撮像された画像に基づいて、後述するキャリブレーションを実行することにより、実際のワーク６の位置座標（エンドエフェクタ５の移動位置の座標）と、画面に表示された画像上の位置座標とをリンクさせることができる。 The imaging device 4 is, for example, a color CCD camera, and images a workpiece 6 which is a moving object. By performing calibration described later based on the captured image, the actual position coordinates of the work 6 (coordinates of the movement position of the end effector 5) and position coordinates on the image displayed on the screen are linked It can be done.

マニピュレータ１は、３本のアームで構成されており、２本のアームが互いになす角度、及びアーム支点の回転により、エンドエフェクタ５を所望の位置へ移動させる。 The manipulator 1 is composed of three arms, and the end effector 5 is moved to a desired position by the angle between the two arms and the rotation of the arm fulcrum.

図２は、本発明の実施の形態に係る画像処理システムの画像処理装置３の構成例を示すブロック図である。本発明の実施の形態に係る画像処理装置３は、少なくともＣＰＵ（中央演算装置）等で構成された制御部３１、メモリ３２、記憶装置３３、入出力インタフェース３４、表示インタフェース３５、通信インタフェース３６及び上述したハードウェアを接続する内部バス３７で構成されている。 FIG. 2 is a block diagram showing a configuration example of the image processing apparatus 3 of the image processing system according to the embodiment of the present invention. The image processing apparatus 3 according to the embodiment of the present invention includes at least a control unit 31 including a CPU (central processing unit) or the like, a memory 32, a storage device 33, an input / output interface 34, a display interface 35, a communication interface 36 It is comprised by the internal bus 37 which connects the hardware mentioned above.

制御部３１は、内部バス３７を介して画像処理装置３の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置３３に記憶されているコンピュータプログラムに従って、種々のソフトウェア的機能を実行する。メモリ３２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラムの実行時にロードモジュールが展開され、コンピュータプログラムの実行時に発生する一時的なデータ等を記憶する。 The control unit 31 is connected to the above-described hardware units of the image processing apparatus 3 via the internal bus 37, controls the operations of the above-described hardware units, and is a computer stored in the storage device 33. Execute various software functions according to the program. The memory 32 is composed of volatile memory such as SRAM, SDRAM, etc. The load module is expanded when the computer program is executed, and stores temporary data and the like generated when the computer program is executed.

記憶装置３３は、内蔵される固定型記憶装置（ハードディスク）、ＳＲＡＭ等の揮発性メモリ、ＲＯＭ等の不揮発性メモリ等で構成されている。記憶装置３３に記憶されているコンピュータプログラムは、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体からダウンロード、あるいは通信インタフェース３６を介してダウンロードされ、実行時には記憶装置３３からメモリ３２へ展開して実行される。 The storage device 33 is configured by a built-in fixed storage device (hard disk), volatile memory such as SRAM, non-volatile memory such as ROM, or the like. The computer program stored in the storage device 33 is downloaded from a portable recording medium such as a DVD, CD-ROM or the like in which information such as a program and data is recorded, or downloaded via the communication interface 36. To memory 32 and executed.

通信インタフェース（通信装置）３６は内部バス３７に接続されており、インターネット、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ等とデータ送受信を行うことが可能となっている。 The communication interface (communication device) 36 is connected to the internal bus 37, and by connecting to an external network such as the Internet, LAN, WAN, etc., it is possible to transmit and receive data with an external computer etc. .

入出力インタフェース３４は、キーボード３８、マウス３９等のデータ入力媒体と接続され、データの入力を受け付ける。また、表示インタフェース３５は、ＣＲＴモニタ、ＬＣＤ等の表示装置４０と接続され、所定の画像を表示する。 The input / output interface 34 is connected to a data input medium such as the keyboard 38 and the mouse 39 to receive data input. Further, the display interface 35 is connected to a display device 40 such as a CRT monitor or an LCD to display a predetermined image.

図３は、本発明の実施の形態に係る画像処理装置３の機能ブロック図である。画像処理装置３の命令送信部３０１は、移動目標位置にエンドエフェクタ５を移動させる移動命令をロボットコントローラ２に対して送信する。 FIG. 3 is a functional block diagram of the image processing apparatus 3 according to the embodiment of the present invention. The command transmission unit 301 of the image processing apparatus 3 transmits to the robot controller 2 a movement command for moving the end effector 5 to the movement target position.

移動命令で指定する移動先の位置情報、具体的には移動先の座標値は、表示されている画像上で指定を受け付けることが好ましい。指定受付部３０２は、表示されている画像上で移動目標位置として対象物６の第二の位置情報の指定を受け付ける。命令送信部３０１は、指定受付部３０２で指定を受け付けた対象物６の第二の位置情報を移動目標位置としてロボットコントローラ２へ送信する。 It is preferable that the position information of the movement destination designated by the movement command, specifically, the coordinate value of the movement destination is accepted on the displayed image. The designation accepting unit 302 accepts designation of second position information of the object 6 as the movement target position on the displayed image. The instruction transmission unit 301 transmits the second position information of the object 6 whose specification has been received by the specification reception unit 302 to the robot controller 2 as the movement target position.

もちろん、表示されている画像を解析することで、画像上の対象物６の第二の位置情報を検出しても良い。この場合、位置情報検出部（検出手段）３０３は、表示されている画像から、画像上の対象物６の第二の位置情報を検出する。命令送信部３０１は、位置情報検出部３０３で検出された対象物６の第二の位置情報をエンドエフェクタ５の移動目標位置としてロボットコントローラ２へ送信する。 Of course, the second position information of the object 6 on the image may be detected by analyzing the displayed image. In this case, the position information detection unit (detection means) 303 detects second position information of the object 6 on the image from the displayed image. The command transmission unit 301 transmits the second position information of the object 6 detected by the position information detection unit 303 to the robot controller 2 as the movement target position of the end effector 5.

キャリブレーション実行部３０４は、画像上で検出された位置情報を、実際のエンドエフェクタ５の位置情報に変換する変換式を求める。具体的には、複数の位置座標それぞれについて、マニピュレータ１のエンドエフェクタ５の実際の位置座標（第一の位置情報）と、画像処理装置３に表示されている画像上の対象物６の位置座標（第二の位置情報）との間の変換式を算出する。座標変換の方法は、特に限定されるものではなく、例えばアフィン変換で変換する。 The calibration execution unit 304 obtains a conversion equation for converting the position information detected on the image into the actual position information of the end effector 5. Specifically, for each of a plurality of position coordinates, the actual position coordinates (first position information) of the end effector 5 of the manipulator 1 and the position coordinates of the object 6 on the image displayed on the image processing device 3 A conversion equation with (second position information) is calculated. The method of coordinate conversion is not particularly limited, and for example, is converted by affine transformation.

（式１）に示すように、マニピュレータ１のエンドエフェクタ５の実際の位置座標（ｘ’、ｙ’）と、画像処理装置３に表示されている画像上の位置座標（ｘ、ｙ）とに基づいて、６つの自由度を有する変換式の係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。対応する位置座標が６つを超える場合には、最小二乗法を用いれば良い。 As shown in (Equation 1), the actual position coordinates (x ′, y ′) of the end effector 5 of the manipulator 1 and the position coordinates (x, y) on the image displayed on the image processing device 3 Based on this, coefficients a, b, c, d, e, f of the conversion equation having six degrees of freedom are determined. If the corresponding position coordinates exceed six, the least squares method may be used.

図４は、本発明の実施の形態に係る画像処理システムのキャリブレーションの処理手順を示すフローチャートである。図４に示すように、画像処理装置３は、マニピュレータ１に撮像対象となるマークを付与したワーク６を、キャリブレーションターゲットとして把持させた状態で、キャリブレーションの開始位置を設定する（ステップＳ４０１）。 FIG. 4 is a flowchart showing a calibration processing procedure of the image processing system according to the embodiment of the present invention. As illustrated in FIG. 4, the image processing apparatus 3 sets the calibration start position in a state in which the workpiece 6 to which the mark to be imaged is attached to the manipulator 1 is held as a calibration target (step S 401) .

画像処理装置３は、マニピュレータ１のエンドエフェクタ５の移動パターンを設定する（ステップＳ４０２）。画像処理装置３は移動命令をロボットコントローラ２へ送信する（ステップＳ４０３）。ロボットコントローラ２は、移動命令を受信して（ステップＳ４０４）、移動命令をマニピュレータ１の種別に応じて解釈する（ステップＳ４０５）。すなわち、マニピュレータ１を稼働させることが可能な機械語のロードモジュールに翻訳する。 The image processing apparatus 3 sets a movement pattern of the end effector 5 of the manipulator 1 (step S402). The image processing device 3 transmits a movement command to the robot controller 2 (step S403). The robot controller 2 receives the movement instruction (step S404), and interprets the movement instruction according to the type of the manipulator 1 (step S405). That is, it translates into a machine language load module that can operate the manipulator 1.

ロボットコントローラ２は、エンドエフェクタ５を移動命令で指定されている位置へと移動させ（ステップＳ４０６）。ロボットコントローラ２は、エンドエフェクタ５の移動先の第一の位置情報である位置座標（ｘ’、ｙ’）を取得して（ステップＳ４０７）、取得した位置座標（ｘ’、ｙ’）を画像処理装置３へ送信する（ステップＳ４０８）。 The robot controller 2 moves the end effector 5 to the position specified by the movement command (step S406). The robot controller 2 acquires position coordinates (x ', y') which is the first position information of the movement destination of the end effector 5 (step S407), and images the acquired position coordinates (x ', y') It transmits to the processing apparatus 3 (step S408).

画像処理装置３は、ロボットコントローラ２から、取得した位置座標（ｘ’、ｙ’）を受信し（ステップＳ４０９）、エンドエフェクタ５の動作領域を撮像する（ステップＳ４１０）。画像処理装置３は、動作領域の画像を表示し、表示されている画像上の対象物６の第二の位置情報である位置座標（ｘ、ｙ）を検出する（ステップＳ４１１）。 The image processing apparatus 3 receives the acquired position coordinates (x ', y') from the robot controller 2 (step S409), and images the operation area of the end effector 5 (step S410). The image processing apparatus 3 displays an image of the motion area, and detects position coordinates (x, y) which is second position information of the object 6 on the displayed image (step S411).

画像処理装置３は、キャリブレーション用のすべての位置座標（ｘ’、ｙ’）について画像上の位置座標（ｘ、ｙ）を検出したか否かを判断する（ステップＳ４１２）。画像処理装置３が、まだすべての位置座標（ｘ’、ｙ’）について画像上の位置座標（ｘ、ｙ）を検出していないと判断した場合（ステップＳ４１２：ＮＯ）、画像処理装置３は、次の移動命令を発行し（ステップＳ４１３）、処理をステップＳ４０３へ戻して、上述した処理を繰り返す。 The image processing apparatus 3 determines whether position coordinates (x, y) on the image have been detected for all position coordinates (x ', y') for calibration (step S412). When the image processing device 3 determines that the position coordinates (x, y) on the image have not yet been detected for all the position coordinates (x ′, y ′) (step S 412: NO), the image processing device 3 The next move instruction is issued (step S413), the process returns to step S403, and the above-described process is repeated.

画像処理装置３が、すべての位置座標（ｘ’、ｙ’）について画像上の位置座標（ｘ、ｙ）を検出したと判断した場合（ステップＳ４１２：ＹＥＳ）、画像処理装置３は、（式１）に従って変換式を算出する（ステップＳ４１４）。具体的には、６つの係数ａ、ｂ、ｃ、ｄ、ｅ、ｆを求める。 When the image processing device 3 determines that the position coordinates (x, y) on the image have been detected for all the position coordinates (x ′, y ′) (step S 412: YES), the image processing device 3 A conversion formula is calculated according to 1) (step S414). Specifically, six coefficients a, b, c, d, e, f are obtained.

係数を求めた変換式（式１）は、画像処理装置３の記憶装置（記憶手段）３３に記憶される。記憶されている変換式（式１）を用いて、例えば第二の位置情報を変換式を用いて第一の位置情報に変換してロボットコントローラ２へ送信しても良いし、取得したエンドエフェクタ５の第一の位置情報を受信し、記憶されている変換式を用いて第二の位置情報に変換して、表示装置４０に表示しても良い。 The conversion equation (Equation 1) for which the coefficient has been obtained is stored in the storage device (storage means) 33 of the image processing device 3. For example, the second position information may be converted into first position information using the conversion formula and transmitted to the robot controller 2 using the stored conversion formula (Formula 1), or the acquired end effector The first position information of 5 may be received, converted into second position information using a stored conversion formula, and displayed on the display device 40.

なお、撮像装置４を複数備えている場合には、撮像装置４ごとに変換式（式１）の係数を求めて、撮像装置４を識別する識別情報に対応付けて記憶装置３３に記憶する。記憶されている一又は複数の変換式を、撮像装置４の識別情報をキー情報として読み出すことにより、機種ごとの誤差等に依存することなく、画像処理装置３から受信した移動命令に応じて、エンドエフェクタ５を正確に移動目標位置に移動させることができる。 When a plurality of imaging devices 4 are provided, the coefficients of the conversion formula (Equation 1) are obtained for each of the imaging devices 4 and stored in the storage device 33 in association with identification information for identifying the imaging devices 4. By reading out one or a plurality of conversion formulas stored as key information of the identification information of the imaging device 4, without depending on an error or the like for each model, according to the movement command received from the image processing device 3, The end effector 5 can be accurately moved to the movement target position.

図５は、本発明の実施の形態に係る画像処理装置３のエンドエフェクタ５の位置の表示画面の例示図である。図５の例では、撮像装置４で撮像されているワーク６の画像を表示する画像表示領域５５において、ワーク６の画像５２を表示するとともに、マスター位置５３をワーク６の画像が表示されている同一の画像上に重畳して表示している。 FIG. 5 is an illustrative view of a display screen of the position of the end effector 5 of the image processing device 3 according to the embodiment of the present invention. In the example of FIG. 5, the image 52 of the workpiece 6 is displayed and the image of the workpiece 6 is displayed at the master position 53 in the image display area 55 for displaying the image of the workpiece 6 captured by the imaging device 4 It is displayed superimposed on the same image.

マスター位置とは、画像上で基準とする基準位置を意味しており、画像処理装置３は、マスター位置からのオフセット（位置ずれ）として、エンドエフェクタ５の位置を表示することができる。通常、マスター位置としてエンドエフェクタ５の中心位置ＴＣＰを用いる。 The master position means a reference position on the image as a reference, and the image processing device 3 can display the position of the end effector 5 as an offset (displacement) from the master position. Usually, the central position TCP of the end effector 5 is used as the master position.

このように、画像処理装置３は、マスター位置（基準位置）５３及びマスター位置５３からオフセットした位置を同一の画像上に表示することにより、例えばエンドエフェクタ５の中心位置ＴＣＰと画像上のワーク６の位置とに位置ずれが生じている場合であっても、ワーク６を把持することができる位置まで移動させるよう、エンドエフェクタ５の動作を制御することが可能となる。 Thus, the image processing device 3 displays the master position (reference position) 53 and the position offset from the master position 53 on the same image, for example, the center position TCP of the end effector 5 and the work 6 on the image It is possible to control the operation of the end effector 5 to move the work 6 to a position where the work 6 can be gripped, even when there is a positional deviation between the position and the position of.

図６は、本発明の実施の形態に係る画像処理装置３のマスター位置の登録画面の例示図である。図６に示すように、撮像装置４が、エンドエフェクタ５によりワーク６を把持した状態で、エンドエフェクタ５の中心位置ＴＣＰの座標値及び中心位置ＴＣＰからオフセットした位置座標の座標値を取得する。取得したエンドエフェクタ５の中心位置ＴＣＰの座標値及び中心位置ＴＣＰからオフセットした位置座標の座標値は、座標表示領域６１に表示される。 FIG. 6 is an illustration of a registration screen of a master position of the image processing apparatus 3 according to the embodiment of the present invention. As shown in FIG. 6, in a state where the imaging device 4 grips the work 6 by the end effector 5, the coordinate value of the center position TCP of the end effector 5 and the coordinate value of position coordinates offset from the center position TCP are acquired. The acquired coordinate values of the center position TCP of the end effector 5 and the coordinate values of position coordinates offset from the center position TCP are displayed in the coordinate display area 61.

そして、移動ボタン６２をマウス等によりクリック操作することにより、登録したエンドエフェクタ５の中心位置ＴＣＰに、マニピュレータ１のエンドエフェクタ５を容易に戻すことが可能となる。 Then, by clicking the move button 62 with a mouse or the like, the end effector 5 of the manipulator 1 can be easily returned to the center position TCP of the registered end effector 5.

なお、エンドエフェクタ５の第一の位置情報は、後述する位置情報取得部３０５により取得される。すなわち、取得した第一の位置情報を、変換式（式１）に基づいて第二の位置情報に変換し、ワーク６の画像が表示されている同一の画像上に重畳して表示する。 The first position information of the end effector 5 is acquired by a position information acquisition unit 305 described later. That is, the acquired first position information is converted into second position information based on the conversion equation (Equation 1), and superimposed and displayed on the same image on which the image of the work 6 is displayed.

図３に戻って、位置情報取得部３０５は、移動命令に応じて移動しているエンドエフェクタ５の位置情報（第一の位置情報）を定期的に取得する。撮像制御部３０８は、エンドエフェクタ５が移動した各移動先にて対象物６を撮像するよう撮像装置４の動作を制御し、表示部３０７は、撮像された対象物６の画像を動画として、又は定期的に更新される静止画として表示装置４０に表示する。 Returning to FIG. 3, the position information acquisition unit 305 periodically acquires position information (first position information) of the end effector 5 moving in response to the movement command. The imaging control unit 308 controls the operation of the imaging device 4 so as to image the object 6 at each movement destination to which the end effector 5 has moved, and the display unit 307 uses the image of the imaged object 6 as a moving image. Or it displays on the display apparatus 40 as a still image updated regularly.

表示制御部３０６は、移動目標位置及び移動目標位置にエンドエフェクタ５が到達するまでに定期的に取得されたエンドエフェクタ５の位置情報（第一の位置情報）を、ワーク６の画像が表示されている画像上に重畳して表示する。図７は、本発明の実施の形態に係る画像処理装置３の移動目標位置の表示画面の例示図である。 The display control unit 306 displays the position information (first position information) of the end effector 5 periodically acquired before the end effector 5 reaches the movement target position and the movement target position, and the image of the work 6 is displayed. Superimposed on the displayed image. FIG. 7 is an exemplary view of a display screen of the movement target position of the image processing apparatus 3 according to the embodiment of the present invention.

図７に示すように、マスター位置（基準位置）５３が「十」印で表示されるとともに、オフセットした位置７２が位置座標とともに「十」印で表示され、エンドエフェクタ５の中心位置ＴＣＰを示している。 As shown in FIG. 7, the master position (reference position) 53 is displayed by “10” marks, and the offset position 72 is displayed by “10” marks together with the position coordinates, indicating the center position TCP of the end effector 5 ing.

図７では、位置７２に到達するまでのエンドエフェクタ５の移動を示す複数の位置座標７３も、エンドエフェクタ５の位置情報を定期的に取得するごとに表示されている。したがって、矢印の方向に、エンドエフェクタ５が次第に移動していることを目視で確認することができる。そして、位置７２に収束した時点で、移動命令で指定された移動目標位置に到達したものと判断することができる。つまり、エンドエフェクタ５の移動の履歴情報をワーク６の画像が表示されていた同一の画像上に重畳して表示する。 In FIG. 7, a plurality of position coordinates 73 indicating the movement of the end effector 5 until reaching the position 72 are also displayed each time position information of the end effector 5 is periodically acquired. Therefore, it can be visually confirmed that the end effector 5 is gradually moving in the direction of the arrow. Then, when it converges to the position 72, it can be determined that the movement target position designated by the movement instruction has been reached. That is, the movement history information of the end effector 5 is superimposed and displayed on the same image on which the image of the work 6 was displayed.

また、ロボットコントローラ２は、動作を制御するマニピュレータ（ロボット）１の種別に応じて、移動命令を変換する必要がある。図８は、本発明の実施の形態に係るロボットコントローラ２の機能ブロック図である。 In addition, the robot controller 2 needs to convert the movement command in accordance with the type of the manipulator (robot) 1 that controls the operation. FIG. 8 is a functional block diagram of the robot controller 2 according to the embodiment of the present invention.

図８に示すように、ロボットコントローラ２は、プログラム変換部２０１を備えている。プログラム変換部２０１は、マニピュレータ（ロボット）１の種別ごとに提供されており、移動命令をマニピュレータ１の種別に応じたエンドエフェクタ５への移動命令に変換する。これにより、使用するマニピュレータ１の種別に応じた変換プログラムをロボットコントローラ２にインストールすることができ、マニピュレータ１の種別に応じたエンドエフェクタ５の移動命令に変換することができる。 As shown in FIG. 8, the robot controller 2 includes a program conversion unit 201. The program conversion unit 201 is provided for each type of the manipulator (robot) 1, and converts the movement command into a movement command to the end effector 5 according to the type of the manipulator 1. As a result, a conversion program corresponding to the type of the manipulator 1 to be used can be installed in the robot controller 2 and converted into a movement command of the end effector 5 corresponding to the type of the manipulator 1.

図９は、本発明の実施の形態に係るロボットコントローラ２の変換プログラムの処理手順を示すフローチャートである。図９に示すように、ロボットコントローラ２は、画像処理装置３とデータ通信を確立し（ステップＳ９０１）、移動命令を受信したか否かを判断する（ステップＳ９０２）。 FIG. 9 is a flowchart showing the processing procedure of the conversion program of the robot controller 2 according to the embodiment of the present invention. As shown in FIG. 9, the robot controller 2 establishes data communication with the image processing apparatus 3 (step S901), and determines whether a move command has been received (step S902).

ロボットコントローラ２が、受信していないと判断した場合（ステップＳ９０２：ＮＯ）、ロボットコントローラ２は、受信待ち状態となる。ロボットコントローラ２が、受信したと判断した場合（ステップＳ９０２：ＹＥＳ）、ロボットコントローラ２は、最初の移動命令を解釈する（ステップＳ９０３）。 If the robot controller 2 determines that it has not been received (step S 902: NO), the robot controller 2 enters a reception waiting state. If the robot controller 2 determines that it has been received (step S902: YES), the robot controller 2 interprets the first movement command (step S903).

ロボットコントローラ２は、解釈した移動命令の内容に沿って移動命令を変換して、マニピュレータ１のエンドエフェクタ５を移動させる（ステップＳ９０４）。ロボットコントローラ２は、すべての移動命令を解釈したか否かを判断する（ステップＳ９０５）。 The robot controller 2 converts the movement command according to the content of the interpreted movement command to move the end effector 5 of the manipulator 1 (step S904). The robot controller 2 determines whether all movement commands have been interpreted (step S905).

ロボットコントローラ２が、まだ解釈していない移動命令があると判断した場合（ステップＳ９０５：ＮＯ）、ロボットコントローラ２は、次の移動命令を解釈して（ステップＳ９０６）、処理をステップＳ９０４へ戻して上述した処理を繰り返す。ロボットコントローラ２が、すべての移動命令を解釈したと判断した場合（ステップＳ９０５：ＹＥＳ）、ロボットコントローラ２は、処理を終了する。 If the robot controller 2 determines that there is a move command not yet interpreted (step S 905: NO), the robot controller 2 interprets the next move command (step S 906), and returns the process to step S 904. The above process is repeated. If the robot controller 2 determines that all movement commands have been interpreted (step S 905: YES), the robot controller 2 ends the process.

図１０は、本発明の実施の形態に係るロボットコントローラ２の変換プログラムの例示図である。図１０に示すように、ソースコード１００１は、画像処理装置３とのデータ通信を確立する命令である。 FIG. 10 is an illustration of a conversion program of the robot controller 2 according to the embodiment of the present invention. As shown in FIG. 10, the source code 1001 is an instruction to establish data communication with the image processing apparatus 3.

ソースコード１００２は、画像処理装置３から移動命令を受信する命令である。ソースコード１００３は、移動命令を解釈する命令である。図１０に示すソースコードでは、例えば移動命令「ＭＶ、１００、２００、３００」を受信した場合、命令コード「ＭＶ」を検出し、移動先の位置として（１００、２００、３００）を記憶することになる。このように移動命令のデータ構造に合わせた変換プログラムを準備することにより、外部から移動命令を受け付けることができる。 The source code 1002 is an instruction to receive a move instruction from the image processing apparatus 3. The source code 1003 is an instruction for interpreting a move instruction. In the source code shown in FIG. 10, for example, when the move instruction "MV, 100, 200, 300" is received, the instruction code "MV" is detected and (100, 200, 300) is stored as the move destination position. become. By preparing the conversion program in accordance with the data structure of the movement instruction in this manner, the movement instruction can be accepted from the outside.

また、一般に移動命令のデータ構造は、ロボットメーカーに応じて相違する。そこで、ロボットメーカーごとに変換プログラムを事前に用意しておき、使用するロボットメーカーに応じた変換プログラムをロボットコントローラ２にインストールする。これにより、ロボットコントローラ２は、画像処理装置３から送信された共通のフォーマットの移動命令を、ロボットの種別に応じたエンドエフェクタ５の移動命令に変換することができる。 Also, in general, the data structure of the movement command differs depending on the robot manufacturer. Therefore, a conversion program is prepared in advance for each robot manufacturer, and a conversion program corresponding to the robot manufacturer to be used is installed in the robot controller 2. Thereby, the robot controller 2 can convert the movement command of the common format transmitted from the image processing device 3 into the movement command of the end effector 5 according to the type of robot.

なお、上述した例では、移動命令を文字列で記載しており、イーサネット（登録商標）のノン−プロトコル通信で送信しているが、例えばロボットコントローラ２の共有メモリにおいて、アドレスＡＡＡには命令を、アドレスＢＢＢには命令のパラメータを、それぞれ割り当てることで文字列を用いずに、数値データをやり取りすることで命令体系を構成することもできる。画像処理装置３から数値での移動命令を受信した場合、アドレスＡＡＡは移動命令「ＭＶ」に相当する数値番号で、アドレスＢＢＢは「１００、２００、３００」で書き換えられ、マニピュレータ１に対する移動命令として発行される。 In the above example, the move instruction is described as a character string and transmitted by non-protocol communication of Ethernet (registered trademark). For example, in the shared memory of the robot controller 2, the instruction is sent to the address AAA. It is also possible to configure an instruction system by exchanging numerical data without using a character string by allocating parameters of an instruction to the address BBB, respectively. When a move instruction by numerical values is received from the image processing device 3, the address AAA is a numerical number corresponding to the move instruction “MV”, and the address BBB is rewritten by “100, 200, 300”. publish.

もちろん、これ以外のプロトコル、例えばイーサネット（登録商標）のプロトコル通信、ＰＬＣリンク、ＣＣ−Ｌｉｎｋ、ＰＲＯＦＩＮＥＴ等の各プロトコル通信を用いても良い。 Of course, other protocols such as Ethernet (registered trademark) protocol communication, PLC link, CC-Link, PROFINET and other protocol communication may be used.

上述した処理は、キャリブレーションのデバッグ／確認処理に有効である。図１１は、本発明の実施の形態に係る画像処理システムのピックアップ位置を補正する場合のピッキングの処理手順を示すフローチャートである。図１１に示すように、画像処理装置３は、キャリブレーションを実行する（ステップＳ１１０１）。なお、キャリブレーションによる変換式を複数記憶しておくことが可能であり、アプリケーションに応じて切り替えることができる。この時、ユーザが誤った変換式を使って、マニピュレータ１に対して移動命令を送信した場合、マニピュレータ１は想定外の動作をするおそれがある。 The above-described process is effective for calibration debugging / confirmation process. FIG. 11 is a flowchart showing a picking processing procedure in the case of correcting the pickup position of the image processing system according to the embodiment of the present invention. As shown in FIG. 11, the image processing apparatus 3 executes calibration (step S1101). Note that it is possible to store a plurality of conversion formulas by calibration, and can be switched according to the application. At this time, if the user transmits a movement command to the manipulator 1 using an incorrect conversion formula, the manipulator 1 may perform an unexpected operation.

画像処理装置３は、撮像されたワーク６の画像に基づいて、移動目標位置を検出する（ステップＳ１１０２）。具体的には、ワーク６の画像に基づいて、表示されている画像上のワーク６の位置座標（ｘ、ｙ）を検出する。 The image processing device 3 detects the movement target position based on the image of the imaged work 6 (step S1102). Specifically, based on the image of the workpiece 6, position coordinates (x, y) of the workpiece 6 on the displayed image are detected.

あるいは、画像処理装置３は、移動目標位置の指定を受け付ける（ステップＳ１１０３）。具体的には、撮像されたワーク６の画像中で、マウス等によるクリック操作により移動目標位置の指定を受け付ける。 Alternatively, the image processing apparatus 3 receives specification of the movement target position (step S1103). Specifically, in the captured image of the work 6, designation of the movement target position is accepted by a click operation with a mouse or the like.

画像処理装置３は、検出した位置座標（ｘ、ｙ）又は指定を受け付けた位置座標（ｘ、ｙ）を、キャリブレーションで求めた変換式（式１）に基づいて、実際の位置座標（ｘ’、ｙ’）に変換し（ステップＳ１１０４）、変換された位置座標（ｘ’、ｙ’）を含む移動命令をロボットコントローラ２へ送信する（ステップＳ１１０５）。 The image processing device 3 determines the detected position coordinates (x, y) or the position coordinates (x, y) for which the designation has been received, based on the conversion equation (Equation 1) determined by calibration. It converts into ', y') (step S1104), and transmits a movement command including the converted position coordinates (x ', y') to the robot controller 2 (step S1105).

ロボットコントローラ２は、位置座標（ｘ’、ｙ’）を含む移動命令を受信し（ステップＳ１１０６）、移動命令を解釈して（ステップＳ１１０７）、エンドエフェクタ５を移動させる（ステップＳ１１０８）。ロボットコントローラ２は、移動先の位置座標（ｘ’、ｙ’）を取得し（ステップＳ１１０９）、取得した位置座標（ｘ’、ｙ’）を画像処理装置３へ送信する（ステップＳ１１１０）。 The robot controller 2 receives the movement command including the position coordinates (x ', y') (step S1106), interprets the movement command (step S1107), and moves the end effector 5 (step S1108). The robot controller 2 acquires position coordinates (x ', y') of the movement destination (step S1109), and transmits the acquired position coordinates (x ', y') to the image processing apparatus 3 (step S1110).

画像処理装置３は、位置座標（ｘ’、ｙ’）を受信し（ステップＳ１１１１）、変換式（式１）を用いて、画像上の位置座標（ｘ、ｙ）へ変換する（ステップＳ１１１２）。画像処理装置３は、画像上の位置座標（ｘ、ｙ）を重畳表示し（ステップＳ１１１３）、画像上の位置座標（ｘ、ｙ）が移動命令で指定した位置座標と一定範囲内に収束しているか否かを判断する（ステップＳ１１１４）。 The image processing apparatus 3 receives the position coordinates (x ', y') (step S1111), and converts it into the position coordinates (x, y) on the image using the conversion equation (equation 1) (step S1112) . The image processing device 3 displays the position coordinates (x, y) on the image in a superimposed manner (step S1113), and the position coordinates (x, y) on the image converges within a certain range with the position coordinates specified by the move command. It is determined whether or not it is (step S1114).

画像処理装置３が、位置座標（ｘ’、ｙ’）が移動命令で指定した位置座標と一定範囲内に収束していないと判断した場合（ステップＳ１１１４：ＮＯ）、画像処理装置３は、処理をステップＳ１１０５へ戻して、上述した処理を繰り返す。画像処理装置３が、位置座標（ｘ’、ｙ’）が移動命令で指定した位置座標と一定範囲内に収束したと判断した場合（ステップＳ１１１４：ＹＥＳ）、処理を終了する。 When the image processing device 3 determines that the position coordinates (x ′, y ′) do not converge within a certain range with the position coordinates specified by the movement command (step S1114: NO), the image processing device 3 performs the process Is returned to step S1105, and the above-described processing is repeated. If the image processing device 3 determines that the position coordinates (x ', y') have converged within a certain range with the position coordinates specified by the movement instruction (step S1114: YES), the process is ended.

以上のように本実施の形態によれば、マニピュレータ（ロボット）１のエンドエフェクタ５の移動先の位置情報を画像上で目視確認することができるので、エンドエフェクタ５が正しい移動目標位置へ移動しているか否かを正確に確認することが可能となる。 As described above, according to the present embodiment, the position information of the movement destination of the end effector 5 of the manipulator (robot) 1 can be visually confirmed on the image, so the end effector 5 moves to the correct movement target position. It is possible to check whether or not it is correct.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えばロボットコントローラ２の代わりにモーションコントローラを用いることができる。 The present invention is not limited to the above-described embodiment, and various changes, improvements, and the like can be made within the scope of the present invention. For example, a motion controller can be used instead of the robot controller 2.

また、キャリブレーションとして二次元のアフィン変換を用いる例について説明しているが、もちろん三次元のアフィン変換を用いても良い。 Also, although an example in which two-dimensional affine transformation is used as calibration is described, it is of course possible to use three-dimensional affine transformation.

１マニピュレータ（ロボット）
２ロボットコントローラ
３画像処理装置
４撮像装置
５エンドエフェクタ
６対象物（ワーク）
３１制御部
３２メモリ
３３記憶装置
３６通信インタフェース（通信装置） 1 Manipulator (robot)
2 robot controller 3 image processing device 4 imaging device 5 end effector 6 object (work)
31 control unit 32 memory 33 storage device 36 communication interface (communication device)

Claims

Is connected to a communication device to communicate the robot controller and data for controlling the operation of the robot, and the said robot provided separately, the image processing with the imaging apparatus for imaging an object to be operated A device,
In a state in which the end effector of the robot is held by the end effector of the robot as a calibration target, the end effector is moved to a plurality of positions, and a plurality of position coordinates of the actual end effector and an object on the image Calibration executing means for executing calibration for obtaining a conversion equation for converting coordinate values detected on an image into coordinate values of an actual end effector of a robot based on a plurality of position coordinates of an object ;
Based on the conversion equation, the position information of the position displayed on the display means for receiving designation by the user or the position information of the object detected on the image is converted into the movement target position of the end effector. Command transmitting means for transmitting a movement command including the converted movement target position to the robot controller;
A first coordinate value which is each position coordinate of the end effector moved by the movement command is received from the robot controller, and converted to a coordinate value on an image to be displayed on the display means based on the conversion equation. Position information acquisition means for periodically acquiring the first position information,
Imaging control means for controlling the operation of the imaging device to image an object while the end effector is moving;
When the image of the imaged object is displayed as a moving image or as a still image periodically updated, a mark indicating the movement target position and the position of the first position information is displayed on the display means. An image processing apparatus comprising: a display control unit configured to display an image superimposed on the image of the target object being displayed;

A plurality of the imaging devices are provided,
The image processing apparatus according to claim 1, wherein one or more conversion formulas are stored for each imaging device.

The image processing apparatus according to claim 1, wherein history information of movement of the end effector is displayed.

The image processing apparatus according to any one of claims 1 to 3, wherein position information offset from a reference position of the end effector is displayed.

It is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and is provided separately from the said robot, image processing including an image pickup device for imaging an object to be operated An image processing system comprising
The image processing apparatus is
In a state in which the end effector of the robot is held by the end effector of the robot as a calibration target, the end effector is moved to a plurality of positions, and a plurality of position coordinates of the actual end effector and an object on the image Calibration executing means for executing calibration for obtaining a conversion equation for converting coordinate values detected on an image into coordinate values of an actual end effector of a robot based on a plurality of position coordinates of an object ;
The position information designated by the user on the image displayed on the display means, or the position information of the object detected on the image is converted into the movement target position of the end effector based on the conversion equation. Command transmitting means for transmitting a movement command including the converted movement target position to the robot controller;
The robot controller is
Command conversion means for interpreting the movement command and converting it into a movement command for the end effector according to the type of robot;
Coordinate value acquisition means for moving the end effector and acquiring a first coordinate value which is each position coordinate of the moved end effector;
Coordinate value transmitting means for transmitting the first coordinate value to the image processing apparatus;
The image processing apparatus is
Position information acquiring means for periodically acquiring first position information by receiving the first coordinate value and converting the coordinate value on the image to be displayed on the display means based on the conversion equation;
Imaging control means for controlling the operation of the imaging device to image an object while the end effector is moving;
When the image of the imaged object is displayed as a moving image or as a still image periodically updated, a mark indicating the movement target position and the position of the first position information is displayed on the display means. An image processing system comprising: display control means for superimposing on an image of an object being displayed;

A plurality of the imaging devices are provided,
6. The image processing system according to claim 5, wherein one or more conversion formulas are stored for each imaging device.

7. The image processing system according to claim 5, wherein history information of movement of the end effector is displayed.

The image processing system according to any one of claims 5 to 7, wherein position information offset from a reference position of the end effector is displayed.

It is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and is provided separately from the said robot, image processing including an image pickup device for imaging an object to be operated An image processing method that can be executed by an image processing system configured with an apparatus, comprising:
The image processing apparatus
In a state in which the end effector of the robot is held by the end effector of the robot as a calibration target, the end effector is moved to a plurality of positions, and a plurality of position coordinates of the actual end effector and an object on the image Performing a calibration for obtaining a conversion equation for converting coordinate values detected on an image into coordinate values of an actual end effector of a robot based on a plurality of position coordinates of an object ;
The position information designated by the user on the image displayed on the display means, or the position information of the object detected on the image is converted into the movement target position of the end effector based on the conversion equation. And transmitting to the robot controller a movement command including the converted movement target position.
The robot controller
Interpreting the movement command and converting it into a movement command for the end effector according to the type of robot;
Moving the end effector and acquiring a first coordinate value which is each position coordinate of the moved end effector;
Sending the first coordinate value to the image processing device;
The image processing apparatus
Receiving the first coordinate value, and periodically acquiring first position information by converting the coordinate value on the image to be displayed on the display means based on the conversion equation;
Controlling the operation of the imaging device to image the object while the end effector is moving;
When the image of the imaged object is displayed as a moving image or as a still image periodically updated, a mark indicating the movement target position and the position of the first position information is displayed on the display means. And displaying the superimposed image on the image of the target object.

It is connected to a communication device to communicate the robot controller and the data for controlling the operation of the robot, and is provided separately from the said robot, an image having an imaging device for imaging an object to be operated A computer program that can be executed by a processing device,
The image processing apparatus
In a state in which the end effector of the robot is held by the end effector of the robot as a calibration target, the end effector is moved to a plurality of positions, and a plurality of position coordinates of the actual end effector and an object on the image Calibration executing means for executing calibration for obtaining a conversion equation for converting coordinate values detected on an image into coordinate values of an actual end effector of a robot based on a plurality of position coordinates of an object ;
Based on the conversion equation, the position information of the position displayed on the display means for receiving designation by the user or the position information of the object detected on the image is converted into the movement target position of the end effector. Command transmitting means for transmitting a movement command including the converted movement target position to the robot controller;
A first coordinate value which is each position coordinate of the end effector moved by the movement command is received from the robot controller, and converted to a coordinate value on an image to be displayed on the display means based on the conversion equation. Position information acquisition means for periodically acquiring the first position information by
Imaging control means for controlling the operation of the imaging device to capture an object while the end effector is moving, and when displaying an image of the imaged object as a moving image or as a still image periodically updated A display control unit configured to display a mark indicating the movement target position and the position of the first position information superimposed on the image of the object displayed on the display unit. Computer program.