JP4794011B2 - Image processing apparatus and robot control system - Google Patents
Image processing apparatus and robot control system Download PDFInfo
- Publication number
- JP4794011B2 JP4794011B2 JP2008096740A JP2008096740A JP4794011B2 JP 4794011 B2 JP4794011 B2 JP 4794011B2 JP 2008096740 A JP2008096740 A JP 2008096740A JP 2008096740 A JP2008096740 A JP 2008096740A JP 4794011 B2 JP4794011 B2 JP 4794011B2
- Authority
- JP
- Japan
- Prior art keywords
- workpiece
- robot
- master
- calculated
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、カメラで撮像した対象物の画像情報から対象物の位置情報を計測する画像処理装置、および、上記画像処理装置が計側した位置情報を用いてロボットの動作制御を行うロボット制御システムに関する。 The present invention relates to an image processing apparatus that measures position information of an object from image information of the object imaged by a camera, and a robot control system that controls the operation of a robot using position information measured by the image processing apparatus. About.
従来から、生産現場等では、所定のワーク置場に載置された対象物(ワーク)を取り出して搬送するロボット制御システムが利用されている。ここで、従来から知られているロボット制御システムについて図6を用いて説明する。 2. Description of the Related Art Conventionally, in a production site or the like, a robot control system that takes out and conveys an object (work) placed on a predetermined work place has been used. Here, a conventionally known robot control system will be described with reference to FIG.
図6は、従来技術のロボット制御システムの概略構成図である。
図示するように、ロボット制御システムはワークの3次元位置を求めるビジョンシステムAと、ビジョンシステムAが求めたワークの3次元位置を用いて、ワークWを把持して搬送するロボットシステムBとを備える。
FIG. 6 is a schematic configuration diagram of a conventional robot control system.
As shown in the figure, the robot control system includes a vision system A for obtaining the three-dimensional position of the workpiece, and a robot system B for gripping and transporting the workpiece W using the three-dimensional position of the workpiece obtained by the vision system A. .
ビジョンシステムAは、ワークを撮像するステレオカメラ52a、52bと、ステレオカメラ52a、52bの駆動制御を行うコントローラ51と、コントローラ51を介してステレオカメラ52a、52bが撮像した画像を取得し、その取得した画像からワークのなかの所定の一部位(例えば重心)の3次元位置を求める画像処理装置50とを備える。
ロボットシステムBは、アーム7aを備えたロボット7と、ロボット7の動作を制御するロボットコントローラ60とを備える。
そして、ロボット制御システムは、以下の動作を行い、所定のワーク置場に載置されたワークを把持して搬送する。
The vision system A acquires
The robot system B includes a
Then, the robot control system performs the following operation to grip and transport the workpiece placed on a predetermined workpiece placement site.
具体的には、ロボットコントローラ60は、ロボット7が、ワークの近くまでくると、ビジョンシステムAの画像処理装置50にワークの位置測定を要求する。
画像処理装置50は、前記位置測定の要求を受けると、ステレオカメラ52a、52bにワークを撮像させ、その撮像させたワークの画像情報を取得する。そして、画像処理装置50は、取得した画像情報を用いてワークの1ヶ所の特徴点の3次元位置(ワークの一部位の3次元位置)を算出し、その算出した3次元位置と、予めマスタデータ(ワークの基準位置を示す情報)として登録されたワークの特徴点の3次元位置との差分からワークの位置ズレ量を算出する。画像処理装置50は、上記の位置ズレ量をロボットコントローラ60に出力する。
ロボットコントローラ60は、前記位置ズレ量を用いて、ロボット7の姿勢やロボットアーム7aの軌道を補正し、ワークを把持して搬送し、予め定められた位置にワークをセットする。
Specifically, the
Upon receiving the position measurement request, the
The
そして、上記のように、ビジョンシステムと、ロボットとを備えるロボット制御システムの構成は、例えば特許文献1に開示されている。
また、カメラで撮像した検査対象物の画像データを用いて、検査対象物の所定箇所(重心)の位置を求める画像処理技術は、例えば特許文献2に開示されている。
Further, for example,
しかしながら、上述した従来技術のロボット制御システムは、ワークの寸法や形状によって、ワーク全体の位置ズレを正確に把握できない場合があるという技術的課題を有している。その結果、従来技術のロボット制御システムは、寸法の大きいワークを取り出す場合などに、ロボットがワークを把持できないことがあった。すなわち、従来技術のロボット制御システムは、ワークの一部位の位置ズレに対応させてロボットを制御しているが、ワークの寸法が大きい場合などに、ワークの一部位のズレに対応してもワーク全体のズレまで対応できないことがあった。
以下、図7を用いて、ロボットがワークを把持できないケースについて説明する。
However, the above-described prior art robot control system has a technical problem that the positional displacement of the entire workpiece may not be accurately grasped depending on the size and shape of the workpiece. As a result, the robot control system of the prior art sometimes cannot grip the workpiece when taking out a workpiece having a large size. In other words, the robot control system of the prior art controls the robot in accordance with the positional deviation of one part of the workpiece. There was a case that it was not possible to cope with the whole gap.
Hereinafter, a case where the robot cannot hold the workpiece will be described with reference to FIG.
図7は、従来技術のロボット制御システムにおいて、ロボットに把持されて搬送されるワークを例示した図である。
ここで、符号Wは、ロボットコントローラ60(図6参照)にマスタデータとして登録されたワーク(基準位置のワーク)を示し、符号111、112、113は、マスタデータとして登録されているワークWの把持位置(ロボットにより把持される位置)を示す。また、符号W´は、搬送対象となるワーク(実際にワーク置場に載置されたワーク)の位置を示し、符号121、122、123は、ワークW´の把持位置(ロボットにより把持される位置)を示す。また、符号130は、予め定めておいた特徴点を示している。
FIG. 7 is a diagram illustrating an example of a workpiece that is gripped and transported by a robot in a conventional robot control system.
Here, the symbol W indicates a workpiece (a workpiece at a reference position) registered as master data in the robot controller 60 (see FIG. 6), and the
そして、図示するように、搬送対象のワークW´がマスタデータのワークWから傾いている場合、特徴点130の位置ズレだけを考慮しても(特徴点130の位置ズレを修正しても)、ワークW´の把持位置121、122、123の位置ズレにまで対応できない(把持位置121、122、123の位置ズレを修正できない)ことがある。したがって、図示するようなケースでは、特徴点130の位置ズレだけを考慮してもロボットがワークWを把持できないことがあった。
なお、ワークを位置決めしてワーク置場に載置することにより、ロボットがワークを把持できないというエラーを防止できる。しかし、その方法では、ワークの種類毎に位置決めをする必要があり、ロボット制御システム自体の汎用性が失われてしまう。
As shown in the figure, when the workpiece W ′ to be transported is inclined from the workpiece W of the master data, only the positional deviation of the
By positioning the work and placing it on the work place, an error that the robot cannot grip the work can be prevented. However, this method requires positioning for each type of workpiece, and the versatility of the robot control system itself is lost.
本発明は、上記の技術的課題を解決するためになされたものであり、カメラで撮像したワークの画像情報からワークの位置情報を求める画像処理装置において、高精度にワークの位置情報を求めることを目的とするものである。また、前記画像処理装置で求めた位置情報を利用して、ロボットを高精度に制御するロボット制御システムを提供することを目的とするものである。 The present invention has been made to solve the above technical problem, and in an image processing apparatus that obtains workpiece position information from workpiece image information captured by a camera, obtains workpiece position information with high accuracy. It is intended. It is another object of the present invention to provide a robot control system for controlling a robot with high accuracy using position information obtained by the image processing apparatus.
上記課題を解決するために本発明は、カメラで撮像したワークの画像情報を取得し、該画像情報を用いてワークの位置を計測する画像処理装置に適用される。
そして、前記画像処理装置は、予め定められたワークの基準位置を3次元で示したマスタ位置情報を記憶する手段と、前記ワークの画像情報を用いて、前記ワークのなかの所定の3ヶ所の特徴点の3次元位置および該ワークの重心を算出する測定手段と、前記算出した3ヶ所の特徴点の3次元位置、前記算出した重心、および前記マスタ位置情報を用いて、前記ワークの3次元方向のズレ量を算出すると共に、該ワークの3次元方向のそれぞれの傾きを算出するズレ算出手段とを備え、前記マスタ位置情報には、前記ワークの設計情報から求めた、該ワークの重心を示すマスタ重心と、該ワークのなかの前記3ヶ所の特徴点を通るマスタ基準面とが含まれ、前記ズレ算出手段は、前記測定手段が算出した重心と前記マスタ重心との差分から前記ワークの3次元方向のズレ量を算出すると共に、前記算出した3ヶ所の特徴点を通る平面を求め、該平面および前記マスタ基準面を用いて、該ワークの3次元方向のそれぞれの傾きを算出することを特徴とする。
In order to solve the above problems, the present invention is applied to an image processing apparatus that acquires image information of a workpiece imaged by a camera and measures the position of the workpiece using the image information.
The image processing apparatus stores the master position information indicating the predetermined reference position of the workpiece in three dimensions and the image information of the workpiece, and uses the image information of the workpiece at predetermined three locations in the workpiece. Using the measurement means for calculating the three-dimensional position of the feature point and the center of gravity of the workpiece, the three-dimensional position of the three feature points calculated, the calculated center of gravity, and the master position information, the three-dimensional of the workpiece And a deviation calculating means for calculating the inclination of each of the workpieces in the three-dimensional direction, and the master position information includes the center of gravity of the workpiece obtained from the design information of the workpiece. And a master reference plane that passes through the three feature points of the workpiece, and the deviation calculating means calculates the difference between the center of gravity calculated by the measuring means and the master center of gravity. Calculates the amount of deviation in the three-dimensional direction of the workpiece, obtains a plane that passes through the calculated three feature points, and calculates the respective inclinations of the workpiece in the three-dimensional direction using the plane and the master reference plane It is characterized by doing.
このように本発明によれば、カメラで撮像したワークの画像情報を用いて、前記ワークの3ヶ所の特徴点の3次元位置と、ワークの重心とを求めて、その求めた3次元位置および重心を利用することにより、ワークの3次元方向のズレ量に加えて、ワークの3次元方向のそれぞれの傾きとを算出するようにしている。
すなわち、本発明によれば、ワークの3次元方向のズレ量だけでなく、3次元方向の傾きを求めているため、例えば、所定のワーク置場に配置されたワークの位置を正確に把握することができるようになる。
したがって、例えば、上述したようなワークを把持するようなロボットの動作制御に、本発明の画像処理装置により求めたワークの位置情報(3次元方向のズレ量、および3次元方向の傾き)を利用するようにすれば、ロボットを高精度に制御することができる。
As described above, according to the present invention, using the image information of the workpiece imaged by the camera, the three-dimensional positions of the three feature points of the workpiece and the center of gravity of the workpiece are obtained, and the obtained three-dimensional position and By using the center of gravity, in addition to the amount of deviation of the workpiece in the three-dimensional direction, the respective inclinations of the workpiece in the three-dimensional direction are calculated.
That is, according to the present invention, since not only the displacement amount of the workpiece in the three-dimensional direction but also the inclination in the three-dimensional direction is obtained, for example, the position of the workpiece placed in a predetermined workpiece place can be accurately grasped. Will be able to.
Therefore, for example, the position information of the workpiece (the amount of deviation in the three-dimensional direction and the inclination in the three-dimensional direction) obtained by the image processing apparatus of the present invention is used for the operation control of the robot that holds the workpiece as described above. By doing so, the robot can be controlled with high accuracy.
また、本発明によれば、マスタ位置情報としてワークのなかの3ヶ所の特徴点を通るマスタ基準面を記憶しておき、測定手段が算出した3ヶ所の特徴点を通る平面を求め、その平面および前記マスタ基準面を利用して、ワークの傾きを求めている。
そのため、本発明によれば、高精度に、ワークの3次元方向の傾きを求めることができ、その結果、ワークの位置を正確に把握することができる。
Further, according to the present invention, a master reference plane passing through three feature points in the work is stored as master position information, a plane passing through the three feature points calculated by the measuring means is obtained, and the plane And the inclination of a workpiece | work is calculated | required using the said master reference plane.
Therefore, according to the present invention, the inclination of the workpiece in the three-dimensional direction can be obtained with high accuracy, and as a result, the position of the workpiece can be accurately grasped.
また、前記画像処理装置と、アームを備え、該アームの先端部でワークを把持して搬送するロボットとを有するロボット制御システムにおいて、予め設定された教示データにしたがい前記ロボットのアームの動作を制御する制御手段を有し、前記制御手段は、前記アームが所定位置に到達すると、前記画像処理装置に前記ワークの3次元方向のズレ量および傾きを算出させ、該算出させた前記ズレ量および前記傾きを利用して前記教示データを補正し、該補正した教示データを用いて前記アームの動作を制御することが望ましい。 In addition, in a robot control system having the image processing apparatus and a robot that includes an arm and grips and conveys a workpiece at the tip of the arm, the operation of the arm of the robot is controlled according to preset teaching data. And a control unit configured to cause the image processing device to calculate a shift amount and an inclination of the workpiece in a three-dimensional direction when the arm reaches a predetermined position, and to calculate the shift amount and the calculated It is desirable to correct the teaching data using an inclination and control the operation of the arm using the corrected teaching data.
このように、本発明によれば、画像処理装置が測定したワークの3次元方向のズレ量に加えて、ワークの3次元方向の傾きを反映させて、ロボットの動作制御を行うようにしている。
したがって、本発明によれば、上述したようなワークを把持して搬送するロボットにおいて、寸法の大きいワークを取り出す場合などであっても、ロボットがワークを把持できないような動作エラーが発生する可能性を低減することができる。
As described above, according to the present invention, in addition to the amount of deviation in the three-dimensional direction of the workpiece measured by the image processing apparatus, the movement of the robot is controlled by reflecting the inclination of the workpiece in the three-dimensional direction. .
Therefore, according to the present invention, in a robot that grips and conveys a workpiece as described above, even if a workpiece with a large dimension is taken out, an operation error that prevents the robot from gripping the workpiece may occur. Can be reduced.
本発明によれば、カメラで撮像したワークの画像情報からワークの位置情報を求める画像処理装置において、高精度にワークの位置情報を求めることができる。また、前記画像処理装置で求めた位置情報を利用することにより、ロボットを高精度に制御するロボット制御システムを得ることができる。 According to the present invention, in an image processing apparatus that obtains workpiece position information from workpiece image information captured by a camera, the workpiece position information can be obtained with high accuracy. In addition, a robot control system for controlling the robot with high accuracy can be obtained by using the position information obtained by the image processing apparatus.
以下、本発明の実施形態について、図面に基づいて説明する。
先ず、本実施形態のロボット制御システムの構成について図1および図2に基づいて説明する。
図1は、本発明の実施形態のロボット制御システムのブロック図である。また、図2は、本発明の実施形態のロボット制御システムにより把持されて搬送されるワークの一例を示した図である。
なお、図1および図2では、上述した図6及び7で示した従来技術のものと同じ構成については同じ符号を付している。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
First, the configuration of the robot control system of this embodiment will be described with reference to FIGS. 1 and 2.
FIG. 1 is a block diagram of a robot control system according to an embodiment of the present invention. FIG. 2 is a diagram illustrating an example of a workpiece that is gripped and conveyed by the robot control system according to the embodiment of the present invention.
In FIG. 1 and FIG. 2, the same components as those in the prior art shown in FIG. 6 and FIG.
図示するように、ロボット制御システムは、ワークWの位置ズレ量を計側するビジョンシステムVと、ビジョンシステムVが求めたワークWの位置ズレ量を用いて、ワークWを把持して搬送するロボットシステムRとを備える。 As shown in the figure, the robot control system includes a vision system V that measures the positional deviation amount of the workpiece W, and a robot that grips and conveys the workpiece W using the positional deviation amount of the workpiece W obtained by the vision system V. System R.
ビジョンシステムVは、2台のCCDカメラ等により構成されるステレオカメラ3a、3bと、ステレオカメラ3a、3bの駆動制御を行うコントローラ2と、コントローラ2を介してステレオカメラ3a、3bが撮像した画像を取得し、その取得した画像からワークWの位置ズレ量を示す「ズレ量情報(3次元方向の位置ズレおよび傾き)」を求める画像処理装置1とを備える。そして、画像処理装置1は、求めた「ズレ量情報」をロボットシステムRのロボットコントローラ6に出力する。
また、画像処理装置1には、ユーザへのインタフェース画面や画像処理結果等を表示する液晶ディスプレイ等により構成される出力装置4と、ユーザからの各種要求を受け付けるキーボードやマウス等により構成される入力装置5とが接続されている。
なお、ビジョンシステムVを構成するステレオカメラ3a、3b、およびコントローラ2は、既存の技術により実現されるものであるため、以下においてその詳細な説明は省略する。
The vision system V includes
The image processing apparatus 1 includes an output device 4 configured by a liquid crystal display or the like for displaying an interface screen to the user, an image processing result, and the like, and an input configured by a keyboard, a mouse, or the like that accepts various requests from the user. The
Since the
ロボットシステムRは、アーム7aを備え、アーム7aの先端部でワークWを把持して搬送するロボット7と、予め記憶している教示データを用いてロボット7の動作制御を行うロボットコントローラ6とを備える。
ロボット7は、ロボットコントローラ6に制御され、所定のワーク置場に載置されたワークWをアーム7aの先端で把持し、所定の位置まで搬送する。なお、ロボット7の具体的な構成について特に限定されるものではないが、例えば、ロボット7に垂直多関節型の6軸ロボットを用いることができる。
The robot system R includes an
The
また、ロボットコントローラ6は、ビジョンシステムVの画像処理装置1と通信可能に構成され、所定のタイミングで(アーム7aが所定位置に到達すると)、画像処理装置1にワークWの位置ズレ量を算出させる。
また、ロボットコントローラ6は、画像処理装置1が算出したワークWの位置ズレ量を示す「ズレ量情報」を利用して前記教示データを補正し、その補正した教示データを用いてロボット7の動作を制御する。
The
Further, the
次に、本実施形態のビジョンシステムVを構成する画像処理装置1の機能構成を説明する。
画像処理装置1は、マスタ登録部11、位置測定部12、ズレ算出部13、画像出力部14、および通信処理部15を有する。
Next, a functional configuration of the image processing apparatus 1 configuring the vision system V of the present embodiment will be described.
The image processing apparatus 1 includes a
マスタ登録部11は、予め定めたワークWの基準位置を3次元で示したマスタ位置情報を記憶する。
具体的には、マスタ登録部11は、ワークWの設計情報(例えば、ワークWのCAD情報等)を用いて、ワーク置場に載置されているワークWの基準位置を示す3次元の位置情報を求め、その位置情報をマスタ位置情報として記憶する。
前記マスタ位置情報には、図2に示すワークWの3ヶ所の特徴点101、102、103(ワークWに形成された穴等を特徴点とする)を全て通過する平面(以下、「マスタ基準面」という)を示す情報と、ワークWの重心(以下、「マスタ重心」という)を示す情報とが含まれる。
The
Specifically, the
The master position information includes a plane (hereinafter referred to as “master reference”) that passes through all three
位置測定部12は、ステレオカメラ3a、3bが撮像したワーク置場に載置されたワークWの画像情報を取得し(コントローラ2を介して取得し)、その取得した画像情報を用いてワークWの3ヶ所の特徴点101、102、103の3次元位置を算出する。
また、位置測定部12は、前記取得したワークWの画像情報を用いて、ワーク置場に載置されたワークWの重心(以下、「測定重心」という)を求める。
The
Further, the
ズレ算出部13は、マスタ登録部11がマスタ位置情報として記憶しているマスタ重心と、位置測定部12で求めた測定重心とを用いて、ワークWの3次元方向(x、y、z)の重心のズレ量を求める(すなわち、実際にワーク置場に載置されたワークWの基準位置からのズレを求める)。
The
また、ズレ算出部13は、位置測定部12が算出した3ヶ所の特徴点101、102、103の3次元位置を用いて、3ヶ所の特徴点101、102、103を全て通過する平面(以下、「測定基準面」という)を求める。そして、ズレ算出部13は、求めた測定基準面と、マスタ登録部11がマスタ位置情報として記憶しているマスタ基準面とを用いて、ワークの3次元方向のそれぞれの傾きを算出する。
Further, the
ここで、図3を用いて、ワークWの3次元方向の傾きについて説明する。
図3は、ワークの3次元方向の傾きを説明するためにワークをモデル化して示した概念図である。ここで、符合105は、ワークWの重心を示している。また、図示する概念図では、ワークWの重心105を基準点に取り、3軸(x軸、y軸、z軸)を定義している。
そして、ズレ算出部13は、実際にワーク置場に載置されたワークWの3軸(x軸、y軸、z軸)のそれぞれについて、マスタ位置情報として登録されたワークWの3軸(x軸、y軸、z軸)からの傾き(「x軸方向の傾きθ」、「y軸方向の「傾きΦ」、「z軸方向の傾きψ」)を求める。
Here, the inclination of the workpiece W in the three-dimensional direction will be described with reference to FIG.
FIG. 3 is a conceptual diagram showing a workpiece modeled in order to explain the inclination of the workpiece in the three-dimensional direction. Here,
Then, the
図1に戻り、画像処理装置1の機能構成の説明を続ける。
画像出力部14は、ステレオカメラ3a、3bが撮像したワークWの画像情報を出力装置4に出力し、出力装置4に画像情報を表示させる。また、画像出力部14は、位置測定部が算出した算出結果や、ズレ算出部13が算出した位置ズレ量を示す画像情報を生成し、その画像情報を出力装置4に表示させる。
Returning to FIG. 1, the description of the functional configuration of the image processing apparatus 1 will be continued.
The
通信処理部15は、ステレオカメラ2を制御するコントローラ2との間で行う各種データの授受を制御したり、ロボットコントローラ6との間で行われる各種データの授受を制御する。
The
つぎに、画像処理装置1のハードウェア構成について説明する。
画像処理装置1は、CPU、メモリ、I/Oインタフェース、ネットワークインタフェースを備えるコンピュータにより構成される。
また、前記メモリには、上述した各部(マスタ登録部11、位置測定部12、ズレ算出部13、画像出力部14、および通信処理部15)の機能を実現するためのプログラム(位置ズレ算出プログラム)が格納されている。
そして、上述した各部(マスタ登録部11、位置測定部12、ズレ算出部13、画像出力部14、および通信処理部15)の機能は、前記CPUが前記メモリに格納された位置ズレ算出プログラムを実行することにより実現される。
なお、上述したマスタ位置情報は、前記メモリの所定領域に格納される。
Next, the hardware configuration of the image processing apparatus 1 will be described.
The image processing apparatus 1 includes a computer having a CPU, a memory, an I / O interface, and a network interface.
Further, the memory includes a program (position deviation calculation program) for realizing the functions of the above-described units (
The functions of the above-described units (the
The master position information described above is stored in a predetermined area of the memory.
つぎに、本実施形態のロボット制御システムが行うワーク搬送処理の手順について、図4および図5を用いて説明する。
図4は、本実施形態のロボット制御システムが行うワーク搬送処理の手順を示すフローチャートである。
また、図5は、ワークの位置ズレ量の算出に用いるマスタ基準面および測定基準面の概念図である。なお、図5(a)は、マスタ基準面の概念図であり、図5(b)は、測定基準面の概念図である。また、図5(c)は、測定基準面およびマスタ基準面を用いてワークの傾きを求める処理の概念図である。
Next, the procedure of the workpiece transfer process performed by the robot control system of this embodiment will be described with reference to FIGS.
FIG. 4 is a flowchart illustrating a procedure of workpiece transfer processing performed by the robot control system of the present embodiment.
FIG. 5 is a conceptual diagram of a master reference plane and a measurement reference plane used for calculating the amount of positional deviation of the workpiece. FIG. 5A is a conceptual diagram of the master reference plane, and FIG. 5B is a conceptual diagram of the measurement reference plane. FIG. 5C is a conceptual diagram of processing for obtaining the workpiece inclination using the measurement reference plane and the master reference plane.
先ず、ロボット制御システムは、図4に示す各処理ステップに先立って、ワークWのマスタ位置情報を登録する処理(前処理)を行う。
この前処理は、ビジョンシステムVを構成する画像処理装置1のマスタ登録部11により行われる。
具体的には、マスタ登録部11は、ワークWの設計情報(ワークWのCAD情報等)の入力を受け付け、その設計情報を用いて、ワークWの重心121を3次元で示したマスタ重心121を求める(図5(a)参照)。
また、マスタ登録部11は、前記設計情報を用いて、ワークWのなかの所定の3ヶ所の特徴点101、102、103を全て通る平面(マスタ基準面131)を求める(図5(a)参照)。
First, prior to each processing step shown in FIG. 4, the robot control system performs processing (preprocessing) for registering master position information of the workpiece W.
This preprocessing is performed by the
Specifically, the
Further, the
つぎに、マスタ登録部11は、上記の求めた、マスタ重心121およびマスタ基準面131をマスタ位置情報として記憶する(例えば、画像処理装置のメモリ(図示しない)の所定領域に格納する)。
そして、ロボット制御システムは、上記の前処理を終えると、図4に示す処理ステップにしたがい、ワークWを挟持して搬送する処理を行う。なお、図4に示す処理は、ユーザからワークWの搬送指示の要求を受け付けることにより開始される。
Next, the
Then, when the above pre-processing is completed, the robot control system performs processing for holding and transporting the workpiece W according to the processing steps shown in FIG. Note that the process shown in FIG. 4 is started when a request for an instruction to convey the workpiece W is received from the user.
具体的には、先ず、ロボット制御システムのロボットコントローラ6は、ユーザからワークWの搬送指示の要求を受け付けると、ロボット7を原位置にセットする(S1)。
Specifically, first, when the
つぎに、ロボットコントローラ7は、原位置から所定の計側位置まで、ロボット7のアーム7aを動作させる。ロボットコントローラ7は、ロボット7のアーム7aが前記計側位置に到達すると(S2)、アーム7aの動作を停止させると共に、ビジョンシステムVの画像処理装置1にワークWの位置ズレ量の計側を要求する信号(計測指示信号)を送信する(S3)。
なお、ロボットコントローラは、計測指示信号を送信すると、画像処理装置1から送られる位置ズレ量を示す「ズレ量情報」を受信するまでロボット7を待機(停止)させておく。
Next, the
When the robot controller transmits the measurement instruction signal, the robot controller waits (stops) the
一方、画像処理装置1側では、通信処理部15を介して、位置測定部12がロボットコントローラ7からの計側指示信号を受信する(S10)。そして、位置測定部12は、前記計側指示信号を受信すると、通信処理部15を介して、コントローラ2にワークWの撮像指示を行う。
On the other hand, on the image processing apparatus 1 side, the
次にコントローラ2は、位置測定部12からの撮像指示を受けると、ステレオカメラ3a、3bに、ワーク置場に載置されているワークWを撮像させる(S11)。そして、コントローラ2は、ステレオカメラ3a、3bにより撮像されたワークWの画像情報を画像処理装置1の位置測定部12に送信する。
Next, when receiving an imaging instruction from the
位置測定部12は、通信処理部15を介して、コントローラ2から送信されたワークWの画像情報を受信し、そのワークWの画像情報からワークWの所定の3ヶ所の特徴点101、102、103(図2、図5参照)の3次元位置を求める。また、位置測定部12は、受信したワークWの画像情報からワークWの重心を求める(S12)。
The
ここで、本ステップ(S12)において、ステレオカメラ3a、3bが撮像したワークWの画像情報から特徴点101、102、103の3次元位置を求める手順は、周知の三角測量の手順により実現されるものである。
なお、位置測定部12は、ステレオカメラ3a、3bに、それぞれの特徴点(101、102、103)毎に画像を撮像させ、各特徴点を含む画像情報毎に、それぞれの特徴点(101、102、103)の3次元位置を求めるようにしてもよい。或いは、位置測定部12は、特徴点101、102、103を全て含む画像情報から、3ヶ所の特徴点101、102、103の画像情報を求めるようにしてもよい。
Here, in this step (S12), the procedure for obtaining the three-dimensional positions of the feature points 101, 102, 103 from the image information of the workpiece W imaged by the
The
また、本ステップ(S12)において、ワークWの画像情報からワークWの重心を求める手法は、周知の画像処理技術により実現されるものであり、その具体的な手順について特に限定されるものではない。
例えば、ワークWの画像の各画素の所定の色成分毎の明るさを求め、その色成分毎に、所定のしきい値を基準にして2値化する。そして、前記色成分毎に2値化したデータを集計した値を求め、ワークWが存在する画素のX座標、Y座標、Z座標のそれぞれの平均値を求めて、その平均値をワークWの重心としてもよい。
Further, in this step (S12), the method for obtaining the center of gravity of the workpiece W from the image information of the workpiece W is realized by a well-known image processing technique, and the specific procedure is not particularly limited. .
For example, the brightness for each predetermined color component of each pixel of the image of the work W is obtained, and binarization is performed for each color component with reference to a predetermined threshold value. And the value which totaled the binarized data for every said color component is calculated | required, each average value of the X coordinate of the pixel in which the workpiece | work W exists, a Y coordinate, and a Z coordinate is calculated | required, and the average value is obtained for the workpiece | work W. It may be the center of gravity.
次に、S12の処理の後に行うS13の処理について説明する。
S13では、ズレ算出部13がワークWの3次元方向のズレ量を算出する。
具体的には、ズレ算出部13は、3次元方向のズレ量として、マスタ登録部11が記憶しているマスタ重心と、位置測定部12が算出した測定重心との差分を求める(3次元方向のズレ量(Δx,Δy,Δz)=「マスタ重心」−「測定重心」)。
Next, the process of S13 performed after the process of S12 will be described.
In S <b> 13, the
Specifically, the
つぎに、ズレ算出部13は、ワークWの3次元方向の傾きを算出する(S14)。
具体的には、S14では、先ず、ズレ算出部13は、S12において算出されたワークの特徴点101、102、103の3次元位置を用いて、当該3次元位置を全て通る平面(測定基準面132)を算出する(図5(b)参照)。
そして、ズレ算出部13は、マスタ登録部11が記憶しているマスタ基準面131と、前記算出した測定基準面132とを用いて、測定基準面132のマスタ基準面131からの傾きを算出し、算出された傾きをワークWの傾きとする。
なお、ワークWの傾きの算出方法は、特に限定されるものではないが、例えば以下のように求めるようにしてもよい。
Next, the
Specifically, in S14, first, the
Then, the
The method for calculating the inclination of the workpiece W is not particularly limited, but may be calculated as follows, for example.
具体的には、図5(c)に示すように、マスタ基準面131のマスタ重心121と、測定基準面の測定重心とを一致させ、その状態(マスタ重心121と測定重心122を一致させた状態)において、3軸(x軸、y軸、z軸)のそれぞれの傾き(「x軸方向の傾きθ」、「y軸方向の「傾きΦ」、「z軸方向の傾きψ」)を求める。
Specifically, as shown in FIG. 5C, the master center of
つぎに、ズレ算出部13は、通信処理部15を介して、S13で求めたワークWの3次元方向のズレ量(Δx,Δy,Δz)と、S14で求めたワークWの3次元方向の傾き(θ,Φ,ψ)とを含む「ズレ量情報」をロボットコントローラ6に送信する(S15)。
Next, the
ロボットコントローラ6は、ズレ算出部13からの「ズレ量情報」を受信すると(S4)、受信した「ズレ量情報」を用いて、予め記憶していた教示データにより定まる動作を補正する(S5)。
そして、ロボットコントローラ6は、ズレ算出部13からのズレ量情報を反映させて、ロボット7のアーム7aをワークの取り出し位置(物体取り出し位置)まで移動させ(S6)、ワークWを把持して、所定の位置まで搬送する(S7)。
ロボットコントローラ6は、ロボット7によりワークWを所定位置まで搬送して、ワークを所定位置にセットすると、ロボット7を原位置に戻す(S1の処理に戻る)。
When the
Then, the
When the
このように、本実施形態によれば、カメラで撮像したワークWの画像情報を用いて、ワークWの前記3ヶ所の特徴点の3次元位置を求めるようにしている。
そして、ワークWの3次元方向の位置ズレに加え、さらに、3ヶ所の特徴点の3次元位置を利用して、上述したS14の処理を行うことにより、ワークの3次元方向のそれぞれの傾き(θ,Φ,ψ)も算出している。
すなわち、本実施形態によれば、ワークWの3次元方向のズレ量だけでなく、3次元方向の傾きを求めているため、ワーク置場に配置されたワークWの位置を正確に把握することができる。
Thus, according to the present embodiment, the three-dimensional positions of the three feature points of the workpiece W are obtained using the image information of the workpiece W imaged by the camera.
Then, in addition to the positional deviation of the workpiece W in the three-dimensional direction, the three-dimensional positions of the three feature points are further used to perform the above-described processing of S14, whereby each workpiece tilt in the three-dimensional direction ( θ, Φ, ψ) are also calculated.
That is, according to this embodiment, since not only the amount of deviation of the workpiece W in the three-dimensional direction but also the inclination in the three-dimensional direction is obtained, it is possible to accurately grasp the position of the workpiece W placed in the workpiece storage area. it can.
また、本実施形態では、上記の正確に把握したワークWの位置を利用してロボット7の動作を補正するため、ロボットを高精度に制御することができる。
また、本実施形態では、ビジョンシステムVがワークWの位置を正確に把握できるため、ワーク置場にワークWを載置する際、細かい位置決めが不要になり、作業を簡素化することができる。
Moreover, in this embodiment, since the operation | movement of the
Moreover, in this embodiment, since the vision system V can grasp | ascertain the position of the workpiece | work W correctly, when mounting the workpiece | work W in a workpiece | work place, fine positioning becomes unnecessary and work can be simplified.
なお、本発明は、上記実施形態に限定されるものではなくその要旨の範囲内において、種々の変形が可能である。 In addition, this invention is not limited to the said embodiment, A various deformation | transformation is possible within the range of the summary.
例えば、上記実施形態では、制御するロボットとして、アームの先端にワークWを把持して搬送するロボット7を示したが特にこれに限定されるものではない。ワークWに対して何らかの作業を行うロボットであれば、本発明を適用することが可能である。
For example, in the above-described embodiment, the
また、例えば、本実施形態では、画像処理装置1がソフトウェア(コンピュータプログラム)を実行するコンピュータにより実現される場合を例にしたが、特にこれに限定されるものではない。例えば、画像処理装置1は、上述した各部(マスタ登録部11、位置測定部12、ズレ算出部13、画像出力部14、および通信処理部15)の機能を実現するために専用に設計されたハードウェア回路(例えば、「Application Specific Integrated Circuit」)を備える装置により構成されていてもよい。
For example, in the present embodiment, the case where the image processing apparatus 1 is realized by a computer that executes software (computer program) is described as an example, but the present invention is not particularly limited thereto. For example, the image processing apparatus 1 is designed exclusively for realizing the functions of the above-described units (the
R…ロボットシステム
V…ビジョンシステム
W…ワーク
1…画像処理装置
2…コントローラ
3a、3b…ステレオカメラ
4…出力装置
5…入力装置
6…ロボットコントローラ
7…ロボット
11…マスタ登録部
12…位置測定部
13…ズレ算出部
14…画像出力部
15…通信処理部
101、102、103…特徴点
111、112、113…ワーク把持位置
R ... Robot system V ... Vision system W ... Work 1 ...
Claims (2)
予め定められたワークの基準位置を3次元で示したマスタ位置情報を記憶する手段と、
前記ワークの画像情報を用いて、前記ワークのなかの所定の3ヶ所の特徴点の3次元位置および該ワークの重心を算出する測定手段と、
前記算出した3ヶ所の特徴点の3次元位置、前記算出した重心、および前記マスタ位置情報を用いて、前記ワークの3次元方向のズレ量を算出すると共に、該ワークの3次元方向のそれぞれの傾きを算出するズレ算出手段とを備え、
前記マスタ位置情報には、前記ワークの設計情報から求めた、該ワークの重心を示すマスタ重心と、該ワークのなかの前記3ヶ所の特徴点を通るマスタ基準面とが含まれ、
前記ズレ算出手段は、前記測定手段が算出した重心と前記マスタ重心との差分から前記ワークの3次元方向のズレ量を算出すると共に、前記算出した3ヶ所の特徴点を通る平面を求め、該平面および前記マスタ基準面を用いて、該ワークの3次元方向のそれぞれの傾きを算出することを特徴とする画像処理装置。 In an image processing apparatus that acquires image information of a workpiece imaged by a camera and measures the position of the workpiece using the image information,
Means for storing master position information indicating a predetermined reference position of the workpiece in three dimensions;
Measuring means for calculating the three-dimensional positions of the predetermined three feature points in the workpiece and the center of gravity of the workpiece using the image information of the workpiece;
Using the calculated three-dimensional positions of the three feature points, the calculated center of gravity, and the master position information, a displacement amount of the workpiece in the three-dimensional direction is calculated, and each of the workpieces in the three-dimensional direction is calculated. A deviation calculating means for calculating the inclination ,
The master position information includes a master center of gravity indicating the center of gravity of the workpiece obtained from the design information of the workpiece, and a master reference plane passing through the three feature points in the workpiece,
The deviation calculating means calculates a deviation amount in the three-dimensional direction of the workpiece from the difference between the center of gravity calculated by the measuring means and the master center of gravity, and obtains a plane passing through the calculated three feature points, An image processing apparatus that calculates a tilt in a three-dimensional direction of the workpiece using a plane and the master reference plane .
予め設定された教示データにしたがい前記ロボットのアームの動作を制御する制御手段を有し、
前記制御手段は、前記アームが所定位置に到達すると、前記画像処理装置に前記ワークの3次元方向のズレ量および傾きを算出させ、該算出させた前記ズレ量および前記傾きを利用して前記教示データを補正し、該補正した教示データを用いて前記アームの動作を制御すること特徴とするロボット制御システム。 A robot control system comprising: the image processing apparatus according to claim 1 ; and a robot that includes an arm and grips and conveys a workpiece at a tip portion of the arm.
Control means for controlling the operation of the robot arm in accordance with preset teaching data;
When the arm reaches a predetermined position, the control means causes the image processing apparatus to calculate a shift amount and a tilt in a three-dimensional direction of the workpiece, and uses the calculated shift amount and the tilt to perform the teaching. A robot control system which corrects data and controls the operation of the arm using the corrected teaching data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096740A JP4794011B2 (en) | 2008-04-03 | 2008-04-03 | Image processing apparatus and robot control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008096740A JP4794011B2 (en) | 2008-04-03 | 2008-04-03 | Image processing apparatus and robot control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009248214A JP2009248214A (en) | 2009-10-29 |
JP4794011B2 true JP4794011B2 (en) | 2011-10-12 |
Family
ID=41309384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008096740A Expired - Fee Related JP4794011B2 (en) | 2008-04-03 | 2008-04-03 | Image processing apparatus and robot control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4794011B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104758096A (en) * | 2015-03-30 | 2015-07-08 | 山东科技大学 | Method of correcting positional accuracy of target space for artificial limb |
CN104924309A (en) * | 2014-03-17 | 2015-09-23 | 株式会社安川电机 | Robot system, calibration method in robot system, and position correcting method in robot system |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101453234B1 (en) * | 2010-11-17 | 2014-10-22 | 미쓰비시덴키 가부시키가이샤 | Workpiece pick-up apparatus |
JP5070435B1 (en) * | 2011-07-01 | 2012-11-14 | 株式会社ベイビッグ | Three-dimensional relative coordinate measuring apparatus and method |
JP6000029B2 (en) * | 2012-09-10 | 2016-09-28 | 株式会社アプライド・ビジョン・システムズ | Handling system, handling method and program |
JP5616478B1 (en) | 2013-04-18 | 2014-10-29 | ファナック株式会社 | Robot system equipped with a robot for transporting workpieces |
CN105378573B (en) | 2013-07-19 | 2017-12-22 | 富士通株式会社 | The computational methods of information processor, examination scope |
KR101728719B1 (en) * | 2016-01-14 | 2017-04-21 | 인하대학교 산학협력단 | Keypoints Selection method to Improve the Accuracy of Measuring Angle in a Stereo Camera Images |
JP6470321B2 (en) | 2017-01-11 | 2019-02-13 | ファナック株式会社 | Article conveying device |
JP7199101B2 (en) * | 2019-10-30 | 2023-01-05 | 株式会社Yoods | ROBOT CONTROL SYSTEM, ROBOT CONTROL DEVICE, ROBOT CONTROL METHOD AND PROGRAM |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0626770B2 (en) * | 1989-11-17 | 1994-04-13 | 川崎重工業株式会社 | Workpiece fitting method |
JPH07332944A (en) * | 1994-06-08 | 1995-12-22 | Meidensha Corp | Body-position detector |
JPH085333A (en) * | 1994-06-21 | 1996-01-12 | Kobe Steel Ltd | Three-dimensional position-attitude recognizing apparatus |
JP4413291B2 (en) * | 1998-08-18 | 2010-02-10 | 株式会社明電舎 | Bin picking device with position data calibration function |
JP3654042B2 (en) * | 1999-04-21 | 2005-06-02 | 松下電工株式会社 | Object identification method and apparatus |
JP2001027511A (en) * | 1999-07-13 | 2001-01-30 | Matsushita Electric Ind Co Ltd | Position measuring method |
JP2003211382A (en) * | 2002-01-16 | 2003-07-29 | Denso Wave Inc | Robot control device |
JP2006224291A (en) * | 2005-01-19 | 2006-08-31 | Yaskawa Electric Corp | Robot system |
JP2007021635A (en) * | 2005-07-14 | 2007-02-01 | Komatsu Engineering Corp | Automatic handing method for workpiece and automatic handling system for workpiece |
-
2008
- 2008-04-03 JP JP2008096740A patent/JP4794011B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104924309A (en) * | 2014-03-17 | 2015-09-23 | 株式会社安川电机 | Robot system, calibration method in robot system, and position correcting method in robot system |
CN104758096A (en) * | 2015-03-30 | 2015-07-08 | 山东科技大学 | Method of correcting positional accuracy of target space for artificial limb |
CN104758096B (en) * | 2015-03-30 | 2016-11-30 | 山东科技大学 | A kind of method that artificial limb object space positioning precision is corrected |
Also Published As
Publication number | Publication date |
---|---|
JP2009248214A (en) | 2009-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4794011B2 (en) | Image processing apparatus and robot control system | |
TWI816056B (en) | Method and system for calibrating vision system in environment | |
JP3946711B2 (en) | Robot system | |
JP5815761B2 (en) | Visual sensor data creation system and detection simulation system | |
JP6025386B2 (en) | Image measuring apparatus, image measuring method, and image measuring program | |
TW200402117A (en) | Carriage robot system and controlling method thereof | |
JP2005201824A (en) | Measuring device | |
US20210192784A1 (en) | Vision system for a robotic machine | |
JP2018144144A (en) | Image processing device, image processing method and computer program | |
JP2016078195A (en) | Robot system, robot, control device and control method of robot | |
JP6885856B2 (en) | Robot system and calibration method | |
JP2017100202A (en) | Robot system, control device, control method, and program | |
US20190287258A1 (en) | Control Apparatus, Robot System, And Method Of Detecting Object | |
JP2003311670A (en) | Positioning control method of robot arm and robot equipment | |
US11126844B2 (en) | Control apparatus, robot system, and method of detecting object | |
JP2021024053A (en) | Correction method of visual guidance robot arm | |
JP7112528B2 (en) | Work coordinate creation device | |
JP2006049755A (en) | Rotation center calculation method and work positioning device using the same | |
JP2007237394A (en) | Workpiece positioning device | |
JP2010214546A (en) | Device and method for assembling | |
CN116867619A (en) | Teaching device | |
CN110977950B (en) | Robot grabbing and positioning method | |
JPH04269194A (en) | Plane measuring method | |
JP2005186193A (en) | Calibration method and three-dimensional position measuring method for robot | |
WO2024190883A1 (en) | Processing device, placement member, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110722 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110725 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140805 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |