JP3442140B2 - Position measurement device and position deviation correction device using three-dimensional visual sensor - Google Patents
Position measurement device and position deviation correction device using three-dimensional visual sensorInfo
- Publication number
- JP3442140B2 JP3442140B2 JP10436394A JP10436394A JP3442140B2 JP 3442140 B2 JP3442140 B2 JP 3442140B2 JP 10436394 A JP10436394 A JP 10436394A JP 10436394 A JP10436394 A JP 10436394A JP 3442140 B2 JP3442140 B2 JP 3442140B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- predetermined surface
- camera
- robot
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
【0001】[0001]
【産業上の利用分野】本願発明は、対象物の位置あるい
は位置と姿勢(以下、特に区別しない限り、両者併せて
単に「位置」と呼ぶ。)を3次元視覚センサを用いて計
測する装置、並びに、該計測によって得られる対象物の
位置ずれ量を表わす情報に基づいて作業関連物体との間
の位置関係を補正する装置(以下、「位置ずれ補正装
置」と言う。)に関する。本願発明の適用分野として
は、例えば工場の製造ラインにおける組み立て作業、加
工作業等がある。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention uses a three-dimensional visual sensor to measure the position or position and orientation of an object (hereinafter, both are simply referred to as "position" unless otherwise specified).
And a device that corrects the positional relationship with the work-related object based on the information indicating the amount of positional deviation of the object obtained by the measurement (hereinafter referred to as "positional deviation correction device").
" Oki ". ) Concerning. Fields of application of the present invention include, for example, assembling work and processing work in a manufacturing line of a factory.
【0002】[0002]
【従来の技術】工場の製造ラインにおける組み立て作
業、加工作業等においては、作業の自動化・省力化を図
る為に、ロボット等の自動機械とCCDカメラのような
カメラ手段を利用した視覚センサとを組み合わせたビジ
ョンシステムが利用されている。例えば、製造ライン上
の概略所定位置に供給される一方の組み立て作業対象ワ
ークをCCDカメラで撮像し、得られた画像を解析する
ことによって該ワークの正確な位置を視覚センサで検出
し、その結果に基づいて他方の組み立て作業対象ワーク
を把持したロボットの位置補正を行なう方式で、ワーク
間の位置ずれ補正が行なわれている。2. Description of the Related Art In assembling work and processing work in a factory production line, an automatic machine such as a robot and a visual sensor using a camera means such as a CCD camera are used in order to automate and save the work. A combined vision system is used. For example, one assembly work to be supplied to a predetermined position on the manufacturing line is imaged by a CCD camera, and an accurate position of the work is detected by a visual sensor by analyzing the obtained image. The positional deviation between the works is corrected by a method of correcting the position of the robot holding the other work to be assembled based on the above.
【0003】ところで、通常の画像解析によって対象物
の位置、姿勢、寸法等が正確に計測される為には、使用
するカメラと対象物の位置関係に次のような条件が満た
されている必要がある。By the way, in order to accurately measure the position, orientation, dimensions, etc. of an object by ordinary image analysis, the following conditions must be satisfied in the positional relationship between the camera used and the object. There is.
【0004】(1)対象物の位置ずれが、カメラの光軸
に垂直な平面内でのみ生じると想定されること。(1) It is assumed that the displacement of the object occurs only in a plane perpendicular to the optical axis of the camera.
【0005】(2)カメラと対象物の存在する平面との
間の距離が変化しないこと。(2) The distance between the camera and the plane where the object is present does not change.
【0006】従って、ビジョンシステムを利用する場合
には、上記条件を満たすように計測対象物(組み立て対
象ワーク等)を供給することが出来るように製造ライン
を設計する必要があった。特に、位置ずれにカメラと対
象物の距離が変化するような成分が含まれている場合に
は、ビジョンシステムを用いた位置ずれ補正を行なうこ
とは困難であった。Therefore, when the vision system is used, it is necessary to design the manufacturing line so that the measurement target (work to be assembled or the like) can be supplied so as to satisfy the above conditions. In particular, when the positional deviation includes a component that changes the distance between the camera and the object, it is difficult to perform the positional deviation correction using the vision system.
【0007】このような制約を回避する為に、ビジョン
システムに3次元視覚センサを取り入れることが行なわ
れている。3次元視覚センサの代表的なものは、スリッ
ト状の光を対象物に所定の方向から投射し、対象物上に
周辺よりも高輝度の光帯を形成させ、これをCCDカメ
ラ等のカメラ手段によって観測して対象物の3次元計測
を行なうものである。In order to avoid such a restriction, a three-dimensional visual sensor is incorporated into the vision system. A typical three-dimensional visual sensor projects slit-shaped light onto a target object from a predetermined direction to form a light band of higher brightness than the surroundings on the target object, and this is a camera means such as a CCD camera. The three-dimensional measurement of the object is performed by observing.
【0008】しかし、このような3次元視覚センサで
は、ワークの輪郭線など光帯の屈曲点あるいは端点とし
て把握出来る特徴部分に関する3次元位置情報は得られ
るが、ワークの輪郭とは離れた部分にある細部の特徴
(例えば、ねじ穴)の位置を正確に検出することは容易
でない。従って、組み立て作業、加工作業等を円滑に実
行する上で必要となる被計測対象物の位置ずれの補正
(被計測対象物の位置の変化に応じて、作業関連対象物
との間の相対的位置関係を調整し、両者の相対的な位置
関係を予定されているものと一致させること)をその計
測結果に基づいて正確に実行することは困難であった。However, with such a three-dimensional visual sensor, although three-dimensional position information about a characteristic portion such as a contour line of a workpiece that can be grasped as a bending point or an end point of an optical band can be obtained, a portion apart from the contour of the workpiece is obtained. It is not easy to accurately detect the position of a certain fine feature (for example, a screw hole). Therefore, the correction of the positional deviation of the measured object that is necessary for smoothly performing the assembly work, the processing work, etc. (relative to the work-related object depending on the change in the position of the measured object) It has been difficult to accurately adjust the positional relationship so that the relative positional relationship between the two and the planned positional relationship are matched) based on the measurement results.
【0009】[0009]
【発明が解決しようとする課題】本願発明の目的は、従
来のビジョンシステムを用いた位置計測装置あるいはそ
れに基づく位置ずれ補正装置の問題点を克服することに
ある。即ち、本願発明は、カメラ手段と対象物の距離が
変化するような場合にあっても正確な位置計測を行なう
ことが出来る位置計測装置を提供し、また、該計測結果
に基づいて対象物間の位置ずれを精度良く補正する装置
を提供することを企図している。SUMMARY OF THE INVENTION An object of the present invention is to provide a position measuring device or a position measuring device using a conventional vision system.
It is to overcome the problems of the positional deviation correction device based on this. That is, the present invention provides a position measuring device that can perform accurate position measurement even when the distance between the camera means and the target object changes, and also based on the measurement result It is intended to provide a device that accurately corrects the positional deviation of the.
【0010】[0010]
【課題を解決するための手段】本願発明は上記従来技術
における種々の問題点を解決した対象物の位置計測装置
の基本的な構成として、「制御された方向へ向けて光を
投射して対象物上に光帯を形成する投光手段と、カメラ
手段と、該カメラ手段によって獲得された映像信号を解
析する画像解析手段を備えた3次元視覚センサを用いて
対象物の位置を計測する装置であって、前記投光手段を
用いて対象物の所定面上に光帯を形成する手段と、前記
対象物の所定面上に光帯が形成された状態で前記カメラ
手段を用いて前記対象物を撮影し、前記対象物の前記所
定面上に形成された光帯の映像を含む映像を前記画像解
析手段を用いて解析することにより、前記対象物の前記
所定面の3次元的な位置を求める手段と、該求められた
所定面の3次元的な位置に基づいて、前記カメラ手段と
前記対象物の前記所定面を予め定められた間隔をもって
正対させる手段と、該正対状態の下で前記カメラ手段を
用いて前記対象物を撮影し、前記対象物の前記所定面の
映像を含む映像を前記画像解析手段を用いて解析するこ
とにより、前記対象物の前記所定面内の特定部位に関す
る3次元的な位置情報を得る手段を備えたことを特徴と
する前記装置」(請求項1)を提案したものである。SUMMARY OF THE INVENTION The present invention has a basic configuration of an object position measuring device which solves various problems in the above-mentioned prior arts, such as "to direct light in a controlled direction. Position of the object using a three-dimensional visual sensor including a light projecting means for projecting to form a light band on the object, a camera means, and an image analysis means for analyzing a video signal acquired by the camera means the an apparatus for measuring, means for forming a light band onto a predetermined surface of said light projecting means an object with, the camera unit in a state where the light band is formed on a predetermined surface of the object The object is photographed by using the image, and an image including an image of a light band formed on the predetermined surface of the object is analyzed by using the image analysis means, whereby 3 of the predetermined surface of the object is obtained. means for determining a dimension position, 3 of the obtained predetermined face-order Based on the position, with a predetermined interval said predetermined surface of said object and said camera means
And a means for making the object face-to-face and photographing the object using the camera means under the facing condition, and analyzing an image including an image of the predetermined surface of the object using the image analysis means. And a means for obtaining three-dimensional position information regarding a specific portion of the object within the predetermined plane.
The above device "(claim 1) is proposed.
【0011】そして、上記構成に更に、「前記カメラ手
段と前記対象物の前記所定面を予め定められた間隔をも
って正対させる手段が、前記カメラ手段を支持したロボ
ットである」という要件(請求項2)、あるいは「前記
カメラ手段と前記対象物の前記所定面を予め定められた
間隔をもって正対させる手段が、前記対象物を支持した
ロボットである」という要件(請求項3)を課し、上記
位置計測装置の一部にロボットを利用することを提案し
たものである。Further, in addition to the above structure, "a means for directly facing the camera means and the predetermined surface of the object at a predetermined interval is a robot supporting the camera means.
Tsu bets is ", that requirement (claim 2), or a" means for confronting with a predetermined interval said predetermined surface of said object and said camera means, to support the object
The present invention proposes to use a robot as a part of the position measuring device by imposing the requirement of "being a robot " (claim 3).
【0012】また、本願発明は、上記基本構成に係る位
置計測装置を作業関連物同士に予定される相対的な位置
関係のずれの補正に結びつけた構成として、「制御され
た方向へ向けて光を投射して第1の対象物上に光帯を形
成する投光手段と、カメラ手段と、該カメラ手段によっ
て獲得された映像信号を解析する画像解析手段を備えた
3次元視覚センサを用いて前記第1の対象物の位置を計
測し、該計測結果に基づいて前記第1の対象物と第2の
対象物の間で予定されている相対的位置関係からのずれ
を補正する対象物の位置ずれ補正装置であって、前記投
光手段を用いて前記第1の対象物の所定面上に光帯を形
成する手段と、前記第1の対象物の所定面上に光帯が形
成された状態で前記カメラ手段を用いて前記第1の対象
物を撮影し、前記第1の対象物の前記所定面上に形成さ
れた光帯の映像を含む映像を前記画像解析手段を用いて
解析することにより、前記第1の対象物の前記所定面の
3次元的な位置を求める手段と、該求められた所定面の
3次元的な位置に基づいて、前記カメラ手段と前記第1
の対象物の前記所定面を予め定められた間隔をもって正
対させる手段と、該正対状態の下で前記カメラ手段を用
いて前記第1の対象物を撮影し、前記第1の対象物の前
記所定面の映像を含む映像を前記画像解析手段を用いて
解析することにより、前記第1の対象物の前記所定面内
の特定部位に関する3次元的な位置情報を得る手段と、
該得られた前記特定部位に関する3次元的な位置情報に
基づいて、前記第1の対象物と前記第2の対象物の間で
予定されている相対的位置関係からのずれを求め、該ず
れを解消するように前記第1の対象物と前記第2の対象
物の相対的な位置関係を補正する手段を備えたことを特
徴とする前記装置」(請求項4)を提案したものであ
る。Further, the present invention, position of the above basic structure
As a configuration in which the position measuring device is linked to the deviation of the relative positional relationship expected between the work-related objects, "the light is projected in a controlled direction to form a light band on the first object. The position of the first object is measured by using a three-dimensional visual sensor having a light projecting means to be formed, a camera means, and an image analysis means for analyzing a video signal acquired by the camera means, and the measurement is performed. A target positional deviation correction device for correcting a deviation from a predetermined relative positional relationship between the first object and the second object based on a result, wherein the light projecting means is used. Form a light band on a predetermined surface of the first object.
And a predetermined surface of the first object, the first object being photographed by the camera means in a state where a light band is formed on the predetermined surface of the first object. A means for obtaining a three-dimensional position of the predetermined surface of the first object by analyzing an image including an image of the light band formed above by using the image analysis means, and the obtained means . Based on the three-dimensional position of the predetermined surface, the camera means and the first
Positive with a predetermined interval the predetermined surface of the object
A pair of means and a camera means for photographing the first object under the facing condition, and using the image analysis means for an image including an image of the predetermined surface of the first object. Means for obtaining three-dimensional position information regarding a specific portion of the first object in the predetermined plane by analyzing
Based on the obtained three-dimensional position information regarding the specific portion, a deviation from a relative positional relationship planned between the first object and the second object is obtained, and the deviation is obtained. In order to solve the above problem, a means for correcting the relative positional relationship between the first object and the second object is provided.
The above-mentioned device as a characteristic "(claim 4) is proposed.
【0013】更に、本願発明は、上記位置ずれ補正にロ
ボットを利用する為に、「前記カメラ手段と前記第1の
対象物の前記所定面を予め定められた間隔をもって正対
させる手段が、前記カメラ手段を支持したロボットであ
る」(請求項5)、「前記カメラ手段と前記第1の対象
物の前記所定面を予め定められた間隔をもって正対させ
る手段が、前記第1の対象物を支持したロボットであ
る」(請求項6)、あるいは「前記第1の対象物と前記
第2の対象物の間で予定されている相対的位置関係から
のずれを解消するように前記第1の対象物と前記第2の
対象物の相対的な位置関係を補正する手段が、前記第1
または前記第2の対象物を支持したロボットである」
(請求項7)という要件を前記基本構成に課した各位置
ずれ補正装置を提案したものである。Further, according to the present invention, in order to utilize the robot for the positional deviation correction, "the camera means and the first surface of the first object are directly opposed to each other at a predetermined interval .
The means for causing the robot is a robot supporting the camera means.
That "(Claim 5), directly facing with the" predetermined interval said predetermined surface of said camera means and said first object
Is a robot that supports the first object.
That "the a (Claim 6), or" the first object so as to eliminate the deviation from the relative positional relationship which is expected between the first object and the second object The means for correcting the relative positional relationship of the second object is the first
Or it is a robot that supports the second object. "
The invention proposes each position deviation correcting device in which the requirement (claim 7) is imposed on the basic configuration.
【0014】[0014]
【作用】本願発明では、対象物の位置を計測する為に、
対象物に向けて光を投射して該対象物上に光帯を形成す
る投光手段と、カメラ手段と、該カメラ手段によって獲
得された映像信号を解析する画像解析手段を備えた3次
元視覚センサが、大きく分けて2種類の形態で利用され
る。先ず、投光手段によって対象物へ向けてスリット光
投射あるいはスポットビーム走査形式による投光が行な
われ、所定面上に光帯が形成される。CCDカメラ等の
カメラ手段は、所定面上に光帯が形成された対象物を撮
影し、光帯の映像を含む映像を表わす映像信号が取得さ
れる。この光帯形成と撮影/画像信号取得は所要数の光
帯についての映像信号が得られるまで必要に応じて適宜
回数繰り返される。In the present invention, in order to measure the position of the object,
Three-dimensional vision including a light projecting means for projecting light toward an object to form a light band on the object , a camera means, and an image analysis means for analyzing a video signal acquired by the camera means. The sensor is roughly divided into two types. First, the light projecting means projects the slit light toward the target object or projects the light in the spot beam scanning form to form an optical band on a predetermined surface. Camera means such as a CCD camera photographs an object having a light band formed on a predetermined surface, and a video signal representing a video including a video of the light band is acquired. This optical band formation and photographing / image signal acquisition are repeated as many times as necessary until a video signal for a required number of optical bands is obtained.
【0015】光帯を表わす画像信号は画像解析手段によ
って解析され、光帯の特徴点(屈曲点、端点等)の3次
元位置から、光帯が形成された所定面についての3次元
位置情報が獲得される。原理的には、3点以上の特徴点
について3次元位置が決まれば、光帯が形成された所定
面を表わす方程式を決定することが出来る。3次元視覚
センサの投光手段を含む各要素を組み合わせて実行され
るここまでのプロセス自体は従来より公知のものであ
る。The image signal representing the light band is analyzed by the image analysis means, and from the three-dimensional position of the characteristic point (bending point, end point, etc.) of the light band, three-dimensional position information about a predetermined surface on which the light band is formed is obtained. Be won. In principle, if the three-dimensional positions of three or more characteristic points are determined, the equation representing the predetermined surface on which the light band is formed can be determined. The process itself performed so far by combining the respective elements including the light projecting means of the three-dimensional visual sensor is conventionally known.
【0016】次に、求められた所定面の3次元的な位置
に基づいて、カメラ手段と対象物の相対的な位置関係が
調整され、カメラ手段と前記計測対象とされた所定面と
が予め定められた定間隔をもって正対した状態が実現さ
れる。その為に、カメラ手段または対象物が移動され
る。移動手段としては、ロボットが好適である。ロボッ
トは、カメラ手段または対象物を支持し、カメラ手段と
前記計測対象とされた所定面とが予め定められた定間隔
をもって正対した状態となるような位置へ移動する。こ
のような相対位置調整段階が含まれていることは、本願
発明の基本的且つ重要な特徴である。Next, the relative positional relationship between the camera means and the object is adjusted on the basis of the obtained three-dimensional position of the predetermined surface, and the camera means and the predetermined surface which is the object of measurement are previously set. A state of facing each other is realized at a fixed interval. Therefore, the camera means or the object is moved. A robot is suitable as the moving means. The robot supports the camera means or the object, and moves to a position where the camera means and the predetermined surface to be measured face each other at a predetermined constant interval. The inclusion of such a relative position adjustment step is a basic and important feature of the present invention.
【0017】そして、このような正対状態の下でカメラ
手段を用いて対象物を再度撮影し、対象物の前記所定面
の映像を含む映像を前記画像解析手段を用いて解析す
る。但し、今度は光帯の映像を解析するのではなく、所
定面内の特定部位を明暗情報として把握し、該特定部位
に関する位置情報を得る。カメラ手段によって得られる
情報は、2次元情報であるが、特定部位が存在している
所定面の3次元位置情報が既に得られているので、結
局、該特定部位の3次元位置情報を獲得することが可能
となる。Then, under such a facing condition, the object is photographed again by using the camera means, and the image including the image of the predetermined surface of the object is analyzed by the image analyzing means. However, this time, instead of analyzing the image of the light band, a specific portion within a predetermined plane is grasped as light and dark information, and position information regarding the specific portion is obtained. The information obtained by the camera means is two-dimensional information, but since the three-dimensional position information of the predetermined surface where the specific part exists is already obtained, the three-dimensional position information of the specific part is eventually acquired. It becomes possible.
【0018】以上が、本願発明に従った対象物の位置計
測装置を使って計測を行なうプロセスの概要であるが、
このようなプロセスに、位置ずれ補正の為のプロセスを
付加することによって、作業的に関連した対象物同士の
相対的な位置関係を予定したものと一致させるように補
正することが出来る。The above is the position measurement of the object according to the present invention.
This is an overview of the process of measuring using a measuring device .
By adding a process for correcting the positional deviation to such a process, it is possible to perform correction so that the relative positional relationship between the objects that are operationally related to each other matches the planned one.
【0019】組み立て作業、加工作業等においては、2
つの対象物間に特定の相対的な位置関係が予定されるこ
とが多い。例えば、一方の部品に他方の部品を組み込む
場合には、予め両者を整列させることが必要となる。ま
た、順次供給される部品の特定位置になんらかの加工を
行なう場合には、部品供給位置のバラツキによる加工精
度の低下を回避する為に、各部品の位置と加工ツールの
相対位置を正確に調整する必要が生じる。In assembling work, processing work, etc., 2
Often a specific relative positional relationship is planned between two objects. For example, when incorporating the other component into one component, it is necessary to align both components in advance. Further, in the case where some processing is performed on a specific position of the parts that are sequentially supplied, the position of each part and the relative position of the processing tool are accurately adjusted in order to avoid a decrease in processing accuracy due to variations in the position of supplying the parts. The need arises.
【0020】そこで、本願発明に従った位置ずれ補正装
置では、作業に関連する一方の対象物(第1の対象物)
について上記位置計測を実行して特定部位(例えばネジ
穴の位置)の3次元位置情報を獲得し、それに基づい
て、この第1の対象物との間で特定の相対的な位置関係
をとることが予定されている別の対象物(第2の対象
物)との間の相対的な位置関係を必要な量だけ補正す
る。この計測後の相対的な位置調整は、第1または第2
の対象物の移動によって行なわれる。Therefore, the positional deviation correction device according to the present invention is
In the table, one of the objects related to the work (the first object)
To obtain three-dimensional position information of a specific portion (for example, the position of a screw hole), and to establish a specific relative positional relationship with the first object based on the information. Corrects the relative positional relationship with another scheduled object (second object) by a necessary amount. Relative position adjustment after this measurement, the first or second
It is carried out by moving the object.
【0021】移動手段としては、やはりロボットが好適
である。このロボットは、上記計測プロセスにおいてカ
メラ手段または第1の対象物を支持したロボットを用い
ることが実際的である。ロボットに第1または第2の対
象物を支持させた場合には、両者に予定される相対的な
位置関係はロボットの教示軌道に対応していると考える
ことが出来るから、位置ずれ補正はロボット軌道を補正
する形で実行されることが実際的である。A robot is suitable as the moving means. It is practical to use a camera means or a robot supporting the first object in this measurement process. When the robot supports the first or second object, it can be considered that the relative positional relationship planned between the two corresponds to the teaching trajectory of the robot. It is practical to implement it in a way that corrects the trajectory.
【0022】計測のためにカメラ手段と対象物を正対さ
せる移動手段及び位置ずれ補正の為に使用される移動手
段は、必ずしもロボットでなくとも構わない。即ち、カ
メラ手段あるいは対象物を支持した状態で、制御装置に
よって指示された位置へ移動する能力を有する自動機械
であれば、本願発明の位置計測装置あるいは位置ずれ補
正装置に利用することが可能である。The moving means for directly facing the camera means and the object for measurement and the moving means used for position shift correction need not necessarily be robots. That is, any automatic machine having the ability to move to the position designated by the control device while supporting the camera means or the object can be used for the position measuring device or the position shift correcting device of the present invention. is there.
【0023】また、3次元視覚センサに含まれる投光手
段としてはスリット光投射型の投光装置が代表的である
が、特願平5−32407号に開示されているようなス
ポット光走査型の投光装置を使用することも出来る。As a light projecting means included in the three-dimensional visual sensor, a slit light projecting device is typical, but a spot light scanning device as disclosed in Japanese Patent Application No. 5-32407. It is also possible to use the floodlighting device.
【0024】[0024]
【実施例】図1は、本願発明を実施する際に利用される
システム構成の一例を模式的に示した要部ブロック図で
ある。システム全体は、ロボットコントローラ1、画像
処理装2、センサ部コントローラ3、センサ部10、ロ
ボット20から構成されている。ロボットコントローラ
1は通常使用されている型のもので、マイクロプロセッ
サからなる中央演算装置(以下、「CPU」と言う。)
を備えている。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a schematic block diagram showing an example of a system configuration used when implementing the present invention . The entire system includes a robot controller 1, an image processing device 2, a sensor unit controller 3, a sensor unit 10, and a robot 20. The robot controller 1 is of a commonly used type and is a central processing unit (hereinafter referred to as "CPU") including a microprocessor.
Is equipped with.
【0025】このCPUには、システム全体を制御する
プログラム等が格納されたROMメモリ、ロボット動作
や画像処理装置への指令送信、画像処理装置からの画像
解析結果の受信等を制御するプログラム、関連設定値等
が格納され、また、CPUによる演算実行時の一時記憶
用のメモリや必要に応じて設定されるレジスタ領域とし
ても使用されるRAMメモリ、ロボット20の各軸をサ
ーボ回路を介して制御する軸制御器及び画像処理装置2
やオフラインプログラミング装置、製造ラインの制御部
等に対する入出力装置の役割を果たす汎用信号インター
フェイスがバスを介して接続されている(個別要素の図
示は省略)。The CPU has a ROM memory in which programs for controlling the entire system are stored, a program for controlling robot operations, command transmission to the image processing apparatus, reception of image analysis results from the image processing apparatus, and related programs. A RAM memory that stores set values and the like, is also used as a memory for temporary storage when the CPU executes calculations, a register area that is set as necessary, and each axis of the robot 20 is controlled via a servo circuit. Axis controller and image processing device 2
A general-purpose signal interface that functions as an input / output device for an off-line programming device, a control unit of a manufacturing line, and the like is connected via a bus (illustration of individual elements is omitted).
【0026】また、画像処理装置2も通常使用されてい
る型のもので、該装置全体を統括制御するCPUを備え
ている。このCPUには、画像解析用のプログラム、ロ
ボットコントローラ10からの指令に従ってセンサ部コ
ントローラ3を制御する為のプログラム等が格納された
ROMメモリ、カメラ12で撮影された画像を濃淡グレ
イスケールに変換された信号として記憶するフレームメ
モリ、画像解析用の画像処理プロセッサ、各種設定値を
格納すると共に計算データの一時記憶に使用されるRA
Mメモリ、センサ部コントローラ3やモニタ用のCRT
に対する入出力装置の役割を果たす汎用信号インターフ
ェイスがバスを介して接続されている(個別要素の図示
は省略)。The image processing apparatus 2 is also of a type that is normally used, and has a CPU that controls the entire apparatus. This CPU has a ROM memory in which a program for image analysis, a program for controlling the sensor unit controller 3 in accordance with a command from the robot controller 10 and the like are stored, and an image captured by the camera 12 is converted into a gray scale. Frame memory for storing as a signal, image processing processor for image analysis, RA for storing various setting values and temporarily storing calculation data
CRT for M memory, sensor controller 3 and monitor
A general-purpose signal interface that serves as an input / output device for is connected via a bus (illustration of individual elements is omitted).
【0027】符号21,22,23はロボット20のア
ームを表わしており、センサ部10は末端部のアーム2
3に装着されている。アーム23の先端には、センサ部
10とは別に、作業用(例えば、組み立て部品把持用)
のハンドが取り付けられている(図示省略)。Reference numerals 21, 22, and 23 represent the arms of the robot 20, and the sensor unit 10 is the arm 2 at the end.
It is attached to 3. In addition to the sensor unit 10, the tip of the arm 23 is for work (for example, for holding an assembled component).
Is attached (not shown).
【0028】センサ部10の投光器11は、レーザ光を
スリット光13に変換して、被計測対象物4上に投光す
る。対象物4上には、光帯14が形成され、その反射光
15がカメラ12で光帯像として観測される。投光器1
1によるスリット光13の投光方向は、画像処理装置2
からセンサ部コントローラ3を介して与えられる制御信
号によって投光器11に内蔵された偏向ミラーの偏向角
を制御することによってされる。従って、画像処理装置
2は、投光器11のオン/オフ状態と共に、どの方向に
投光が行なわれているかを常時認識することが出来る。The projector 11 of the sensor section 10 converts the laser light into slit light 13 and projects it onto the object 4 to be measured. A light band 14 is formed on the object 4, and the reflected light 15 is observed by the camera 12 as a light band image. Floodlight 1
The projection direction of the slit light 13 by the image processing device 1 is
Is controlled by the control signal given from the sensor controller 3 to the deflection angle of the deflection mirror built in the projector 11. Therefore, the image processing device 2 can always recognize in which direction the light is projected, as well as the on / off state of the light projector 11.
【0029】画像処理装置2によって指定された方向に
スリット光13が投光され、対象物4の所定の面上に光
帯14が形成された状態で、画像処理装置2からセンサ
部コントローラ3を介してCCDカメラ12に撮影指令
が送られる。CCDカメラ12で撮影された光帯14の
画像は、センサ部コントローラ3を介して画像処理装置
2へ送られる。画像処理装置2では、汎用信号インター
フェイスを介して取り込まれた画像信号を、濃淡グレイ
スケールによる明暗信号に変換した上でフレームメモリ
に格納する。When the slit light 13 is projected in the direction designated by the image processing apparatus 2 and the optical band 14 is formed on the predetermined surface of the object 4, the image processing apparatus 2 causes the sensor controller 3 to move. A shooting command is sent to the CCD camera 12 via the camera. The image of the light band 14 taken by the CCD camera 12 is sent to the image processing apparatus 2 via the sensor unit controller 3. In the image processing device 2, the image signal taken in through the general-purpose signal interface is converted into a light / dark signal based on a light and shade gray scale and then stored in the frame memory.
【0030】このようなスリット光の投光と光帯画像の
撮影/画像信号の取り込みは、通常、スリット光投光方
向を適宜間隔で変更して、複数本の光帯について実行さ
れる。画像処理装置2は、画像処理プロセッサを利用し
て光帯像を解析し、光帯14の屈曲点、端点等の3次元
位置を求める。屈曲点、端点等の3次元位置を定めるに
際しては、三角測量の原理が利用される。このような3
次元位置計測方法自体は既に知られているものであるか
ら、詳しい説明は省略する。一直線上にない3点以上の
屈曲点あるいは端点について3次元位置が求まると、画
像処理装置2のCPUは、そのデータに基づいて3点が
乗っている平面(方向と位置)を算出する。Such projection of slit light and photographing of a light band image / acquisition of an image signal are usually executed for a plurality of light bands by changing the slit light projection direction at appropriate intervals. The image processing device 2 analyzes the optical band image using the image processing processor, and obtains three-dimensional positions of the bending point, the end point, etc. of the optical band 14. The triangulation principle is used to determine the three-dimensional position of the bending point, the end point, or the like. Like this 3
Since the dimension position measuring method itself is already known, detailed description thereof will be omitted. When the three-dimensional positions of three or more bending points or end points that are not on a straight line are obtained, the CPU of the image processing apparatus 2 calculates the plane (direction and position) on which the three points are based on the data.
【0031】センサ部10のカメラ12は、画像処理装
置2からの指令に従って、投光器11をオフし、通常照
明光あるいは自然光の下で対象物4の撮影を行なう。撮
影によって得られた画像は、光帯像と同様、濃淡グレー
スケールによる明暗信号に変換されてフレームメモリに
格納される。この画像には、対象物4の表面に明暗とし
て現われている細部の情報が含まれている。本願発明で
は、このような通常撮影は、ロボット20を移動させて
カメラ12を対象物4の所定面(スリット光を投光した
面)に定間隔をもって正対させた状態で実行される。The camera 12 of the sensor section 10 turns off the projector 11 according to a command from the image processing apparatus 2 and photographs the object 4 under normal illumination light or natural light. The image obtained by photographing is converted into a light and dark signal by a gray scale, and is stored in the frame memory, like the light band image. This image contains detailed information that appears as light and dark on the surface of the object 4. In the present invention, such normal photographing is executed in a state in which the robot 20 is moved and the camera 12 is made to face the predetermined surface (the surface on which the slit light is projected) of the object 4 at regular intervals.
【0032】画像処理装置2のCPUは、このような正
対状態で獲得された画像を解析し、対象物4の所定面内
における特定部位(例えば、穴部)の位置を算出する。
この所定面内における特定部位の位置を表わすデータ
と、先に求めた所定面の方向を表わすデータ(例えば、
ロボットに設定されている座標系の原点から面におろし
た垂線の方向と長さを表わすベクトルデータ)に基づい
て、その特定部位の3次元位置情報(例えば、穴の中心
位置、延在方向、大きさ、形等)を算出する。The CPU of the image processing apparatus 2 analyzes the image acquired in such a facing state, and calculates the position of a specific portion (for example, a hole) in the predetermined plane of the object 4.
Data representing the position of the specific part within the predetermined plane and data representing the direction of the predetermined plane previously obtained (for example,
Based on the vector data representing the direction and length of the perpendicular line drawn from the origin of the coordinate system set on the robot to the surface, three-dimensional position information (for example, the center position of the hole, the extending direction, Size, shape, etc.).
【0033】ロボットコントローラ1と画像処理装置2
は、各々の汎用信号インターフェイスを介して通信回線
によって接続されており、画像処理装置2の動作指令や
画像処理装置2で求められた対象物4に関する位置デー
タ等の送受信がロボットコントローラ1のメモリに格納
された動作プログラムに従って実行されるようになって
いる。Robot controller 1 and image processing device 2
Are connected by a communication line via each general-purpose signal interface, and the operation command of the image processing apparatus 2 and the transmission / reception of the position data regarding the object 4 obtained by the image processing apparatus 2 are transmitted to the memory of the robot controller 1. It is designed to be executed according to the stored operation program.
【0034】図2は、以上説明した構成と機能を有する
システムを利用して、小型ロボットの組み立て作業にお
ける位置ずれ補正に本願発明の装置を利用する場合の全
体配置を模式的に表わしたものである。同図において、
図1と共通の符号をもって指示した要素、即ち、ロボッ
トコントローラ1、画像処理装2、センサ部コントロー
ラ3、センサ部10及びロボット20の構成、接続関係
及び機能については、既に説明した通りである。FIG. 2 is a schematic diagram showing the entire arrangement when the apparatus of the present invention is used for position deviation correction in the assembly work of a small robot using the system having the above-described configuration and function. is there. In the figure,
The elements designated by the same reference numerals as those in FIG. 1, that is, the configurations, connection relationships, and functions of the robot controller 1, the image processing device 2, the sensor unit controller 3, the sensor unit 10, and the robot 20 have already been described.
【0035】図1で被計測対象物4として図示されたも
のに対応する対象物は、ロボット20の作業空間内に次
々と供給される組み立て工程中の小型ロボット機構部の
一部分5(以下、「機構部5」と略称する。)として示
されている。機構部5は、ベース50とその回転軸51
の周りに回転するアーム52を含んでいる。その為、減
速機、モータ等の新たな部品が取り付けられる取り付け
面53及び取り付け部品の凸部(例えば、ネジ部)が差
し込まれる穴54の位置(姿勢を含む。)が毎回供給さ
れる機構部5毎にばらつくことが避けられず、予定され
た基準位置から位置ずれを起こしている。Objects corresponding to those shown as the object 4 to be measured in FIG. 1 are successively supplied into the working space of the robot 20 and are part 5 (hereinafter, referred to as "the small robot mechanism portion" during the assembly process. Mechanical unit 5 "). The mechanical unit 5 includes a base 50 and a rotation shaft 51 thereof.
It includes an arm 52 that rotates about. For this reason, the mechanism portion to which the position (including the posture) of the mounting surface 53 to which a new component such as a reduction gear and a motor is mounted and the hole 54 into which the convex portion (for example, a screw portion) of the mounting component is inserted is supplied every time. It is unavoidable that there is a deviation for every 5 points, and there is a displacement from the planned reference position.
【0036】図2中、減速機、モータ等の新たな部品
は、ロボット20のハンドHに把持された部品6で代表
されており、形状の詳細は省略されている。符号Tは、
部品6の凸部先端に設定されたツール先端点を表わして
いる。また、図中に示された2つのロボット位置A及び
Bは、投光器を点灯して実行される取り付け面53の位
置・方向計測の為の教示位置と、それに基づいて定めら
れた投光器を消灯して実行される通常撮影位置を表わし
ている。この通常撮影位置Bは、センサ部10のCCD
カメラの光軸Cが取り付け面53に垂直になるように選
ばれる(後述実施例参照)。In FIG. 2, new parts such as the speed reducer and the motor are represented by the part 6 held by the hand H of the robot 20, and details of the shape are omitted. The symbol T is
The tool tip point set at the tip of the convex portion of the component 6 is shown. Further, the two robot positions A and B shown in the drawing are teaching positions for measuring the position / direction of the mounting surface 53 which is executed by turning on the light emitters, and turn off the light emitters determined based on the teaching positions. Represents a normal shooting position to be executed. This normal photographing position B is the CCD of the sensor unit 10.
The optical axis C of the camera is chosen to be perpendicular to the mounting surface 53 (see Examples below).
【0037】このような配置によって、位置ずれを補正
して部品6の組み付け作業を実行する為に、ロボットコ
ントローラ1には、図3に示したフローチャートに記さ
れた処理手順でロボット20、画像処理装置2を含むシ
ステム全体を制御するプログラムが格納されている。以
下、その概略を説明する。なお、ここでは、投光器11
の偏向ミラーの偏向角度、その切換内容、投光/撮影回
数の設定、取り付け面53及び穴54の基準位置・方向
を表わすデータの設定、取り付け面53及び穴54の位
置・方向が基準位置・方向と一致していた場合に最適な
通常撮影ロボット位置B(正対時の距離データを含
む)、組み立て作業実行位置の位置データ等の教示を含
む準備作業が完了しているものとする。With such an arrangement, in order to correct the positional deviation and execute the work of assembling the component 6, the robot controller 1 performs image processing by the robot 20 according to the processing procedure described in the flowchart shown in FIG. A program for controlling the entire system including the device 2 is stored. The outline will be described below. In addition, here, the projector 11
The deflection angle of the deflection mirror, the switching contents, the setting of the number of times of light projection / imaging, the setting of the data indicating the reference position / direction of the mounting surface 53 and the hole 54, the position / direction of the mounting surface 53 and the hole 54 are the reference position / It is assumed that the preparatory work including teaching of the optimum normal photographing robot position B (including the distance data at the time of direct facing), the position data of the assembly work execution position, and the like, which are optimal when the directions match, is completed.
【0038】ロボットコントローラ1のCPUが、機構
部50が組み立て位置へ供給されたことを表わす外部信
号を受信すると、1作業サイクル分の処理を開始する。
先ず、動作プログラムを1ブロックづつ読み込んでロボ
ット20を移動させ、スリッット光を投光して光帯撮影
を行なう位置として教示されたロボット位置Aに移動さ
せる(ステップS1)。When the CPU of the robot controller 1 receives an external signal indicating that the mechanical section 50 has been supplied to the assembly position, processing for one work cycle is started.
First, the operation program is read block by block, and the robot 20 is moved to a robot position A taught as a position for emitting slit light to project the optical band (step S1).
【0039】ロボット20を位置Aで一旦停止させ、画
像処理装置2へ指令を送り、センサ部コントローラ3を
介して投光器11を点灯させ、機構部50の取り付け面
53上に光帯61を形成させる(ステップS2)。この
状態で、更に、画像処理装置2へ撮影指令を送り、セン
サ部コントローラ3を介してCCDカメラ12による撮
影を実行し、光帯61を含む映像を画像処理装置2に取
り込む(ステップS3)。The robot 20 is temporarily stopped at the position A, a command is sent to the image processing apparatus 2, the projector 11 is turned on via the sensor section controller 3, and a light band 61 is formed on the mounting surface 53 of the mechanism section 50. (Step S2). In this state, a shooting command is further sent to the image processing apparatus 2, shooting is performed by the CCD camera 12 via the sensor unit controller 3, and an image including the optical band 61 is taken into the image processing apparatus 2 (step S3).
【0040】ステップ3及びステップS4は、投光方向
を設定内容に従って切り換えながら設定された回数だけ
繰り返される(ステップS2〜ステップS4)。ここで
は設定が2回であるとすると、2回目の投光/光帯撮影
で光帯62を含む映像が撮影される。撮影が終了すると
投光器11は消灯される(ステップS5)。Steps 3 and S4 are repeated the set number of times while switching the light projecting direction according to the set contents (steps S2 to S4). Here, assuming that the setting is twice, an image including the light band 62 is captured in the second projection / light band photographing. When the photographing is completed, the projector 11 is turned off (step S5).
【0041】次いで、蓄積された光帯画像が画像処理プ
ロセッサを利用して解析され、取り付け面53の外縁上
の諸点に対応した光帯61,62の屈曲点P1 ,P2 及
び端点Q1 ,Q2 の3次元位置が計算され、その結果に
基づいて取り付け面53の位置・方向が求められ(ステ
ップS7)、更に、基準位置・方向からのずれが計算さ
れる(ステップS8)。Next, the accumulated light band images are analyzed using an image processor, and the bending points P1 and P2 and end points Q1 and Q2 of the light bands 61 and 62 corresponding to various points on the outer edge of the mounting surface 53 are analyzed. The three-dimensional position is calculated, the position / direction of the mounting surface 53 is obtained based on the result (step S7), and the deviation from the reference position / direction is calculated (step S8).
【0042】この結果はロボットコントローラ1へ送信
され、ロボットコントローラ1内で取り付け面53に設
定された距離をもって正対する通常撮影ロボット位置B
を与えるロボット位置の補正量が求められる(ステップ
S9)。なお、ステップS8で求められるずれ量は、ロ
ボットに設定されている座標系の原点から面におろした
垂線の方向と長さを表わすベクトルデータの基準値から
のずれ量として表現することができ、この値を用いてス
テップS9でロボット位置の補正量が計算される。This result is transmitted to the robot controller 1, and the normal photographing robot position B facing directly at the distance set on the mounting surface 53 in the robot controller 1.
The correction amount of the robot position that gives is obtained (step S9). The deviation amount obtained in step S8 can be expressed as a deviation amount from the reference value of the vector data representing the direction and length of the perpendicular line drawn from the origin of the coordinate system set on the robot to the surface, Using this value, the correction amount of the robot position is calculated in step S9.
【0043】ロボットコントローラ1のCPUは、ロボ
ット20の移動を再開し、ロボット位置Bに対応した教
示位置をステップS9で求められたロボット位置補正量
だけ補正した位置へ向けてロボット20を移動させる
(ステップS10)。The CPU of the robot controller 1 restarts the movement of the robot 20, and moves the robot 20 toward the position where the teaching position corresponding to the robot position B is corrected by the robot position correction amount obtained in step S9 ( Step S10).
【0044】ロボット20が位置Bに到着したら再度ロ
ボット20を停止させ、画像処理装置2へ撮影指令を送
り、センサ部コントローラ3を介してCCDカメラ12
による通常撮影を実行し、光帯が形成されていない取り
付け面53の映像を画像処理装置2に取り込む(ステッ
プS11)。When the robot 20 arrives at the position B, the robot 20 is stopped again, a photographing command is sent to the image processing device 2, and the CCD camera 12 is sent via the sensor unit controller 3.
Then, the normal image capturing is performed, and the image of the mounting surface 53 on which the light band is not formed is captured in the image processing apparatus 2 (step S11).
【0045】次いで、取り込まれた画像を画像処理プロ
セッサを用いて画像処理装置2内で解析し、穴54の位
置(センサデータ)を求める。その結果は、ロボットコ
ントローラ1へ送信されて、穴54の3次元位置が算出
される(ステップS12)。この計算は、位置・方向が
既に求められている取り付け面53内で、2次元的に穴
54の位置を定めるものであるから、取り付け面53の
位置・方向にばらつきがあっても支障なく実行すること
が出来る。Next, the captured image is analyzed in the image processing apparatus 2 by using the image processor to obtain the position of the hole 54 (sensor data). The result is transmitted to the robot controller 1 and the three-dimensional position of the hole 54 is calculated (step S12). Since this calculation two-dimensionally determines the position of the hole 54 in the mounting surface 53 whose position / direction has already been obtained, it can be executed without any problem even if the position / direction of the mounting surface 53 varies. You can do it.
【0046】穴54の3次元位置が求められたら、穴5
4について設定されている基準位置からのずれ量、即
ち、「位置ずれ量」を求める(ステップS13)。更
に、部品6の組み付けの為に教示されている1つまたは
複数の組み立て作業ロボット位置について、穴54の位
置ずれ量に対応したロボット位置補正量を定め(ステッ
プS14)、ロボット移動を再開して、ロボット20を
補正された組み立て作業位置に移動させて(複数あれ
ば、順次移動。)、教示された組み立て作業を実行する
(ステップS15)。組み立て作業が完了したら、ロボ
ット20をホームポジションへ復帰させて1作業サイク
ルを完了する。When the three-dimensional position of the hole 54 is obtained, the hole 5
A deviation amount from the reference position set for No. 4, that is, a "position deviation amount" is obtained (step S13). Furthermore, for one or more assembly work robot positions taught for assembling the component 6, a robot position correction amount corresponding to the position shift amount of the hole 54 is determined (step S14), and the robot movement is restarted. Then, the robot 20 is moved to the corrected assembly work position (if there is more than one, they are sequentially moved), and the taught assembly work is executed (step S15). When the assembling work is completed, the robot 20 is returned to the home position to complete one work cycle.
【0047】本実施例では、センサ部10全体を組み付
け部品6と共にロボット20に搭載して取り付け面53
への投光、撮影を行なったが、投光器11を作業空間内
の適当な位置に固定し、カメラ12のみをロボット20
に搭載する配置を採用することも可能である。In this embodiment, the entire sensor unit 10 is mounted on the robot 20 together with the assembly parts 6 and the mounting surface 53 is attached.
Although the light was projected onto and photographed, the projector 11 was fixed at an appropriate position in the work space, and only the camera 12 was used by the robot 20.
It is also possible to adopt the arrangement mounted on the.
【0048】また、ロボットに把持されない側の組み立
て過程品(図2の機構部50に相当)の位置にばらつき
がなく、ロボットによる組み付け部品(図2の部品6に
相当)の把持状態にばらつきが予測されるような場合に
は、センサ部全体(カメラと投光器)を作業空間内の適
当な位置に固定した配置によって上記実施例に準じた手
順によって位置ずれ補正を実行することが出来る。Further, there is no variation in the position of the assembly process product (corresponding to the mechanical unit 50 in FIG. 2) on the side not gripped by the robot, and there is variation in the gripping state of the assembly component (corresponding to component 6 in FIG. 2) by the robot. In the case where it is predicted, the positional deviation correction can be performed by the procedure according to the above-described embodiment by arranging the entire sensor unit (camera and light projector) at an appropriate position in the work space.
【0049】即ち、適当な位置(上記実施例におけるロ
ボット位置Aに相当)でロボットを停止させて固定配置
された投光器とカメラによる光帯形成/光帯像撮影を行
い、ロボットに把持された部品の所定面の位置・方向を
求め、それに応じてロボットを移動させて部品の所定面
をカメラに対して定間隔をもって正対させる(上記実施
例におけるロボット位置Bに相当)。そして、ロボット
に把持された部品の所定面の通常撮影と画像解析を行な
って、特定面内の特定部位(穴部、凸部の縁部など)の
基準位置(3次元位置)からのずれ量を求める。この位
置ずれ量を相殺するように、以後の組み立て作業ロボッ
ト位置を補正すれば、位置ずれ補正されたロボット作業
が実行出来る。That is, the robot is stopped at an appropriate position (corresponding to the robot position A in the above-mentioned embodiment), the light band formation / light band image photographing is performed by the light projector and the camera which are fixedly arranged, and the part gripped by the robot. Then, the position / direction of the predetermined surface is determined, and the robot is moved accordingly to directly face the predetermined surface of the component with the camera at a constant interval (corresponding to the robot position B in the above embodiment). Then, by performing normal imaging and image analysis of the predetermined surface of the part gripped by the robot, the amount of deviation from the reference position (three-dimensional position) of the specific portion (hole, edge of the convex portion, etc.) in the specific surface. Ask for. If the subsequent assembly work robot position is corrected so as to cancel out the position shift amount, the position shift corrected robot work can be executed.
【0050】更に、計測のためにカメラ手段と対象物を
正対させる移動手段及び位置ずれ補正の為に使用される
移動手段は、カメラ手段あるいは対象物を支持した状態
で制御装置によって指示された位置へ移動する能力を有
する自動機械であれば必ずしもロボットでなくとも構わ
ないことや、3次元視覚センサに含まれる投光手段とし
てはスリット光投射型の投光装置以外にもスポット光走
査型の投光装置を使用することも出来ることは、既に述
べた通りである。Further, the moving means for directly facing the camera means and the object for measurement and the moving means used for the positional deviation correction are instructed by the control device while supporting the camera means or the object. It is not always necessary to use a robot as long as it is an automatic machine having the ability to move to a position, and the light projection means included in the three-dimensional visual sensor is not limited to the slit light projection type light projection device, but is also a spot light scanning type light projection device. As mentioned above, it is possible to use the floodlighting device.
【0051】[0051]
【発明の効果】本願発明によれば、カメラ手段と対象物
の距離が変化するような場合にあっても正確な位置計測
を行なうことが出来る。また、その計測結果に基づいて
対象物間の位置ずれを精度良く補正することが可能とな
る。本願発明の位置ずれ補正装置をロボットによる組み
立て作業、加工作業等に適用すれば、本願発明に従った
位置計測とそれに基づく位置ずれ補正の双方にロボット
を効果的に利用してロボット作業の精度を向上させるこ
とが出来る。According to the present invention, accurate position measurement can be performed even when the distance between the camera means and the object changes. Further, it becomes possible to accurately correct the positional deviation between the objects based on the measurement result. If the position shift correction apparatus of the present invention is applied to assembly work, processing work, etc. by a robot, the accuracy of robot work can be improved by effectively using the robot for both position measurement according to the present invention and position shift correction based on the position measurement. Can be improved.
【0052】本願発明の位置ずれ補正方法をロボットに
よる組み立て作業、加工作業等に適用すれば、本願発明
に従った位置計測とそれに基づく位置ずれ補正の双方に
ロボットを効果的に利用してロボット作業の精度を向上
させることが出来る。When the position deviation correcting method of the present invention is applied to assembly work, processing work, etc. by a robot, the robot work is effectively used for both the position measurement according to the present invention and the position deviation correction based on the position measurement. The accuracy of can be improved.
【図面の簡単な説明】[Brief description of drawings]
【図1】本願発明を実施する際に利用されるシステム構
成の一例を模式的に示した要部ブロック図である。FIG. 1 is a principal block diagram schematically showing an example of a system configuration used when implementing the present invention .
【図2】小型ロボットの組み立て作業における位置ずれ
補正に本願発明の装置を利用する場合の全体配置を表わ
した模式図である。FIG. 2 is a schematic diagram showing an overall arrangement when the apparatus of the present invention is used for positional deviation correction in the assembly work of a small robot.
【図3】図2に示した配置で、位置ずれを補正して部品
の組み付け作業を実行する際の処理手順の概略を表わし
たフローチャートである。FIG. 3 is a flowchart showing an outline of a processing procedure for correcting a positional deviation and performing a component assembling work in the arrangement shown in FIG.
1 ロボットコントローラ 2 画像処理装置 3 センサ部コントローラ 4 被計測対象物 5 機構部 6 組み付け部品 10 センサ部 11 投光器 12 CCDカメラ 20 ロボット 21〜23 ロボットアーム 50 ベース 51 回転軸 52 アーム 53 取り付け面 54 穴 A 光帯撮影ロボット位置 B 通常撮影ロボット位置 C CCDカメラの光軸 H ハンド 1 Robot controller 2 Image processing device 3 Sensor controller 4 Object to be measured 5 Mechanical part 6 Assembly parts 10 Sensor part 11 Floodlight 12 CCD camera 20 robots 21-23 Robot arm 50 base 51 rotation axis 52 arms 53 Mounting surface 54 holes A Optical band shooting robot position B Normal shooting robot position C CCD camera optical axis H hand
フロントページの続き (56)参考文献 特開 平3−92712(JP,A) 特開 昭60−183509(JP,A) 特開 平1−116401(JP,A) 特開 平5−305588(JP,A) 特開 平3−281182(JP,A) 特開 平7−248209(JP,A) 特開 昭59−93293(JP,A) (58)調査した分野(Int.Cl.7,DB名) G01B 11/00 B25J 19/04 Continuation of front page (56) Reference JP-A-3-92712 (JP, A) JP-A-60-183509 (JP, A) JP-A 1-116401 (JP, A) JP-A-5-305588 (JP , A) JP 3-281182 (JP, A) JP 7-248209 (JP, A) JP 59-93293 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB) Name) G01B 11/00 B25J 19/04
Claims (7)
に光帯を形成する投光手段と、カメラ手段と、該カメラ
手段によって獲得された映像信号を解析する画像解析手
段を備えた3次元視覚センサを用いて対象物の位置を計
測する装置であって、 前記投光手段を用いて対象物の所定面上に光帯を形成す
る手段と、 前記対象物の所定面上に光帯が形成された状態で前記カ
メラ手段を用いて前記対象物を撮影し、前記対象物の前
記所定面上に形成された光帯の映像を含む映像を前記画
像解析手段を用いて解析することにより、前記対象物の
前記所定面の3次元的な位置を求める手段と、 該求められた所定面の3次元的な位置に基づいて、前記
カメラ手段と前記対象物の前記所定面を予め定められた
間隔をもって正対させる手段と、 該正対状態の下で前記カメラ手段を用いて前記対象物を
撮影し、前記対象物の前記所定面の映像を含む映像を前
記画像解析手段を用いて解析することにより、前記対象
物の前記所定面内の特定部位に関する3次元的な位置情
報を得る手段を備えたことを特徴とする前記装置。1. A light projecting means for projecting light toward an object to form a light band on the object , a camera means, and an image signal acquired by the camera means. Image analysis
A device for measuring the position of an object using a three-dimensional visual sensor having a step , wherein an optical band is formed on a predetermined surface of the object using the light projecting means .
Means for photographing the object using the camera means in a state where a light band is formed on a predetermined surface of the object, and an image of the light band formed on the predetermined surface of the object. by analyzed using the image analysis means an image comprising, means for determining three-dimensional position of the predetermined plane of the object, based on the three-dimensional position of the determined predetermined surface, wherein A means for causing the camera means and the predetermined surface of the object to face each other at a predetermined interval; and, under the facing condition, the object is photographed using the camera means, and the predetermined surface of the object. By analyzing an image including the image of the object using the image analysis means, the three-dimensional position information regarding the specific part of the object in the predetermined plane is obtained.
An apparatus as described above, characterized in that it comprises means for obtaining information .
面を予め定められた間隔をもって正対させる手段が、前
記カメラ手段を支持したロボットであることを特徴とす
る請求項1に記載の装置。2. The means for causing the camera means and the predetermined surface of the target object to face each other at a predetermined interval is a robot supporting the camera means .
The device according to claim 1, wherein
面を予め定められた間隔をもって正対させる手段が、前
記対象物を支持したロボットであることを特徴とする請
求項1に記載の装置。Wherein means for confronting with a predetermined interval said predetermined surface of said camera means and said object, characterized in that it is a robot supporting the object 請
The apparatus according to claim 1 .
1の対象物上に光帯を形成する投光手段と、カメラ手段
と、該カメラ手段によって獲得された映像信号を解析す
る画像解析手段を備えた3次元視覚センサを用いて前記
第1の対象物の位置を計測し、該計測結果に基づいて前
記第1の対象物と第2の対象物の間で予定されている相
対的位置関係からのずれを補正する対象物の位置ずれ補
正装置であって、 前記投光手段を用いて前記第1の対象物の所定面上に光
帯を形成する手段と、 前記第1の対象物の所定面上に光帯が形成された状態で
前記カメラ手段を用いて前記第1の対象物を撮影し、前
記第1の対象物の前記所定面上に形成された光帯の映像
を含む映像を前記画像解析手段を用いて解析することに
より、前記第1の対象物の前記所定面の3次元的な位置
を求める手段と、 該求められた所定面の3次元的な位置に基づいて、前記
カメラ手段と前記第1の対象物の前記所定面を予め定め
られた間隔をもって正対させる手段と、 該正対状態の下で前記カメラ手段を用いて前記第1の対
象物を撮影し、前記第1の対象物の前記所定面の映像を
含む映像を前記画像解析手段を用いて解析することによ
り、前記第1の対象物の前記所定面内の特定部位に関す
る3次元的な位置情報を得る手段と、 該得られた前記特定部位に関する3次元的な位置情報に
基づいて、前記第1の対象物と前記第2の対象物の間で
予定されている相対的位置関係からのずれを求め、該ず
れを解消するように前記第1の対象物と前記第2の対象
物の相対的な位置関係を補正する手段を備えたことを特
徴とする前記装置。4. A light projecting means for projecting light toward a first object to form a light band on the first object, a camera means, and a video signal acquired by the camera means. The position of the first object is measured using a three-dimensional visual sensor having an image analysis means for analysis , and the position between the first object and the second object is scheduled based on the measurement result. position of the object shifted complement to correct a deviation from the relative positional relationship is
A positive device , a means for forming a light band on a predetermined surface of the first object using the light projecting means, and a state in which a light band is formed on the predetermined surface of the first object And capturing an image of the first object using the camera means, and analyzing an image including an image of a light band formed on the predetermined surface of the first object using the image analysis means. Means for obtaining the three-dimensional position of the predetermined surface of the first object, and the camera means and the first object based on the obtained three-dimensional position of the predetermined surface. A means for directly facing the predetermined surface with a predetermined interval; and, under the facing condition, the camera means is used to photograph the first object, and the predetermined surface of the first object is photographed. By analyzing an image including an image using the image analysis means, the first object of the first Means for obtaining three-dimensional position information regarding a specific portion within a predetermined plane, and the first object and the second object based on the obtained three-dimensional position information regarding the specific portion. A means for determining a deviation from a relative positional relationship planned between the two and correcting the relative positional relationship between the first object and the second object so as to eliminate the deviation. Special
The above device for collecting .
記所定面を予め定められた間隔をもって正対させる手段
が、前記カメラ手段を支持したロボットである請求項4
に記載の装置。5. A means for causing the camera means and the predetermined surface of the first object to face each other at a predetermined interval.
Is a robot that supports the camera means.
The device according to .
記所定面を予め定められた間隔をもって正対させる手段
が、前記第1の対象物を支持したロボットであることを
特徴とする請求項4に記載の装置。6. A means for causing the camera means and the predetermined surface of the first object to face each other at a predetermined distance.
Is a robot supporting the first object.
The device of claim 4 characterized .
間で予定されている相対的位置関係からのずれを解消す
るように前記第1の対象物と前記第2の対象物の相対的
な位置関係を補正する手段が、前記第1または前記第2
の対象物を支持したロボットであることを特徴とする請
求項4に記載の装置。7. The first object and the second object so as to eliminate a deviation from a predetermined relative positional relationship between the first object and the second object. Means for correcting the relative positional relationship between the first and second
A contract that is a robot that supports the object of
The apparatus according to claim 4 .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10436394A JP3442140B2 (en) | 1994-04-20 | 1994-04-20 | Position measurement device and position deviation correction device using three-dimensional visual sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10436394A JP3442140B2 (en) | 1994-04-20 | 1994-04-20 | Position measurement device and position deviation correction device using three-dimensional visual sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07286820A JPH07286820A (en) | 1995-10-31 |
JP3442140B2 true JP3442140B2 (en) | 2003-09-02 |
Family
ID=14378750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10436394A Expired - Fee Related JP3442140B2 (en) | 1994-04-20 | 1994-04-20 | Position measurement device and position deviation correction device using three-dimensional visual sensor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3442140B2 (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3973182B2 (en) * | 1998-07-27 | 2007-09-12 | アイシン高丘株式会社 | Cast hole position detection method |
JP4568978B2 (en) * | 2000-09-13 | 2010-10-27 | 株式会社安川電機 | Manipulator device |
JP2003136465A (en) * | 2001-11-06 | 2003-05-14 | Yaskawa Electric Corp | Three-dimensional position and posture decision method of detection target object and visual sensor of robot |
DE102004005574B3 (en) * | 2004-02-05 | 2005-07-14 | Daimlerchrysler Ag | Robot system with tool, camera and light source for manipulating tool for processing workpiece has light source and camera independently movable in order to illuminate field of view from different directions |
EP1752263B1 (en) * | 2005-08-10 | 2008-07-16 | Honda Research Institute Europe GmbH | Increasing robustness of online calibration through motion detection |
FR2922639B1 (en) * | 2007-10-23 | 2009-12-11 | Peugeot Citroen Automobiles Sa | METHOD AND DEVICE FOR MEASURING GAMING AND FLASHING BETWEEN PARTS FIXED ON AN ASSEMBLY IN THE ABSENCE OF ONE OF THEM |
KR101042085B1 (en) * | 2008-10-27 | 2011-06-16 | 한국항공우주산업 주식회사 | Robotic drilling system and the method |
TWI404609B (en) * | 2010-10-21 | 2013-08-11 | Ind Tech Res Inst | Parameters adjustment method of robotic arm system and adjustment apparatus |
JP6025386B2 (en) * | 2012-05-02 | 2016-11-16 | キヤノン株式会社 | Image measuring apparatus, image measuring method, and image measuring program |
CN104330025B (en) * | 2014-10-22 | 2016-12-07 | 中国计量学院 | Industrial robot apparatus for detecting position and posture |
CN106144582A (en) * | 2016-08-30 | 2016-11-23 | 苏州康贝尔电子设备有限公司 | Seat assembly fixed by a kind of mechanical hand for LED automatic material receptacle |
DE102017007737A1 (en) * | 2017-08-17 | 2019-02-21 | Lemnatec Gmbh | Method and device for detecting an image of a plant with a sensor device |
JP7035467B2 (en) * | 2017-11-13 | 2022-03-15 | 株式会社Ihi | Processing equipment |
CN109262659B (en) * | 2018-12-20 | 2019-04-02 | 中国铁建重工集团有限公司 | A kind of zero adjustment method and apparatus of joint of mechanical arm sensor |
WO2021118702A1 (en) | 2019-12-12 | 2021-06-17 | Mujin, Inc. | Method and computing system for performing motion planning based on image information generated by a camera |
CN113450407B (en) * | 2021-05-14 | 2023-10-13 | 东莞市李群自动化技术有限公司 | Positioning method, operation method, electronic device, track device, and storage medium |
CN114619489A (en) * | 2022-04-01 | 2022-06-14 | 西南交通大学 | System and method for recognizing and correcting coordinates of mechanical arm conveyed object based on image processing |
CN116447978B (en) * | 2023-06-16 | 2023-10-31 | 先临三维科技股份有限公司 | Hole site information detection method, device, equipment and storage medium |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5993293A (en) * | 1982-11-19 | 1984-05-29 | 株式会社日立製作所 | Visual device for robot |
JPH061162B2 (en) * | 1984-03-02 | 1994-01-05 | 株式会社日立製作所 | Visual device |
JPH07119576B2 (en) * | 1987-10-30 | 1995-12-20 | ファナック株式会社 | Parallax correction method for visual sensor |
JPH0392712A (en) * | 1989-09-05 | 1991-04-17 | Fanuc Ltd | Three-dimensional position recognition by use of image processing device and distance measuring sensor |
JPH03281182A (en) * | 1990-03-28 | 1991-12-11 | Shinko Electric Co Ltd | Coordinate correcting method for moving robot |
JPH05305588A (en) * | 1992-04-28 | 1993-11-19 | Toyoda Mach Works Ltd | Control device for visual sense robot |
JP2791275B2 (en) * | 1994-03-11 | 1998-08-27 | 宇宙開発事業団 | Object position / posture measuring device and component assembly device equipped with the same |
-
1994
- 1994-04-20 JP JP10436394A patent/JP3442140B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH07286820A (en) | 1995-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3442140B2 (en) | Position measurement device and position deviation correction device using three-dimensional visual sensor | |
EP1875991B1 (en) | Measuring system and calibration method | |
US9050728B2 (en) | Apparatus and method for measuring tool center point position of robot | |
EP0812662B1 (en) | Composite sensor robot system | |
US6414711B2 (en) | Apparatus for correcting movement path of a robot and a method therefor | |
US7532949B2 (en) | Measuring system | |
US11267142B2 (en) | Imaging device including vision sensor capturing image of workpiece | |
JP2767340B2 (en) | 3D position / posture measurement method for objects | |
US7657082B2 (en) | Method, apparatus and system for measuring a welding-groove position | |
JP3946716B2 (en) | Method and apparatus for recalibrating a three-dimensional visual sensor in a robot system | |
US8306660B2 (en) | Device and a method for restoring positional information of robot | |
JP3644991B2 (en) | Coordinate system coupling method in robot-sensor system | |
US5715375A (en) | Robot control system for executing multi-layer welding | |
KR102091917B1 (en) | Gear mechanism assembly and assembly method | |
JPH0435885A (en) | Calibration method for visual sensor | |
US20190091866A1 (en) | Robot controller for executing calibration, measurement system and calibration method | |
JPH09222913A (en) | Teaching position correcting device for robot | |
JPH08328624A (en) | Method for coupling sensor and robot and robot system | |
CN116194252A (en) | Robot system | |
JP3175623B2 (en) | Robot control device | |
JPH05337785A (en) | Grinding path correcting device of grinder robot | |
JPH05301195A (en) | Camera position slippage detecting method in visual sensor | |
JPS63254575A (en) | Calibration device for visual sensor | |
JP2839009B2 (en) | Automatic calibration method for positioning camera | |
JPH085351A (en) | Slit beam calibration method of three-dimensional visual sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030513 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080620 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090620 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100620 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100620 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |