JPH05301195A - 視覚センサにおけるカメラ位置ずれ検出方法 - Google Patents

視覚センサにおけるカメラ位置ずれ検出方法

Info

Publication number
JPH05301195A
JPH05301195A JP12927192A JP12927192A JPH05301195A JP H05301195 A JPH05301195 A JP H05301195A JP 12927192 A JP12927192 A JP 12927192A JP 12927192 A JP12927192 A JP 12927192A JP H05301195 A JPH05301195 A JP H05301195A
Authority
JP
Japan
Prior art keywords
jig
camera
robot
visual sensor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP12927192A
Other languages
English (en)
Inventor
Atsushi Watanabe
淳 渡辺
Bunichi Terawaki
文一 寺脇
Kazuhiko Akiyama
和彦 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP12927192A priority Critical patent/JPH05301195A/ja
Publication of JPH05301195A publication Critical patent/JPH05301195A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Control Of Position Or Direction (AREA)
  • Manipulator (AREA)

Abstract

(57)【要約】 【目的】 視覚センサのカメラ位置ずれを簡単に検出で
きるようにする。 【構成】 視覚センサとロボツトの座標系を統合するキ
ャリブレーション終了後、ロボットR1,R2に治具G
を取付け、ロボットR1,R2をカメラ位置ずれ検出位
置P1として位置決めする。視覚センサのカメラ22a
〜22cで検出された画像上の治具位置を記憶すると共
に、治具をX,Y,Z軸方向に所定量移動させて、各位
置の画像上の位置をそれぞれ基礎データとして記憶す
る。カメラ位置ずれ検出のときには、ロボットを上記位
置P1に位置決めし、画像治具位置を検出する。また治
具をX,Y,Z軸方向に所定量移動させて画像治具位置
を検出し、ロボット位置が対応する検出治具位置と基礎
データを比較し、1つでも一致しないときはカメラ位置
ずれとする。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、産業用ロボットの作業
対象物の位置を検出する視覚センサに関し、特に、対称
物の3次元位置・姿勢の検出システムにおける視覚セン
サのカメラずれ検出方法に関する。
【0002】
【従来の技術】産業用ロボットの視覚として使用される
産業用視覚センサは、位置決めされていない対称物をそ
のカメラにより対称物の特定な位置の画像を取り込み、
該画像をに基づいて対称物の位置を検出する。そして、
この位置をロボット制御装置に送信し、ロボット制御装
置は、この視覚センサから送られてきた位置情報に基づ
いてロボットの動作位置を補正する。ロボットが視覚セ
ンサから送られてきた位置情報に基づいて、その動作位
置を補正するには、視覚センサとロボットが共通の座標
系をもつ必要がある。通常、視覚センサのカメラの視野
の大きさ、焦点、絞り等、カメラ及びレンズの調整を行
った後カメラの位置を固定し、キャリブレーションとい
われる座標系を統合するための作業を行い視覚センサと
ロボットに共通の座標系を設定している。
【0003】この共通の座標系を設定する作業は作業量
が多く、特に対称物の3次元の位置と姿勢を検出する3
次元システムにおいては、カメラが3台となり各カメラ
とロボットとの共通座標系を設定することは困難な作業
となる。
【0004】
【発明が解決しようとする課題】上述したキャリブレー
ション作業を行った後に、カメラの位置・姿勢が動いて
しまった場合、視覚センサは上記共通座標系における対
称物の正しい位置を認識することができなくなる。視覚
センサが、対称物の位置の認識を常に高い精度をもって
行おうとすれば、たとえわずかでもカメラが移動する
と、対称物の正確な位置が検出できず、ロボット作業の
精度を悪くする結果となる。
【0005】カメラの移動量が大きければ、人間がカメ
ラを見て移動したことを検出できるが、カメラの移動量
が小さいと人間の目でカメラが移動したことを判断する
ことは難しい。また、ロボットの動作位置の補正の精度
が悪くなった場合、この精度低下の原因が、視覚センサ
のカメラの位置ずれによるものか、それとも他の原因に
よるものか判断することも難しい。そこで、本願発明の
目的は、視覚センサのカメラ位置ずれを簡単に検出でき
るカメラ位置ずれ検出方法を提供することにある。
【0006】
【課題を解決するための手段】本発明は、視覚センサに
よって対称物の特定位置を検出して該検出された位置デ
ータに基づいて作業対称物の3次元位置・姿勢を検出し
てロボットの3次元動作位置の補正行う視覚センサシス
テムにおけるカメラ位置ずれ検出方法に関するもので、
視覚センサとロボット座標系の統一座標系を設定するキ
ャリブレーションを行った後、ロボットハンドに治具を
取付け、視覚センサのカメラ視野内に上記治具を移動さ
せカメラ位置ずれ検出開始位置として位置決めし、該位
置における視覚センサで検出される画像治具位置を検出
し記憶すると共にX,Y,Z軸方向にそれぞれ所定量移
動したときの各位置における画像治具位置を同様に検出
記憶しておき、カメラ位置ずれを検出するときには、ロ
ボットハンドに上記治具を取付け、上記カメラ位置ずれ
検出開始位置に位置決めして画像治具位置を検出し、か
つX,Y,Z軸方向にそれぞれ上記所定量移動したとき
の各位置における画像治具位置を求め、ロボット位置が
それぞれ対応する上記2つの画像治具位置を比較し、1
つでも等しくないときにはカメラ位置ずれがあるとして
検出するようにする。
【0007】
【作用】キャリブレーション終了後、ロボットハンドに
治具を取付けカメラの視野内に治具が存在するようにロ
ボットを位置決めし、このロボットの位置をカメラ位置
ずれ検出開始位置として記憶すると共に、視覚センサで
検出された画像治具位置も記憶する。また、ロボットを
駆動し治具をX,Y,Z軸方向に所定量それぞれ移動さ
せたさきの視覚センサで検出した画像治具位置をそれぞ
れ記憶しておき、これらデータをカメラ位置ずれ検出の
基礎データとする。そして、カメラ位置ずれを検出する
ときには、ロボットハンドに上記治具を取付け、ロボッ
トを上記カメラ位置ずれ検出開始位置に位置決めし、視
覚センサで画像治具位置を検出する。またロボットを駆
動し治具をX,Y,Z軸方向に上記所定量同じだけそれ
ぞれ移動させて、視覚センサで画像治具位置を検出し、
上記基礎データとして記憶したデータとロボット位置が
対応する画像治具位置データを比較して1つでも一致し
ないときにはカメラの位置がずれているとする。これに
より、カメラの位置・姿勢のずれを検出する。
【0008】
【実施例】図1は、本発明の方法を実施する画像処理装
置を用いた視覚センサの要部ブロック図である。図中、
11は主中央処理装置(以下、メインCPUという)
で、このメインCPU11には、バス21を介して、カ
メラインタフェース12、画像処理プロセッサ13、コ
ンソールインタフェース14、通信インタフェース1
5、モニタインタフェース16、画像メモリ(フレーム
メモリ)17、コントロールソフト用メモリ18、プロ
グラムメモリ19、データメモリ20が接続されて、全
体として画像処理装置10を構成している。
【0009】カメラインタフェース12には製造ライン
上に順次送られてくる対象物を撮影するための3台のカ
メラ22a〜22cが接続されている。画像メモリ17
には、各カメラ22a〜22cで撮影されグレイスケー
ル画像として処理された対象物についての画素データが
格納される。画像処理プロセッサ13は画像メモリ17
に格納された画像を処理して、対象物の識別をしたり、
その位置、姿勢を検出する。コンソールインタフェース
14にはコンソール23が接続されている。このコンソ
ール23は各種の指令キーやテンキーが設けられ、デー
タ設定、及びアプリケーションプログラムの入力、編
集、登録、実行等の操作を行う。さらに、このコンソー
ル23には表示画面を有し、指令・操作した内容、デー
タ設定のためのメニュー、及びプログラムのリスト等が
表示されるようになっている。
【0010】通信インタフェース15にはロボットが接
続されている。モニタインタフェース16にはモニタテ
レビ24が接続されていて、画像メモリ17に格納され
ている画像及び各カメラ22a〜22cがとらえた生の
映像が切換え表示できるようになっている。コントロー
ルソフト用メモリ18にはメインCPUが視覚センサシ
ステムを制御するためのコントロールプログラムが格納
されている。プログラムメモリ19にはユーザが作成す
るアプリケーションプログラムが格納されている。デー
タメモリ20は不揮発性RAMで構成されて、教示デー
タ等画像処理上の諸データが記憶される。
【0011】以上の構成は従来の視覚センサの構成と同
様であり、このような視覚センサを使用してロボット作
業対象物の位置を検出し、該視覚センサからの情報に基
づいてロボット制御装置は動作位置を補正して作業を行
う。視覚センサとロボットは共通の座標系を得るため
に、まずカメラの視野の大きさ、焦点、絞り等の調整を
行った後、各カメラの位置を固定しキャリブレーション
を行う。そして、本発明においては、このキャリブレー
ション終了後に何等かの理由で固定したカメラが移動し
たとき、カメラの位置ずれを検出するためのデータの記
憶処理を行う。
【0012】図2は本発明が実施するカメラ位置ずれ検
出のためのデータ取得とカメラ位置ずれ検出のための方
法を説明するための説明図であり、視覚センサが容易に
認識でき、位置が検出できる形状の治具Gを用意し、こ
の治具GをロボットR1のハンドに取り付ける。そし
て、そしてロボットR1を駆動しハンド先端に取り付け
た治具Gをカメラ22aの視野のほぼ中央に位置づけ
る。そして、位置ずれ検出のためのデータ取得指令をロ
ボット制御装置に入力すると、ロボット制御装置及び視
覚センサのメインCPU11は図3に示すカメラ位置ず
れ検出のためのデータ取得処理を開始する。
【0013】ロボット制御装置のプロセッサは位置決め
されたロボットの位置P1(各関節軸の回転角)を位置
ずれ検出開始位置としてメモリに記憶する(ステップS
1)。次に視覚センサに起動をかける(ステップS
2)。視覚センサのメインCPU11は該起動指令を通
信インタフェイス15を介して受信すると(ステップT
1)、カメラインターフェイス12を介してカメラ22
aにスナップ指令を出し、該カメラ22aからの画像を
取り込み、画像処理プロセッサ13でグレイスケール濃
淡処理を行ってフレームメモリに治具の画像を格納す
る。そして、画像処理プロセッサで従来と同様の方法で
画像の認識処理を行い画像上の治具の位置(重心位置)
p1を求め、データメモリ20に記憶する(ステップT
2)。治具の位置p1を記憶した後、記憶完了信号をロ
ボット制御装置に送信する(ステップT3)。
【0014】ロボット制御装置では、この記憶完了信号
を受信すると(ステップS3)、X軸方向に設定量Δx
ロボットを移動させ視覚センサに起動をかける(ステッ
プS4,S5)。この起動信号を視覚センサが受信する
と、メインCPU11は(ステップT2,T3と同様に
画像上の治具の位置p2を求め記憶した後、記憶完了信
号を送出する(ステップT4〜T6)。この信号を受け
てロボット制御装置はY軸方向に設定量Δyロボットを
移動させ、視覚センサに起動をかける(ステップS6〜
S8)。視覚センサは起動信号を受信するとステップT
2〜T3と同様に画像上の治具の位置p3を求め記憶し
た後、記憶完了信号を送出し(ステップT7〜T9)、
次にロボット制御装置はZ軸方向に設定量Δzだけロボ
ットを移動させ視覚センサに起動をかけ(ステップS9
〜S11)この処理を終了する。
【0015】一方、視覚センサのメインCPUは、起動
指令を受信すると前述同様に画像治具位置p4を求め記
憶した後この処理を終了する。
【0016】以上の処理によって視覚センサはデータメ
モリ20に、ロボットがP1の位置での画像治具位置p
1、ロボットがP1の位置よりX軸方向にΔx移動した
ときの画像治具位置p2、さらにY軸方向にΔy移動し
たときの画像治具位置p3、さらにロボットがZ軸方向
にΔzだけ移動したときの画像治具位置p4を記憶して
カメラ22aの位置ずれ検出のためのデータ取得処理を
終了する。他のカメラ22b,22cに対しても同様の
処理を行い、それぞれ4点の画像治具位置データを得て
データメモリ20に記憶しておく。
【0017】以上のようにキャリブレーション終了後、
カメラ位置ずれ検出のためのデータ取得処理を行った
後、通常の、視覚センサで対称物を認識しその位置を検
出し、ロボツト制御装置では視覚センサから送られてく
る対称物の位置情報に基づいて、動作位置の補正を行い
ながら作業を実行することになる。一方、何等かの理由
でカメラが移動したと思われるとき、ロボットの動作位
置補正動作の精度が低下しているとき、さらには作業を
開始する前等に、カメラ位置ずれ検出処理を実行させ
る。このカメラ位置ずれ処理は図4に示す処理であり、
ロボットのハンドに上記治具Gを取付、ロボット制御装
置にカメラ位置ずれ検出指令を入力すると、ロボツト制
御装置のプロセッサは図4のステップA1〜A11の処
理を実行し、視覚センサのメインCPU11はステップ
B1〜B14の処理を実行する。
【0018】カメラ位置ずれ検出指令が入力されると、
ロボット制御装置のプロセッサはまず、図3のステップ
S1で記憶したカメラ位置ずれ検出開始位置P1の位置
にロボットを位置決めし(ステップA1)、視覚センサ
に起動をかける(ステップA2)。視覚センサはこの起
動指令を受信すると図3のステップT1〜T3と同様
に、画像上の治具の位置q1を検出しデータメモリ22
に記憶し、記憶完了信号をロボット制御装置に送信する
(ステップB1〜B3)。この記憶完了信号を受信し、
以下、ロボット制御装置のプロセッサは図3のステップ
S3〜S11の処理と同一の処理を実行する(ステップ
A3〜A11)と共に、視覚センサのメインCPU11
は図3のステップT4〜T11と同様の処理をおこない
(ステップB4〜B11)、ロボットが位置P1から順
次X,Y,Z軸方向にそれぞれΔx,Δy,Δz移動し
たときの画像治具位置q2,q3,q4の4点を求め記
憶する。こうして治具の位置4点が求められると視覚セ
ンサのメインCPU11はこの求められた4点q1,q
2,q3,q4と図3に示すカメラ位置ずれ検出のため
のデータ取得処理によって得られた治具の位置p1,p
2,p3,p4の対応する位置が等しいか否か判断する
(ステップB12)。すなわち、p1=q1か、p2=
q2か、p3=q3か、p4=q4か判断し、1つでも
一致しないものがあると、コンソール23にカメラ位置
ずれが発生していることを表示する(ステップB1
3)。また、すべて一致していれば、カメラ位置ずれな
しの表示を行い(ステップB14)、このカメラ位置ず
れ検出処理を終了する。そして、このカメラ位置ずれ検
出処理を各カメラ毎に対して行い各カメラの位置ずれを
検出する。
【0019】
【発明の効果】本発明は、ロボットハンドに治具を取り
付けて簡単に視覚センサのカメラ位置ずれを検出するこ
とができ、特に、人間の目では検出できないようなカメ
ラの位置ずれを簡単に検出することができる。しかも、
カメラ位置ずれを簡単に検出することができるから、作
業を開始する前に、本発明のカメラ位置ずれ検出を行う
ことにより、カメラ位置ずれを容易に発見でき、その結
果、作業上のトラブル発生を未然に防止できると共に、
視覚センサの画像処理能力及び信頼性が向上し、効率的
で精度の良いロボット作業が実行できる。そのため、製
造ラインの安定した稼働ができる。
【図面の簡単な説明】
【図1】本発明の一実施例の方法を実施する画像処理装
置を用いた視覚センサの要部ブロック図である。
【図2】本発明が実施するカメラ位置ずれ検出のための
データ取得とカメラ位置ずれ検出のための方法を説明す
るための説明図である。
【図3】本発明の一実施例におけるカメラ位置ずれ検出
のためのデータ取得処理のフローチャートである。
【図4】本発明の一実施例におけるカメラ位置ずれ検出
処理のフローチャートである。
【符号の説明】
R1,R2 ロボツト G 治具 22a〜22c カメラ 10 画像処理装置

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 視覚センサによって対称物の特定位置を
    検出して該検出された位置データに基づいてロボットの
    3次元動作位置の補正行う視覚センサシステムにおける
    カメラ位置ずれ検出方法において、視覚センサとロボッ
    ト座標系の統一座標系を設定した後、ロボットハンドに
    治具を取付け、視覚センサのカメラ視野内に上記治具を
    移動させカメラ位置ずれ検出開始位置として位置決め、
    該位置における視覚センサで検出される画像治具位置を
    検出し記憶すると共に、治具をX,Y,Z軸方向にそれ
    ぞれ所定量移動したときの各位置における画像治具位置
    を同様に検出記憶しておき、カメラ位置ずれを検出する
    ときには、ロボットハンドに上記治具を取付け、上記カ
    メラ位置ずれ検出開始位置に位置決めして画像治具位置
    を検出し、かつX,Y,Z軸方向にそれぞれ上記所定量
    移動したときの各位置における画像治具位置を求め、ロ
    ボット位置がそれぞれ対応する上記2つの画像治具位置
    を比較し、1つでも等しくないときにはカメラ位置ずれ
    があるとして検出するようにした視覚センサにおけるカ
    メラ位置ずれ検出方法。
JP12927192A 1992-04-23 1992-04-23 視覚センサにおけるカメラ位置ずれ検出方法 Pending JPH05301195A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12927192A JPH05301195A (ja) 1992-04-23 1992-04-23 視覚センサにおけるカメラ位置ずれ検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12927192A JPH05301195A (ja) 1992-04-23 1992-04-23 視覚センサにおけるカメラ位置ずれ検出方法

Publications (1)

Publication Number Publication Date
JPH05301195A true JPH05301195A (ja) 1993-11-16

Family

ID=15005463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12927192A Pending JPH05301195A (ja) 1992-04-23 1992-04-23 視覚センサにおけるカメラ位置ずれ検出方法

Country Status (1)

Country Link
JP (1) JPH05301195A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234521B1 (ko) * 2011-10-04 2013-02-19 대우조선해양 주식회사 작업대상물의 6자유도 위치/자세 인식방법
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP2021066008A (ja) * 2019-10-18 2021-04-30 株式会社Mujin ロボット制御のためのキャリブレーション情報を検証及び更新するための方法並びに制御システム
US11014241B2 (en) 2019-03-29 2021-05-25 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6037007A (ja) * 1983-08-08 1985-02-26 Hitachi Ltd 画像処理装置の座標変換パラメタ決定方式

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6037007A (ja) * 1983-08-08 1985-02-26 Hitachi Ltd 画像処理装置の座標変換パラメタ決定方式

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101234521B1 (ko) * 2011-10-04 2013-02-19 대우조선해양 주식회사 작업대상물의 6자유도 위치/자세 인식방법
US10906184B2 (en) 2019-03-29 2021-02-02 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11014241B2 (en) 2019-03-29 2021-05-25 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11590656B2 (en) 2019-03-29 2023-02-28 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
US11883964B2 (en) 2019-03-29 2024-01-30 Mujin, Inc. Method and control system for verifying and updating camera calibration for robot control
JP2021066008A (ja) * 2019-10-18 2021-04-30 株式会社Mujin ロボット制御のためのキャリブレーション情報を検証及び更新するための方法並びに制御システム

Similar Documents

Publication Publication Date Title
KR970005616B1 (ko) 자동 캘리브레이션(calibration) 방법
CN111331592B (zh) 机械手臂工具中心点校正装置及其方法以及机械手臂系统
JP3173042B2 (ja) ロボットの数値制御装置
JP4191080B2 (ja) 計測装置
EP1555508B1 (en) Measuring system
US6763284B2 (en) Robot teaching apparatus
JP5526881B2 (ja) ロボットシステム
JP2004351570A (ja) ロボットシステム
EP0796704A1 (en) Apparatus and method for correcting a travelling route for a robot
JPH07311610A (ja) 視覚センサを用いた座標系設定方法
JPH08210816A (ja) ロボット−視覚センサシステムにおいてセンサ座標系とロボット先端部の関係を定める座標系結合方法
JP2018167334A (ja) 教示装置および教示方法
EP2782049A2 (en) Robot system and image processing method
JP3442140B2 (ja) 3次元視覚センサを用いた位置計測装置及び位置ずれ補正装置
JPH08132373A (ja) ロボット−センサシステムにおける座標系結合方法
CN114055460B (zh) 示教方法及机器人系统
JPH0790494B2 (ja) 視覚センサのキャリブレ−ション方法
JP5573537B2 (ja) ロボットのティーチングシステム
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JPH05301195A (ja) 視覚センサにおけるカメラ位置ずれ検出方法
JPH0299802A (ja) ハンドアイを用いた視覚センサにおける座標系設定方法
JPS62106503A (ja) ロボツトの組付動作補正方法
JPH02276901A (ja) 視覚センサの位置ズレ修正方法
JP2638597B2 (ja) ビジョンシステムのプログラム作成方法
JP7509534B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法