JPS6362003A - 三次元座標変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ロボットのハンドにカメラ等の視覚装置を備
え、この視覚装置によって、搬送されるワークの正確な
搬送位置及び姿勢等を算出するための三次元座標変換方
法に係り、特に、ロボットの作動中に、この視覚装置自
体に装着ズレが発生した場合においても、自動的に、こ
のズレを補正することができる三次元座標変換方法に関
する。

（従来の技術） 近年、生産工程の自動化に伴い、例えば組立て作業にお
いては、無人搬送車等によって自動的に搬送されたワー
クをロボットによって掴み、所定の作業を行なわせてい
る。

この場合、ロボットにカメラ等による視覚術能を持たせ
、この視覚機能によって搬送されたワークの姿勢及び位
置を認識し、ロボットはワークの搬送姿勢９位置に拘ら
ず常にワークの特定の位置を掴むようにしている。この
ように、ロボットにワークの特定の位置を掴ませるには
、視覚機能を制御する視覚制御装置によって、ワークに
おけるカメラの座標系をロボットの座標系に座標変換し
、この座標変換後の信号をロボットを制御する制御装置
に出力することによって行なわれる。

第６図には、一般的に用いられている三次元座標変換方
法の処理をする三次元座標変換装置の概略構成図が示さ
れている。

同図に示すように、生産ライン上を搬送されるワークの
特徴点を画像するカメラ１は、このカメラ１からの画像
を入力する画像入力部２を介して、画像メモリ３に接続
されている。したがって、カメラ１から入力した画像は
、画像メモリ３にデジタルデータとして記憶されること
になる。

そして、画像メモリ３には、この画像メモリ３内に記憶
されているデジタルデータから座標変換に必要な特定の
パターンを抽出するギヤリプレージョンパターン抽出部
４と画像メモリ３内に記憶されているデジタルデータか
ら特徴点を抽出する特徴点抽出部８が接続されている。

また、キャリブレーションパターン抽出部４には、カメ
ラ１における座標系をロボットにおける座標系と一致さ
せる変換式の作成をする座標変換式作成部５が接続され
、この座標変換式作成部５には、当該ワークの特定のパ
ターンにあけるロボット系の座標を記憶しである絶対座
標記憶部６と、座標変換式作成部５によって作成された
変換式を記憶する変換式記憶部７とが接続されており、
座標変換式作成部５により、キャリブレーションパター
ン抽出部４によって抽出された特定のパターンの位置と
絶対座標記憶部６に記憶されているロボット系における
前記ワークの特定のパターンの位置とによって座標変換
式が作成され、この座標変換式が変換式記憶部７に記“
臆される。

さらに、変換式記憶部７には、座標変換部９を介して出
力部１０が接続されており、特徴点抽出部８によって抽
出されたワークの特徴点のカメラ系にあける座標が座標
変換部９によってロボット系の座標に変換され、出力部
１０から図示しないロボットの制ｍ装置に出力されるよ
うになっている。これにより、ロボットは、ワークの特
定の位置を掴んで移動させたり、また、定められた位置
を加工したりできることになる。

（発明が解決し°ようとする問題点〉 しかしながら、このような従来の三次元座標変換方法に
おっては、ロボットの作業中等においてカメラの装着状
態にズレ等が生じないことを前提としたものでめったた
めに、ロボットの稼働時間の経過に伴いカメラ１の装着
ボルト等が自然にゆるんで装着位置ズレが発生した場合
や、メインテナンス時にカメラ１の装着位置がズした場
合等には、ロボットの作業精度が悪化することになる。

従って、ロボットの作業精度を維持させるには、このよ
うな事態の発生を想定して、定期的にメインテナスを行
なうと共に、例えば一定時間毎に座像変換式の再作成を
行なう等の必要がある。

このため、作業精度維持のためのメインテナンスに時間
を要し、その作業も繁雑であり、また、メインテナンス
周！１１間におけるロボットの作業精度における信頼性
も低い等の種々の問題点が必った。

本発明は、このような従来の問題点に鑑みて成されたも
ので必り、カメラ１の装着１立買ズレを、ロボットの作
業中において適宜認識し、このズレを自動的に補正１−
るようにした三次元座標変換方法を提供することを［１
的とする。

（問題点を解決するための手段） 前記目的を達成するために、本発明では、ロボットのア
ームに取付けた視覚装置により、搬送された基準となる
ワークの特徴点の画像を入力し、当該基準となるワーク
における特徴点の視覚袋は系の座標をロボット系の座標
に一致させる第１変換式を算出し、次に、当該視覚装置
により、当該ロボットの作業位置以外の場所に配設した
基準パターンの画像を入力し、当該基準パターンにおけ
る当該視覚装置系の座標をロボット系の座標に一致させ
る第２変換式を紳出し、以降搬送されるワークにおける
特徴点のロボット系の座標は、前記視覚装置によって前
記基準パターンを適宜人力すると共に前記視覚装置系の
座標をロポッ１〜系の座標に一致させる変換式を適宜算
出し、当該変換式と当該第２変換式とから算出した前記
視覚装置系の偏差量を当該第１変換式によって算出した
前記ワークにおける特徴点のロボット系の座標に加算し
て求めるようにすることを特徴とする。

（作用） 以上のような方法によって、ワークの特徴点におけるロ
ボット系の座標を求めるようにすると、アームに装着さ
れている視覚装置の装着位置のズレ量は、当該視覚装置
により、適宜基準パターンを入力すると共に当該視覚装
置における視覚装置系の座標をロボット系の座標に一致
させる変換式を適宜算出し、当該変換式と当該基準パタ
ーンにおける当該視覚装置系の座標をロボット系の座標
に一致させるための基準式である第２変換式とから算出
することができるので、たとえロボットの作業中に当該
視覚装置のズレが発生したとしても、そのズレを認識し
、その補正をも自動的に行なうことが可能になるり、メ
インテナンスを最小限に抑えても、ロボットの作業精度
における信頼性を向上させることができる。

（実施例） 以下に、本発明の実施例を図面に基づいて詳細に説明す
る。

第１図には、本発明に係る三次元座標変換方法を処理す
る三次元座標変換装置のブロック図が示されている。

同図に示すように、生産ライン上を搬送されるワークの
特徴点及び基準パターンを躍像するカメラ１は、このカ
メラ１からの画像を入力する画像入力部２を介して、画
像メモリ３に接続されている。したがって、カメラ１か
ら入力した画像は、画像メモリ３にデジタルデータとし
て記憶されることになる。

そして、画像メモリ３には、この画像メモリ３内に記憶
されているデジタルデータから座標変換に必要な当該ワ
ークの特徴点及び当該基準パターンにおける特定のパタ
ーンを抽出するキャリブレーションパターン抽出部４と
画像メモリ３内に記憶されているデジタルデータから特
徴点を抽出する特徴点抽出部８が接続されている。また
、キャリブレーションパターン抽出部４には、キャリブ
レーションパターン抽出部４によって抽出した特定のパ
ターンのカメラ１における座標系をロボットにおける座
標系と一致させる変換式の作成をする座標変換式作成部
５が接続され、この座標変換式作成部５には、当該ワー
クの特定のパターンにおけるロボット系の座標を記憶し
である絶対座標記憶部６と、座標変換式作成部５によっ
て作成された前記ワークの特徴点の変換式を記憶する第
１変換式記憶部７Ａと、座標変換式作成部５によって作
成された前記基準パターンの特徴点の変換式を記憶する
第２変換式記憶部１１と、座標変換式作成部５によって
作成された前記基準パターンの特徴点の現在の座標変換
式を作成する現在座標変換式作成部１２とが夫々接続さ
れている。したがって、第１変換式記憶部７Ａには、カ
メラ１によって搬像したワークにおける特徴点のロボッ
ト系への変換式が、第２変換式記憶部１１には、カメラ
１によって搬像した基準パターンにおける特徴点のロボ
ット系への変換式が夫々格納されることになる。

さらに、第２変換式記憶部１１と現在座標変換式作成部
１２は、カメラの装着ズレ量である偏差量を検出する偏
差量検出部１３を介して、第１変換式記憶部７Ａに記憶
されている変換式によって偏差量を補正する偏差補正部
１４に接続されており、偏差補正部１４は、座標変換部
９を介して出力部１０が接続されている。そして、座標
変換部９では、特徴点抽出部８によって抽出されたワー
クの特徴点のカメラ系における座標がＢ差補正部１４か
ら出力された偏差量によって補正が加えられ、この補正
後のワークの座標値が出力部１０ｈ１ら図示しないロボ
ットの制御装置に出力されるようになっている。

また、第２図には、本発明に係る三次元座標変換装置周
辺の概略構成図が示されている。

カメラ１は、カメラ１から出力された画像に関するアナ
ログデータをデジタルデータに変換するＡ／［）変換器
２３を介して、視覚制御装置２０内に設けられているＩ
１０ボート２４に接続されている。

また、Ｉ１０ポート２４には、視覚制御装置２０の動作
プログラムを記憶しているＲＯＭ２５と送られてくる各
種のデータを記憶するＲＡＭ２６を接続し、ＲＯＭ２５
内の動作フローチャートにより、視覚制御装置２０を総
括的に制御するＣＰＵ２７と、ロボット１５の制御をす
るロボット制御装置１９内に設けられたＩ１０ボート２
８が接続されている。ざらに、Ｉ１０ポート２８には、
ロボット制御装置１９の動作プログラムを記憶している
ＲＯＭ２９内送られてくる各種のデータを記憶するＲＡ
Ｍ３０を接続し、ＲＯＭ２９内の動作フローチャートに
より、ロボット制御装置１９を総括的に制御するＣＰＵ
３１と、ＣＰＵ３１の命令により、ロボット１５を構成
するアーム等に駆動信号を出力する駆動回路３２が接続
されている。

以上のように構成された三次元座標変換装置は、第５図
に示す動作フローチャートに基づいて、次のように動作
することになる。以下に、この動作フローチャートを第
１図乃至第４図を参照して詳細に説明する。

ステップ１ 第４図に示すように、ロボット１５のアーム１５Ａに装
着されたカメラ１は、第３図に示すように、コンベア２
１上を順次１１ｆｆｌ送されるワーク２２の特徴点（こ
の特徴点は、通常、ワークの種類毎に予め定められてい
る。）を搬像し、この画像をＡ／Ｄ変換器２３によって
デジタルデータに変換し、このデジタルデータを、視覚
制御装置２０内に備えられたＩ１０ポート２４を介して
ＲＡＭ２６に記憶する。このＲＡＭ２６は、第１図に示
す画像メモリ３として作用する。

ステップ２ ＣＩ）　Ｕ　２７は、ステップ１において記憶したデジ
タルデータから前記ワークに予め定められた特徴点を抽
出すると共にこの特徴点の視覚系における座標を算出し
、この座標と、ＲＡＭ２６に予め記憶したロボット座標
系におＣプる前記特徴点の座標とから、当該視覚系にお
ける座標を当該ロボット系における座標に変換する第１
座標変換式を算する。この場合のＣＰＵ２７は、キャリ
ブレーションパターン抽出部４及び座標変換式作成部５
として作用し、ＲＡＭ２６は、絶対座標記憶部６として
作用する。

ステップ３ ＣＰＵ２７は、ステップ２において算出した第１座標変
換式をＲＡＭ２６に記憶する。この場合のＲＡＭ２６は
、第１変換式記憶部７△として作用する。

ステップ４ カメラコを装着したアーム１５△は、ロボット制御装置
１９からの命令によって、第３図に示すようなロボット
１５の退避位置に配設されたキャリブレーションパター
ン表示台１６上に移動し、カメラ１は、このキャリブレ
ーションパターン表示台１６上に描かれているキャリブ
レーションパターン１７を蹟像し、このパターンの各黒
丸１８゜・・・、１８の画像をＡ／Ｄ変換器２３によっ
てデジタルデータに変換し、このデジタルデータを、視
覚制御装置２０内に備えられたＩ１０ボート２４を介し
てＲＡＭ２６に記憶する。このＲＡ〜１２６は、第１図
に示す画像メモリ３として作用する。

ステップ５ ＣＰｔＪ２７は、ステップ４において記ｎしたキャリブ
レーションパターン１７の各黒丸１８．・・・。

１８におりるデジタルデータとＲＡＭ２６に予め記・隠
したロボット座標系における前記各黒丸１８゜・・・、
１８におけるデジタルデータとから、当該視覚系におけ
る座標を当該ロボット系における座標に変換する第２座
標変換式を算出する。この場合のＣＰｔＪ２７は、キャ
リブレーションパターン抽出部４及び座標変換式作成部
５として作用し、ＲＡＭ２６は、絶対用標記゛圓部６と
して作ＩＩする。

ステップ６ ＣＰＵ２７は、ステップ５において算出した第２座標変
換式をＲＡ　Ｍ　２６に記憶する。この場合のＲＡＭ２
６は、第２変換式記憶部１１として作用する。

ステップ７ ０ボツト１５は、コンベア２１を搬送されてくるワーク
２２に所定の作業を行なう毎に、ステップ４において行
なったようにしてキャリブレーションパターン１７を搬
像し、このパターンの各黒丸１８．・・・、１８の画像
をＡ／Ｄ変換器２３によってデジタルデータに変換し、
このデジタルデータを、視覚制御装置２０内に備えられ
たＩ１０ポート２４を介してＲＡＭ２６に記憶する。

ステップ８ ＣＰＵ２７は、キャリブレーションパターン１７の各黒
丸１８．・・・、１８におけるデジタルデータとＲＡＭ
２６に予め記憶したロボット座標系におりる前記各黒丸
１８．・・・、１８におけるデジタルデータとから、当
該視覚系における座標を当該ロボット系における座標に
変換する現在座標変換式を算出する。この場合のＣＰＵ
２７は、キャリブレーションパターン抽出部４．座標変
換式作成部５及び現在座標変換式作成部１２として作用
し、ＲＡＭ２６は、絶対座標記憶部６として作用する。

ステップ９ ＣＰＵ２７は、ＲＡＭ２６に記憶されている第２変換式
とステップ８において算出した現在座標変換式とからカ
メラ１の装着ズレである偏差量を算出する。この時のＣ
ＰＵ２７は、偏差ｍｌｌ郡部３として作用する。

ステップ１０ ＣＰＵ２７は、カメラ１から予め定められたワークの特
徴点をＶＲ像し、この画像をＡ／Ｄ変換器２３によって
デジタルデータに変換し、このデジタルデータを、視覚
制御装置２０内に備えられたＩ１０ポート２４を介して
ＲＡＭ２６に記憶する。この時のＣＰＵ２７は、特徴点
抽出部８として作用する。

ステップ１１ ＣＰｔＪ２７は、ステップ９で算出されたカメラ１の装
着状態における偏差量と前記ワークの搬送姿勢における
偏差量とを算出し、この両幅差量に基づいて、前記ワー
クの位置等をロボット系における座標に変換する。この
場合のＣＰＵ２７は、偏差量補正部１４及び座標変換部
９として作用する。

ステップ１２ ＣＰＵ２７は、ステップ１１によって算出された変換デ
ータをＩ１０ポート２４及びＩ１０ポート２８を介して
ロボット制御装置１９内のＣＰＵ３１に出力し、ＣＰｔ
Ｊ３１は、この変換データをＲＡＭ　３０に記憶し、以
降のロボット１５の動作は、この変換データに基づいて
行ない、ハンド１５Ｂは、ワークの所定の位置を把持す
ることができる。

尚、この場合のＣＰＵ２７は、出力部１０として作用す
る。

以上に記した動作フローチャートにおいては、カメラ１
の装着ズレをワークの作業毎に検出し、補正するように
したが、タクトタイムの短いラインにおいてはワークの
作業所定回数毎に（例えば、１０回作業毎に１回補正）
行なうようにしても良い。

（発明の効果） 以上の説明により明らかなように、本発明によれば、視
覚装置の装着位置ズレを、ロボットの作業中において適
宜認識し、このズレを自動釣に補正するようにしたので
、メインテナンスの簡略化が図れると共に、ロボットの
作業精度に関する信頼性の向上をも図ることができる。

さらには、当該視覚装置が装着されているロボットのア
ーム等の取付精度が低下した場合においても、上記と同
様の効果を奏する。

【図面の簡単な説明】

第１図は、本発明に係る三次元座標変換方法を処理する
三次元座標変換装置のブロック図、第２図は、第１図に
示した三次元座標変換装置周辺の概略構成図、第３図乃
至第４図は、第５図に示す動作フローチャートの説明参
考図、第５図は、第１図に示した三次元座標変換装置の
動作フローチャート、第６図は、一般的な三次元座標変
換装置のブロック図である。 １・・・カメラ（視覚装置）、 １５・・・ロボット、　　１５Δ・・・アーム、１５Ｂ
・・・ハンド、 １６・・・キャリプレニジョンパターン表示台、１７・
・・キャリブレーションパターン（基準パターン）、 １８・・・黒丸、　　２１・・・コンベア、２２・・・
ワーク。 特許出願人　　　　　日産自動車株式会社第２図 第３図 第４図 第５図

Claims (1)

【特許請求の範囲】
1. ロボットのアームに取付けた視覚装置により、搬送され
   た基準となるワークの特徴点の画像を入力し、当該基準
   となるワークにおける特徴点の視覚装置系の座標をロボ
   ット系の座標に一致させる第１変換式を算出し、次に、
   当該視覚装置により、当該ロボットの作業位置以外の場
   所に配設した基準パターンの画像を入力し、当該基準パ
   ターンにおける当該視覚装置系の座標をロボット系の座
   標に一致させる第２変換式を算出し、以降搬送されるワ
   ークにおける特徴点のロボット系の座標は、前記視覚装
   置によって前記基準パターンを適宜入力すると共に前記
   視覚装置系の座標をロボット系の座標に一致させる変換
   式を適宜算出し、当該変換式と当該第２変換式とから算
   出した前記視覚装置系の偏差量を当該第１変換式によっ
   て算出した前記ワークにおける特徴点のロボット系の座
   標に加算して求めるようにした三次元座標変換方法。