JPH01205994A - ロボット視覚認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明はロボット視覚認識装置に関する。

（従来の技術） 位置決めが十分でない作業対象物あるいは形状の一定し
ない作業対象物に対して、ＴＶカメラで捕らえた画像か
ら作業対象物の位置情報を得てロボットに作業を行わせ
るためのロボット視完認識装置を持ったロボットの場合
、ロボットが作業を行う空間と、ロボットの作業位置を
表すロボットの座標系と、ロボット視覚認識装置の内部
に取り込まれた画像上の属人系の対応関係を知る必要が
ある。この方法として、次のようなケースが考えられる
。

■　第５図のごとくロボットが作業対象物に対して作業
を行う作業台１の上の作業面１−１上に形状寸法の判っ
ている作業対象物（あるいは校正用の治具）Ｗを置き、
このＷ上の、３点Ｗ−１〜３にロボットが作業対象物に
作用を及ぼす手先２−１を持ってきたときのロボットの
座標系２−３における手先２−１の位置情報２−１−１
〜３と、ＴＶカメラ５でＷを捕らえた画像をロボット視
覚認識装置４で画像処理して得られるロボット視覚認識
装置４の座標系４−７における３点の位置情報４−Ｗ−
１〜３とから、ロボットが作業を行う空間Ｏとロボット
の持つ座標系２−３とロボット視覚認！装置の持つ座標
系４−７の対応関係を得る方法、 ■　第６図のごとくロボット２の持つ座標系２−３にお
けるロボットの手先２−１の位置情報Ｈ−１−ｉ（ｉは
１以上でロボットの手先２−１の位置情報を得るのに動
作した回数以下の整数）と、その時のロボットの手先２
−１をＴＶカメラ５で捕らえた画像をロボット視覚認識
装置４で画像処理して得られるロボット視覚認識装置４
の座標系４−７における手先２−１の位置情報４−　Ｈ
−ｉ（ｉは１以上でロボットの手先２−１の位置情報を
得るのに動作した回数以下の整数）を、ロボットの手先
がＴＶカメラの視覚５−２内の異なる３点で取り、これ
らＨ−１−１〜３．４−Ｈ−１〜３からロボットが作業
を行う空間Ｏとロボットの持つ座標系２−３とロボット
視覚認識装置の持つ座標系４−７の対応関係を得る方法
、 ■　第７図のごとくロボット２の手先に治具Ｊを取り付
け、この治具Ｊの１点Ｊ−１をＴＶカメラで捕らえた画
像をロボット視覚認識装置４で画像処理して得られるロ
ボット視覚認識装置４の持つ座標系４−７における点Ｊ
−１の位置情報４−Ｊ−ｉ（ｉは１以上で治具Ｊ上の点
Ｊ−１の位置情報を得るのに動作した回数以下の整数）
と、その時のロボット２の持つ座標系２−３における手
先２−１の位置情報Ｈ−１−ｉ（ｉは１以上でロボット
の手先２−１の位置情報を得るのに動作した回数以下の
整数）を、Ｊ−１と２−１がＴＶカメラの視野５−２内
の異なる３点で取り、これら４−Ｊ−１〜３．４−Ｈ−
１〜３とＪ−１と２−１の位置関係からロボットが作業
を行う空間Ｏとロボットの持つ座標系２−３とロボット
視覚認識装置の持つ座標系４−７の対応関係を得る方法
。

がある。

（発明が解決しようとする課題） しかし、前述の方法では次のような問題点がある。

（ａ）■の方法だとロボットの手先２−１をＷ−１〜３
に合わせる作業が必要で、この作業はロボットの手先を
肉眼では特定しずらい事からかなり困難であり、またロ
ボットが作業を行う空間０とロボットの持つ座標系２−
３はロボット視覚認識装置の持つ座標系４−７の対応関
係は作業面１−１上でしか得られない。

（ｂ）■の方法だと、手先２−１をＴＶカメラ５で捕ら
えられるようにＴＶカメラ５の光軸５−１を傾けてやる
必要がある。しかしこのためにロボットが作業を行う空
間０とロボットの持つ座標系２−３とロボット視覚認識
装置の持つ座標系４−７の対応関係を得る作業が複雑と
なる。

（Ｃ）■の方法だと治具Ｊがロボットの作業を干渉する
。

（ｄ）■及び■の方法だとロボットの手先２−１や治具
Ｊがロボットの影に入った場合に手先２−１や治具Ｊの
認識が困難になる。

これらの問題を受けて本発明はロボットの動作を干渉す
ることなく、ロボットが作業を行う空間０とロボットの
持つ座標系２−３とロボット視覚認識装置の持つ座標系
４−７の対応関係を得る作業を容易にするロボット視覚
認識装置校正治具を有するロボット視覚認識装置を提供
することを目的としている。

〔発明の構成〕

（課題を解決するための手段） 上記目的を実現するために、ロボットの作業対象物やロ
ボット自身の画像を捕らノ外Ｖカメラと。

このＴＶカメラから送られる画像から作業対象物やロボ
ットの手先の位置を認識するロボット視覚Ｕ９識装置と
、このロボット視覚認識装置がら送られる作業対象物や
ロボットの手先の位置情報にょロボットの動作を干渉し
ないような、またロボットの影に入らないようなロボッ
トの手先と同期して動作する手先連動部に取り付けた構
成とする。

（作　　用） 上記目印の特徴点をＴＶカメラで捕らえた画像をロボッ
ト視覚認識装置で画像処理して得られるロボット視覚認
識装置の持つ座標系における特徴点の位置情報と、その
時のロボットの持つ座標系における手先の位置情報を、
少なくとも１回は手先を作業面に付けたときの位置情報
と、少なくとも１回は手先から離したときの位置情報と
最低２回以上取り、これらの関係からロボットが作業を
行う空間とロボットの持つ座標系とロボット視覚認識装
置の持つ座標系の対応関係を得る。

（実　施　例） 本発明の一実施例を第１図に示す。

本実施例は以下の各要素で構成されている。

作業対象物Ｗに対して所定の作業を行う作業台１、この
作業台１の作業面１−１に固定され作業対象物Ｗに対し
て所定の作業を行うロボット２、このロボノ！−２を制
御するロボット制御装置３、作業対象物Ｗの形状や位置
とロボット２の手先２−１の位置を認識及び判断するた
めのロボット視覚認識装置４．前記ロボット視覚認識装
置４に視野５−２内の画像を与えるＴＶカメラ５、ロボ
ット２が作業を行う空間０とロボット２の持つ座標系２
−３とロボット視覚認識袋［ｉｆ４の持つ座標系４−７
の対応関係をとるためのロボット視覚認識装置校正治具
６からなる。

作業台１の上方にはロボットが作業を行う空間Ｏが有り
、前記空間Ｏはロボット２の手先２−１が到達できる空
間と一致するかあるいは手先２−１が到達できる空間に
含まれ、更に空間Ｏ内に作業対象物Ｗが置かれている。

ロボット２は固有の座標系２−３を有し、座標系２−３
の２軸と平行に動作する軸２−０を有し、４ｉ１１１２
−０が作業面１−１に垂直になるようにロボット２は固
定されている。ざらに軸２−０の作業面１−１側の先端
には作業対象物Ｗに所定の作用を及ぼす手先２−１を有
し、軸２−０の手先２−１の反対側の先端には手先２−
１と同期して動作する手先連動部２−２を有する。

ロボット制御装置３はロボット２の動作を制御するロボ
ット制御部３−１と、ロボット視覚認識装置４と命令及
び情報の送受信を行う視覚認識用インターフェース部３
−２を有する。

ロボット視覚認識装置４はＴＶカメラ５からの画像信号
を入力するＴＶカメラ画像入力部４−１、画像処理と画
像認識と画像計測に用いられる画像Ｑを蓄えておく画像
メモリ部４−３、画像処理と画像認識と画像計測を行う
画像処理部４−２、数値演算を行う数値計算部４−４、
ロボット制御装置２と命令やデータの送受信を行う外部
通信インターフェース部４−５、以上４−１から４−５
を制御するロボット視覚制御部４−６を有する。そして
画像Ｑ上の位置を表すための座標系４−７を持つ。

ロボット制御装置３とロボット視覚認識装置４とは視覚
認識用インターフェース部３−２と外部通信インターフ
ェース部４−５でつながれていて、ロボット制御装置３
からの視覚認識要求命令やロボット視覚認識装置４から
の視覚認識結果情報などのやり取りはこれら３−２と４
−５を介して行われる。

ＴＶカメラ５は光軸５−１が作業台１の作業面１−１に
垂直でかつ作業空間０の全であるいは一部を視野５−２
に持つように固定されている。そして視野５−２内の画
像信号をロボット視覚認識装置４のＴＶカメラ画像入力
部４−１に送る。−方ＴＶカメラ画像入力部４−１はロ
ボット視覚制御部４−５からの画像入力要求命令を受は
取ると画像信号を画像メモリ部４−２に送る。

−１を有している。このロボット視覚認識装置校正治具
６は、ロボット２の手先２−１と同期して動く手先連動
部２−２に取り付けられていて、この複数の特徴点６−
１−　ａ　”　ｃを検出することによって、ロボット２
の手先２−１の位置が検出されるようになっている。

本実施例の作用について以下、順番に説明する。

（１）　　ロボット制御装置３は視覚認識装置校正治具
６の目印６−１がＴＶカメラ５の視野５−２内に入りか
つロボット２の手先２−１が作業台１の作業面１−１に
接するようにロボット２ｆｌ動作させ停止する。　　。

■　ロボット２が停止するとロボット制御装置３のロボ
ット制御部３−１はロボット２が停止したことを表す命
令Ｍ−１をロボット制御部３−１から視覚認識用インタ
ーフェース３−２を介してロボット視覚認識装置４に送
信する。

■　ロボット視覚認識装置４のロボット視覚制御部４−
６は上記命令Ｍ−１を外部通信用インターフェース４−
５を介して受信すると、画像入力部４−１に対してＴＶ
カメラ５から画像を入力する命令Ｍ−２を送信する。

（イ）−画像入力部４−１は上記命令Ｍ−２を受信する
とＴＶカメラ５で検出した画像を画像メモリ部４−３に
蓄える。

■　画像入力部４−１は画像データの取り込みが終了し
たことを表す情報Ｉ−１をロボット視覚制御部４−６に
送信し、ロボット視覚制御部４−６はこの情報Ｉ−１を
受信すると画像処理部４−２に画像処理及び画像計測を
開始する命令Ｍ−３を送信する。

０　画像処理部４−２は上記命令Ｍ−３をうけると画像
メモリ部４−３に蓄えられた画像データから目印６−１
の特徴点６−１−　ａ　”　ｃの位置を求めるアルゴリ
ズムにしたがって画像処理及び画像計測してロボット視
覚認識装置の座標系４−７における目印６−１の特徴点
６−１−　ａ　＝　ｃの位置をａｌす定し、測定結果Ａ
１．Ｂ１．Ｃ１を数値計算部４−４に送信する。

■　画像処理部４−２は目印の特徴点抽出が終了したこ
とを表す情報Ｉ−２をロボット視覚制御部４−６に送信
し、ロボット視覚制御部４−６はこの情報Ｉ−２を受信
すると外部通信用インターフェース４−６を介してロボ
ット制御装置３に目印の特徴点の位置を測定し終わった
ことを表す情報１−３を送信する。

（へ）　ロボット制御部３−１は、上記情報Ｉ−３を視
覚認識用インターフェース３−２を介して受信すると、
ロボッ１−２の座標系における現在のロボッ１−２の手
先２−１の位置を表す情報Ｔ工を視覚認識用インターフ
ェース３−２を介してロボット視覚認識装置４に送信す
る。

■　ロボット視覚制御部４−６は上記情報Ｔ□を外部通
信用インターフェース４−５を介して受信すると、上記
情報Ｔよを受信したことを表す情報Ｉ−４を外部通信用
インターフェース４−５を介してロボット制御装置３に
送信する。

（１０）　　ロボット制御部３−１は視覚認識用インタ
ーフェース３−２を介して上記情報Ｉ−４を受信すると
、ロボット２を手先２−１が作業台１の作業面１−１か
ら隔れた位置へ移動する。

（１１）　　ロボット２が停止するとロボット制御部３
−１はロボット２が停止したことを表す命令Ｍ−１を視
覚認識用インターフェース３−２を介してロボット視覚
認識装置４に送信する。

（１２）　　ロボット視覚制御部４−６は−１；記命令
Ｍ−１を外部通信用インターフェース４−５を介して受
信すると１画像入力部４−１に対してＴＶカメラ５から
画像を入力する命令Ｍ−２を送信する。

（１３）画像入力部４−１は上記命令Ｍ−２を受信する
とＴＶカメラ５から新しい画像を画像メモリ部４−３に
蓄える。

（１４）画像入力部４−１は新しい画像データの取り込
みが終了したことを表す情報Ｉ−１をロボット視覚制御
部４−６に送信し、ロボット視覚制御部４−６はこの情
報Ｉ−１を受信すると画像処理部４−２に画像処理及び
画像針２１Ｉ１１を開始する命令Ｍ−３を送信する。

（１５）画像処理部４−２は上記命令Ｍ−３を受信する
と画像メモリ部４−３に蓄えられた新しい画像データか
らロボット視覚認識装置の座標系４−７における目印６
−１の特徴点６−１−　ａ　”　ｃの位置を測定し、測
定結果Ａ２、Ｂ２．Ｃ２を数値計算部４−４に送信する
。

（Ｉ６）画像処理部４−２は上記測定が終了したことを
表す情報Ｉ−２をロボット視覚制御部４−６に送信し、
ロボット視覚制御部４−６はこの情報Ｉ−２を受信する
と外部通信用インターフェース４−６を介して測定し終
わったことを表す情報Ｉ−３を送信する。

（１７）　　ロボット制御部３−１は、上記情報Ｉ−３
を視覚認識用インターフェース３−２を介して受信する
と、ロボット２の座標系における現在のロボット２の手
先２−１の位置を表す情報Ｔ２を視覚認識用インターフ
ェース３−２を介してロボット視’ＪＴ、認識装置４に
送信する。

（１８）　　ロボット視覚制御部４−６は」二記情報Ｔ
２を外部通信用インターフェース４−５を介して受信す
ると、情報Ｔ２を受信したことを表す情報Ｉ−４を外部
通信用インターフェース４−５を介してロボット制御装
置３しこ送信する。

（１９）　　ロボット視覚制御部４−６は情報Ｔ工ｔ　
Ｔ２と、ロボットが作業を行う空間０とロボットの座標
系２−３とロボット視覚認識装置の座標系４−７の関係
を求める作業を開始する命令Ｍ　−４を数値計算部４−
４に送信する。

（２０）数値計算部４−４は上記命令Ｍ−４を受けて、
以上（ト）から（１９）の作業によって得た情報Ａ１、
ｒ＋□、Ｃ１、Ｔ１、Ａ２．Ｔ：３２、Ｃ２、Ｔ２よリ
ロボットが作業を行う空間Ｏとロボットの座標系２−３
とロボット視覚認識装置の座標系４−７の関係を以下に
述べる手順によって求める。

ロボット視覚認識装置の座標系４−７は第３図に示めさ
れるごとく２次元であるので、情報Ａ１、Ｂ工、Ｃ１、
Ａ２、Ｂ２、Ｃ２は次（υで表される。

但し１＝１ｏｒ２ 一方ロボットの座標系２−３は３次元であるので情報Ｔ
工、Ｔ２は式■で表される ′ｌ’、＝　（Ｔｌ、、　Ｔ貸Ｉ　Ｔｌ□）　　　　　
・・・　■但し１＝ｌｏｒ２ 但し情報Ｔ、にはＺ軸周りの回転角Ｔｉｏが含まれるへ
きだが、これは別に扱う。

ところで視覚認識装置校正治具６の目印６−１の特徴点
６−１−　ａ　＝　ｃとロボットの手先２−１の位置関
係は第４図のごとく対応しているのが判る。そこでロボ
ットの手先２−１のＺ軸周りの回転角がＯのときのロボ
ットの座標系２−３におけるロボットの手先２−１から
見た特徴点６−１−ａ　＝　ｃの位置ベクトルａｏ、ｂ
ｏ、ｃｏを式■で表す。

なお、目印６−１は手先連動部２−２に取り付けら才し
ており回転角Ｔよ。を一定とすると位置ベクトルａ□、
　ｂ□、　ｃｏも一定である。

式（２）、■より、ロボットの手先２−１がＴｔ（但し
１＝１ｏｒ２）にあるときの特徴点６−１−ａ〜Ｃのロ
ボットの座標系における位置情報ａｉ、ｂｌ。

Ｃｉは式（イ）で表される。

但しａ　ｉ＋　ｂＬ＊　Ｃｉは ａ工＝（ａｔｘ＋　　ａｉｙ・　ａ　ｔｚ）ｂｒ＝（ｂ
ｉｘ＊　ｂｔｙ＋　ｂｔｚ）Ｃ５ｉ＝　（Ｑ　ＬＸ＋　
Ｑ　ｉｙｙ　Ｃ１Ｚ）とする。

但し１＝１０ｒ２ 今ロボットの手先２−１がＴにあるとすると。

１゛のロボットの座標系２−３における位置情報ＴいＴ
ｙ、Ｔ２、Ｔｏは、そのときのロボット視′ｆｔ認識装
置の座標系における特徴点６−１−　ａ　−ｃの位置情
報Ａ、Ｂ、Ｃと弐〇）、■、（３）、＠）より求まる。

但しＡ、Ｂ、Ｃは弐〇で表す。

先ずロボットの座標系における特徴点６−１−ａ−ｃの
位置情報ａ、ｂ、ｃを求める。Ａ、Ｂ。

Ｃとａ、ｂ、ｃの関係を式■で示す。但しａ、ｂ、Ｃは
式０で表す。

（以下余白） ａｚ＝ｂｚ＝ｃ７：＝Ｚ ０３ｍ　＝　Ｄ３ａ　＝　Ｏ、Ｄ、ｉ　＝　１但し１＝
１ｏｒ２ ｚ□はＴＶカメラとロボット原点の位置補正のためのも
ので、 但し１＝１ｏｒ２ またａ、ｂ、ｃとＴとの関係は式０）を使って式（ハ）
となる。

但し１＝１ｏｒ２ 式（８）は連立方程式なので、これを解けばロボットの
手先の位置情報Ｔｘ、　Ｔｙ、　Ｔ２、Ｔ、が得られる
。

次に作業台１の作業面１−１の上の作業対象物ＷをＴＶ
カメラ５で捕らえたときの画像から得たロボット視覚認
識装置の座標系４−７における作業対象物Ｗの特徴点Ｐ
の位置情報Ｐｖ　（Ｐｖつ、Ｐｖｙ）とロボットの座標
系２−３における作業対象物Ｗの特徴点Ｐの位置情報Ｐ
Ｒ（ＰＲＭＩ　ＰＲｙｗ　ＰＲＺ）との対応関係を述べ
る。

点Ｗは作業台の上面にあるのでＰＲＺは弐〇で与えられ
ることは明らかである。

ＰＲ□二Ｔ１２　　　　　　　　　　　　　　　　・・
・　（９）またｐＲＸ＊　Ｐｕｙは式■より式（１０）
で与えられる。

Ｚｌ　：ａｌＺ　”　ｂｔｚ　＝　ｃ　ｉｚ以上のこと
からロボットが作業を行う空間Ｏとロボットの持つ座標
系２−３とロボット視覚認識装置の持つ座標系４−７の
対応関係が得られる。

（２１）上記の計算処理が終了すると数値計算部４−４
はロボット視覚制御部４−６に対して各座標系の対応関
係が得られた事を表す情報Ｉ−５を送る。

（２２）　　ロボット視覚制御部４−６は上記情報工−
５を受信すると外部通信用インターフェース４−５を介
して各座標系の対応関係が得られた事を表す情報Ｉ−６
をロボット制御装置３に送信する。

以上述べてきた作用により、作業対象物ＷをＴＶカメラ
５で捕らえた画像Ｑをロボット視覚認識装置４で画像処
理して得られる作業対象物Ｗのロボット視覚認識装置の
座標系４−７における特徴点Ｐの位置情報Ｐｖ（Ｐｖヶ
、Ｐｖｙ）からロボットの座標系２−３における作業対
象物Ｗの特徴点Ｐの位置情報ＰＲ（ＰＲｘｔ　ＰＲｙ＊
　ＰＲｚ）が得られ、視覚認識装置校正治具６の目印６
−１をＴＶカメラ５で捕らえた画像をロボット視覚認識
装置４で画像処理して得られる目印６−１の特徴点６−
１−　ａ　−ｃのロボット視ｆｔ認識装置の座標系４−
７における位置情報Ａ（Ａｘ−Ａｙ）、　Ｂ　（Ｂｘ、
Ｂｙ）、　Ｃ（Ｃつ、Ｃｙ）からロボットの座標系２−
３におけるロボットの手先２−１の位置情報Ｔ（Ｔｘ、
Ｔｙ、　Ｔｚ、Ｔ６　）が得られ、これから位置決めが
十分でないあるいは形状の一定していない作業作法物に
対して作業が可能になる。

本実施例によれば、ロボットの動作回数２回と画像の取
り込み回数２回でロボットが作業を行う空間Ｏとロボッ
トの座標系２−３とロボット視覚認識装置の座標系４−
７の対応関係を得ることができる。

なお、視覚認識装置校正治具６の目印６−１の特徴点６
−１−　ａ　＝　ｃに発光素子を用いることにより、照
明環境が変化する作業場所においても安定したロボット
の手先２の位置情報Ｔが得られる。

また前記実施例のロボットの動作回数と画像の取り込み
回数をふやし、式■に最少二乗法を適用することにより
ロボットが作業を行う空間Ｏとロボットの持つ座標系２
−３とロボット視覚認識装置の持つ座標系４−７の対応
関係の精度が上げられる。

〔発明の効果〕

本発明は、ロボットの手先と同期して動作する手先連動
部に１個あるいは複数個の目印を有するロボット視覚認
識装置校正治具を設けたロボット視覚認識装置によりロ
ボットの動作を干渉することなく、容易にロボットが作
業を行う空間０とロボットの持つ座標系２−３とロボッ
ト視覚認識装置の持つ座標系４−７の対応関係が得られ
る効果を持つ。

【図面の簡単な説明】

第１図は本発明によるロボット視覚認識装置による実施
例を示す図、第２図は本発明によるロボット視覚認識装
置校正治具（目印を含む）の詳細図、第３図は本発明の
実施例の作用を説明する図。 第４図は本発明の視覚認識装置校正治具とロボットの手
先の位置関係を示す図、第５図、第６図及び第７図は従
来の技術によるロボット視覚認識装置を示す図である。 １・・・作業台　　　　　　２・・・ロボット２−１・
・・手先　　　　　２−２・・・手先連動部２−３・・
・ロボットの座標系 ３・・・ロボット制御装置 ４・・・ロボット視覚認識装置 ４−７・・・ロボット視覚認識装置の座標系５・・・Ｔ
Ｖカメラ　　　　６・・・校正治具６−１・・・目印 ；　： １　： 第２図 第３図 第４図

Claims (1)

【特許請求の範囲】
1. ロボットの手先と同期して移動する手先連動部と、この
   手先連動部に固定されテレビカメラで識別可能な目印を
   設け、テレビカメラの画像から得られる前記目印の位置
   情報とロボット制御装置から得られる前記手先の位置情
   報との対応関係を得てロボットの作業位置を認識するこ
   とを特徴とするロボット視覚認識装置。