JPH05150835A - ロボツトによる組み立て装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、組み立てられる部品の状態及びロ
ボットの動作結果を逐次監視しつつ組み立て作業を実行
する際、高精度の誤差補正を行うための画像認識情報の
選択手段を備えたロボットによる組み立て装置を提供す
る。 【構成】 組み立てられる部品の状態及びロボットの動
作結果を逐次監視しつつ組み立て作業を実行するロボッ
トによる組み立て装置であって、ロボットの位置及び／
又は姿勢の補正及び制御のための画像情報を撮像する手
段と、画像情報を記憶する手段と、ロボットの取り得る
全ての把持位置及び／又は姿勢の中で、ロボットの把持
位置及び／又は姿勢の認識に適した把持位置及び／又は
姿勢を選択する手段と、選択されたロボットの把持位置
及び／又は姿勢に対する画像認識情報を基にロボットの
位置及び／又は姿勢を補正する手段と、を備えたことを
特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、認識部を利用したロボ
ットによる組み立て装置に関するものであって、特にロ
ボットの移動の際に生じる誤差の補正手段の改善に向け
られる。

【０００２】

【従来の技術】近年、ロボットによる組み立て作業に
は、特に製造業等における自動化及び効率化の発展とと
もに、多くの注目と期待が寄せられている。また、より
知的な作業が実行できる装置が要求されている。ロボッ
トに組み立て作業を行わせる場合、ロボットの誤差補正
が重要な技術の一つとなる。ロボットの誤差のために計
画部により計画された通りにロボットが正確に部品を把
持できなくなる事態が生じる。

【０００３】従来技術では、ロボットによる組み立て作
業における誤差補正は、ロボットが部品を把持する直前
に、１台もしくは複数台のカメラより入力され、コンピ
ュータにより認識される画像情報から求められる誤差を
もとに行われる。詳しくは、ロボットのハンドが部品に
接近した時に認識部がカメラからの画像情報を認識して
ハンドの現在の位置及び／又は姿勢を求める。現在の位
置及び／又は姿勢と目標とする位置及び／又は姿勢との
間に誤差が存在する場合は、ハンドの現在の位置及び／
又は姿勢が目標とする位置及び／又は姿勢になるように
ハンドの現在の位置及び／又は姿勢を補正するものであ
る。

【０００４】このような従来技術の場合、部品に対する
ロボットの把持位置及び／又は姿勢が考慮されていない
ため、ある把持位置及び／又は姿勢によってはロボット
自身、把持する部品、その他の物体等によりハンドが隠
されてしまい、カメラの視点から認識対象であるハンド
の一部あるいは全体が見えなくなる場合が生じる。

【０００５】そのため、認識部がカメラからの誤差補正
のための画像情報を認識してハンドの正確な位置及び／
又は姿勢を求めることが困難となり、高い精度と安定性
を得ることができなくなる場合が生じることになる。

【０００６】

【発明が解決しようとする課題】このように、ロボット
による組み立て作業において、ロボットの移動時の誤差
補正は、認識部へ入力されるカメラにて捉えられた画像
情報に基づいて行われるため、充分な情報量が入力され
ていないと精度良い誤差補正が行えない。

【０００７】本発明は、組み立てられる部品の状態及び
ロボットの動作結果を逐次監視しつつ組み立て作業を実
行する際、高精度の誤差補正を行うための画像情報認識
手段を具備したロボットによる組み立て装置を提供する
ものである。

【０００８】

【課題を解決するための手段】組み立てられる部品の状
態及びロボットの動作結果を逐次監視しつつ組み立て作
業を実行するロボットによる組み立て装置であって、ロ
ボットの位置及び／又は姿勢の補正及び制御のための画
像情報を撮像する手段と、画像情報を記憶する手段と、
ロボットの取り得る全ての把持位置及び／又は姿勢の中
から、ロボットの位置及び／又は姿勢の認識に適したロ
ボットの把持位置及び／又は姿勢を選択する手段と、選
択されたロボットの把持位置及び／又は姿勢に対応する
画像認識情報を基にロボットの位置及び／又は姿勢を補
正する手段と、を備えたことを特徴とする。

【０００９】

【作用】本発明によれば、ロボットの位置及び／又は姿
勢の補正は、カメラにより撮像され認識される画像認識
情報が基となり決定されるため、ロボットの取り得る全
ての把持位置及び／又は姿勢の中から、ロボットの位置
及び／又は姿勢の補正のための最も良好な画像認識情報
が得られるようにな把持位置及び／又は姿勢が選択され
ることで、高精度の誤差補正を実行することができる。

【００１０】

【実施例】図に基づいて本発明の実施例を説明する。

【００１１】図２に本発明におけるロボットによる組み
立て装置の概念図を示す。

【００１２】組み立てられる部品の状態及びロボットの
動作結果を監視しつつ組み立て作業を実行するロボット
による組み立て装置は、図２に示す如く、組み立てられ
る部品を移動することが可能なロボット２１と、ロボッ
ト及び／又は前記部品の位置及び／又は姿勢を組み立て
作業中の各静止時点における画像を基に認識する認識部
２３と、前記画像を入力するカメラ２２と、ロボットの
動作を計画する計画部２４と、外部から組み立て作業に
必要な情報を入力するための入力部２５と、各部品の配
置の初期状態、組み立て後の目標状態、初期状態及び目
標状態における各部品間の支持関係、組み立て作業中の
所定時点における各部品のあるべき配置を示す中間状
態、ロボット及び各部品の形状であるモデルに係わる情
報を記憶する記憶部２６と、ロボットの位置及び／又は
姿勢を補正又は制御する制御部２７から構成される。

【００１３】ここで記憶部２６には、下記の情報が記憶
される。 ａ）初期状態情報：組み立て作業開始前の各部品の位置
及び／又は姿勢の情報、 ｂ）目標状態情報：組み立て作業終了（組み立て完成）
後の各部品の位置及び姿勢の情報、 ｃ）認識モデル情報：認識対象物のモデルとして、各部
品及びロボットの境界表面（Ｂ−ｒｅｐ）モデルの情
報、 ｄ）作業知識：ロボットの動作範囲、作業台、障害物な
ど作業の対象とはならないが、計画部２４がロボットの
動作を計画するのに必要な上記ａ）、ｂ）、ｃ）以外の
情報、 が、ａ）及びｂ）は認識部２３あるいは入力部２５か
ら、ｃ）及びｄ）は入力部２５から入力され記憶され
る。

【００１４】先ず、入力部２５から記憶部２６に必要な
情報が入力される。この時、初期状態及び目標状態の情
報をカメラ２２を通じて認識部２３から入力する場合
は、記憶部２６の初期状態及び目標状態の情報が蓄積さ
れるべきところには未入力状態にしておく。入力が終了
すると、入力部２５は計画部２４に信号を送る。

【００１５】計画部２４は、入力部２５から信号を受け
ると、記憶部２６にロボット２１の動作を計画するのに
必要な情報を問い合わせる。ここで、記憶部２６の初期
状態及び目標状態の情報が未蓄積の場合、記憶部２６
は、認識部２３を起動させる。それを受けた認識部２３
は記憶部２６に記憶されている各部品のモデルを利用し
てカメラ２２からの画像情報を認識し、初期状態及び目
標状態を記憶部２６の初期状態及び目標状態の情報が蓄
積されるべきところに入力する。

【００１６】計画部２４は、記憶部２６に記憶されてい
る情報に基づき各部品の組み立て手順、各部品に対する
ロボット２１の把持位置及び／又は姿勢、ロボット２１
の動作軌道を計画する。続いて、計画部２４は、計画し
たロボット２１の動作に関する情報を制御部２７に送
る。

【００１７】制御部２７は、計画部２４から送られてき
た動作をロボット２１に実行させ、部品の組み立て作業
を行う。

【００１８】次に、本発明の特徴の一つであるロボット
が把持位置及び／又は姿勢へ移動する際の計画法につい
て説明する。

【００１９】ロボット２１が部品を把持する場合、ロボ
ット２１が移動する際の位置及び／又は姿勢の誤差が生
じる。そのためロボット２１が部品を正確に把持できな
くなる場合が生じる。従って、ロボット２１が部品を把
持する直前にそのハンドの位置及び／又は姿勢の誤差を
補正しなければならない。

【００２０】ハンドの位置及び／又は姿勢の誤差の補正
は、カメラ２２から得られる画像情報に基づき行われ
る。即ち、ハンドが部品に接近した時、認識部２３は予
め記憶部２６に記憶されているロボット２１のハンドの
モデル情報を利用し、カメラ２２からの画像情報を認識
してハンドの現在の位置及び／又は姿勢を求める。この
ようにして求められた位置及び／又は姿勢と、目標とす
る位置及び／又は姿勢との間に誤差が生じている場合、
制御部２７はそれを認識部２３から受け、ハンドの位置
及び／又は姿勢を補正する。

【００２１】この時、ロボット２１の把持位置及び／又
は姿勢が問題となる。ロボット２１のハンドは、ロボッ
ト２１の把持位置及び／又は姿勢により、ロボット２１
自身、把持する部品あるいはその他の物体等により隠さ
れてしまい、カメラ２２の視点からハンドの一部あるい
は全体が死角に入る場合が生じる。認識部２３がカメラ
２２からの画像情報を認識してハンドの現在の位置及び
／又は姿勢を求める場合、高い精度と安定性を得るに
は、認識対象であるハンドがカメラ２２の視点から最も
見えやすい状態になるようにロボットの把持位置及び／
又は姿勢を計画しなければならない。

【００２２】次に、ロボット２１の取り得る全ての把持
位置及び／又は姿勢の中からカメラ２２の視点から認識
対象であるハンドが最も見えやすい状態になるためのロ
ボット２１の把持位置及び／又は姿勢を計画部２４が選
択する方法を説明する。

【００２３】本発明におけるロボット２１の把持位置及
び／又は姿勢を計画部２４が選択する方法の特徴は、ロ
ボット２１の取り得る全ての把持位置及び／又は姿勢に
対して予測される画像情報を定量的に評価する方法を採
用したところにある。

【００２４】先ず、ロボット２１のモデルをある把持位
置及び／又は姿勢に移動させた場合のロボット２１のモ
デルの各部分の位置及び／又は姿勢を計算する。続いて
ロボット２１及び各部品のモデルをその位置及び／又は
姿勢とカメラ・パラメータを用いてカメラ２２の画面に
投影した場合についてコンピュータ・グラフィックス
（ＣＧ）を用いてシミュレーションする。ＣＧのロボッ
ト２１のハンドのモデルにおける稜線について、ＣＧの
ロボット２１のハンド以外の部分のモデル及び各部品の
モデルにおけるそれぞれの面によって隠されずに見えて
いる部分を求めてその部分の長さを３次元空間中での長
さに換算した値の総和をＳとする。ここで多眼視の場合
は、それぞれの画面の少なくとも一方の画面で見えてい
るロボット２１のハンドのモデルの稜線についてＳを計
算する。ロボット２１のハンドのモデルにおける全ての
稜線の長さを３次元空間中での長さに換算した値の総和
をＭとする。すると評価値Ｐは次式で表される。

【００２５】Ｐ＝Ｓ／Ｍ ・・・・・・（１） これを全ての可能な把持位置及び／又は姿勢に対して行
い、それぞれの評価値Ｐを比較する。評価値Ｐが最大と
なる把持位置及び／又は姿勢を選択する。このようにし
て、カメラ２２の視点から最もハンドが見えやすいロボ
ット２１の把持位置及び／又は姿勢が決定される。

【００２６】次に本実施例において、誤差補正に適した
ロボットの把持位置及び／又は姿勢を計画する手順につ
いて説明する。図１に本実施例のロボットがその把持位
置及び／又は姿勢を決定するまでのフローチャートを示
す。図３は本実施例で使用するロボットのアームを示
し、その先端には部品を把持するためのハンドＨが装着
している。また、図４は、組み立てられるＬ字型の部品
Ｏと、ロボット及び部品Ｏの画像情報を撮像する２台の
カメラＡ及びＢの配置を示す。

【００２７】（１）先ず、入力されたロボットの取り得
る把持位置及び／又は姿勢に、ロボットのモデルを移動
させ、ロボット及び部品ＯのモデルをカメラＡ及びＢの
画面に投影した場合についてシミュレーションする。

【００２８】本実施例では、ロボットのハンドＨのこの
部品Ｏに対し可能な３形態の把持位置及び／又は姿勢
（図５（ａ）〜（ｃ））を想定し、カメラＡ及びＢが撮
像するであろうと予測される画像情報を基にロボットの
把持位置及び／又は姿勢の決定を行う場合を考える。

【００２９】図６は、これらの把持位置及び／又は姿勢
に対しロボット及び部品ＯをカメラＡ及びＢが撮像する
であろうと予測される画面を、それぞれのモデルを使っ
てシミュレーションしたＣＧを示す。図６における
（ａ）、（ｂ）、（ｃ）は、それぞれ図５に示す３形態
（ａ）、（ｂ）、（ｃ）に対応するＣＧを示す。また、
図６におけるカメラＡ及びカメラＢは、カメラＡ及びＢ
がそれぞれ撮像するであろうと予測されるＣＧを示す。
図７は、一方向から見たハンドＨの全稜線を示し、図５
の３形態（（ａ）、（ｂ）、（ｃ））の把持位置及び／
又は姿勢について、カメラＡ及びＢの視点から見えるで
あろうと予測される稜線をそれぞれ太線で示している。

【００３０】図６及び図７から、カメラの配置によりロ
ボットの見え方がそれぞれ異なり、また、ロボットの把
持位置及び／又は姿勢により、部品またはロボット自身
が障害となりロボットのハンドの見える領域が制限され
ることがわかる。

【００３１】（２）図７において、カメラＡ、カメラ
Ｂ、または、カメラＡとカメラＢの両方の視点から見え
るであろうと予測されるハンドＨのモデルの稜線の長さ
の総和を図５の３形態（（ａ）、（ｂ）、（ｃ））につ
いてそれぞれ求め、Ｓ（ａ）、Ｓ（ｂ）、Ｓ（ｃ）とす
る。続いて、式（１）より、これらの評価値Ｐ（ａ）、
Ｐ（ｂ）、Ｐ（ｃ）をそれぞれ求める。

【００３２】実際には、ロボットのハンドＨのこの部品
Ｏに対し可能な全ての把持位置及び／又は姿勢について
評価値Ｐを求める。

【００３３】表１は、本実施例のそれぞれの把持位置及
び／又は姿勢（図５（ａ）、（ｂ）、（ｃ））における
カメラＡ及びカメラＢが捉えるであろうと予測されるハ
ンドＨのモデルの稜線から求めた評価値Ｐを示す。

【００３４】

【表１】

【００３５】（３）可能な全ての把持位置及び／又は姿
勢について評価値Ｐを求めた後、次に、これらの評価値
Ｐを比較する。この場合、表１から、ロボットの把持位
置及び／又は姿勢が、単眼視のカメラＡに対しては図５
（ａ）、カメラＢに対しては図５（ｃ）、また、多眼視
（カメラＡとカメラＢ）に対しては図５（ｃ）の時に、
評価値Ｐがそれぞれ最大値となることがわかる。即ち、
それぞれのカメラ視点に対して、それぞれのロボットの
把持位置及び／又は姿勢が、ハンドの最も見えやすい把
持位置及び／又は姿勢にあることを示す。

【００３６】（４）このようにして求められたロボット
のハンドＨの部品Ｏに対し可能な全ての把持位置及び／
又は姿勢についての評価値Ｐのうち、最大となる評価値
Ｐに対応する把持位置及び／又は姿勢を選択し、この把
持位置及び／又は姿勢にて得られる画像情報を基にロボ
ットの誤差補正が実行される。

【００３７】このようにして選択されたロボットの把持
位置及び／又は姿勢で誤差補正を実行した場合、従来技
術に比べ補正処理のために入力される画像認識情報が多
くなるため、高精度の補正処理を実行することができ
る。これらの操作（（１）〜（４））を基に計画したロ
ボットの把持位置及び／又は姿勢に対して誤差を補正す
るため、安定性の良好な組み立て作業を行うことができ
る。

【００３８】

【発明の効果】本発明によれば、ロボットによる組み立
て作業において、ロボットの部品に対する把持位置及び
／又は姿勢の補正は、ロボットの取り得る全ての位置及
び／又は姿勢の中で、ロボットの位置及び／又は姿勢の
補正のための最も良好な画像認識情報が得られる把持位
置及び／又は姿勢が選択されることで、高精度の誤差補
正を実行でき、安定性の良い組み立て作業を行うことが
できる。

【図面の簡単な説明】

【図１】本発明一実施例のロボットの把持位置及び／又
は姿勢決定までの過程を示すフローチャートである。

【図２】本発明におけるロボットによる組み立て装置の
概念図である。

【図３】本発明一実施例におけるロボットのアームを示
す図である。

【図４】本発明一実施例のロボットによる組み立て作業
におけるカメラ及び部品の配置を示す図である。

【図５】本発明一実施例におけるロボットの部品に対す
る把持位置及び／又は姿勢の形態例を示す図である。

【図６】本発明一実施例におけるロボットの部品に対す
る把持位置及び／又は姿勢についてカメラから見えるで
あろうと予測される画面をシミュレーションしたＣＧを
示す図である。

【図７】本発明一実施例におけるカメラから見えるであ
ろうと予測されるロボットのハンドのモデルの稜線を示
す図である。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成４年９月３日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】組み立てられる部品の状態及びロボットの
動作結果を監視しつつ組み立て作業を実行するロボット
による組み立て装置は、図２に示す如く、組み立てられ
る部品を移動することが可能なロボット２１と、ロボッ
ト及び／又は前記部品の位置及び／又は姿勢を組み立て
作業中の各静止時点における画像を基に認識する認識部
２３と、前記画像を入力するカメラ２２と、ロボットの
動作を計画する計画部２４と、外部から組み立て作業に
必要な情報を入力するための入力部２５と、各部品の配
置の初期状態、組み立て後の目標状態、初期状態及び目
標状態における各部品間の支持関係、組み立て作業中の
所定時点におけるロボットと各部品のあるべき配置を示
す中間状態、ロボット及び各部品の形状であるモデルに
係わる情報を記憶する記憶部２６と、ロボットの位置及
び／又は姿勢を補正又は制御する制御部２７から構成さ
れる。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１８

【補正方法】削除

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００３８

【補正方法】変更

【補正内容】

【００３８】

【発明の効果】本発明によれば、ロボットによる組み立
て作業において、ロボットの部品に対する位置及び／又
は姿勢の補正は、ロボットの取り得る全ての把持位置及
び／又は姿勢の中で、ロボットの位置及び／又は姿勢の
補正のための最も良好な画像認識情報が得られる把持位
置及び／又は姿勢が選択されることで、高精度の誤差補
正を実行でき、安定性の良い組み立て作業を行うことが
できる。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｄ 3/12 Ｗ 9179−3Ｈ

Claims (1)

【特許請求の範囲】
1. 【請求項１】組み立てられる部品の状態及びロボットの
   動作結果を逐次監視しつつ組み立て作業を実行するロボ
   ットによる組み立て装置であって、 前記ロボットの位置及び／又は姿勢の補正及び制御のた
   めの画像情報を撮像する手段と、 前記画像情報を記憶する手段と、 前記ロボットの取り得る全ての把持位置及び／又は姿勢
   の中から、該ロボットの位置及び／又は姿勢の認識に適
   した把持位置及び／又は姿勢を選択する手段と、 前記選択されたロボットの把持位置及び／又は姿勢に対
   応する画像認識情報を基に該ロボットの位置及び／又は
   姿勢を補正する手段と、を備えたことを特徴とするロボ
   ットによる組み立て装置。