JPH0628456A - 作業ロボットの画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、作業ロボットの画像処理装置にお
いて、作業ロボットの被作業位置を正確に割り出すこと
を目的とする。 【構成】 ロボットの被作業位置を撮像して得られる画
像信号を入力しロボット補正量を算出する画像処理装置
において、撮像された被作業位置から前記工具の作業位
置を算出する際に、前記被作業位置に属する物の面積が
該物に対し予め設定された面積となるよう前記画像信号
の２値化レベルを調整する２値化レベル調整手段を備え
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、作業ロボットの画像処
理装置に関し、特にロボットの被作業位置を撮像し、適
切に画像処理することにより、被作業位置を正確に割り
出し、作業を円滑に実行できるようにしたものである。

【０００２】

【従来の技術】従来の作業ロボットは、ロボットを予め
ティーングした位置に移動させ、ハンド部に持たせた工
具を用いて加工や組立て等の作業を行うというものであ
る。

【０００３】また、近年、画像処理用のカメラが普及
し、例えばレーザ加工機のマーキング位置を撮像した上
でこのマーキング位置に対して所定のレーザ加工を施す
ことも行われている。

【０００４】そこで、ロボットハンドに画像処理用のカ
メラを持たせ、該作業位置を撮像した上で、被撮像位置
の中心に対して作業を行う画像処理装置付の作業ロボッ
トが考えられる。

【０００５】

【発明が解決しようとする課題】しかしながら、上記の
如く考えられる画像処理装置では、被作業位置の前加工
状態が必ずしも安定していないこと、あるいは透過光ま
たは反射光が不均一であること等に起因して、被作業位
置がずれた位置に撮像されるという問題点があった。

【０００６】また、プレス加工された穴形状では、その
穴径部にダレが生じており、そのダレの程度または反射
光の在り方によって画像が歪んでしまう。また、撮像信
号を一定の２値化レベルで処理する場合には、一方向か
ら見える板材表裏面の像が不明確で区別がつかず、形状
が歪むこともある。そこで、本発明は、画像処理におけ
る２値化レベルを適正化し、被作業位置を正確に割り出
し、ロボットハンドを正確に動作させることができる作
業ロボットの画像処理装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】上記課題を解決するため
本発明は、特許請求の範囲に記載の通りの作業ロボット
の画像処理装置を構成した。

【０００８】

【作用】本発明の作業ロボットの画像処理装置では、２
値化レベル調整手段により、撮像された被作業位置から
前記工具の移動位置を算出する際に、前記被作業位置に
属する物の面積が該物に対し予め設定された面積となる
よう前記画像信号の２値化レベルを調整し、被作業位置
を正確に割り出す。

【０００９】したがって、正確に割り出された被作業位
置に基いてロボット制御位置を定めるので、組立誤差や
加工誤差が最小となる。

【００１０】

【実施例】以下、添附図面を参照して本発明の実施例を
説明する。

【００１１】図２は本発明の一実施例に係る画像処理装
置を含めた作業ロボットの制御システムを示す説明図で
ある。作業用ロボットは多関節ロボットを用いた組立用
ロボットの例で示す。

【００１２】図示のように、作業ロボットＲ／Ｂのロボ
ット本体１には多関節アーム２を介してハンド３が設け
られ、このハンド３には、組立工具としてのレンチ装置
４とＣＣＤカメラ５及び照明器具６から成る撮像装置が
固定されている。

【００１３】前記ロボットＲ／Ｂ及び前記レンチ装置４
を制御するロボットコントローラ７は接続部材の作動タ
イミングを制御する管理コンピュータ８と接続されてい
る。該管理コンピュータ８は、撮像装置と接続される画
像処理装置９と接続されている。

【００１４】図３及び図４は、レンチ装置４及び撮像装
置（５，６）を持たせたハンド部３の詳細を示す正面図
及び側面図である。但し、図３の正面図では撮像装置を
取り除いた状態で示している。

【００１５】図３において、ハンド３には、組立工具と
しての一対のレンチ装置４が設けられている。

【００１６】本例での組立作業は、図３の下方に示すよ
うに、テーブルＷ１の裏面からフリーベアリングＷ２を
組付けるものであるとする。このフリーベアリングＷ２
は、中央部にベアリングボールを収納した楕円状の板に
一対の貫通孔を有し、この貫通孔にそれぞれボルトを挿
通して組立用に供されるものである。このボルトを前記
テーブルＷ１の対応するねじ穴（ナット穴）Ｈ１, Ｈ２
に螺入するのが前記レンチ装置４の役目である。

【００１７】レンチ装置４は、ナットランナ本体１０
と、ハンド３に対して上下動するナットランナソケット
１１と、前記ナットランナ本体１０に対しこのソケット
１１を常時下方向に付勢するばね１３と、前記ソケット
１１の回転に伴って回転するレンチ１４とを備えて成
る。

【００１８】前記ナットランナ本体１０に対し固定的に
設けられるブラケット１５には、センサ取付板１６が設
けられ、このセンサ取付板１６には、前記ナットランナ
ソケット１１の上端位置を締付け開始位置及び締付け終
了位置の２位置で検出するストローク検出用近接スイッ
チ１７が設けられている。

【００１９】また、両ナットランナソケット１１の中間
部にはその下面をレンチ１４の下面に略一致させてバキ
ュームパッド１８が設けられ、ハンド３の上部に設けた
真空発生器１９でその下面に位置するフリーベアリング
Ｗ２を吸着できるようになっている。各ナットランナ本
体１０には一定トルク以上でオン作動するトルク検出用
のリミットスイッチ２０が設けられている。

【００２０】したがって、本例のハンド部によれば、レ
ベルＬ１の高さに位置するフリーベアリングＷ２に対し
ハンド３を移動させ、次いでばね１３に抗してハンド３
を下降させ、フリーベアリングＷ２をバキュームパッド
１８で吸着することにより、図３の右側に示す状態にて
フリーベアリングＷ２をハンド３の先端部に固定するこ
とができる。

【００２１】また、その後、ハンド３を移動させ、フリ
ーベアリングＷ２をテーブルＷ１の被作業位置に移動さ
せ、適宜下降させてフリーベアリングＷ２のボルト２１
をねじ穴Ｈ１に螺入すべくレンチ１４を回転させること
ができる。レンチ１４を回転させると、ボルト２１がね
じ穴Ｈ１, Ｈ２に螺入され、ナットランナ本体１０に対
しナットランナソケット１１が下降する。ボルト２１の
締付後は、図３の左半分に示す状態からハンド３を次の
作業に対して移動させれば良い。

【００２２】図４に示すように、前記ハンド３の前方
（図において右側）には、その下方にレンズ部２２を備
えたＣＣＤカメラ５が設けられている。ＣＣＤカメラ５
の両側面には、一対の照明器具６が設けられている。こ
の照明器具６の取付間隔は、被作業位置としての前記テ
ーブルＷ１のねじ穴Ｈ１, Ｈ２の間隔と略一致される。

【００２３】カメラ５は、図３のハンド部により、フリ
ーベアリングＷ２がバキュームパッド１８で吸着された
後、テーブルＷ１の被作業位置に移動されたとき作動さ
れる。ハンド３は、テーブルＷ１の被作業位置の上位置
にカメラ５を移動させ、この位置でねじ穴Ｈ１, Ｈ２を
照明してねじ穴Ｈ１, Ｈ２を含めてテーブルＷ１を撮像
し、後で詳述するように、画像処理装置９で撮像位置を
予定の位置と比較し、ハンド３に対するテーブルＷ１の
被作業位置のずれを演算し、補正量を算出し、ロボット
コントローラ７に対して出力する。

【００２４】図１は、図２に示すシステム構成につき、
特に画像処理装置９の詳細を示したブロック図である。

【００２５】図示のように、画像処理装置９は、前記管
理コンピュータ８と接続されるデータ通信部２３と、カ
メラ５及び照明装置６から成る撮像装置５，６と接続さ
れる撮像指令信号出力部２４及び撮像信号入力部２５
と、これらに接続される中央処理部２６及び画像処理部
２７を有して成る。画像処理部２７には、２値化レベル
調整部２８とロボット補正量算出部２９が接続されてい
る。

【００２６】画像処理部２７は、フレームメモリに取込
んだ被作業位置の前記ねじ穴Ｈ１,Ｈ２を含めた画像を
処理し、数値解析するものである。２値化レベル調整部
２８は、画像処理部２７の形状認識に際し２値化レベル
を適正化するものである。ロボット補正量算出部２９
は、画像処理部２７の数値解析結果に応じ、ロボットＲ
／Ｂの補正量を得るものである。

【００２７】図５は、組立作業の全体の流れを示すフロ
ーチャートである。

【００２８】ステップ５０１で作業内容の条件設定を
し、ステップ５０２でバキュームパッド１８でフリーベ
アリングＷ２を吸着した上で被作業位置までロボットＲ
／Ｂを移動させ、ステップ５０３で被作業位置としての
テーブルＷ１のねじ穴Ｈ１，Ｈ２を撮像する。

【００２９】図６に、撮像時のカメラ５とテーブルＷ１
の対応関係を示す。図中、部品取付穴Ｈ３は、ねじ穴Ｈ
１, Ｈ２の中央部に設けられたフリーベアリングＷ２の
ボール部が配置される穴である。通常ロボットＲ／Ｂ
は、この穴Ｈ３の中心位置Ｐ３に対して移動され、穴Ｈ
１, Ｈ２の中心位置Ｐ１, Ｐ２を通る直線でフリーベア
リングの取付方向を定める。

【００３０】図７は、画像処理部２７のフレームメモリ
ＦＭの平面座標（ＸＹ）上に撮像された画像を示す説明
図である。図示のように、ある２値化レベルで白黒画素
を判定し形状認識すると、ねじ穴Ｈ１, Ｈ２及び取付穴
Ｈ３に対応して円Ｈ１´Ｈ２´Ｈ３´が現われる。各形
状の中心位置をＰ１´，Ｐ２´，Ｐ３´とする。

【００３１】ここに、図７に示す形状Ｈ１´，Ｈ２´，
Ｈ３´は、照明により、またはねじ穴Ｈ１，Ｈ２のねじ
の性状、取付穴の破断面の状態等により、それぞれゆが
められて認識されている恐れがある。したがって、ある
２値化レベルで認識された形状Ｈ１´，Ｈ２´，Ｈ３´
により各穴Ｈ１，Ｈ２，Ｈ３位置をそのまま認識する
と、認識誤りを生じ、後で計算される補正値に大きな誤
差を発生し、取付失敗し、不良品を発生してしまう恐れ
がある。

【００３２】そこで、本例では、図８に示す手順によ
り、２値化レベルを調整し形状Ｈ１´，Ｈ２´，Ｈ３´
を適正に認識した上でロボットＲ／Ｂに対して出力すべ
き補正量を演算する。

【００３３】まず、ステップ８０１で撮像による画像を
得ると、ステップ８０２で、各ねじ穴形状Ｈ１´，Ｈ２
´について、実測面積Ｓｉ（ｉ＝１，２）と基準の面積
Ｓioの差△Ｓｉを求める。

【００３４】△Ｓｉ＝Ｓｉ−Ｓio 次いで、ステップ８０３、８０４で、この差△Siが許容
値△Ｓio以下であるか否か、また許容値以上である場合
はその方向（正，負）を判別する。

【００３５】差△Ｓｉが許容値内であればステップ８０
５以下の処理へ移行するが、差△Ｓｉが許容値外の場合
には、その正負に応じ、ステップ８０６またはステップ
８０７へ移行し、図９に示すように２値化レベル（明る
さ）を△Ｌだけ減少または増加させ、ステップ８０２へ
返る。

【００３６】したがって、本例では、各形状Ｈ１´，Ｈ
２´の面積がＳｉ基準値Ｓioとなるよう、２値化レベル
が調整されるので、図１０に示すように図９に示すレベ
ル変化に応じて得られる２値化画像から正規の形状Ｈ１
´，Ｈ２´が得られる。

【００３７】そこで、本例では、ステップ８０５でねじ
穴Ｈ１，Ｈ２の中心座標Ｐ１´（Ｘ１，Ｙ１），Ｐ２´
（Ｘ２，Ｙ２）を算出し、その中心座標Ｐ３´（Ｘ３，
Ｙ３） Ｘ３＝（Ｘ１＋Ｘ２）／２ Ｙ３＝（Ｙ１＋Ｙ２）／２ を取付穴Ｈ３の中心座標として求め、ねじ穴中心座標Ｐ
１´，Ｐ２´を結ぶ直線ｍを求め、ステップ８０８で補
正量を算出する。

【００３８】補正量は、取付穴Ｈ３の中心座標Ｐ３´と
正規の値との差△Ｐ３と、直線ｍの正規の直線に対する
ずれ角△Ａとで算出される。かくして算出された補正量
は管理コンピュータ８を介してロボットコントローラ７
に出力され、ロボットＲ／Ｂは補正量を加味して移動位
置及び回転角度を求め、図６及び図３に示した関係でレ
ンチ１４を回転させ、ねじ締め作業を行う。

【００３９】ねじ締め時には、トルク検出が行われ、ま
たストローク検出用近接スイッチ１７によってレンチ１
４のストローク量が検出され、確実にねじ締めされたこ
とを確認してのち、次の動作に移る。もしアラーム発生
した場合には発生アラーム内容を記憶した上で、そのと
きの作業を中断して次のフリーベアリングＷ２について
組立作業を続行する。アラーム発生確率は例えば数千分
の１以下の如く小さな値である。

【００４０】以上により、本例の組立作業ロボットの制
御システムによれば、テーブルＷ１面へのフリーベアリ
ングＷ２の組立作業に関し、一対のボルト２１を一対の
ねじ穴Ｈ１，Ｈ２に対し同時的に組付けて行くことがで
きる。

【００４１】組立手順は、フリーベアリングＷ１をバキ
ュームパッド１８で吸着した上で、レンチ１４を回転さ
せ、レンチ１４の回転に行ってナットランナソケット１
１をナットランナ本体１０に対してスライドさせてゆく
だけのものであるので、装置構成が簡単で、かつロボッ
トの制御手順に無理が無い。

【００４２】さらに、本例では、画像処理装置９を設
け、テーブルＷ１のねじ穴Ｈ１，Ｈ２を撮像した上で、
撮像された一対の穴Ｈ１，Ｈ２に対して一対のボルト２
１を螺入するので取付失敗の恐れが少なく、アラーム発
生機会を少なくする。また、特に２値化レベル調整部２
８により図８〜図１０に示す方式で面積Ｓｉが正規の面
積Ｓioとなるよう２値化レベルの調整が為されるので、
ねじ穴Ｈ１，Ｈ２の画像に多少の乱れがあっても正規の
中心位置を正確に求めることができ、高精度の組立て作
業を行うことができる。

【００４３】上記実施例では、組立作業の例で示した
が、加工作業であっても同様である。

【００４４】また、上記実施例では照明器具６を設け反
射光を得る例を示したが透過光方式であっても同様であ
る。

【００４５】本発明は上記実施例に限定されるものはな
く、適宜の設計的変更を行うことにより、適宜態様で実
施し得るものである。

【００４６】

【発明の効果】以上の通り、本発明は特許請求の範囲に
記載の通りの作業ロボットの画像処理装置であるので２
値化レベルを適正化し、被作業位置を正確に割り出し、
ロボットハンドを正確に動作させることができる。

【図面の簡単な説明】

【図１】図１は、本発明の一実施例に係る画像処理装置
を含めた制御システムのブロック図である。

【図２】図２は、図１の具体的構成を示す説明図であ
る。

【図３】図３は、上記作業ロボットのハンド部の詳細を
カメラを除いて示す正面図である。

【図４】図４は、上記作業ロボットのハンド部の詳細を
示す側面図である。

【図５】図５は上記作業ロボットの組立方式を示すフロ
ーチャートである。

【図６】図６は、撮像位置と被作業位置との配置関係を
示す説明図である。

【図７】図７は、画像の説明図である。

【図８】図８は画像処理方式を示すフローチャートであ
る。

【図９】図９は、Ｘ軸に沿った画像信号（ビデオ信号）
の説明図である。

【図１０】図１０は、図９を２値化処理した信号の説明
図である。

【符号の説明】

３ ロボットハンド ５ カメラ ６ 照明器具 ９ 画像処理装置 ２８ ２値化レベル調整部 Ｗ１ テーブル Ｗ２ フリーベアリング Ｈ１，Ｈ２ ねじ穴

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ロボットハンド部に工具を持たせ、該工
   具を用いて各種作業を行うようにした作業ロボットの画
   像処理装置において、 前記工具に対し被作業位置を撮像する画像処理用のカメ
   ラを設け、 前記画像処理装置に、前記被作業位置の撮像信号を入力
   し、撮像された被作業位置から前記工具の作業位置を算
   出する際に、前記被作業位置に属する物の面積が該物に
   対し予め設定された面積となるよう前記画像信号の２値
   化レベルを調整する２値化レベル調整手段を備えたこと
   を特徴とする作業ロボットの画像処理装置。