JPS61227240A - 産業用ロボツト用視覚センサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はファクトリ−オートメーションにおける組立作
業又は搬送作業などにおいて、対象ワークを識別し、該
対象ワークの三次元位置を計測する産業用ロボット用視
覚センサーに関し、更に詳しくは対象ワークの三次元位
置の変動に対象可能な産業用ロボット用視覚センサに関
する。

〔従来の技術〕

近年、工場における生産工程の自動化の為に、産業用ロ
ボットをはじめとして、高度な機能を持った各種設備（
以下、単に産業用四ポットという）が導入されている。

産業用ロボットによって対象ワークに対する作業を行な
うためＫは、産業用ロボットが対象ワークの位置及び姿
勢を認識する必要がある。対象ワークの位置及び姿勢は
位置決め装置により、一定にできる。この場合、対象ワ
ークは種々の形状のものがあり、かつその位置及び姿勢
が様々であるので、対象ワークの種類に応じた位置決め
装置が必要となるが、それでは非常に高いものについて
しまう。そこで、組立工程等人手に頼らざるを得ない分
野が存在することになるが、全ての工程を自動化（ロボ
ット化）するためには、対象ワークの位置及び姿勢を認
識する手段としての視覚センサが必要不可欠なものとな
る。

かかる産業用ロボット用視覚七ンサは、１台のテレビカ
メラを用いたもの、２台のテレビカメラを用いたもの及
び２台のテレビカメラのうち１台を光源に置き換えたも
のなどがある。テレビカメラを２台用いた視覚センサは
三角測量によって対象ワークの三次元空間内の位置及び
姿勢の変動に対応し得るものである。しかし、テレビカ
メラを２台用いた視覚センサは一方のテレビカメラでと
らえた画像のある点が他方のテレビカメラでとらえた画
像のどの点に対応しているかを決定しなければならない
という問題があり、画像処理に要する間開がかかるので
実用的でない。

また、２台のテレビカメラの１台を光源に置き換えた視
覚センサは、光源から特定の方向に投影した対象ワーク
の像をテレビカメラでとらえるものである。しかし、こ
の視覚センサは全画面の情報を得るのにスリット光など
の光源を移動させなければならず、処理時間がかかり、
高価であるという問題がある。

さらに、テレビカメラを１台のみ用いた視覚センサは、
対象ワークの二次元平面上の位置及び姿勢の変動に対応
するものである。この視覚センサは画面内に分離して存
在する複数の対象ワークについて、面積、外周長、大面
積、重心から外周辺迄の最大長及び重心から外周辺迄の
最小長など対象ワークの外形を表わす特徴データを用い
、予めティーチングされた対象ワークのいずれに該当す
るのかを識別する。又、画面内のウィンドウ部分（対象
ワークの表示部分）から、円、長円、矩形等指定された
図形を識別し、その二次元位置の計測などを行なうもの
である。

第４図はテレビカメラを１台のみ用いた視覚センサの概
略図である。第４図において、（Ｉ）は視覚センサ制御
装置ｆ、（２＋はテレビカメラ、（３）はレンズ、（４
）はテレビカメラ（２）の光電面、（５）は対象ワーク
、（６）はモニタテレビである。三次元空間にある対象
ワーク（５）はテレビカメラ（２）によって撮影すると
、第５図に示すように二次元画像（５つとして光電面（
４）に写ることになる。視覚センサ制御装置（１）はテ
レビカメラ（２）の撮影によって得られた情報に基づい
て、対象ワーク（５）の二次元位置及び姿勢を計測する
。ここで、対象ワーク（５）の二次元位置とは、対象ワ
ーク（５）の重心点（Ｇ）などの特定の点が第４図に示
した基準面（Ｓ）のどの位置にあるか、即ちテレビカメ
ラ（２）の光軸（功に対応する光電面（４）の中心点（
ｑからの変位量（Ｘθ、　Ｙｅ　）で示すものであり、
以下の様にして算出する。まず、レンズ（３）の焦点距
離をｆルンズ（３）の主点から基準面Ｓ迄の距離、即ち
対物距離をａルンズ（３）の結像距離をｂとすると、レ
ンズの公式により となり、撮影倍率Ｍが求まる。次に、第５図に示すよう
に光電面（４）のＸ方向の長さをｌｌｘ、　Ｘ方向の分
割画素数をＮｘ、　ｙ方向の長さを１ｙＳｙ方向の分割
画素数をＮｙとし、光軸（１りが通る点０から対象ワー
ク（５）の重心点までのｒＭ素数をＸ方向がＸＸｙ方向
がＹとすれば、変位ｆｆ１（Ｘθ、ｙθ）は、ＩＮＸ　
　　　　　　Ｍ になる。又、対象ワーク（５）の姿勢とは対象ワーク（
５）の長辺などの特定の辺の水平面、即ち光電面（４）
′のＸ軸に対する傾きである。対象ワーク（５）の長辺
の端点の光電面（４）における座標を（ｘＩ　＋　）’
Ｉ　）　、（ｘＩ１ｙｔ）とすれば、傾きθは、 Ｋなる。

上述したようＫして算出した対象ワーク（５）の位置及
び姿勢（Ｘθ、ｙθ、θ）に基づいて、ロボットは対象
ワーク（５）を認識する。

〔発明が解決しようとする問題点〕

ところで、対象ワーク（５）が第４図に示すようにレン
ズ（３）の主点と対象ワーク（５）の重心点とを結ぶ１
１１分１’上をテレビカメラ（２）から遠ざかる方向に
移動した場合、光電面（４）に写る対象ワーク（５）の
像（５′）は小さくなるが、変位量（Ｘθ、ｙθ）及び
傾きθは変化しないが、誤差（ΔＸ、△ｙ）を生じる。

従って、ロボット（図示せず）は対象ワーク（５）の位
置を課ってＭｕしてしまうという問題があった。

本発明は上記問題点を解決するためになされたもので、
対象ワークの位置が変動しても、対象ワークの位置を正
確にとらえることのできる産業用ロボット用視覚センサ
を提供することを目的とする０ 〔問題点を解決するための手段〕 そこで本発明では、ｖｉ数の対象ワークから選択された
認識すべき対象ワークを撮影するテレビカメラと、テレ
ビカメラが出力する認識すべき対象ワークに対応するビ
デオ信号を２値化信号に変換し２値化信号に対して孤立
点除去を施す画像入力回路と、孤立点除去が施された２
値化信号からランレングスデータを生成しランレングス
データを記憶する画像処理回路と、孤立点除去が施され
２値化信号及び対象ワークの認識結果を記憶する画像記
憶回路と、孤立点除去が施された２値化信号に対応する
像及び認識結果を表示するモニタテレビと、テレビカメ
ラによって撮影した複数の対象ワークから選択してＭｆ
ｌＡすべき対象ワークを登録するライトペンと、登録さ
れた＃ｇ識すべき対象ワークに関するデータを記憶する
記憶回路と、テレビカメラと［＆すべき対象ワークの所
定の位置とを結ぶ直線に交わる基準面及び仮想面を設定
し画像処理回路が記憶したランレングスデータに基づい
て基準面及び仮想面における対象ワークの位置及び傾き
をそれぞれ算出し算出した対象ワークの位置及び傾きを
ロボットコントローラに出力する中央処理装置とから産
業用ロボット用視覚センサを構成する。

〔作　用〕

上記構成の産業用ロボット用視覚センサは、予めテレビ
カメラによって撮影した複数の対象ワークをモニタテレ
ビに写し、モニタテレビに写った複数の対象ワークから
認識すべき対象ワークをライトペンによって登録し、登
録した認識すべき対象ワークに関するデータを記憶回路
に記憶しておく。次いで、画像入力回路がテレビカメラ
によって撮影した１１識すべき対象ワークに対応するビ
デオ信号を２値化信号に変換しさらに２値化信号に対し
て孤立点除去を施し、画像記憶回路が孤立点除去の施さ
れた２値化信号からランレングスデータを先成しさらに
ランレングスデータを記憶する。

次いで、中央処理装置がテレビカメラと認識すべき対象
ワークとを結ぶ直線に交わる基準面及び仮想面を設定し
画像処理回路が記憶したランレングスデータに基づいて
基準面及び仮想面における対象ワークの位置及び傾きを
算出し、算出した対象ワークの位置及び傾きをポットコ
ントローラにホカする。

〔実施例〕

以下、本発明の一実施例を添付図面を参照して詳細に説
明する。

第１図は本発明に係る産業用ロボット用視覚センサのブ
ロック構成図である。第１図において、（１）は視覚セ
ンサ制御装置、（２）は例えば２５６Ｘ２５６画素の分
解能を有するテレビカメラ、（３）はレンズ、（５）は
計測の対象となる対象ワーク、（７）は視覚センサ制御
装置の内部設定及び認識すべき対象ワークを登録するテ
ィーチングモード時におけるマンマシンインターフェー
ス用のライトペン、α暖は視覚センサ制御装置（１）と
ライトペン（力とのライトペンインターフェース回路、
（８）は視覚センサ制御装置（１）に計測指令を与える
ロボットコントローラ、（ｌｅは視覚センサ制御装［（
１）と四ボットコントローラ（８）との間で、計測指令
、計測結果を授受する上位インターフェース回路である
。

０υは画像入力回路であり、テレビカメラ（２）が出力
する対象ワーク（５）の像に対応するビデオ信号を所定
の閾値により２値化信号に変換し、該２値化信号に対す
る孤立点除去を施す。この孤立点除去はビデオ信号を２
値化信号に変換したときに残る孤立点を除く処理である
。０りは画像処理回路であり、画像入力回路０υが出力
する孤立点除去を施した２値化信号に基づいて、ランレ
ングスデータを生成し、このランレングスデータを記憶
する。（田は中央処理装置であり、視覚センサ制御装置
（１）の動作に必要なプログラムを解釈し実行する。α
Ｑは記憶回路であり、中央処理装置（９）が実行するプ
ログラム及び認識すべき対象ワークに関するティーチン
グデータなどを記憶する。αＪは画像記憶回路であり、
画像記憶回路収りが出力する孤立点除去を施した２値化
信号及び認識結果などを記憶する。

（６）は原画像、孤立点除去を施した２値化信号に対応
する画像、認識結果及び各種操作のためのガイダンスな
どを表示するモニタテレビ、α→は視覚センサ制御装置
（１）とモニタテレビ（６）とのインターフェース回路
である。

次に、本発明に係る産業用ロボット用視覚センサの全体
の動作について説明する。なお、この産業用ロボット用
視覚七ンサは予めテレビカメラによって撮影した複数の
対象ワークをモニタテレビに写し、モニタテレビに写っ
た複数の対象ワークから認識すべき対象ワークをライト
ペンによって登録し、登録した認識すべき対象ワークに
関するデータ、例えば、第４図の従来例を説明したとき
に述べたものを記憶回路α１に記憶しておくものとする
。まず、作業者の操作により、レンズ（３）の主点から
距１１ａだけ離れた位置に基準面（Ｓ）を、さらに基準
面Ｓから距離Ｃだけ離れた位置に仮想面（Ｓつをそれぞ
れ設定する。なお、基準面（８）を設定したとぎは、視
覚センサ制御装置（１）はテレビカメラ（２）の充電面
に写った画像の１Ｗｉ素が何襲の長さに対応しているか
を計測するスケーリング作業を行なう。即ち、寸法がわ
かっている物体をテレビカメラ（２）の充電面に写し、
物体の画像の幅方向の画素数からＩｒｆｉｌ素が何關で
あるかを計測する。

次いで、テレビカメラ（２）が対象ワーク（５）を写す
と、視覚センサ制御装置ｔ　（１）は前記第（１）弐〜
第（５）式から、対象ワーク（５）の基準面＜８）にお
ける変位量（ＸＡ　、　ＹＡ）及び傾きθを算出する。

さらに１視覚センサ制御装置１１）は算出した変位量（
ＸＡ、ＹＡ）及び傾きθと対象ワーク（５）の基準面（
８）　Ｋおける高さＺＡ（＝ａ）を対象ワーク（５）の
基準面（Ｓ）における位置を表わすパラメータとしてロ
ボットコントローラ（８）に送る〇 次いで、視覚センサ制御装置（１）は仮想面（Ｓ′）に
おける対象ワーク（５）の変位Ｍ（ＸＢ、ＹＢ）をなる
弐に基づいて算出する。さらに、算出した変位量（Ｘｌ
、ＹＢ　）　Ｉｔｃ対象７−　ｐ　（５）ｏ仮想面（Ｓ
’）　＜　オーける高さＺｎ（＝ａ＋Ｃ）及び傾きθを
対象ワーク（５）の仮想面（Ｓつにおける位置を表わす
パラメータとしてロボットコント四−ラ（８）に送る。

なお、対象ワーク（５）の実際の位置及び傾きはＸθ、
Ｙθ、２θ及びθである。

第６図は視覚センサ制御装置から送られる対象ワーク（
５）の基準面（Ｓ）及び仮想面（Ｓつにおける位置を表
わすパラメータに基づいて動作するロボットを示す図で
ある。なお、第３図において第１図及び第２図と同様の
機能を果たす部分については、同一の符号を付し、その
説明は省略する。また、第３図において、αＤはロボッ
ト本体、αυはハンド、α場はリミットスイッチ等の把
持検出器である。

一般に産業用ロボットは直線補間機能、即ち現在位置を
原点とし、三次元ｆｆｉ標で与えられた点に１指定され
た送り速度で直線移動する機能を備えている。そこで、
ロボットコントローラ（８）は基準面（８）における対
象ワーク（５）の位ｔ　（ＸＡ、ＹＡ　Ｉ　２人）にハ
ンドα梯を位置させておき、仮想面（Ｓ’）　Ｋおける
対象７−　り（５）Ｏ位ｆｌｌｌ　（ＸＢ、ＹＢ、Ｚ！
ｌ）　ヲ与工、位置（ＸＡ、ＹＡ、ＺＡ）　ｉｐ　ラ位
＠　（Ｘ！ｌ、Ｘ！１．ＺＢ　）　＊　テハノドα均を
動かす。把持検出器α値が対象ワーク（５）を検出した
位置で、ハンドα樽を停止させて、対象ワーク（５）を
把持する。

なお、本実施例では仮想面（Ｓ／）が基準面（Ｓ）の下
方にある場合について説明したが、仮想面（Ｓ′）は基
準面（Ｓ）の上方にあってもよい。

また、本発明に係る産業用ロボット用視覚センサの認識
結果により、産業用ロボットを作動させる場合について
説明したが、直線補間機能を備えた装置であれば、例え
ば簡単な位置決め装置でも良く、本実施例と同様の効果
を奏する。

〔発明の効果〕

以上説明したように本発明によれば、認識すべき対象ワ
ークを撮影するテレビカメラと対象ワークとを結ぶ直線
に交わる基準面及び仮想面を設定し、テレビカメラが対
象ワークを撮影して得られたデータに基づいて、基準面
及び仮想面における対象ワークの位置及び傾きをそれぞ
れ算出することにより、少なくとも対象ワークが基準面
における対象ワークの位置と仮想面における対象ワーク
の位置とを結ぶ直線上にあることが、対象ワークの傾き
とともに認識できる。

また、この認識結果及び産業用ロボットの有する直線補
間機能により、二次元位置検出機能のみを有する視覚セ
ンサを安価で高速処理が可能な三次元位置検出用の視覚
センサとして利用できる。

【図面の簡単な説明】

第１図は本発明に係る産業用ロボット用Ｎｋセンサのブ
ロック構成図、第２図は第１図に示した産業用ロボット
用視覚センサの動作説明図、第３図は第１図に示した産
業用ロボット用視覚センサから送られろ対象ワークの位
置を表わすパラメータに基づいて動作するロボットの動
作説明図、第４図は従来の視覚センサの概略図、第５図
は第４図に示した視覚センサの光電面の説明図。 １・・・視覚センサ制御装置、２・・・テレビカメラ、
６・・・レンズ、５・・・対象ワーク、６・・・モニタ
テレビ、７・・・ライトペン、８・・・ロボットコント
ローラ、９・・・中央処理装置、１０・・・記憶回路、
１１・・・画像入力回路、１２・・・画像処理回路、１
６・・・画像記憶回路、１４・・・モニタインターフェ
ース回路、１５・・・ライトペンインターフェース回路
、１６・・・上位インターフェース回路。 なお、各図中同一符号は同−又は相当部分を示すもので
ある。 代理人　弁理士　　木　村　三　朗 第２図

Claims (2)

【特許請求の範囲】
1. （１）複数の対象ワークから選択された認識すべき対象
   ワークを撮影するテレビカメラと、該テレビカメラが出
   力する該認識すべき対象ワークに対応するビデオ信号を
   ２値化信号に変換し該２値化信号に対して弧立点除去を
   施す画像入力回路と、該弧立点除去が施された２値化信
   号からランレングスデータを生成し該ランレングスデー
   タを記憶する画像処理回路と、前記弧立点除去が施され
   た２値化信号及び前記対象ワークの認識結果を記憶する
   画像記憶回路と、前記弧立点除去が施された２値化信号
   に対応する像及び前記認識結果を表示するモニタテレビ
   と、前記テレビカメラによつて撮影した前記複数の対象
   ワークから選択して前記認識すべき対象ワークを登録す
   るライトペンと、該登録された認識すべき対象ワークに
   関するデータを記憶する記憶回路と、前記テレビカメラ
   と認識すべき対象ワークの所定の位置とを結ぶ直線に交
   わる基準面及び仮想面を設定し前記画像処理回路が記憶
   したランレングスデータに基づいて該基準面及び仮想面
   における前記対象ワークの位置及び傾きをそれぞれ算出
   し該算出した対象ワークの位置及び傾きをロボツトコン
   トローラに出力する中央処理装置とを備えたことを特徴
   とする産業用ロボツト用視覚センサ。
2. （２）対象ワークの所定の位置は重心である特許請求の
   範囲第１項記載の産業用ロボツト用視覚センサ。