JPS6056895A - ロボツトの視覚センサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の技術分野〕 この発明はロボット用視覚センサに関し、更に詳しくは
対象物体すなわちワークの形状を識別し、識別されたワ
ークの位置、傾きなどをロボットに送信する機能を有す
るロボット用視覚センサに関するものである。

〔従来技術〕

従来、ロボットで組立作業、搬送作業などを行なう、い
わゆるファクトリ−オートメーションにおいて、ロボッ
トによシ高速でかつ正確な作業を行なわせるためには、
ロボットの目となる視覚センサーとして高精度のものが
必要で、その実現が望まれていた。

〔発明の概要〕

この発明はこのような点にかんがみてなされたもので、
カメラによって受像された画像データからワークの形状
の全体的特徴を抽出し、あらかじめ登録されたデータか
ら検索してワークを全体識別し、識別されたワークにつ
いてティーチングされた周辺の２点の座標を計測してロ
ボットに送信する機能と、任意のウィンドウを設定し、
ウィンドウ内で、ティーチングされたデータにもとづく
ワークの局所特徴抽出によりワークを部分識別し、識別
されたワークについて重心位置及び傾きを計測してロボ
ットに送信する機能を備えることにより、ロボットの能
力を飛蹄的に拡大し、各作業における高度な適応力を付
加することができるロボットの視覚センサを提供するこ
とを目的とするものである。

〔発明の実施例〕

以下１図面にもとづいてこの発明の一実施例について説
明する。

第１図はこの発明の一実施例を示すシステム構成図であ
る。第１図において、（１ａ）　、（１ｂ）はテレビカ
メラ、（２）は画像入力装置で、テレビカメラ（１ａ）
　、（１ｂ）からの入力画＠信号を２値化し、孤立点除
去などの処理を行なう。なお、孤立点除去とは、孤立し
た１点の情報は、その点を囲む画素の情報と同一として
判断することにょシ孤立点を除去する処理である。（３
）は画像処理装置で、画像入力装置（２）の出力からラ
ンレングスを生成する。（４）は画像メモリで、画像全
体を記憶するもの、この実施例では２５６ｘ２５６ピン
トである。つまり、画送数は２５６ｘ２５６である。（
５）は中央処理装置（ｃｐｖ　）、（６）は記憶装置、
（７）はＧＰＩＢインターフェイス、（８）はＲ８２３
２Ｃインターフエイス、（９）はモニタインターフェイ
ス、（１０ｉｄライトベンインターフエイス、αηは視
覚センサコントローラ、（６）はロボットコントローラ
、α→は磁気テープ装置、０◆はヴラウン管表示装置に
よるモニタ、αりはライトベンで、メニューの選択、テ
ィーチングなどセンサの各種操作を行なう。　・ モニタα◆には入力された情報をもとにｃ　ｐ　ｖ　（
５）によシ処理された結果が表示される。磁気テープ装
置皺０→はティーチングデータを長期保存したりすると
きに使用する。

先づ、対象物体つ捷りワークの全体識別について説明す
る。これは全体的特徴の抽出によって行なうつすなわち
、あらかじめティーチングにより複数個のワークについ
て全体的特徴としてワークの面積、周長つまシ外周長、
穴の数、全周長つまり穴があればその穴の周長も含めた
全周長、穴の面積、重心から外周までの最大長及び最小
長、コンパクトさ等を演算して、１かちｎ迄のワークに
ついてそれぞれ記憶させておく。なお、コンパクトさと
は（周長）２／面積であられし、複雑な形状のもの程こ
の値が太きくなる。

次に、実際にワークが流れてきたとき、或はロボットが
ワークの所へ見に行ったとき、カメラ（１ａ）　、（１
ｂ）から入力されたデータにより上記全体的特徴を演算
して、おぼえている中から検索してワークが何番のワー
クであるかを判断する。

次に、ワークの位置と傾きを計測する。これはワークの
周辺のあらかじめ決めたＡ及Ｂの２点の座標を演算し、
Ａ点→Ｂ点のベクトルがＸ軸となす角度つまり傾きをめ
て、Ａ点の座標と上記角度をロボットに送信する。

すなわち、ロボットに送信するデータはワークが伺かを
示す上記全体的特徴、Ａ点の座標、及び傾きである。こ
れによシ例えばロボットがワークをつかむときにＡ点か
ら何期の所をつかむかを指定しておくことにより、傾き
がわかるからロボットはハンドを傾けてワークをつかみ
に行くことができる。

なお、座標はセンサ側とロボット側で別々に持っている
ので両座種間にはオフセットがあるが、このオフセント
はあらかじめキャリブレイションによりロボットに教え
ておき、センサの計測結果はロボット側で補正するよう
になっている。

第２図はワークの位置及び傾きの計測を説明するだめの
説明図で、（イ）はワーク、Ｇは重心位置、矢印はワー
クに固有の２次モーメントを示している。

次に、ワークの部分識別について説明する。第６図は局
所特徴抽出を説明するだめの説明図、第４図は識別図形
例を示す説明図である。第６図。

第４図において、Ｑ］）はモニタ画面、Ｃ４はウィンド
ウで、任意にライトベンで設定することができ、この中
のみ情報処理することを示すもの、つ壕り処理範囲を示
すものである。翰はワークにあけられた穴である。この
部分識別は、穴（ハ）に何かをさし込んだり、ねじを挿
入するときなどに使うものである。

ウィンドウ（イ）内で見付けることを指定すると、ティ
ーチングされたデータにもとづきウィンドウ（イ）内の
指定された半径の円を見利け、その重心点のＥ１５標を
計測する。

長円（ハ）については、長径Ｌｔ及び短径り、を指定す
ることにより、指定された長円の重心Ｇと一番技い点と
を結ぶ矢印（ハ）がＸ軸となす角度つまり傾きとを言ｌ
ｉｔ用する、 矩形（ハ）については、長辺りえ及び短辺Ｌ８を指定す
ることにより、長円と同じく重心Ｇと傾きを計測する。

溝Ｑ乃については、四角を想定中Ｗと深さＬを指定する
ことにより、指定された溝の重心Ｇをめ、傾きは、ｇｆ
ｆ心Ｇから外向方向の矢印（２５ａ）とＸ東りとなず角
によりめる。

かど（財）については、長さＩ、１及びＬ２　と角θを
指定すると、指定されたかどの重心Ｇの位置をめ、傾き
は、かどの半分の角度を示す矢印（２５ｂ）とＸ軸とな
す角によりめる。

以上のようにして指令と合致したものを部分識別し、そ
のＪｉ心位置及び傾きがロボットへ送信される。合致す
るものがなければエラーでかえされる。

２台のカメラ（１ａ）　、（１ｂ）はロボットコントロ
ーラ（６）からの命令により、２台のカメラを任意に切
換えて使用する。例えば１台で全体識別を行ない他の１
台で局所識別を行なう。但し、１台で両者を同時に行な
うことはできない。

〔発明の効果〕

以上のようにこの発明によれば、全体識別機能と部分識
別機能とを備えることにより、視覚センサとして高精度
のものが得られ、ロボットの能力を飛躍的に拡大し、各
作業における高度な適応力を付加することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示すシステム構成図、第
２図は全体識別においてワークの位置及び傾きの計測を
説明するための説明図、第６図は局所特徴抽出を説明す
るだめの説明図、第４図は識別図形例を示す説明図であ
る、 図中、（１ａ）　、（１ｂ）はカメラ、（２）は画像入
力装置、（３）は画像入力装置、（４）は画像メモリ、
（５）はｃｐｖ、（６）は記憶装置、（ロ）はロボット
コントローラ、（１葎は磁気テープ装置、α→はモニタ
、θ０はライトペンであるっ なお、図中、同一符号は同−又は相当部分を示す。 代理人　大岩増雄 第２図　。 第３図 第４図 ２　発明の名イｊ、 ロボットの視覚セ／す ３、補正をする者 代表省片山仁へ部 ５、補正の対象 ６、補正の内容 （１）明細書の特許請求の範囲を別紙の通シ補正する。 （２）明細書中、第１頁第２０行「傾きなどをロボット
に」を「傾＠などを計測し、ロボットに」と補正する。 （３）同上中、第２頁第１行「送信する」を「把持位置
、組付位置などを送信する」と補正する。 （４）同上中、第２頁第８行「高精度の」を「高精度、
高機能の」と補正する。 （５）同上中、第２頁第１２行及び第１６行「画像デー
タからワークの」を「画像データを２値化し、視野内に
分離して存在する１個以」二のワークの」と補正する。 ′（６）同上中、第２頁第１６行「周辺の２点の」を「
ロボットの把持位置などの２点の」と補正する。 （７）同上中、第３頁第１行「機能を備える」を鳴能と
対象ワークを見せることにより特徴データを抽出し登録
する機能を備える」と補正する。 （８）同上中、第６頁第２０行「画送数」を「画素数」
と補正する。 （９）同上中、第４頁第１行及び同頁第９行ｒｅｐｖｊ
をｒ　ＣＰ　’Ｕ　Ｊと補正する。 ００同上中、第４頁第４行１−　（１］）は視覚センサ
コントローラ、」を１（１メは視覚センナコントローラ
であり、上記（５）〜叫よシ構成芒れる。」と補正する
。 １．１１）同上中、第４貞第５行「α）は磁気テープ装
置、」をｒ　Ｑｌはカセット磁気テープ装置、」と補正
する。 ａ→同上中、第４頁第１０行「磁気テープ」を「カセッ
ト磁気テープ」ど補正する。 （１邊同上中、第４頁第１５行「テ・［−チングにより
」を１対■父ワークを見せるととｌ・こより」どイ山正
すべ）。 Ｏ・◇同上中、第４貝第２０行１−演算して、」を１狐
真し、’ＩＪしにライ（・ペンにより指示されたＡ。 Ｂ２点のワーク固有の２次モーメントを基準とした座標
を演算して、」と補正する。 ００同丘中、第５頁第７行［おぼえている中から」を［
あらかじめ登録されたデータの中から」と補正する。 α→同上中、第５頁第１０行「ワークの周辺のあらかじ
め」を「ワークのあらかじめ」と補正する。 （Ｉの同上中、第５頁第１１行「座標を演算し、」を１
座標をワークの固有の２次モーメントを基準として演算
し、」と補正する。 ａａ同上中、第５頁第１５行１−全体的特徴」を「全体
的特徴に基づくワーク番号」と補正する。 （イ）同上中、第５負第２０行の次に下記の又を追加す
る。 ［視野内に複数個のワークがある場合−よ、左上隅から
水平方向に順に走査し、つまりモニタ（ｌ→画面の左上
隅から水平方向に１ルイに走査し、最初ＶＣ当ったワー
クを計測した結果例えば未登録であった場合「未登録エ
ラー」をロボッ２て送信し、次のワークの計測を行ない
そのワークが登録済の場合はワーク番号とＡ点の座標及
びＡ点→Ｂ点のベクトルがＸ軸となす角度を演算しロボ
ットに送信する。また、次のワークがある場合には続い
てそのワークを計測し、データをロボットに送信する。 そして、把持すべきワークの選択は、視覚センサが送信
したワーク番号からロボットが判断して把持する。」 （イ）同上中、第６頁第５行「補正するようになってい
る。」の次に下記の文を追加する。 「嘔シに、センサはスゲ−リングにより１画素に相当す
るＩＩＩＪ数【計φ）ｊすることができるようになって
いる。」 ０１）同上中、第６頁第８１寸「−２仄モーメントτ示
して」“♂［−２久モーメントの最小方向を示して」と
補正する。 ＠ｆｉｌｌ上甲、第６頁第２０行「見付ける」を１−大
町’ｃ　３？、付ける」と補正する。 （ハ）同上中、第７頁第１１行「想定」を「想定し」と
補正する。 （ハ）同上中、第７０第１５行「角θ」ｔ「コーナ一部
’ＬＣと角θ」とイーｊ正する。 −同上中、第８頁第１１行「高精度」を「高精度、高機
力巳」と補正する。 （ハ）同上中、第９頁第１行ｒｅｐｖＪｉｒｃＰＵ」と
補正する。 勾同上中、第９頁第６行「磁気テープ装置」を「カセッ
ト磁気テープ装置」と補正する。 （財）図面中、第４図を別紙の通シ補正する。 別紙 將許請求の範囲 カメラによって受像された画像データから黒黒内に分離
して存在する１個以上のワークの形状の全体的特徴を抽
出し、あらかじめ登録されたデータから検索してワーク
を全体識別し、識別されたワークについてティーチング
されたロボットの把持位置などの２点の座標を計測して
ロボットに送信する機能と、任意のウィンドウを設定し
、ウィンドウ内で、ティーチングされたデータにもとづ
くワークの局所特徴抽出によりワークを部分識別し、識
別されたワークについて重心位置及び傾きを計ち（１１
シてロボットに送信する機能とを備えたことを特徴とす
るロボットの視覚センサ。 第４図

Claims (1)

【特許請求の範囲】
1. カメラによって受像された画像データからワークの形状
   の全体的特徴を抽出し、あらかじめ登録されたデータか
   ら検索してワークを全体識別し、識別されたワークにつ
   いてティーチングされた周辺の２点の座像を計測してロ
   ボットに送信する機能と、任７（牙のウィンドウを設定
   し、ウィンドウ内で、テイチングされたデータにもとづ
   くワークの局所特徴抽出によりワークを部分識別し、識
   別されたワークについて重心位置及び傾きを計測してロ
   ボットに送信する機能とを備えだことを特徴とするロボ
   ットの視覚センサ。