JPS60146697A - 作業用ロボツト - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔技術分野〕 本発明は作業用ロボットに関し、特にロボットに備えら
れた視覚センナからの出力信号に基づいて環境の状態を
認識して動作することの可能な作業用ロボットに関する
。

〔従来技術〕

従来のこの種のロボットで工業用等に使用されているも
のに、例えばベルトコンベアで搬送されて（る部品の形
状や位置といった環境の状態を、視覚センサから得られ
る画像情報を基にして認葭させ、これらの認識に基づい
て俸工程の選別や組立動作を行わせるようにしたものが
ある。

しかし、このような従来の作業用ロボットにおいては、
視覚センサの視野の範囲にロボットの構成部分である例
えばその作業用のハンドなどがとり込まれると、部品の
形状認識などが正しく行われなくなるおそれがある。

このような誤認識の例を第１図０）によって説明すると
、ここで１は図示しない視覚センサによって捕捉される
視野の範囲であり、本例ではこの視野の範囲１のうちに
、部品２人および２Ｂと、更に部品２人を握持している
左ハンド３Ａおよび部品２Ｂを握持している右ハンド３
Ｂとが混在している。

しかるに、従来のロボットでは部品２人および２Ｂと左
右のハンド３Ａおよび３Ｂとを識別する機能がないため
に、斜線を施して示す形状４Ａおよび４Ｂとしての認識
がなされてしまい、部品２Ａおよび２Ｂの形状やその向
きなどが誤認識される。

そこで、このよ５な誤認識を回避するために、視覚セン
サによって環境状態の認識を行わせるにあたって、作業
用のハンド３Ａおよび３Ｂをいったん視野の範囲１から
退避させるか、あるいは複数の視覚センナをそれぞれ異
なる方向に配置して適時にセンサを切換えるなどの手段
が考えられる。

しかしながら、環境状態の認識にあたって、その都度ハ
ンド３Ａおよび３Ｂを退避させたのでは、直接の作業目
的でない退避その他の動作を行わせることにより作業能
率の低下をきたす上に、連続した環境認識を必要とする
ような複雑な作業には適しない。更にまた、複数の視覚
センナを配置するのでは、画像逃理システムが複雑にな
り、ロボットが大型化する外、コストが増大するなど不
都合が多い。

以上は従来のこの種のロボットに、視覚情報のうちのロ
ボット自体にかかわる情報と認識の対象となる環境にか
かわる情報とを簡単に識別する手段が備えられ℃いない
ことに起因する。

〔目　的〕

る環境の情報とが混在していても、これらの情報を容易
に識別することのできる手段を有し、誤認識の生じるこ
とのないような作業用ロボットを提供することにある。

〔実施例〕

以下に、図面に基づい℃本発明の詳細な説明する。

第２図は本発明の一実施例を示し、ここで、１０１は視
覚センサ、１０２は照明装置、３は本体１００の左右両
側に具設した作業用ハンド（ここでは左および右ｔハン
ド３Ａおよび３Ｂのうち右側のハンド３Ｂのみを図示）
であり、更に１０４は移動用駆動輪である。

なお、本例では視覚センサ１０１にＮＴＢＣ方式のカラ
ーテレビカメラを用い、更に照明装置１０２の図示しな
い光源にはＣＩＥ表色系の標準Ｃ光源を用い℃構成する
場合を述べることとする。また、ハンド３はロボット本
体１００と共にその表面が青色に着色されている。ただ
し、この色の選定にあたっては、ロボット１００の有す
る視覚領域の中に存在しないような特定色であればよ（
、必らずしも青色に限ったものではない。

第３図は本発明作業用ロボットの制御系を示す。

ここで、２０２は視覚センサ１０１の方向、倍率および
焦点などを制御する視覚センサ制御部、２０３はロボッ
ト１００の動作を全体的に管理する中央熟理装置ＣＰＵ
であり、視覚センサ制御部２０２はｃＰｔｒ２０３によ
って制御される。

２０４は視覚センサ１０１から得られた視覚情報すなわ
ち画像情報によって環境の状態を認識する視覚情報処理
部であり、視覚情報処理部２０４ではその視覚情報の中
から環境状態認識のための画像解析がなされて、これが
環境情報としてＣＰＵ２０３に出力される、 なお、ここでの環境情報とは例えば組立部品の種類（第
１図（イ）の例での部品２人および２Ｂ）やその置かれ
ている位置や向きなどであり、これらの環境情報に基づ
いてＣＰＵ２０３では目的とする次の組立作業を行うた
めに必要な動作を判断し、ハンド制御部２０５およびま
たは駆動輪制御部２０６に動作信号を送給する。

次に、第４図によってこのような視覚情報処理部２０４
における画像解析により、視覚情報中のロボット１００
自体に関する情報と対象とする環境に関する情報とを識
別する機能罠ついて説明する。

ここで、３０１は映像復調回路であり、映像復調回路３
０１では視覚センサ１０１からの画像情報をＲ，Ｇ、Ｂ
の三原色成分に分解し、これらをアナログ信号としてそ
れぞれのＡ／Ｄ変換器３０２Ｒ，３０２Ｇおよび３０２
Ｂに送給し、デジタル化する。

しかして、これらのデジタル信号を１画面分の容量を有
する画像メモリ３０３Ｒ，３０３（）および３０３Ｂに
いったん記憶させてから、その信号を演算論理回路３０
４および３０５に色信号ＲＤ、　ＧＤおよびＢＤ　とし
て送出する。

演算論理回路３０４では、デジタル色信号ＲＤ。

ＧＤおよびＢＤ　のそれぞれについて二次微分の演算を
行い、これらの和をめて２値化することにより二次元の
画像情報として画像の輪郭を抽出する。

なお、上記の二次微分の演算による方式は第５図忙示す
よ５な＝トリクスで示される線形要素の　ｊ荷重関数を
用いて積および和の演算がなされる二次元デジタル画像
の処理法として公知のものであり、その詳細は省略する
。また、画像の輪郭を抽出する方式は上述した方式に限
られるものではなく、たとえば色信号ＲＤ、ＧＤおよび
ＢＤのうちで、信号Ｇ　（線に関する色信号）の谷に対
して一次り 微分の演算を行うようにすることもできる。

一方、演算論理回路３０５は色信号ＲＤ、ＧＤおよびＢ
　によって、画像情報に含まれているうちの色度（次式
のＸおよびｙで示される）を演算する回ｉである。１−
なわち、色度Ｘおよびｙは、次の式（１１で表わされる
。

ただし、ここでＸ、ＹおよびＺは、ＮＴＳＣ方式テレビ
カメラの撒像特性から、ＣＩＥのＸ７２表色系の色度Ｘ
およびｙの構成に使用されるそれぞれ刺激値であり、公
知の式として次式で示される。

なお、視覚センサ１０１にＮＴＳＣ方式以外のテレビカ
メラ等を使用する場合は、その特性にあわせて式（２）
の右辺に用いられている各係数を補正すればよい。

次に、ＲＯＭ３０６　は特定色（本例ではロボット１０
０に用いた青色）の色度があらかじめ記憶されているＬ
ＳＩメモ！Ｊ、３０７は演算論理回路３０５からの出力
をＲＯＭ３０６からの出力と比較する比較器であり、比
較器３０７ではこれら双方からの出力が一致したときに
のみＨ”　レベルの出力信号を発生し、これをインバー
タ３０８に供給する。

そこで、アンドゲート３０９には演算論理回路３０４か
らの輪郭に関する画像信号と、インバータ３０８からの
反転された色識別信号とが供給されることにより、その
論理積に基づく信号がマイクロプロセッサ３１０に送給
される。

なお、マイクロプロセッサ３１０には組立部品（例えば
第１図（６）に示した部品２人および２Ｂ）の形状のパ
ターンがあらかじめ記憶されており、アンドゲート３０
９からのアンド出力″′１”に対してパターン認識を行
うが、後述するようにロボット１０００部分（例えばハ
ンド３Ａおよび３Ｂ）を消去して得られる環境Ｕ識のパ
ターンとしての輪郭線に欠如部分があると、記憶パター
ンとのパターンマツチングを行ったのみでは認識の不可
能な虞がある。

そこで、このような場合に対処するためにマイクロプロ
セッサ３１０には輪郭線の補間機能が付与されており、
上述したよ５な輪郭線の欠如部分の発生位置はあらかじ
め予知できるので、この欠如部分においても輪郭線が連
続しているものとして、その端点同士を接続して補間し
、そのあとでパターンマツチングを行い、部品形状を認
識する。

よって、部品の一部がロボット１００の一部の映像によ
り隠されるような状態にあってもこのために誤認識され
るようなことがなく、高い認識率を保持させることがで
きる。

かくして、認識結果は形状認識信号として直ちに視覚情
報処理部２０４０マイクロプロセツサ３１０からＣＰＵ
２０３に出力され、ＣＰＵ２０３では、この形状認識信
号に基づいて、例えば、固止しい部品が握持されている
か ＩＢ＋正しい位置で握持されているか Ｉｃ＋正しい向きで握持されているか などの項目についてうそであるか否かを判断し、その結
果によって例えばハンド制御部２０５に対応した動作指
令信号を出力する。

そこで次に、このように構成に、た作業用ロボット１０
０による作業動作を以下に述べることとする。

いま、第６図において、第１図（イ）に示したような部
品２人および２Ｂ（第７図参照）が作業台１００台上に
置かれていたとして、ロボツ）１００　１が作業台１０
に対して所定の位置にあり、その右ハンド３Ｂで部品２
Ｂを、また左ノ・ンド３Ａで部品２Ａを握持して、部品
２Ｂの孔に部品２人のピン部な嵌入させることによりこ
れらを一体に組立てるものとする。

なお、この場合のロボット１００による組立動作は本発
明の対象外であるのでその説明を省略し、組立部品の環
境状態の認識動作について述べる。

いま、部品２Ａおよび２Ｂが第１図（イ）に示したよう
な状態で左ハンド３Ａおよび右ノ九ンド３Ｂによってそ
れぞれ握持されていたとすると、第４図の視覚情報処理
部２０４における映像復調回路３０１には視野の範四１
内の視覚情報として形状４Ａおよび４Ｂがｂシ識され、
更にその演算論理回路３０４によって形状４Ａおよび４
Ｂの画像輪郭線１４Ａおよび１４Ｂが抽出される。

しかし又、一方の演算論理回路３０５からの色度信号と
、ＲＯＭ　３０６からの特定色に関する色度信号とが比
較器３０７で比較される結果、比較器３０７からは特定
色と一致する部分、すなわち本例では青色が施されてい
るノ）ンド３Ａおよび３Ｂの部分についてのみ、第１図
（ロ）のような形状（格子部分）に対応して″′Ｈルベ
ル信号が出力される。

よって、インバータ３０８によって反転された信号では
バックが”Ｈ”　レベルとなり、こ１７）（ｌと演算論
理回路３０４からの輪郭線１４Ａおよび１４Ｂを”Ｈ”
レベルとする信号とのアンドゲート３０９による論理積
により、マイクロプロセッサ３１０にはハンド３Ａおよ
び３Ｂに関する部分が消去されたパターン２０Ａおよび
２０　Ｂ　（ＩＥＩ図（ハ）参照）を表現する信号が出
力される。

しかるに、このようなパターン２０Ａおよび２０Ｂでは
、部品２人の輪郭線とハンド３への画像との交叉点をＡ
１およびＡ２．更にまた部品２Ｂの輪郭線とハンド３Ｂ
の画像との交叉点をＢ１およびＢ２（以下でこれらの点
を何れも端点という）とすると、端点Ａ　１−ｉ　Ａ　
２の問および端点Ｂ１とＢ２の間の輪郭線が欠如してい
る。

そこで本発明では、前述したようにマイクロプロセッサ
３１０で、これらの欠如部分の補間を行わせるようにな
し、以て、パターンマツチングを行わせるようにする。

かくして得られた認識結果は信号としてＣＰＵ２０３　
Ｋ出力されるが、この間部品２人および２Ｂは第１図に
）に示したような完全形態のものとして形状認識される
。

このように、本発明の作業用ロボットでは、作業中に正
しい動作がなされているか否かを直接に視覚センサを介
して確認しながら作業を行５ことができるので、従来の
プレイバックロボットのようにならない作業を記憶させ
て動作させるロボットでは行い得なかったような複雑な
作業をも誤りな（遂行させることができる。

第８図に、本実施例のロボットが環境の状態を認識する
際の動作手順の一例のフローを示す。

まず、ステップＳ１では視見センサ１０１から画像デー
タが入力され、次のステップＳ２でＡ／Ｄ変換器３０２
Ｒ，３０２Ｇ、３０２Ｂにおいてその画像データにＡ／
Ｄ変換を施し、そのディフタル出力をステップＳ３で画
像メモリ３０３Ｒ，３０３Ｇ。

３０３Ｂ　に格納する。このデジタル画像データにもと
すき、ステップＳ４において、輪郭画像の抽出を行い、
更にステップＳ５において所定模様によるロボットの像
の識別が行なわれる。次に、ステップＳ６に進み、以上
の結果をもとにして輪郭画像からロボットの像に該当す
る部分が消去され、認識の対象となる環境の輪郭画像の
みが抽出される。これをもとに、ステップｓ７では、環
境の状態が認識されるが、認識が正常に行なわれない場
合には、ステップ８Ｂからステップ８９に進んで輪郭画
像中の欠如部分に対して補間を行ない、再度認識を行な
う。

以上の認識結果にもとすき、制御ＣｊＵ２０３は、ロボ
ットの次の動作を決定し、ハンド制御部や駆動輪制御部
に指令を与えるが、その説明は省略する。

なお、上述した欠如部分の補間を行なった後も認識不能
な場合には、制御ＣＰｔ１２０３は作業動作の中断およ
び認識フローの再実行を指令する。そして、ステップｓ
８において認識が終了であると判断されれば、環境状態
の認識プログラムを終了　２Ｊる・ なお、本例では、ロボッ）１００の外装色として七の特
定色を青色としたが、かかる特定色は青色に限られるも
のではなく、例えばロボット１００の各部を異なる色で
塗分けし、視覚情報の中からこれらの各部を個別に識別
することも可能であり、いまその左ハンド３Ａと右ハン
ド３Ｂとを第１図（ホ）Ｋ示すように異なる色で塗分け
しておくことにより、左ハンド３Ａと右ハンド３Ｂとを
別個に識別することも可能である。

また、視覚情報処理部２０４についても、第４図に示す
ような構成に限られるものではな（、演算論理回路３０
４，３０５．ＲＯＭ’３０６．−比較器３０７、インベ
ータ３０８、アンドゲート３０９およびマイクロプロセ
ッサ３１０について説明してきたような機能を、１つの
マイクロプロセッサに纒めて保持させるようにすること
の可能なことはいうまでもない。

更にまた、以上では視覚センサ１ｏ１にＮＴＳ　Ｃ方式
のテレビカメラを用いた場合について述べてきたが、視
覚センサ１０１はＮＴＳＣ方式のテレビカメラに限られ
るものではなく、また、一方の特定色の検出についても
ＣＩｌ？１７．）ＸＹＺ表色系による色度Ｘおよびｙの
演算を行う方式に限られるものでないことは勿論である
。

更にまた、環境を認識する手順につい℃も、本例のよう
に輪郭線をめて形状認識するのではなく、例えば１９６
９年に電子技術総合研究所でＧｆｉ発されたスリット状
の光の投射により物体の位置や形状を認識する装置を用
いるよ５にしてもよい。

〔効　果〕 以上説明してきたように、本発明によれば、視覚センサ
から得られる画像情報のうちからロボット自体にかかわ
る情報のみを識別して分離する手段を有し、画像情報か
らロボット自体にかかわる情報を分離することにより認
識の対象にかかわる環境状態のみの認識が可能なように
したので、対象物を正確に認識することができて誤認識
が防止できるのみならず、作業中の動作が視覚センサを
介して確認できて、本発明ロボットを工業用のみならず
さまざまな分野での複雑な作業圧適用することができる
。

【図面の簡単な説明】

第１図（イ）は作業用ロボットにより部品を握持させた
状態のときに得られる画像情報の一例を示す説明図、 第１図（ロ）、（ハ）およびに）は本発明作業用ロボッ
トによる一連の画像情報処理過程を示す説明図。 第１図（ホ）は本発明の他の実施例でのロボット自体に
かかわる画像情報部分を示す説明図、第２図は本発明作
業用ロボットの外観を一例として示す斜視図。 第３図はその制御系のブロック図、 第４図はその視覚情報処理部の構成の一例を示すブロッ
ク図、 第５図はその視覚情報処理部の算術論理回路において画
像の２次微分を行う際に用いる線形要素の荷重関数のマ
トリクス図、 第６図は本発明作業ロボットによる組立作業中の動作を
一例として示す斜視図、 第７図はその組立作業に用いられる２種類の部品の斜視
図、 第８図は本発明における環境状態認識のための制御手順
の一例を示すフローチャートである。 １００・・・ロボット、 １０１・・・視覚センサ、 １０２・・・、照明装置、 ２０２・・・視覚センサ制御部、 ２０３・・・中央処理装置（ＣＰＵ）、２０４・・・視
覚情報処理部、 ２０５・・・ハンド制御部、 ３０１・・・映像復調回路、 ３０２Ｒ，３０２Ｇ、３０２Ｂ・Ａ／Ｄ変換器。 ３０３Ｒ，３０３Ｇ、３０３Ｂ・−舅面像メモリ、３０
４．３０５・・・演算論理回路、 ３１０・・・マイクロプロセッサ。 特許出願人　キャノン株式会社 第１図 （ロ） 第１図 （ハ） にン 第１図 に１．） 第２図 第５１Ａ 第７図 第６図

Claims (1)

1. 【特許請求の範囲】 １）視覚センサと、該視覚センサで検知された画像情報
   に基づいて環境の認識を行う手段と、前記検知された画
   像情報からロボット自体の情報と前記対象となる環境の
   みの情報とを識別して分離する分離手段と、該分離手段
   により分離した前記対象となる環境のみの情報から該・
   環境のみを認識する手段とを具えたことを特徴とする作
   業用ロボット・ ２、特許請求の範囲第１項に記載の作業用ロボットにお
   いて、ロボット自体の情報は尚該ロボット自体に施され
   た所定の外装色であり、前記分離手段により前記所定の
   外装色と残余の色とを識別して分離するようにしたこと
   を特徴とする作業用ロボット。 ３）特許請求の範囲第２項に記載の作業用ロボットにお
   いて、前記外装色を前記対象となる環境の画像情報中に
   含まれない色としたことを特徴とする作業用ロボット。 ４）特許請求の範囲第２項または第３項に記載の作業用
   ロボットにおいて、前記外装色を複数の異なる色となし
   、前記ロボットの複数の部分にそれぞれ複数の異なる色
   を付設することにより前記ロボットの複数部分を個別に
   識別するようにしたことを特徴とする作業用ロボット。 ５）特許請求の範囲第２項ないし第４項の何れかに記載
   の作業用ロボットにおいて１．前記分離手段を介して得
   られる前記対象となる環境のみの情報が輪郭画像である
   ことを特徴とする作業用ロボット。 ６）特許請求の範囲第５項に記載の作業用ロボットにお
   いて、前記輪郭画像に欠如部分があるときに、当該欠如
   部分に対して補間な行５ようにしたことを特徴とする作
   業用ロボット。