JPS6315116B2 - - Google Patents

Description

【発明の詳細な説明】

この発明はロボツト等の作業監視方法に関し、
詳しくはカメラを用いて物体の有無確認あるいは
作業の異常状態を監視する場合において、監視領
域を縦ｍ列横ｎ列のｍ×ｎ個の画素に分割し、各
画素について監視時の実際状態とあらかじめ設定
された正常時の状態とを比較することによりその
監視目的を達成する方法に関するものである。 カメラ、例えば工業用テレビカメラ（ITV）
あるいは固体撮像管を用いた監視方法はロボツト
等の作業状態監視あるいは製品の検査工程などで
外観検査による良品、不良品の選別分類、仕
分け位置検出寸法測定、傷や汚れの計測物
体の有無確認異常状態監視文字、記号等の読
み取りなどの目的に用いられている。 この監視方法は一般的にはカメラよりの映像を
２値化、即ち白黒化、あるいは２進化（１または
０）、得られる映像パターンをCRT、映像解析装
置などに入力し、例えばCRTに表示された映像
を作業員などが目視検査することにより上記目的
を遂行している。 ところで上記監視方法の欠点としては監視領域
の映像パターンが実際の監視領域と一致しにくい
ことが挙げられる。このためITVによる監視々
野を狭くしたり、監視スクリーンの走査線を密に
してその解像度を向上させ、監視精度を向上させ
ている。しかしこれはカメラの必要設置点数の増
加を招き、精密な映像解析装置を必要とすること
から設備費を高騰させてしまう。 この発明は監視精度を低下させることなく、ま
た設備費を増大させることのないロボツト等の監
視方法を提供することを目的とする。そしてこの
発明は監視目的を物体の有無確認と異常状態監視
という点におき、監視領域をｍ×ｎ個の画素に分
割し、正常作業１サイクル分の各画素の状態に基
づいて基本映像パターンを求め、基本映像パター
ンと監視中の各画素の状態を２値化した映像パタ
ーンとを常時比較し、両者が不一致の場合には異
常信号を発生させることを要旨とする。尚映像パ
ターンを構成する画素は作業１サイクル中にその
状態が変化するものと変化しないものとがある
が、状態が変化するものについては作業正常時に
も基本映像パターンと映像パターンとが不一致の
場合があるので上記比較の対象から外す。 以下添付図面に示す実施例を用いてこの発明を
詳細に説明する。 第１図において矢印方向に移動するベルトコン
ベア１上の作業片２はロボツト３，４による加工
をうけている。ロボツト３，４の頭上にはITV
５が設けられており、１点鎖線により画定される
監視領域６をモニタしている。そしてITV５の
出力はパターン処理装置７に入力されている。 第２図は実施例の基本動作を説明するためのブ
ロツク図であり、パターン処理装置７はITVよ
りの映像情報を以下に説明する方法で２値化する
２値化部７１と、同じく以下に説明する基本映像
パターンがメモリされるRAMなどより成るパタ
ーンメモリ７２及び異常時には異常信号の発生を
司る比較部７３とから成つている。尚図において
鎖線矢印はパターンメモリ７２への基本映像パタ
ーンセツト時のフローを、また実線矢印は監視作
業時のフローをそれぞれ示す。即ち２値化部７１
の出力である映像パターンは基本映像パターンセ
ツト時においてはパターンメモリ７２に入力さ
れ、監視時においては比較部７３に入力される。
そして監視作業中は、比較部７３には更にパター
ンメモリ７２からの基本映像パターンが入力され
ており、比較部７３は両者不一致の場合に異常信
号を出力する。そしてこの異常信号により例えば
アラーム音を発生させるなどの処理をする。 次に監視作業開始に先立つて行なわれる基本映
像パターン（Ｉ（ｉ、ｊ））の作成、パターンメモ
リ７２へのセツト（メモリ）を第３，４図を用い
て説明する。まずITV５の露出絞り状態（以下
第１状態）でロボツト３，４の作業１サイクル中
における監視領域６の映像情報をパターン処理装
置７に入力する。パターン処理装置７においてこ
の映像情報は以下のようにして映像パターン化さ
れる。 即ち第４図に示した様に監視領域６は縦ｍ列、
横ｎ列の計ｍ×ｎ（ｍ、ｎは条件に応じて適宜設
定）個の画素に分割される。次に各画素の状態
（白か黒か）が判別される。そして第１状態にお
ける監視領域６の各画素I1（ｉ、ｊ）（ｉ＝１〜
ｍ、ｊ＝１〜ｎ）の状態は画素が作業１サイクル
中常に白の時はI1（ｉ、ｊ）＝０、黒の時はI1（ｉ、
ｊ）＝１、また白黒に変化する場合はI1（ｉ、ｊ）
＝２とされてパターンメモリ７２にメモリされ
る。 同様にしてITV５の露出を開放状態（以下第
２状態）にして作業１サイクル分の映像情報をパ
ターン処理装置７に入力し、この時の各画素の状
態を第２映像パターンI2（ｉ、ｊ）；I2（ｉ、ｊ）＝
０〜２としてパターンメモリ７２にメモリする。
そしてパターン７２内において第１映像パターン
I1（ｉ、ｊ）と第２映像パターンI2（ｉ、ｊ）とを
比較し、次表に基づいて基本映像パターンＩ（ｉ、
ｊ）、即ちロボツトの作業が正常であり、何らの
異常も発生しない状態の映像パターン、を作成す
る。そして爾後この基本映像パターンＩ（ｉ、ｊ）
をパターンメモリ７２にメモリさせる。

【表】 尚、上表において状態が「その他」とは前述の
ように作業１サイクル中に画素が白から黒あるい
はその逆に変化する個所、例えばロボツトのアー
ム作業領域８などを指す。そしてこの個所は作業
１サイクル全体としてみた場合には灰色として認
識される。また状態「黒」または「白」とはそれ
ぞれ監視領域６内で固定設置されている個所（例
えば、ロボツトの本体、ベルトコンベア）を、ま
た設置物のない個所を示す。従つてパターンメモ
リ７２においては基本映像パターンＩ（ｉ、ｊ）
によつて監視領域６の各画素の状態はそれぞれ２
ビツトのメモリによつて例えば白→01、黒→10、
その他→11のように２値化されてメモリされる。 以上のごとく、基本映像パターンを作成するに
あたつて、露出の異る第１映像パターンと第２映
像パターンを比較することにより、前記表に示す
ごとく、「白」の値と「黒」の値が明確化される
ことになる。即ち、例えば第１映像パターンI1で
「白」と認識されたパターンが第２映像パターン
I2で「黒」または「灰」と認識された場合のよう
に第１映像パターンI1と第２映像パターンI2の認
識値が一致しない限り、基本映像パターンＩは全
て「灰」という結果でメモリされることになる。
このことは、前記の例の第１映像パターンI1で
「白」と認識されても室内の照明の差異による監
視領域内の明るさの度合いによつて白色の程度に
差異が生ずる可能性があり、その状況における認
識値を確定的なものとできないため、露出の強い
第１映像パターンI1の場合の認識値と露出の弱い
第２映像パターンI2の場合の認識値が一致した場
合のみ、その一致した認識値を基本映像パターン
Ｉとしたものである。これにより監視領域内の各
画素I1（ｉ、ｊ）（ｉ＝１〜ｎ、ｊ＝１〜ｎ）にお
ける「白」または「黒」に相当する画素は明確に
決定づけられ、監視領域内に多少の明るさの変動
が生じてもこれによつて誤つた認識が行われるこ
とはない。 このようにして基本映像パターンＩ（ｉ、ｊ）
を作成、パターンメモリ７２にメモリ後監視を開
始する。尚、第１、第２映像パターンより基本映
像パターンを求める手段は上記の様にパターンメ
モリ７２内において行なつてもよく、またあらか
じめ外部作業により求めたものを単にパターンメ
モリ７２内にメモリするようにしてもよい。そし
て前記作業領域を構成する各画素はその状態が作
業１サイクル中に白から黒あるいは逆に変化する
ので、後述する監視時における比較部７２による
比較対象から除外される。 次に第５，６図Ａ，Ｂを用して監視時の実施例
の動作を説明する。尚、説明の便宜上以下の説明
では設置ロボツトは１体であるとする。 第５図Ａは正常時のベルトコンベア１、ロボツ
ト３または４の本体７、アーム３１，４１、アー
ムの可動範囲８及び不在領域９を示したもので、
この状態はITV５によつてモニタされる。また
監視開始前において前述した方法で第６図Ａに示
す基本映像パターンＩ（ｉ、ｊ）が作成され、こ
の基本映像パターンＩ（ｉ、ｊ）はパターンメモ
リ７２にメモリされる。尚第６図Ａ，Ｂにおいて
斜線部はＩ（ｉ、ｊ）＝２、斜十字部はＩ（ｉ、ｊ）
＝１また白色部はＩ（ｉ、ｊ）＝０にそれぞれ対応
する状態の画素を示す。 そして監視時にあつては比較部７３にはパター
ンメモリ７２よりの基本映像パターン情報及び２
値化部７１よりの現在の映像パターン情報がそれ
ぞれ入力されている。従つてロボツトの動作が所
定のプログラムに従つて行なわれており、監視領
域６内に何らかの物体が侵入する等の異常状態の
発生がない場合には、比較部７３に入力される２
つの映像パターン情報は同一であり、異常信号が
出力されることはない。尚前述のように第６図Ａ
において斜線部の各画素は比較の対象からはずさ
れる。 一方第５図Ｂに示す様に監視中に監視領域６内
に作業者の手１１が侵入したり、あるいはロボツ
トの誤動作によりそのアームが５１に示す位置ま
で暴走した場合には２値化部７１から比較部７３
に入力される映像パターン情報は第６図Ｂのよう
になる。尚第６図Ｂの斜線部の画素は前述のよう
に比較の対象からはずされる画素を指す。即ちこ
の場合には２値化部７１から比較部７３に入力さ
れる作業者の手１１、あるいは暴走したアームの
位置５に相当する領域の各画素の状態が白から黒
に変化する。よつてこれらの画素においては比較
部７３に入力する２つの値が相異し、従つて比較
部７３に入力する２つの映像パターンが異なるの
で比較部７３は異常信号を出力する。 尚以上の説明にあつては外部物体（手）の介入
あるいは設置物の異常な移動（アームの暴走）に
よつて作業領域の対応する画素の状態が白から黒
に変化した場合について説明したが、何らかの異
常により画素の状態が黒から白に変化する場合に
も比較部７３に入力される映像パターンが相異す
るので比較部からは異常信号が出力されてこの異
常状態は検知される。 また実施例では作業領域内の異常状態を検知す
る目的で異常信号を出力させているが、当然のこ
とながら作業領域内の任意の画素の状態を比較す
ることにより物体の存在有無を確認することも可
能であるので、応答性が速く、安価なパターン処
理が可能である。 以上のようにこの発明によれば監視目的を物体
の有無確認と異常状態検知という点におき、基本
映像パターンと監視領域の実際の画面を映像パタ
ーンと監視領域の実際の画面を映像パターン化し
たものとを比較し、異常状態物体の有無を検知し
ている。よつて従来のように高価な映像解析装置
を用いる必要がなく、また監視領域を任意に広げ
ることが可能となるので、カメラの設備点数を大
幅に抑えることができる。

【図面の簡単な説明】

第１図はこの発明の実施例を示した概略斜視
図、第２図は実施例における各部の関係を示した
ブロツク図、第３図は基本映像パターンの作成方
法の一例を示したフローチヤート、第４図は実施
例における監視領域の分割方法を示した説明図、
第５図Ａ，Ｂは実施例における監視領域を示した
平面図、第６図Ａ，Ｂはそれぞれ第５図Ａ，Ｂに
示した監視領域を映像パターン化した状態を示し
た説明図である。 １……ベルトコンベア、３，４……ロボツト、
６……監視領域、７……パターン処理装置、８…
…作業領域、９……不在領域、７１……２値化
部、７２……パターンメモリ、７３……比較部。

Claims (1)

1. 【特許請求の範囲】 １ 監視領域６を縦ｍ列横ｎ列のｍ×ｎ個の画素
   に分割し、かつ画素の状態を２値化し、 正常作業１サイクル分の各画素の状態変化によ
   つて各画素を変化するものと変化しないものとの
   少くとも２つに分類して基本映像パターンＩ（ｉ、
   ｊ）を求め、 監視中には各画素の状態を常時２値化して映像
   パターンを求め、 前記基本映像パターンと映像パターンとを前記
   変化しない画素について比較し、 両者が不一致の場合には異常信号を発生させる ことを特徴とするロボツト等の監視方法。