JPH0273109A - 画像処理における物体の向き・表裏判定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、ロボットの視覚等に利用さ・れる視覚センサ
において、該視覚センサがとらえた物体画像より、物体
の向き・表裏を判別する方法に関する。

従来の技術 視覚センサによって物体の向きを検出しようとする場合
、従来は、該視覚センサがとらえた物体画像より、その
重心位買から物体の外周までの距離が最大となる径、又
は、最小となる径によって物体の回転量、即ち、物体の
向きを判定していた。

又は、上記最大となる径か、又は最小となる径と、２次
慣性モーメントが最小となる軸である主軸とのなす角度
の、小さい方の主軸の向きを物体の回転量（向き）とし
て判定する方法が採用されている。

又、物体の表裏の判定には、物体のパターン認識を行っ
て判定する方法がとられていた。

発明が解決しようとする課題 しかし、画像の取り込み条件のばらつき等によって画像
が不安定な場合、上記最大となる径、又は最小となる径
が？！数個所で検出されることがあり、その結宋物体の
向き（回転Ｆ）を検出できない場合が生じる。

又、物体の表裏判定については、物体のパターン認識を
行う必要があり、回転ずれ（向のずれ）を伴うパターン
認識は長い処理時間を必要とし、問題であった。

そこで、本発明の目的は、視覚センサがとらえた物体画
像が不安定な場合でも、物体の向きの判定を誤らずにで
きる物体の向き判定方法を提供することにある。

又、本発明の目的は、処理時間の短い物体の表裏判定方
法を提供することにある。

さらに、本発明の目的は、処理時間が短かく、かつ、判
定誤りの少ない物体の向き及び表裏判定方法を提供する
ことにある。

課題を解決するための手段 視覚セン勺における画像処理において、本発明は、該視
覚センナがとらえた物体の画像の主軸を求め、該主軸に
垂直で物体の重心の両側に物体画像輪郭との交点数が異
なるように設定された距離だけ重心から離れた補助直線
を求め、各補助直線と物体画像輪郭との交点数より物体
の向きを判定するようにした。

又、上記補助直線の設定距離を、各補助直線と物体画像
輪郭との交点数が各々異なり、かつ、少なくとも一方の
補助直線と物体画像輪郭との交点数が主軸両側において
異なるように設定し、上記各補助直線と物体画像輪郭と
の交点数により物体の向きを判定し、上記一方の補助直
線の主軸両側での各々の交点数と、判定した物体の向き
によって物体の表裏を判定するようにした。

若しくは、上記補助直線の設定距離を各補助直線と物体
画像輪郭との交点数が各々異なり、かつ、両補助直線と
物体画像輪郭との交点数が主軸両側において異なるよう
に設定し、上記各補助直線と物体画像輪郭との交点数に
より物体の向きを判定し、上記両補助直線の主軸両側で
の交点数と、判定した物体の向きによって物体の表裏を
判定するようにした。

また、物体の表裏のみ判定する場合には、物体画像１軸
に垂直で物体の重心の両側に重心から設定された距離だ
け離れた補助直線を求め、上記距離は物体重心を中心に
主軸から、該主軸に垂直で物体重心を通る直線までの時
π１方向回転の第１の領域と反時計方向回転の第２の領
域において、物体画像輪郭と上記両補助直線との交点数
が上記第１の領域と第２の領域で異なるように設定ざ机
、Ｅ２両補助直線と物体画像輪郭との第１．第２の領域
での交点数によって物体の表裏を判定するようにした。

作　　用 第１図・〜第３図は、本発明の作用、原理を説明する説
明図で、例えば、第１図に示すような物体（視覚センサ
がとらえた物体画像）１の向き、及び表裏を視覚センサ
で判定される場合、該物体の主軸（２吹消性（−メント
が最小となる軸）２に垂直で物体の重心３より、該１心
３の両側にｆｌｌｌだけ離れた補助直線４．５を求める
。このとき。

２つの補助直線４，５と物体１の輪郭との交点Ｐの数が
各々異なるような距＠Ｌを求める。第１図の例では補助
直線４と物体１の輪郭との交点数は４個、補助直線５と
物体１の輪郭との交点数は２個とするような距離りとし
ている。そして、重心３よりどちらか一方の交点数を有
する補助直線への主軸上の方向を物体の向き６とする。

第１図の例では重心３より交点数の多い補助直線４の方
向を向き６としている。

そこで、補助直線４．５を求めるための重心３からの距
離しを求めて、視覚センサに該距離を設定しておく。視
覚センサでは、カメラで物体を躍彰し、とらえた画像よ
り従来と同様重心３の位置及び１軸２を求め、該主軸２
に垂直で、かつ、重心３から両側に設定外１１１ｉＬだ
け離れた補助直Ｉ！ｉ１４゜５を求め、これら補助直線
４．５と物体画像輪郭との交点数を求め、重心３から決
められた交点数の補助直線（第１図の例では交点数４個
の補助直１４）側への主軸方向を物体１の向き６として
判定する。

なお、甲に物体１の向きのみを求める場合には、・方の
補助直線のみ物体輪郭と交点があり、他方の補助直線の
交点数は「０」でもよい。

以上のようにして、物体１の向きは求められるが、物体
の向きは同一でも物体１の表裏は判定できない。

第２図は第１図に示す物体が鬼返っている状態を表し、
物体１の向き６は前述したようにして求められるが、物
体１の表裏は判別できない。この場合、少なくとも−・
方の補助直線が主軸２の両側において物体輪郭と異なる
交点数を有するように上記距離しを設定する。第１図２
第２図の例では、補助直線５が主軸の一方の側では２個
、他方の側では０個の交点数を有している。そうすると
、方の補助直線（補助直線５）と物体輪郭との主軸両側
の各交点数ｔよ物体が裏返ることによって逆転する。第
１図の状態を物体１の表側とすると、物体の向き６に向
って主＠２の左側に、補助直線５と物体輪郭との交点数
が２個表われるが、物体１が寝返った場合には第２図に
示すように主軸右側に２個の交点数が表われ、物体の表
裏の判定ができる。

又、主軸２の両側の交点数によっても物体の表裏を判別
できる。この場合は、２つの補助直線４゜５と物体輪郭
との交点数が主軸両側で異なるように距１１１ｉ１−を
設定する。例えば第１図において、物体１の向き６の方
向に向って主軸２の左側に４個。

右側に２個の交点数が表われるように距ＩＬが設定され
ている。この場合、物体１が裏返ると第２図に示すよう
に、主軸２の右側に４個、左側に２個となり、物体１の
表裏が判別できることとなる。

以上のように、物体の向きと、補助直線と物体輪郭との
交点数によって、物体の表裏も判定できる。

一方、物体１の表裏のみを判定する場合、即ち、物体１
の向きはすでに知られているときや、上述した方法で判
定した侵に、又は、物体の向きを判別する必要のない場
合等の物体の表裏のみを判定する場合は、第３図に示す
ように、主＠２と該主軸２に垂直で物体の重心位置３を
通る直線７で形成される４つの領域を主軸２から上記直
線７までの時計方向への回転領域を第１の領域（重心位
置を原点とする座標系と考えると第２．第４＠限）、反
時計方向への回転領域を第２の領ｈｉ（第１．第３象限
）とし、上記２つの補助直線と物体輪郭との交点数が上
記第１．第２の領域で異なるように、上記距１１１Ｌを
設定する。第１図の例では、第１の領域で４ｆｌｌｌｌ
、第２の領域で２個の交点数とした距Ｉ！ｉｌｌ　ｌを
設定する。

そして、視覚センサで物体画像輪郭と補助直線との第１
．第２の各々の交点数を求め、夫々の交点数によって物
体の表裏を判定する。即ち、第１図の状態では、物体６
の向きがどのように変わろうとも、第１の領域の交点数
は４個、第２の交点数は２個であるが、第２図のように
第１図の状態から物体１が裏返った状態では、第１の領
域は２個、第２の領域は４個の交点数が物体１の向きと
は関係せずに検出できる。

実施例 第４図は、本発明の方法を実施する一実施例の視覚セン
υの背部ブロック図である。

図中、１０は画像処理装置で、該画像処理装置１０は主
中央処理装置（以下、メインＣＰｔＪという）１１を有
し、該メインＣＰＵ１１には、カメラインタ７１４２１
２２画像処理プロセッサ１３゜コンソールインタフェイ
ス１４９通信インクフェイス１５．モニタインタフ１イ
ス１６．フレームメ王り１７．ＲＯＭで形成されたコン
トロールソフト用メモリ１８．ＲＡＭ等で構成されたプ
ログラムメモリ１つ、不揮発ｔ’ｌ’　ＲＡ　Ｍで構成
されたデータメモリ２０がバス２１で接続されている。

カメラインタフェイス１２には部品笠の対象物の物体を
顕彰するカメラ２２が接続され、該カメラ２２の視野で
とらえた画像は、グレイスケールによる濃淡画像に変換
されてフレームメモリ１７に格納される。

画像処理ブロセッυ１３はフレームメモリ１７に格納さ
れた画像を処理し対象物の識別、装置。

姿勢を４測する。。

コンソールインフッ１イス１４にはコンソール２３が接
続され、該」ンソール２３（ま、液晶表示部の外、各種
指令４−、アプリケーションブ〔１グラムの入力、ｉｉ
、ａ録、実行などの操作を行うための数字キー等を右し
ており、上記液晶表示部には、各種データ設定のための
メニ１−やプログラムのリストなどを表示できるように
なっている。

また、コントロールソフト用メモリ１８にはメインｃｐ
ｕｉｉが該視覚センサシステムを制御するためのコント
ロールブ［Ｉグラムが格納されており、また、プログラ
ムメモリ１９にはコーグが作成するブ［１グラムが格納
されている。

通信インタフェイス１５にはロボッｌ−等の該視覚セン
４ノシステムを利用するシステムが接続されている。ま
た、ＴＶモニタインタノエイス１６にはカメラ２２が搬
彰した映像を表示する１ニタテレビ２４が接続されてい
る。

以上の構成は、従来の視覚セン勺システムの構成と同様
である。

まず、第１図に示すように、物体の向きと表裏を判定す
るための補助直線４．５の重心からの距！１１１Ｌをコ
ンソール２３より入力し、データメモリ２０内に設定す
る。この際、前述したように、物体の向きを判定するた
めに−・方の補助直線４（５）と他方の補助直線５（４
）との物体輪郭との交点数が異なるように、しかも、物
体の表裏を判定する方法を第３図に示すような第１．第
２領域における交点数の差異によって判定するときは、
第１゜第２の領１或で交点数が異なるように上記距＠Ｌ
を設定する。又、一方の補助直線と主軸２０両側の交点
数差異によって物体１の表裏を判定するときには、該一
方の補助直線と物体輪郭どの交点数が主軸２と異なるよ
うに、又、主＠２の両側の２つの補助直線と物体輪郭と
の交点数の差異で物体１の表裏を判定するときには主軸
２の両側の交点数が異なるように上記距＋ｍｔを設定す
る。

そして、物体１の向き及び表裏を判定するための基準デ
ータをデータメモリ２０に設定する。

物体１の向きは、前述したように、重心から一方の交点
数を有づる補助直線側（第１図の例では４個の交点数を
有する補助直線４）の主軸方向を物体の向きとしてその
交点数を設定し、物体１の表裏を判定するためのデータ
として、その判定方法に応じて、物体１の表か又は裏の
−・方における第１．第２の領域における交点数、又は
、一方の補助直線の主軸両側の交点数、又は、両補助直
線の主軸両側の交点数を設定する。

この実施例では物体の表裏を判定する方法として第３図
に示す第１．第２領域の交点数によって１１＋定すると
して、第１．第２の領域の交点数を設定するものとして
、以下説明する。

以上のように、距＋ｍ　ｌ−、判定基準データを設定し
た後、視覚センサを稼動させ、ロボッ１〜制御２ＩＩ装
置等から、通信インタフェイス１５を介してスナップ指
令が入力される毎に視覚センサは第５図のフローチャー
トで示す処理を開始し、ＣＰｔＪｌｌはカメラ２２にス
ナップ指令を出力し、カメラ２２の物体の画像を娼影し
、画像処理プロセラυ１３でグレイスケール濃淡！２！
１理を行った後、該画像をフレームメモリ１７に格納す
る（ステップ３１）。次に、ＣＰＵ１１は画像処理プロ
セッサ１３に対象物検出指令を出力すると、画像処理プ
ロセッサ１３は、従来と同様な方法で対や物の形状即ち
輪郭を認識しくステップＳ　２　）　、Ｌｌ識した輪郭
より重心位置、主軸を従来と同様な方法で求める（ステ
ップ８３）。次に、ＣＰＵ１１は主軸に垂直でデータメ
モリ２ｏに記憶されている設定距離しだけ重心位置より
離れた補助直線を重心両側に引き、該補助直線と対象物
の輪郭との交点数を求める（ステップＳ４）。次に、Ｃ
ＰＵ１１よ、両補助直線の交点数とデータメモリ２０に
設定されている向き判定基準データより対象物の向きを
求める（ステップＳ５）。叩ら、第１図に示す例で、交
点数が４個の補助直線４の方向が向きと基型データに設
定されていれば、重心位置３から交点数が４個の補助直
線４の向きで、主＠２の方向を対中物の向きとして判定
し求める。

次に、ＣＰＵ１１は、第１．第２の領域の各交点数とデ
ータメ七り２０に設定された表裏判定基ギデータＪ：す
、％ｊ蒙物の表裏を求める（ステップ８６）。例えば第
１図の例で、第１の領域の交点数が４個、第２の領域の
交点数が２１１Ｍ＋のとき表と設定されているとさ、第
１の領域に４個、第２の領域に２個の交点数を検出すれ
ば表と判断し、逆の場合は裏と判断する。

次に、ＣＰＵ１１は、ステップＳ５で検出した主軸の向
き、即ら、対象物の向きから対象物の回転量を求める（
ステップ８７）。

次に、ＣＰＵ１１は、ステップＳ３で求めた重心位置を
カメラ座標系から、視覚センサとロボットの共通座標系
であるセンリ座性系にデータ変換しくステップＳ８）、
求められた重心位ｎ、スアップＳ７で求められた回転量
、ステップＳ６で求められた対象物の表又は実のデータ
を通信インタフＬイス１５を介してロボットｌｌ、ＩＩ
　’ｌｉｔ　Ｈ置に出力し、この処理を終了する。

なお、対染物の表裏を判定する方法を、主軸両側の交点
数（一方の補助心線にλ・ｊして、又は、両補助心線に
対して）によって行う場合は、ステップＳ６での処理が
異なるだ（」で伯は同一であり、肩線は省略する。

発明の効宋 本発明は、補助心線という中靴な図形を利用し、該補助
心線と検出対染物である物体画像輪郭との交点数によっ
て、物体の向き、表・男を判定するようにしたから、従
来のような物体中心から物体外周までの最大の距離又は
最小の距離といった微妙な値で物体の向きを判定する方
法と比べ、確実に物体の向きを判定することができる。

特に、物体画像検出の光の状態Ａ′）伯の外乱によって
物体雨間が不支定でし、交点数という確実な埴によって
判定するから、確実で、画像処理のばらつきを防止する
ことができる。

又、補助１ｉｊｒＡと物体輪郭の交点数の比較という１
７１車な処理によって、物体の向き、表・裏を判定する
から、処理時間も短かく、特に物体の表・裏を判定する
ために従来採用されていたパターン認識の方法と比較し
、格段に処理時間を知かくすることができる。

【図面の簡単な説明】

第１図〜第３図は本発明の作用、原理を説明する説明図
、第４図は本発明の一実施例を実施する視覚センサの敷
部ブロック図、第５図は同実施例における動作処理フロ
ーブヤ−１−である。 １・・・物体、２・・・主軸、３・・・中心、４．５・
・・補助直線、６・・・物体の向き、１０・・・雨間処
理装置。 第

Claims (4)

【特許請求の範囲】
1. （１）視覚センサにおける画像処理において、該視覚セ
   ンサがとらえた物体の画像の主軸を求め、該主軸に垂直
   で物体の重心の両側に物体画像輪郭との交点数が異なる
   ように設定された距離だけ重心から離れた補助直線を求
   め、各補助直線と物体画像輪郭との交点数より物体の向
   きを判定するようにした画像処理における物体の向き判
   定方法。
2. （２）視覚センサにおける画像処理において、該視覚セ
   ンサがとらえた物体の画像の主軸を求め、該主軸に垂直
   で物体の重心の両側に重心から設定された距離だけ離れ
   た補助直線を求め、上記距離は各補助直線と物体画像輪
   郭との交点数が各々異なり、かつ、少なくとも一方の補
   助直線と物体画像輪郭との交点数が主軸両側において異
   なるように設定され、上記各直線と物体画像輪郭との交
   点数により物体の向きを判定し、上記一方の補助直線の
   主軸両側での各々の交点数と、判定した物体の向きによ
   って物体の表裏を判定するようにした画像処理における
   物体の向き・表裏判定方法。
3. （３）視覚センサにおける画像処理において、該視覚セ
   ンサがとらえた物体の画像の主軸を求め、該主軸に垂直
   で物体の重心の両側に重心から設定された距離だけ離れ
   た補助直線を求め、上記距離は各補助直線と物体画像輪
   郭との交点数が各々異なり、かつ、両補助直線と物体画
   像輪郭との交点数が主軸両側において異なるように設定
   され、上記各補助直線と物体画像輪郭との交点数により
   物体の向きを判定し、上記両補助直線の主軸両側での交
   点数と、判定した物体の向きによって物体の表裏を判定
   するようにした画像処理における物体の向き・表裏判定
   方法。
4. （４）視覚センサにおける画像処理において、該視覚セ
   ンサがとらえた物体の画像の主軸を求め、該主軸に垂直
   で物体の重心の両側に重心から設定された距離だけ離れ
   た補助直線を求め、上記距離は物体重心を中心に、主軸
   から該主軸に垂直で物体重心を通る直線までの時計方向
   回転の第１の領域と反時計方向回転の第２の領域におい
   て、物体画像輪郭と上記両補助直線との交点数が上記第
   １の領域と第２の領域で異なるように設定され、上記両
   補助直線と物体画像輪郭との第１、第２の領域での交点
   数によって物体の表裏を判定するようにした画像処理に
   おける物体の表裏判定方法。