JPS6352268A - 重なり部品における重なり方の判別方法 - Google Patents
重なり部品における重なり方の判別方法Info
- Publication number
- JPS6352268A JPS6352268A JP19681286A JP19681286A JPS6352268A JP S6352268 A JPS6352268 A JP S6352268A JP 19681286 A JP19681286 A JP 19681286A JP 19681286 A JP19681286 A JP 19681286A JP S6352268 A JPS6352268 A JP S6352268A
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- overlap
- overlapping
- image
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 36
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000012850 discrimination method Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 abstract description 19
- 238000012545 processing Methods 0.000 abstract description 17
- 230000007246 mechanism Effects 0.000 abstract description 7
- 239000013598 vector Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000283080 Proboscidea <mammal> Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
Landscapes
- Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
[産業上の利用分野コ
この発明は、重なりあった部品の中から所望の部品を選
出するために必要となる重なり方の判別方法に関する。
出するために必要となる重なり方の判別方法に関する。
E従来技術とその問題点]
第20図は、互いに重なりあった部品100の中から所
望の部品を視覚センサ101の情報に従って認識し、そ
してロボットのアーム102等により選出するビンピン
キングのためのシステムを示している。重なりあった部
品として例えば第21図に示すように紡績工程で生産さ
れる管に糸が巻かれた管糸103のようなものがある。
望の部品を視覚センサ101の情報に従って認識し、そ
してロボットのアーム102等により選出するビンピン
キングのためのシステムを示している。重なりあった部
品として例えば第21図に示すように紡績工程で生産さ
れる管に糸が巻かれた管糸103のようなものがある。
この管糸103は次工程であるワイングーに給糸するに
際し、ホッパーにばらまかれた管糸103は一本ずつ整
列し直した後にワイングー機に送っているが、この目的
fこめに、管糸103に振動を与える等の処理を行うこ
とにより所定の場所に整列配置させろ自動供給制御機打
考なるものが実用化されているが、機構が複雑で柔軟性
に欠けるといつfこ欠点があった そこでこの管糸103の整列作業を柔軟す機構によす実
現するためには上述の視覚センサ101等の情報に従っ
て駆動されるロボットを用いた制御が有効ではないかと
考えられる。このためには、視覚センサ101により、
管糸103の重なり状況を知る必要かあるが、従来の視
覚センサは、単に2次元画像を処理するものが中心であ
り、管糸103のように重なりあった物体を3次元的に
捕らえるのは困難であった。これは、視覚センサのみて
3次元の物体を捕らえようと思えば異なる位置に複数個
の視覚センサを設ける必要があり、そして、複数の視覚
センサからの信号を処理するための制御回路においてか
なり高度で複雑な処理が要求されるからである。
際し、ホッパーにばらまかれた管糸103は一本ずつ整
列し直した後にワイングー機に送っているが、この目的
fこめに、管糸103に振動を与える等の処理を行うこ
とにより所定の場所に整列配置させろ自動供給制御機打
考なるものが実用化されているが、機構が複雑で柔軟性
に欠けるといつfこ欠点があった そこでこの管糸103の整列作業を柔軟す機構によす実
現するためには上述の視覚センサ101等の情報に従っ
て駆動されるロボットを用いた制御が有効ではないかと
考えられる。このためには、視覚センサ101により、
管糸103の重なり状況を知る必要かあるが、従来の視
覚センサは、単に2次元画像を処理するものが中心であ
り、管糸103のように重なりあった物体を3次元的に
捕らえるのは困難であった。これは、視覚センサのみて
3次元の物体を捕らえようと思えば異なる位置に複数個
の視覚センサを設ける必要があり、そして、複数の視覚
センサからの信号を処理するための制御回路においてか
なり高度で複雑な処理が要求されるからである。
従来のビンピッキングシステムにおいてもフォトダイオ
ードアレイ等による触覚センサを用いて立体の形状測定
を行なっている例もあるか、このようなシステムでは触
覚センサによる多数の計測点数と、膨大な処理時間とを
必要とするので実用化には至っておらず、適用可能な対
象はある程度整列された単純な形状のみに限られていた
。
ードアレイ等による触覚センサを用いて立体の形状測定
を行なっている例もあるか、このようなシステムでは触
覚センサによる多数の計測点数と、膨大な処理時間とを
必要とするので実用化には至っておらず、適用可能な対
象はある程度整列された単純な形状のみに限られていた
。
[発明の目的コ
この発明は上述した問題点をなくすためになされたしの
であり、機能の異なるセンサを有効に組み合わせて用い
ろことで物体の重なり状況を的確に検知することのでき
る判別方法を提供することを目的とする。
であり、機能の異なるセンサを有効に組み合わせて用い
ろことで物体の重なり状況を的確に検知することのでき
る判別方法を提供することを目的とする。
[発明の概要]
機能の異なる複数のセンサを協調して用いれば、より簡
単に3次元的情報の収集が行えるものと思われる。第2
2図はこの発明による判別方法を示している。
単に3次元的情報の収集が行えるものと思われる。第2
2図はこの発明による判別方法を示している。
視覚系において、まず、ばら蹟みされた管糸の中から把
持すべき管糸の選出を行い、その選出した管糸の濃度を
調べ、そのa変分布から複数のタイプに分類される。一
方、選択された前記部品の領域が触覚系に送出され、該
管糸の形状の特徴点が検出され、その特徴点から複数の
重なりタイプに分類される。前記二つの分類されたタイ
プを照合することにより、より正確に重なりが判別され
るようになっている。
持すべき管糸の選出を行い、その選出した管糸の濃度を
調べ、そのa変分布から複数のタイプに分類される。一
方、選択された前記部品の領域が触覚系に送出され、該
管糸の形状の特徴点が検出され、その特徴点から複数の
重なりタイプに分類される。前記二つの分類されたタイ
プを照合することにより、より正確に重なりが判別され
るようになっている。
[発明の構成]
この発明の重なり部品における重なり方の判別方法は、
無作為に置かれ、それぞれが一定形状を有する多数の部
品の中から所望の部品を捕捉するに際して必要となる部
品の重なり状況を知るための判別方法であって、上記部
品を2次元の画像情報として捕らえる複数の画素からな
る視覚センサを備え、該視覚センサの画素内容から所定
の部品を選択するとともに、選択した部品に対して画像
上での濃度を計測して、その濃度分布から複数のタイプ
に分類し、一方、選択した前記部品の外観等の特徴点を
検知する触覚センサを備え、該触覚センサによる特徴点
から複数の重なりタイプに分類し、前記濃度分布により
分類されたタイプと、分類された重なりタイプとから最
上位に位置する部品を判別することを特徴とする。
無作為に置かれ、それぞれが一定形状を有する多数の部
品の中から所望の部品を捕捉するに際して必要となる部
品の重なり状況を知るための判別方法であって、上記部
品を2次元の画像情報として捕らえる複数の画素からな
る視覚センサを備え、該視覚センサの画素内容から所定
の部品を選択するとともに、選択した部品に対して画像
上での濃度を計測して、その濃度分布から複数のタイプ
に分類し、一方、選択した前記部品の外観等の特徴点を
検知する触覚センサを備え、該触覚センサによる特徴点
から複数の重なりタイプに分類し、前記濃度分布により
分類されたタイプと、分類された重なりタイプとから最
上位に位置する部品を判別することを特徴とする。
[実施例]
第1図はこの発明の重なり方の判別方法の1実施例を示
すブロック図である。
すブロック図である。
lは非接触状態にて2次元の映像を得る視覚センサであ
り、視覚センサ1による画像情報は、画像入力装置2を
介して視覚情報処理KS3に入力される。この視覚情報
処理部3て選択された領域が触覚情報処理部4に送出さ
れるとともに、該領域におけろ対象物の視覚情報が重な
り判定部5に送出される。触覚情報処理部4では前記領
域までの所要移動爪が算出され、触覚センサ駆動機構制
御回路6及び対象物接触点検出回路7を介して触覚セン
サ8が対象物まで駆動され、対象物への接触により得ら
れた触覚情報は触覚情報入力装置9を介し前記触覚情報
処理部4に人力される。触覚情報処理部4で処理された
触覚情報は前記型なり判定部5に送出され、この重なり
判定部5にて触覚情報と触覚情報とから対象物の重なり
状況が詳しく判定される。重なり状況から目的の対象物
の把持が可能と判定されれば、把持部座標演算回路IO
を介して把持装置llに座標値か送出されるようになっ
ている。
り、視覚センサ1による画像情報は、画像入力装置2を
介して視覚情報処理KS3に入力される。この視覚情報
処理部3て選択された領域が触覚情報処理部4に送出さ
れるとともに、該領域におけろ対象物の視覚情報が重な
り判定部5に送出される。触覚情報処理部4では前記領
域までの所要移動爪が算出され、触覚センサ駆動機構制
御回路6及び対象物接触点検出回路7を介して触覚セン
サ8が対象物まで駆動され、対象物への接触により得ら
れた触覚情報は触覚情報入力装置9を介し前記触覚情報
処理部4に人力される。触覚情報処理部4で処理された
触覚情報は前記型なり判定部5に送出され、この重なり
判定部5にて触覚情報と触覚情報とから対象物の重なり
状況が詳しく判定される。重なり状況から目的の対象物
の把持が可能と判定されれば、把持部座標演算回路IO
を介して把持装置llに座標値か送出されるようになっ
ている。
次に上記ブロック図における動作を詳細に説明する。
視覚センサlは重なり合った管糸を上部から2次元の像
として捕らえる撮影カメラであり、ここでは固体撮像素
子を用いたCODカメラを用いている。光源としては通
常の室内照明を用いており、特別なスポット光源等は不
要である。この視覚センサlからの映像信号は画像入力
装置2に入力され、画像メモリAに記憶される。この画
像メモリAは、視覚センサlで得られた画像を256x
256の画素の集合として記憶しており、各画素には画
像の濃淡に応じた信号が格納される。記憶された画像情
報は視覚情報処理部3に入力される。
として捕らえる撮影カメラであり、ここでは固体撮像素
子を用いたCODカメラを用いている。光源としては通
常の室内照明を用いており、特別なスポット光源等は不
要である。この視覚センサlからの映像信号は画像入力
装置2に入力され、画像メモリAに記憶される。この画
像メモリAは、視覚センサlで得られた画像を256x
256の画素の集合として記憶しており、各画素には画
像の濃淡に応じた信号が格納される。記憶された画像情
報は視覚情報処理部3に入力される。
ここでは、管糸の中心線決定のための画像処理が行なわ
れる。まず、2値化回路31において、次のような手法
でもって画像情報の2値化処理がなされる。
れる。まず、2値化回路31において、次のような手法
でもって画像情報の2値化処理がなされる。
前記画像メモリAの各画素に記憶されたデジタル信号が
、しきい値設定回路32によるしきい値を境として論理
値l又は0の2状態に変換される。
、しきい値設定回路32によるしきい値を境として論理
値l又は0の2状態に変換される。
第2図(a)を前記CODカメラlで得られた原画像と
すると、設定したしきい値の大きさによって第2図(b
)〜(d)で示すような2値化画像が得られる。第2図
(b)で得られた2値化画像かその後の画像処理の上で
もっとも望ましいのではあるが、このような画像を常に
得ることは一般に困難であり、画像のコントラスト不足
などから第2図(C)のような画像になりがちである。
すると、設定したしきい値の大きさによって第2図(b
)〜(d)で示すような2値化画像が得られる。第2図
(b)で得られた2値化画像かその後の画像処理の上で
もっとも望ましいのではあるが、このような画像を常に
得ることは一般に困難であり、画像のコントラスト不足
などから第2図(C)のような画像になりがちである。
そこでこの実施例においては第2図(d)で示すように
しきい値を高い目に設定し対象が分断した像を得ている
。これらのとぎれた象を後述する連結処理によって一つ
の像を推定する。この方法によれば低いコントラストの
画像に対しても確実に対象を選出することができる。
しきい値を高い目に設定し対象が分断した像を得ている
。これらのとぎれた象を後述する連結処理によって一つ
の像を推定する。この方法によれば低いコントラストの
画像に対しても確実に対象を選出することができる。
第3図はCCDカメラ1により得られに重なりあった管
糸103の画像を示していて、第4図は第3図の画像を
“0“を白ドツト、“1”を黒ドツトとして描いた2値
化画像の一例を示している。
糸103の画像を示していて、第4図は第3図の画像を
“0“を白ドツト、“1”を黒ドツトとして描いた2値
化画像の一例を示している。
次に、画素グループ連結処理回路33の動作を説明する
。2値化された画像を解析するためには一般に行なわれ
るラベリング手法を修正しf二手法により、一つのグル
ープを構成すると思われる画素のグループ化がなされる
。例えば第5図のような2値化された画素のイメージを
考えると、画素の集合し1〜L5の内、CLI、L3.
L5)と(L x、 L jとはそれぞれ一つのグルー
プをなしていることが直感的に判る。このような部分を
一つに連結するために第6図に示すようなアルゴリズム
に従って画素のグループ化処理か行なわれる。
。2値化された画像を解析するためには一般に行なわれ
るラベリング手法を修正しf二手法により、一つのグル
ープを構成すると思われる画素のグループ化がなされる
。例えば第5図のような2値化された画素のイメージを
考えると、画素の集合し1〜L5の内、CLI、L3.
L5)と(L x、 L jとはそれぞれ一つのグルー
プをなしていることが直感的に判る。このような部分を
一つに連結するために第6図に示すようなアルゴリズム
に従って画素のグループ化処理か行なわれる。
ある画素1 (i、D[但しこの画素はOでない]のラ
ベルを決定する場合、その画素を中心としてその周囲の
画素を走査し、画素の値を調べる。
ベルを決定する場合、その画素を中心としてその周囲の
画素を走査し、画素の値を調べる。
まず1次を調べ、続いて2次、3次と調べていく。この
とき周囲の画素の値の取りがたにより、下記のようにグ
ループ番号を割り付ける(グループ化)。
とき周囲の画素の値の取りがたにより、下記のようにグ
ループ番号を割り付ける(グループ化)。
a、すべてが論理0のとき
1 (i、Dは孤立点であるから新しいグループ番号を
つける。
つける。
b、すべてが論理!のとき
1 (i、Dと周辺の画素が共通な領域をなすと考え、
z(i、D及び周辺のすべての画素に新しいグループ番
号を付ける。
z(i、D及び周辺のすべての画素に新しいグループ番
号を付ける。
C1論理1.0のみが混在するとき
1 (i、Dと周辺の画素が一つの領域をなすと考え、
I(i、J)及び周辺の画素のうち論理1である画素に
新しい番号を付ける。
I(i、J)及び周辺の画素のうち論理1である画素に
新しい番号を付ける。
d、すでにグループ化されL画素があるとき1 (i、
Dと周辺の画素はすてにグループ化された領域に属する
と考え、その中で最も小さいグループ番号を、I(i、
Dと周辺画素のうち論理1である画素に付ける。
Dと周辺の画素はすてにグループ化された領域に属する
と考え、その中で最も小さいグループ番号を、I(i、
Dと周辺画素のうち論理1である画素に付ける。
ここで以後の処理を正しく行なうにめにはグループ化に
より得られた領域はある程度の大きさを有していること
が必要であるので、次に上記各領域の面積が計算される
。この面積計算は単純に領域を構成している画素数を数
えることによってなされる。更に、計算された領域の面
積の内、基準面積以上となっfコ領域数が所定数以上に
なったかが判定され、基準面積に達した領域数ろく所定
数以下のときは、続く処理が正しく実行されないものと
判断して、前記しきい値設定回路32によるしきい値が
低い目に設定し直され、再度2値化の処理がなされる。
より得られた領域はある程度の大きさを有していること
が必要であるので、次に上記各領域の面積が計算される
。この面積計算は単純に領域を構成している画素数を数
えることによってなされる。更に、計算された領域の面
積の内、基準面積以上となっfコ領域数が所定数以上に
なったかが判定され、基準面積に達した領域数ろく所定
数以下のときは、続く処理が正しく実行されないものと
判断して、前記しきい値設定回路32によるしきい値が
低い目に設定し直され、再度2値化の処理がなされる。
このような判定を設けることにより、照明条件に影響さ
れることなく、以後の処理に好都合な2値化画像が得ら
れる。
れることなく、以後の処理に好都合な2値化画像が得ら
れる。
上記条件が満たされた場合には、次に中心線決定演算回
路34にて各管糸103の中心線が求められる。まず、
各領域の向きである方向ベクトルが求められ、元来−つ
の象であったと思われる領域を一つの像として連結させ
るための解析が行なわれる。
路34にて各管糸103の中心線が求められる。まず、
各領域の向きである方向ベクトルが求められ、元来−つ
の象であったと思われる領域を一つの像として連結させ
るための解析が行なわれる。
第7図は、上記画素のグループ化処理により得られた画
像を示していて、まず、各画素グループー−−−→ −
一−−→ −一一一→ −すの方向ベクトルP 1P
t、P 3P 4.P sP 8.P ?P 8゜−m
−−−う PsPloが求められる。次ぎに最も長いベクトルーセ
−一−
−→P、Ptが選出され、このベクトルP 1P tに
最も近傍にありかつベクトルの向きが近似したベクトル
−〉 P 3 P 4が選出される。
像を示していて、まず、各画素グループー−−−→ −
一−−→ −一一一→ −すの方向ベクトルP 1P
t、P 3P 4.P sP 8.P ?P 8゜−m
−−−う PsPloが求められる。次ぎに最も長いベクトルーセ
−一−
−→P、Ptが選出され、このベクトルP 1P tに
最も近傍にありかつベクトルの向きが近似したベクトル
−〉 P 3 P 4が選出される。
次に重心G 2. G 2を結ぶ直線の向きとベクトル
P IP t、 P 3P 4の向きが近似するとき、
この二つのベクトルを一つのベクトルP、P、に結合し
、このベクトルP + P 4について再び上記と同じ
動作を一−−−→ 行う。これによりベクトルP 、P、が得られたら、−
一一一→ ベクトルの向きが異なるベクトルPwPaについて−す も上述した同様の処理を行い、ベクトルP7P1゜を得
る。
P IP t、 P 3P 4の向きが近似するとき、
この二つのベクトルを一つのベクトルP、P、に結合し
、このベクトルP + P 4について再び上記と同じ
動作を一−−−→ 行う。これによりベクトルP 、P、が得られたら、−
一一一→ ベクトルの向きが異なるベクトルPwPaについて−す も上述した同様の処理を行い、ベクトルP7P1゜を得
る。
このようにすべての領域について中心線が求められると
、その結果が前記画像入力装置2に送出され、画像メモ
リBに記憶される。
、その結果が前記画像入力装置2に送出され、画像メモ
リBに記憶される。
次に、最長中心線選択回路35により、画像メモリB内
の情報を参照して複数の中心線の中から最長の中心線が
選択される。
の情報を参照して複数の中心線の中から最長の中心線が
選択される。
第8図に示すように画素グループの連結により一)
得られた像の中心線の候補としてベクトルP 1P e
−一一一一→ と P?PIGを選出し、次に中心線候補ベクトルの属
性を検討することにより最長の中心線が選出される。
−一一一一→ と P?PIGを選出し、次に中心線候補ベクトルの属
性を検討することにより最長の中心線が選出される。
表1
中心線の属性として上記のように中心線の候補に対して
それぞれベクトル長や有効及び無効ベクトル長が求めら
れ、 1、有効ベクトル長〉無効ベクトル長 ii、ベクトル長〉規定値 を満たすときの中心線の候補を最長中心線としている。
それぞれベクトル長や有効及び無効ベクトル長が求めら
れ、 1、有効ベクトル長〉無効ベクトル長 ii、ベクトル長〉規定値 を満たすときの中心線の候補を最長中心線としている。
次に、部品存在領域決定回路36にて最長中心線とされ
た像の存在領域が設定される。ここでは捕捉される対象
物を囲むように予め設定されるようになっていて、管糸
103のような場合には管糸長、管糸直径で表される長
方形が平面的に設定される。設定された存在領域は、触
覚情報処理部4に送出されるとともに、中心線上原画像
濃度分布計測回路37に入力される。
た像の存在領域が設定される。ここでは捕捉される対象
物を囲むように予め設定されるようになっていて、管糸
103のような場合には管糸長、管糸直径で表される長
方形が平面的に設定される。設定された存在領域は、触
覚情報処理部4に送出されるとともに、中心線上原画像
濃度分布計測回路37に入力される。
ここでは、前記最長中心線上の濃度分布か前記画像メモ
リAの原画像によって計測される。
リAの原画像によって計測される。
第9図は、画像メモリAを示していて、既述したように
、256ドツト×256ドツトの画素で構成され、各画
素には画像情報の明暗に対応した256段階の強弱のデ
ジタル信号が記憶されている。一方、PQは、上述の動
作により選択された画像メモリB上の最長中心線であり
、画像メモリA上に位置関係が対応するように描かれて
いる。
、256ドツト×256ドツトの画素で構成され、各画
素には画像情報の明暗に対応した256段階の強弱のデ
ジタル信号が記憶されている。一方、PQは、上述の動
作により選択された画像メモリB上の最長中心線であり
、画像メモリA上に位置関係が対応するように描かれて
いる。
図中示すようなPQライン上における画像Aの各ドツト
P (p、q)〜Q(p、q)の明暗濃度のレベルが計
測され、n個の点列データとして記憶され企。第1O図
にその計測された中心線上での濃度分布を示している。
P (p、q)〜Q(p、q)の明暗濃度のレベルが計
測され、n個の点列データとして記憶され企。第1O図
にその計測された中心線上での濃度分布を示している。
第11図は、種々の状態に置かれた管糸103にいて、
それぞれ上述したような方法でもって濃度分布を計測し
たものを示している。例えばタイプlのような重なりで
あれば、図中での二つの管糸103の境界線に対応して
、中央部での濃度分布に二つのピークが見られる。従っ
て管糸103の中心線上の濃度分布に現われるピークの
位置あるいはピークの有無を調べることにより、重なり
なし、あるいは重なりタイプ1〜4に対して4個のパタ
ーンに分類することができ、例えば第10図のような濃
度分布が得られたならば、重なりなしでパターン1と判
定される。重なりタイプが4の場合は、重なりかない場
合と同様の濃度分布を示すのでパターンlに分類される
。
それぞれ上述したような方法でもって濃度分布を計測し
たものを示している。例えばタイプlのような重なりで
あれば、図中での二つの管糸103の境界線に対応して
、中央部での濃度分布に二つのピークが見られる。従っ
て管糸103の中心線上の濃度分布に現われるピークの
位置あるいはピークの有無を調べることにより、重なり
なし、あるいは重なりタイプ1〜4に対して4個のパタ
ーンに分類することができ、例えば第10図のような濃
度分布が得られたならば、重なりなしでパターン1と判
定される。重なりタイプが4の場合は、重なりかない場
合と同様の濃度分布を示すのでパターンlに分類される
。
ピーク検出回路38では浮動しきい値法を用いて上記ピ
ークの特徴を検出している。
ークの特徴を検出している。
第12図のCは点列データとして得られたa変分布を示
していて、Dは、時系列的に得た複数個の点列データを
順次、平均した移動平均値を示しており、濃度分布Cと
移動平均りとの交点からピークを検出している。
していて、Dは、時系列的に得た複数個の点列データを
順次、平均した移動平均値を示しており、濃度分布Cと
移動平均りとの交点からピークを検出している。
中心線上の濃度分布のn個の点列データを(9(i)。
l≦i≦n)とする。
これらの点列データの内、m番目のデータに対するしき
い値をT h(m)とすると、Th(m)= 1/k
−Σ 9(i) −ai=m−に’−,1 に:加算個数 a:オフセット値(a≧O)で表わされ
る。このようにして得られたしきい値の点列データ(T
h(i)、 k≦i≦n−に+Hに対して、次のように
して処理される。
い値をT h(m)とすると、Th(m)= 1/k
−Σ 9(i) −ai=m−に’−,1 に:加算個数 a:オフセット値(a≧O)で表わされ
る。このようにして得られたしきい値の点列データ(T
h(i)、 k≦i≦n−に+Hに対して、次のように
して処理される。
9(i)≧T h(i) であれば、9(i)−1g
(+)< Th(+) であれば、9(i)=0第1
3図はその処理結果を示していて、1−0−1と変化し
たとき、その両変化点の中央で、前記濃度分布Cにおい
て谷となるピークが存在し、0→1→0と変化したとき
、その両変化点の中央で山となるピークが存在する。こ
のように移動平均値によるしきい値を採用することによ
り、検出値の相対レベルが異なるようなことがあっても
、ピークを正確に検出することができる。
(+)< Th(+) であれば、9(i)=0第1
3図はその処理結果を示していて、1−0−1と変化し
たとき、その両変化点の中央で、前記濃度分布Cにおい
て谷となるピークが存在し、0→1→0と変化したとき
、その両変化点の中央で山となるピークが存在する。こ
のように移動平均値によるしきい値を採用することによ
り、検出値の相対レベルが異なるようなことがあっても
、ピークを正確に検出することができる。
さて、中心線の濃度分布におけるピークが検出されると
、ピーク出現分類パターン回路39にて、次表のように
ピークの種類に応じて管糸103の状態が4個の濃度パ
ターンに分類される。
、ピーク出現分類パターン回路39にて、次表のように
ピークの種類に応じて管糸103の状態が4個の濃度パ
ターンに分類される。
]むし
このようにして分類されfこ検出パターンは、重なり判
定部5に視覚情報として送出される。
定部5に視覚情報として送出される。
以上が視覚情報処理部3における動作であって、次に触
覚情報処理部4について説明をする。
覚情報処理部4について説明をする。
前記視覚情報処理部3の部品存在領域決定回路36にて
決定された最長中心線の管糸103の領域か視覚情報処
理部4の視覚センサ水平移動量演算回路41に入力され
ていて、ここにおいて、前記領域まての触覚センサ8の
移動量が演算され、移動量出力部42に入力される。触
覚センサ駆動機構制御回路6は移動量出力部42からの
信号に従って触覚センサ8を所定の管糸103の存在領
域に移動させる。
決定された最長中心線の管糸103の領域か視覚情報処
理部4の視覚センサ水平移動量演算回路41に入力され
ていて、ここにおいて、前記領域まての触覚センサ8の
移動量が演算され、移動量出力部42に入力される。触
覚センサ駆動機構制御回路6は移動量出力部42からの
信号に従って触覚センサ8を所定の管糸103の存在領
域に移動させる。
触覚センサ8としては第14図に示すように、所定高さ
にて平行移動するアームSに、回動可能な接触子8aを
備えたポテンショメータが管糸103の両端部と中央部
との3点P9M、Qて測定が行えるよう等間隔に3個設
けられている。このポテンションメータ8をアームSの
移動により平行移動させ、このときの管糸103との接
触による接触子8aの振れ角がポテンショメータ8にて
検出される。この検出結果は、触覚情報入力装置9を介
して触覚情報処理部4の特徴点検出回路43に入力され
るとともに、対象物接触点検出回路7を介して前記触覚
センサ駆動機構制御回路6に随時フィードバックされる
ことにより、前記アームSは所定の動作をなす 第15図は第14図におけるポテンションメータ8を側
方から見た図である。ボテンンヨメータ8かX軸方向に
移動して、XOの位置に来fこときに接触子8aは管糸
103に接触し、その後はボテンショメータ8の移動に
伴なって接触子8aの振れ角Pは増し、ポテンショメー
タ8がXtの位置に来て接触子8aの端部が管糸103
の最上部に位置したとき、その振れ角Pは最大となる。
にて平行移動するアームSに、回動可能な接触子8aを
備えたポテンショメータが管糸103の両端部と中央部
との3点P9M、Qて測定が行えるよう等間隔に3個設
けられている。このポテンションメータ8をアームSの
移動により平行移動させ、このときの管糸103との接
触による接触子8aの振れ角がポテンショメータ8にて
検出される。この検出結果は、触覚情報入力装置9を介
して触覚情報処理部4の特徴点検出回路43に入力され
るとともに、対象物接触点検出回路7を介して前記触覚
センサ駆動機構制御回路6に随時フィードバックされる
ことにより、前記アームSは所定の動作をなす 第15図は第14図におけるポテンションメータ8を側
方から見た図である。ボテンンヨメータ8かX軸方向に
移動して、XOの位置に来fこときに接触子8aは管糸
103に接触し、その後はボテンショメータ8の移動に
伴なって接触子8aの振れ角Pは増し、ポテンショメー
タ8がXtの位置に来て接触子8aの端部が管糸103
の最上部に位置したとき、その振れ角Pは最大となる。
特徴点検出回路43では、前記3個の測定点P、M、Q
での最大振れ角P maxがそれぞれ求められる。
での最大振れ角P maxがそれぞれ求められる。
次に座標計算回路44にて、最大振れ角P maxから
測定点P、M、Qにおける管糸103の高さを示すZ軸
座標Pz、Mz、Qzがそれぞれ演算される。
測定点P、M、Qにおける管糸103の高さを示すZ軸
座標Pz、Mz、Qzがそれぞれ演算される。
次の重なり角度計算回路45では、算出されたZ座標P
Z、MZ、QZと、ポテンションメータ2間の距離とか
ら、測定点P〜1とMQの直線を結んだときの交点Mで
の重なり角θが計算される。
Z、MZ、QZと、ポテンションメータ2間の距離とか
ら、測定点P〜1とMQの直線を結んだときの交点Mで
の重なり角θが計算される。
次の接触パターン分類回路46では、第16図に示した
判定フローを用いて、上記型なり角θの大きさが判定さ
れ!ないし3の接触パターンに分類される。即ちステッ
プS+61にて、Iθ−θ。:<Thθであるかが判定
される。
判定フローを用いて、上記型なり角θの大きさが判定さ
れ!ないし3の接触パターンに分類される。即ちステッ
プS+61にて、Iθ−θ。:<Thθであるかが判定
される。
Ooは重なりがないときにおける重なり角であり、Th
θは一定のオフセット値である。この条件が成立すれば
、重なりなしのパターンlに分類され、上記条件が不成
立のとき次のステップ8162にて計測した重なり角θ
がθ。以上であればパターン3と判定され、そうでなけ
ればパターン2に分類される。
θは一定のオフセット値である。この条件が成立すれば
、重なりなしのパターンlに分類され、上記条件が不成
立のとき次のステップ8162にて計測した重なり角θ
がθ。以上であればパターン3と判定され、そうでなけ
ればパターン2に分類される。
第17図は、上述の方法により分類した結果を示してい
て、第12図と同様に、種々の重なりタイプに対してl
ないし3の接触パターンに設定されろ。この接触パター
ンは、触覚情報として重なり判定部5内の重なりパター
ン判定回路51に送出される。
て、第12図と同様に、種々の重なりタイプに対してl
ないし3の接触パターンに設定されろ。この接触パター
ンは、触覚情報として重なり判定部5内の重なりパター
ン判定回路51に送出される。
次に重なり判定部5以降の処理について説明する。
重なりパターン判定回路51には、視覚情報処理部3の
ピーク出現パターン分類回路39からの濃度パターンと
、視覚情報処理部4の接触パターン分類回路46からの
接触パターンとが入力されていて、ここにおいて、上記
二つの視覚及び触覚情報から最終的に管糸103の重な
り状態か、第18図に示した判別本に基づいて判定され
、その結果が動作指示回路52に送出される。
ピーク出現パターン分類回路39からの濃度パターンと
、視覚情報処理部4の接触パターン分類回路46からの
接触パターンとが入力されていて、ここにおいて、上記
二つの視覚及び触覚情報から最終的に管糸103の重な
り状態か、第18図に示した判別本に基づいて判定され
、その結果が動作指示回路52に送出される。
動作指示回路52ては、重なりパターン判定回路51に
よる判定結果から把持装置11により対象としている管
糸103の把持が可能でめるかが判定されろ。第19図
はその判定フローを示していて、まず、ステップ519
1にて重なりの有無が判定され、重なりのない場合は把
持の指示か出され、ステップS!92で把持部座標演算
回路IOにおいて、所望の管糸103の把持がでさるよ
う把持装置11の移動座標値が演算され、この座標値で
しって把持装置11が駆動されるようになっている。
よる判定結果から把持装置11により対象としている管
糸103の把持が可能でめるかが判定されろ。第19図
はその判定フローを示していて、まず、ステップ519
1にて重なりの有無が判定され、重なりのない場合は把
持の指示か出され、ステップS!92で把持部座標演算
回路IOにおいて、所望の管糸103の把持がでさるよ
う把持装置11の移動座標値が演算され、この座標値で
しって把持装置11が駆動されるようになっている。
一方、ステップ5191にて、重なり有りと判定された
場合には、ステップ5193にて重なりタイプが2また
は4であるかが判定される。重なりタイプが2または4
の場合は、第17図で示したように、端部にて重なって
いる接触パターン3の場合てあって把持可能であるので
ステップ5t92に進む。一方、重なりタイプが29.
1以外のときは、中央部で重なる接触パターン2のとき
であって把持てきないにめ、ステップ5194に進み、
R長中心線選択回路35にて、次に長い中心線の管糸1
03の選択かなされ、以後同様な処理が行なわれろ。又
、ステップ5191にて、重なり状態が判別不能とされ
f二場合は、ステップ5195にて、ピーク検出回路3
8に対して再度のピーク検出か指示される。
場合には、ステップ5193にて重なりタイプが2また
は4であるかが判定される。重なりタイプが2または4
の場合は、第17図で示したように、端部にて重なって
いる接触パターン3の場合てあって把持可能であるので
ステップ5t92に進む。一方、重なりタイプが29.
1以外のときは、中央部で重なる接触パターン2のとき
であって把持てきないにめ、ステップ5194に進み、
R長中心線選択回路35にて、次に長い中心線の管糸1
03の選択かなされ、以後同様な処理が行なわれろ。又
、ステップ5191にて、重なり状態が判別不能とされ
f二場合は、ステップ5195にて、ピーク検出回路3
8に対して再度のピーク検出か指示される。
尚、上記実施例では、接触センサとしてポテンショメー
タを用いたか、マイクロスインチやフィルム接点を用い
てもよく、ホトセンサや超音波センサのような非を妾角
虫のセンサを用いてもよい。
タを用いたか、マイクロスインチやフィルム接点を用い
てもよく、ホトセンサや超音波センサのような非を妾角
虫のセンサを用いてもよい。
又、この発明は所定の物体を把持するものに限らず池の
種々の用途、例えば物体の位置と姿勢の計測や物体の抽
出等に用いられる。さらに、物体の位置と姿勢の計測や
抽出に際してはその物体の最長mをポリ定することに限
らず、物体の特徴を示す量により計測や抽出を行なって
もよい。
種々の用途、例えば物体の位置と姿勢の計測や物体の抽
出等に用いられる。さらに、物体の位置と姿勢の計測や
抽出に際してはその物体の最長mをポリ定することに限
らず、物体の特徴を示す量により計測や抽出を行なって
もよい。
[発明の効果]
以上説明したように、この発明は重なり合った部品の中
から所望の部品を選出するために、視覚センサでもって
まず所望の部品を選出して、その濃度分布の種類と、触
覚センサにより選出した部品の特徴点を検出して、その
特徴点の種類とから重なり方を判定するようにしたので
、最上部に位置する部品をより的確に検出することかで
き、従来のように特殊なセンサを用いる必要はなく、又
、各センサからの信号処理においても複雑な演算処理が
不要なため処理時間が短縮され、制御回路も簡素化され
る。
から所望の部品を選出するために、視覚センサでもって
まず所望の部品を選出して、その濃度分布の種類と、触
覚センサにより選出した部品の特徴点を検出して、その
特徴点の種類とから重なり方を判定するようにしたので
、最上部に位置する部品をより的確に検出することかで
き、従来のように特殊なセンサを用いる必要はなく、又
、各センサからの信号処理においても複雑な演算処理が
不要なため処理時間が短縮され、制御回路も簡素化され
る。
第1図はこの発明の重なり部品における重なり方の判別
方法のための1実施例を示す制御ブロック図、第2図(
a)はCCDカメラの捕らえた重なり部品の原画像を示
す図、第2図(b)ないしくa)は第2図(a)の原画
像を2値化処理した画像を示す図、第3図は実際の管糸
の重なり画像を示す図、第4図は第3図における画像を
2値化処理した画像を示す図、第5図は2値化された画
素の状態を示す図、第6図は第5図における画素のグル
ープ化のためのアルゴリズムを示す図、第7図は画素の
グループ化により得られた画像を示す図、第8図は第7
図における画素グループを連結して得られた像の中心線
を示す図、第9図は、選出された最長中心線の管糸の画
像メモリ上におけるデータを示す図、第10図は、第9
図の画像メモリ上のデータの濃度分布を表す図、第11
図は、重なりあった管糸における測定濃度分布を示す図
、第12図及び第13図は、得られた濃度分布から濃1
変のピークを検出するために用いられる浮動作しきい仏
法を説明するための図、第14図は第1図における触覚
センサとして用いられるポテンショメータの構成を示す
図、第15図は第14図のポテンショメータの動作を説
明するための図、第16図及び第19図は、第1図にお
ける接触パターン分類回路授び重なりパターン判定回路
における動作を示すフローチャート、第17図は、接触
パターン分類回路により、種々に重なりあった管糸に対
して分類された接触パターンを示す図、第18図は、重
なりパターン判定回路により、種々の接触パターンに対
して重なりを判定するためのアルゴリズムを示す図、第
20図はビンピッキングシステムを示す概略図、第21
図は重なりあった管糸を示す図、第22図はこの発明の
概略を示すブロック図である。 ■・・CCDカメラ、2・・画像入力装置、3 視覚情
報処理部、4・・触覚情報処理部、500重なり判定部
、6・・・触覚センサ駆動機構制御回路、7 ・対象物
接触点検出回路、8・・・ポテンショメータ、8a・・
接触子、9・・触覚情報入力装置、10・・把持部座標
演算回路、11・・握把持装置、103・管糸。 特許出願人 倉敷紡績株式会社 代 理 人 弁理士 青白 葆 (也1名第2図 (a) (b) (c)
(d)第3図 第4
図 @ E へ 吟 @t5 第11図 第 115図 檎16図 1!19面 第17図
方法のための1実施例を示す制御ブロック図、第2図(
a)はCCDカメラの捕らえた重なり部品の原画像を示
す図、第2図(b)ないしくa)は第2図(a)の原画
像を2値化処理した画像を示す図、第3図は実際の管糸
の重なり画像を示す図、第4図は第3図における画像を
2値化処理した画像を示す図、第5図は2値化された画
素の状態を示す図、第6図は第5図における画素のグル
ープ化のためのアルゴリズムを示す図、第7図は画素の
グループ化により得られた画像を示す図、第8図は第7
図における画素グループを連結して得られた像の中心線
を示す図、第9図は、選出された最長中心線の管糸の画
像メモリ上におけるデータを示す図、第10図は、第9
図の画像メモリ上のデータの濃度分布を表す図、第11
図は、重なりあった管糸における測定濃度分布を示す図
、第12図及び第13図は、得られた濃度分布から濃1
変のピークを検出するために用いられる浮動作しきい仏
法を説明するための図、第14図は第1図における触覚
センサとして用いられるポテンショメータの構成を示す
図、第15図は第14図のポテンショメータの動作を説
明するための図、第16図及び第19図は、第1図にお
ける接触パターン分類回路授び重なりパターン判定回路
における動作を示すフローチャート、第17図は、接触
パターン分類回路により、種々に重なりあった管糸に対
して分類された接触パターンを示す図、第18図は、重
なりパターン判定回路により、種々の接触パターンに対
して重なりを判定するためのアルゴリズムを示す図、第
20図はビンピッキングシステムを示す概略図、第21
図は重なりあった管糸を示す図、第22図はこの発明の
概略を示すブロック図である。 ■・・CCDカメラ、2・・画像入力装置、3 視覚情
報処理部、4・・触覚情報処理部、500重なり判定部
、6・・・触覚センサ駆動機構制御回路、7 ・対象物
接触点検出回路、8・・・ポテンショメータ、8a・・
接触子、9・・触覚情報入力装置、10・・把持部座標
演算回路、11・・握把持装置、103・管糸。 特許出願人 倉敷紡績株式会社 代 理 人 弁理士 青白 葆 (也1名第2図 (a) (b) (c)
(d)第3図 第4
図 @ E へ 吟 @t5 第11図 第 115図 檎16図 1!19面 第17図
Claims (1)
- (1)無作為に置かれ、それぞれが一定形状を有する多
数の部品の中から所望の部品を捕捉するに際して必要と
なる部品の重なり状況を知るための判別方法であって、
上記部品を2次元の画像情報として捕らえる複数の画素
からなる視覚センサを備え、該視覚センサの画素内容か
ら所定の部品を選択するとともに、選択した部品に対し
て画像上での濃度を計測して、その濃度分布から複数の
タイプに分類し、一方、選択した前記部品の外観等の特
徴点を検知する触覚センサを備え、該触覚センサによる
特徴点から複数の重なりタイプに分類し、前記濃度分布
により分類されたタイプと、分類された重なりタイプと
から最上位に位置する部品を判別することを特徴とする
重なり部品における重なり方の判別方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19681286A JPS6352268A (ja) | 1986-08-21 | 1986-08-21 | 重なり部品における重なり方の判別方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP19681286A JPS6352268A (ja) | 1986-08-21 | 1986-08-21 | 重なり部品における重なり方の判別方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPS6352268A true JPS6352268A (ja) | 1988-03-05 |
Family
ID=16364064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP19681286A Pending JPS6352268A (ja) | 1986-08-21 | 1986-08-21 | 重なり部品における重なり方の判別方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS6352268A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010041374A1 (ja) * | 2008-10-08 | 2010-04-15 | 本田技研工業株式会社 | ワーク形状推定装置及びワーク形状推定方法 |
-
1986
- 1986-08-21 JP JP19681286A patent/JPS6352268A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010041374A1 (ja) * | 2008-10-08 | 2010-04-15 | 本田技研工業株式会社 | ワーク形状推定装置及びワーク形状推定方法 |
JP2010091429A (ja) * | 2008-10-08 | 2010-04-22 | Honda Motor Co Ltd | ワーク形状推定装置 |
US8611672B2 (en) | 2008-10-08 | 2013-12-17 | Honda Motor Co., Ltd. | Work piece shape estimation device and work piece shape estimation method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110779928B (zh) | 缺陷检测装置及方法 | |
EP1766575A2 (en) | Method and apparatus for configuring and testing a machine vision detector | |
CN114813761B (zh) | 一种基于双光频闪的薄膜针孔和亮斑缺陷识别系统及方法 | |
Norton-Wayne et al. | Machine vision inspection of web textile fabric | |
JP2019057211A (ja) | 部品計数装置、部品計数方法およびプログラム | |
JP3887807B2 (ja) | 画像計測装置 | |
AU2008243688B2 (en) | Method and apparatus for three dimensional image processing and analysis | |
JPS6352268A (ja) | 重なり部品における重なり方の判別方法 | |
JPS6280783A (ja) | 重なり部品の位置姿勢計測装置 | |
JPH085348A (ja) | 3次元形状検査方法 | |
JPH067171B2 (ja) | 移動物体の検知方法 | |
JPH0991428A (ja) | 線状材の線径判定装置 | |
JP3234636B2 (ja) | 欠陥検査装置 | |
JP3552419B2 (ja) | 物体の認識方法 | |
JPS59188509A (ja) | 物体の位置および形状認識方法 | |
WO2001084497A2 (en) | Image processing | |
JPS6315116B2 (ja) | ||
KR20050098211A (ko) | 경사 배치된 카메라를 이용한 형상 검사 시스템 | |
JPH05180833A (ja) | 染色体形状解析方法 | |
JPS6130708A (ja) | 物体形状判別方法 | |
JPS60218164A (ja) | 画像処理装置 | |
JPS62196775A (ja) | 形状識別方法 | |
JP2001134762A (ja) | 瓶類の選別装置 | |
Malinen et al. | Reduction of visual data by a program controlled interface for computerized manipulation | |
JPH0989762A (ja) | 線状材の判別方法および装置 |