JPH0953915A - 重なり状態認識方法 - Google Patents

重なり状態認識方法

Info

Publication number
JPH0953915A
JPH0953915A JP7210451A JP21045195A JPH0953915A JP H0953915 A JPH0953915 A JP H0953915A JP 7210451 A JP7210451 A JP 7210451A JP 21045195 A JP21045195 A JP 21045195A JP H0953915 A JPH0953915 A JP H0953915A
Authority
JP
Japan
Prior art keywords
overlapping
feature
matching
objects
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7210451A
Other languages
English (en)
Inventor
Koji Igura
浩司 井倉
Nobuyuki Fujiwara
伸行 藤原
Toshikazu Onda
寿和 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP7210451A priority Critical patent/JPH0953915A/ja
Publication of JPH0953915A publication Critical patent/JPH0953915A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515Shifting the patterns to accommodate for positional errors

Abstract

(57)【要約】 【課題】 画像処理にあって平板状物体の上下判定を可
能とした重なり状態認識方法を提供する。 【解決手段】 対象物体の認識と位置検出を行なうモデ
ルベーストマッチングを行ない、ついで局所領域内での
局所的特徴マッチングを行なうことにより、重なり状態
を認識することができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理を利用し
た物体位置検出装置にあって、認識した物体の重なり状
態を検出する重なり状態認識方法に関する。
【0002】
【従来の技術】一般に、機械加工分野では加工部品の素
材投入作業の自動化が進められており、例えばパレット
上で位置決めされた素材は、ロボットなどによって加工
機械に自動的な供給が可能であるが、パレット上で位置
決めが困難な素材はまず素材の位置と姿勢の検出という
過程が必要となる。
【0003】この素材の位置と姿勢の検出にあたって
は、画像処理装置を用いた物体位置方法が提案されてお
り、例えば対象物体のモデルを予め作成し、シーン中の
対象物体(素材)にモデルを当てはめ、その一致度合を
判断するというマッチング方法がいくつか提案されてい
る。
【0004】この場合、対象物体が立体的な場合には、
レンジセンサやステレオカメラによる三次元計測などに
より対象物体の高さ情報を使いこの対象物体を立体的に
とらえ、三次元物体認識を行ない、対象物体の位置と姿
勢とを検出することができる。
【0005】
【発明が解決しようとする課題】ところが、対象物体が
平板のように立体としてとらえにくい場合には、加工機
械への自動供給に必要な情報は、二次元位置の情報で良
いのであるが、ここでは最上位置物体の位置と姿勢の検
出が必要となる。このことは、主に荷崩れを引き起こさ
ず、取り出し時の物体の落下を防止するためであるが、
平板状物体の最上位物体の認識は、高さ情報から対象物
体の上下関係が特定しきれず、困難となっている。この
結果、最上位位置の対象物体を上から順に取り出す作業
は困難となっている。
【0006】本発明は平板状物体の上下判定を可能とし
た重なり状態認識方法の提供を目的とする。
【0007】
【課題を解決するための手段】
(1)カメラからの二次元投影画像を処理し、対象物体
を認識してその位置と姿勢とを検出し、更に検出した複
数の対象物体の位置と姿勢とからその重なり領域を求
め、この重なり領域内にて局所的特徴マッチングを行な
い、重なり対象物体の上下を判断することを特徴とす
る。 (2)(1)において、重なり領域での特徴抽出を行な
い、抽出した特徴が重なり対象物体のいずれに帰属する
か判定することを特徴とする。 (3)(2)において、重なりの上下判定は、重なり領
域における局所的特徴マッチングの結果マッチングした
特徴長さの和で判断することを特徴とする。 (4)(1)において、円形状対象物体についての重な
り領域は、対象物体を方形で外接させ、その間の中心距
離が直径より短い状態を検出し、重なる方形領域にて局
所的特徴長さを加えるようにしたことを特徴とする。 (5)(1)において、複数品種の重なり状態は各品種
ごとの重なり状態検出の後、各品種相互間にて行なうこ
とを特徴とする。
【0008】局所的特徴マッチングを行なうことにより
重なりの上下を判断することができる。
【0009】
【発明の実施の形態】ここで、発明の実施の形態を説明
するに、図1に示す物体検出装置を用いる。すなわち、
素材供給パレット1内に積載されたプレート素材2をカ
メラ3にて撮像し、画像処理装置4にて後述のモデルベ
ーストマッチング及び局所的特徴マッチングを行ない、
素材である平板状対象物体(プレート素材2)の判定結
果をモニタ5にて表示する。この場合、モデルベースト
マッチングは、対象物体の外形について幾何学的特徴に
近似した特徴抽出を行なうことで予め作成した特徴モデ
ルを、プレート素材のシーンにあてはめてプレート素材
の認識と位置検出を行なうものである。また、局所的特
徴マッチングは、モデルベーストマッチングにて検出し
た対象物位置関係からプレート素材の重なっている領域
を推定し、その局所領域内でのプレート素材の上下関係
を判定するものである。
【0010】これらマッチングの処理の流れを図2にて
示す。すなわち、図2において、まず処理(a)〜
(f)にて物体位置検出を行なう。(a)図1に示すカ
メラ3からの画像信号を画像処理装置4に取り込む。
(b)画像処理装置4にて画像前処理を行ない、シーン
中の対象物体のエッジ抽出を行なう。(c)つぎにエッ
ジを幾何学的特徴(直線,円弧,楕円,コーナ等)の集
合に近似する。(d)モデル生成ではこれら幾何学的特
徴の中から対象物体の特徴を選択してモデルとする。
(e)プレート素材2の認識段階ではモデル生成と同じ
くカメラ3からの画像信号を取り込み、前処理にてエッ
ジ抽出をし特徴の抽出をする。(f)シーン中のプレー
ト素材2の特徴とモデルの特徴とをモデルマッチングす
る。ここでモデルマッチングはモデルの代表的な特徴に
類似した特徴をシーンの中から探し出し、ついでモデル
の他の特徴をシーンの中の特徴位置に座標変換して重ね
合わせる。この重ね合わせの結果、全体の特徴の一致度
が設定値以上の場合プレート素材を対象物体と認識す
る。この認識について一致度が設定値以上ある物体は、
シーン中のものすべてについて認識する。このとき、重
なりの上下は不明であり、また物体の下に隠れた物体に
ついては認識しない。
【0011】次に、図2において重なり認識を行なう。
すなわち、処理(a)〜(f)にて認識したシーン中の
対象物候補の中から処理(g)〜(j)にて物体の上下
を判断する。(g)対象物体候補どうしの距離を計算す
る。(h)対象物体候補どおしのうち近接した候補の重
なり領域を求める。この場合、対象物体の形状により重
なり領域の求め方が多少異なり、例えば後記に示す具体
例の如く、対象物体候補のモデル特徴位置から近接する
候補のモデル特徴位置と交差する特徴の座標を求めて重
なり領域を多角形として求める。(i)この重なり領域
内で局所的特徴マッチングを行なう。すなわち、この重
なり領域内にて特徴マッチングしたシーンの特徴長さの
成分の合計が大きい(長い)方を上位物体のマッチング
とする。重なり領域で抽出した全特徴について、この重
なり領域でマッチングした特徴が少ない場合は更に次の
処理を行なう。すなわち、重なり領域で抽出した特徴で
上下どちらのモデルにもマッチングしなかった特徴を上
下どちらかのモデルに振り分ける。この場合モデルの仮
設位置の特徴とマッチングしていない特徴との距離を求
め、設定値以下であれば、どちらかのモデルにマッチン
グ特徴として帰属させる。この場合の距離は、特徴中心
の距離と、特徴長さの差と、特徴方向の差との全ての和
とする。(j)対象物体候補全ての重なり領域抽出と局
所的特徴マッチングを行なった後、候補全ての上下関係
を求める。
【0012】[実施例]円形状の対象物について特徴マ
ッチング後の実施例を述べる。 (1)対象物体候補の外接長方形を求める。マッチング
したモデルや対象物体の特徴から対象物体候補位置の外
接長方形を求める。 (2)重なり領域を求める。 (2−1)図3に示すように近接した候補の中心距離d
cを計算する。この結果、近接した対象物体どおしの距
離が円の直径以下にて重なると判定できる。すなわち、
2r>dcで重なり領域が存在する。ここで、rは対象
物体(円)の半径である。 (2−2)対象物体候補の中心を結ぶ線が水平でない場
合には、水平となるように候補を座標変換する。 (2−3)外接長方形の交差する領域(方形(rectangl
e))を求める。すなわち、図4に示すように重なり領域
での外接長方形の始点座標(rect xs ,rect ys)と終点
座標(rect xe ,rect ye)とを特定する。 (2−4)重なり領域を計算する。重なり領域の短辺を
dx,長辺をdyとする。 dx=rect xe − rect xs dy=rect ye − rect ys ここにおいて、図4に示すdyを補正して図5に示すd
yとする。この場合、補正後のdyは図5にて次式[数
1]にて導出される。
【数1】
【0013】この結果重なり(duplex) 領域の座標は、
図6にて次のようになる。 dup xs = rect xs dup xe = rect xe dup ys =(rect ys + rect ye)/2−dy dup ye =(rect ys + rect ye)/2+dy
【0014】(3)局所的特徴マッチング (3−1)マッチングしたフィールド特徴から重なり領
域内に含まれる特徴を求めその長さを計算する。 (3−2)局所的特徴が全て領域内に含まれる場合は、
局所的特徴の長さ全てが加算される。 (3−3)局所的特徴の一部が領域内に含まれる場合
は、領域境界と特徴とが交差する座標を求め、領域内の
みの長さ(LF)を加算する。 (3−4)すべてのLF(ΣLF)について、ΣLFが
大きい方が上位物体である。 (4)認識した候補の近接した候補全てに対する上記処
理を行ない、全ての上下関係を判定する。
【0015】次に、複数品種物体の重なり認識を行なう
場合、例えば品種AとBについての重なり認識を行なう
場合には、まず品種Aについて物体位置検出と重なり認
識すなわち上記実施例(1)〜(4)を行ない、つい
で、品種Bについて物体位置検出と重なり認識すなわち
上記実施例(1)〜(4)を行なう。そして更に、品種
A,Bについてこれらの重なり領域を求め、局所的特徴
マッチングを行ない、マッチした特徴長さからA,Bの
上下関係を判断する。
【0016】
【発明の効果】以上説明したように本発明によれば、物
体位置検出では従来困難であった板状素材の上下判定が
可能となった。また、そのため次の効果も得られる。 積み重ねてある素材を上から順に取り出せる。 下からの取り出しがなくなり、荷崩れがなくなる。 下からの取り出しがなくなり、無理に下から取り出
す時の、上の素材とのこすれがなくなり、きずや汚れの
発生を低下させる。 下からの取り出しがなくなり、上の素材をひっくり
返すことがない。 特定の素材を取り出すための効率の良い取り出し順
番がわかる。 対象物の種類が増えても、種類にこだわらず、同じ
アルゴリズムで最上位物体を特定できる。
【図面の簡単な説明】
【図1】全体概略構成図。
【図2】処理フローチャート。
【図3】対象物体の近接状態図。
【図4】重なり領域設定図。
【図5】dy補正図。
【図6】重なり領域設定図。
【符号の説明】
1 素材供給パレット 2 プレート素材 3 カメラ 4 画像処理装置 5 モニタ r 半径 dc 中心間距離 dx 短辺 dy 補正前・後の長辺

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 カメラからの二次元投影画像を処理し、
    対象物体を認識してその位置と姿勢とを検出し、更に検
    出した複数の対象物体の位置と姿勢とからその重なり領
    域を求め、この重なり領域内にて局所的特徴マッチング
    を行ない、重なり対象物体の上下を判断する重なり状態
    認識方法。
  2. 【請求項2】 重なり領域での特徴抽出を行ない、抽出
    した特徴が重なり対象物体のいずれに帰属するか判定す
    る請求項1記載の重なり状態認識方法。
  3. 【請求項3】 重なりの上下判定は、重なり領域におけ
    る局所的特徴マッチングの結果マッチングした特徴長さ
    の和で判断する請求項2記載の重なり状態認識方法。
  4. 【請求項4】 円形状対象物体についての重なり領域
    は、対象物体を方形で外接させ、その間の中心距離が直
    径より短い状態を検出し、重なる方形領域にて局所的特
    徴長さを加えるようにした請求項1記載の重なり状態認
    識方法。
  5. 【請求項5】 複数品種の重なり状態は各品種ごとの重
    なり状態検出の後、各品種相互間にて行なう請求項1記
    載の重なり状態認識方法。
JP7210451A 1995-08-18 1995-08-18 重なり状態認識方法 Pending JPH0953915A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP7210451A JPH0953915A (ja) 1995-08-18 1995-08-18 重なり状態認識方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP7210451A JPH0953915A (ja) 1995-08-18 1995-08-18 重なり状態認識方法

Publications (1)

Publication Number Publication Date
JPH0953915A true JPH0953915A (ja) 1997-02-25

Family

ID=16589555

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7210451A Pending JPH0953915A (ja) 1995-08-18 1995-08-18 重なり状態認識方法

Country Status (1)

Country Link
JP (1) JPH0953915A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1385122A1 (en) * 2002-07-24 2004-01-28 Fanuc Ltd Object taking-out apparatus
US7120292B2 (en) 1999-02-18 2006-10-10 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
JP2006329659A (ja) * 2005-05-23 2006-12-07 Universal Shipbuilding Corp 鋼材の形状認識方法及び装置
JP2009279175A (ja) * 2008-05-22 2009-12-03 Aruze Corp 媒体位置判定装置
JP2010067248A (ja) * 2008-08-09 2010-03-25 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
WO2010041374A1 (ja) 2008-10-08 2010-04-15 本田技研工業株式会社 ワーク形状推定装置及びワーク形状推定方法
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
DE102016123194A1 (de) 2015-12-03 2017-06-08 Canon Kabushiki Kaisha Messvorrichtung, Messverfahren und Produktfertigungsverfagren

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7120292B2 (en) 1999-02-18 2006-10-10 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
EP1385122A1 (en) * 2002-07-24 2004-01-28 Fanuc Ltd Object taking-out apparatus
US6845296B2 (en) 2002-07-24 2005-01-18 Fanuc Ltd Object taking out apparatus
JP2006329659A (ja) * 2005-05-23 2006-12-07 Universal Shipbuilding Corp 鋼材の形状認識方法及び装置
JP4711401B2 (ja) * 2005-05-23 2011-06-29 ユニバーサル造船株式会社 鋼材の形状認識方法及び装置
JP2009279175A (ja) * 2008-05-22 2009-12-03 Aruze Corp 媒体位置判定装置
JP2010067248A (ja) * 2008-08-09 2010-03-25 Keyence Corp 画像処理におけるパターンモデルの位置決め方法、画像処理装置、画像処理プログラム及びコンピュータで読み取り可能な記録媒体
WO2010041374A1 (ja) 2008-10-08 2010-04-15 本田技研工業株式会社 ワーク形状推定装置及びワーク形状推定方法
US8611672B2 (en) 2008-10-08 2013-12-17 Honda Motor Co., Ltd. Work piece shape estimation device and work piece shape estimation method
JP2010184308A (ja) * 2009-02-10 2010-08-26 Fanuc Ltd ワーク取り出し装置
DE102016123194A1 (de) 2015-12-03 2017-06-08 Canon Kabushiki Kaisha Messvorrichtung, Messverfahren und Produktfertigungsverfagren
US10228239B2 (en) 2015-12-03 2019-03-12 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and article manufacturing method

Similar Documents

Publication Publication Date Title
JP3768174B2 (ja) ワーク取出し装置
JP3426002B2 (ja) 物体認識装置
JP5289087B2 (ja) ワーク取り出し装置
JPH0685183B2 (ja) 2次元像による3次元物体の同定方法
CN108907526A (zh) 一种具有高鲁棒性的焊缝图像特征识别方法
JP2010541065A (ja) 3次元飲料容器位置決定装置
CN114170521B (zh) 一种叉车托盘对接识别定位方法
JPH0953915A (ja) 重なり状態認識方法
JP2003136465A (ja) 検出対象物の3次元位置・姿勢決定方法とロボット用視覚センサ
JPH08315152A (ja) 画像認識装置
JP2010032258A (ja) デパレタイズ用のワーク位置認識装置および方法
JP2010091525A (ja) 電子部品のパターンマッチング方法
JP2555823B2 (ja) 山積み部品の高速ピッキング装置
CN114332073A (zh) 目标工件的检测方法及装置、智能分拣系统和存储介质
WO2021220346A1 (ja) エレベーターの3次元データの処理装置
JPS6344103A (ja) 位置姿勢認識装置
JP4566686B2 (ja) 対象物の形状判別方法及び装置
JP3375242B2 (ja) ロボットの物体認識方法及びその装置
CN114972495A (zh) 针对纯平面结构的物体的抓取方法、装置及计算设备
JPH065545B2 (ja) 図形認識装置
JP4424798B2 (ja) 物体の認識方法および認識装置並びに物体の選別装置
Kiddee et al. A geometry based feature detection method of V-groove weld seams for thick plate welding robots
JPH1196378A (ja) 積荷位置姿勢認識装置
WO2022264726A1 (ja) 搬送システム、物品の搬送を制御するためにコンピュータで実行される方法、および、当該方法をコンピュータに実行させるプログラム
JPH07229717A (ja) 位置認識方式

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20021217