JPH1166321A - ワーク位置検出方法 - Google Patents

ワーク位置検出方法

Info

Publication number
JPH1166321A
JPH1166321A JP9218639A JP21863997A JPH1166321A JP H1166321 A JPH1166321 A JP H1166321A JP 9218639 A JP9218639 A JP 9218639A JP 21863997 A JP21863997 A JP 21863997A JP H1166321 A JPH1166321 A JP H1166321A
Authority
JP
Japan
Prior art keywords
work
image
calculates
vertex information
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP9218639A
Other languages
English (en)
Inventor
Hiroaki Oba
博明 大庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTN Corp
Original Assignee
NTN Corp
NTN Toyo Bearing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTN Corp, NTN Toyo Bearing Co Ltd filed Critical NTN Corp
Priority to JP9218639A priority Critical patent/JPH1166321A/ja
Publication of JPH1166321A publication Critical patent/JPH1166321A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 重ねて積まれたワークのうち最も上に存在す
るワークを抽出してその姿勢を検出する。 【解決手段】 カメラ3で撮像された基準となるワーク
の画像を前処理部42で画像圧縮,平滑化を行ない、輪
郭抽出部43でたとえば重心を算出して輪郭線を追跡
し、頂点抽出部44で曲率を計算して頂点情報を算出し
て登録しておき、対象となるワークを撮像した画像から
同様にして輪郭線と頂点情報を算出し、認識部46の粗
サーチ部47で座標変換処理を用いた弛緩マッチングを
行ない、精サーチ部48で粗サーチで求めたパラメータ
の近傍を微分画像でマッチングしてワークの位置,回転
角および縮尺を検出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は位置検出方法に関
し、特に、重ねて積まれたワークのうち、最も上に存在
するワークとその位置を画像処理により検出して、整列
させるピッキング装置におけるワーク位置検出方法に関
する。
【0002】
【従来の技術】ピッキング装置において最も上に存在す
るワークの位置を検出する方法として、濃淡テンプレー
トマッチング,ハフ変換,2値処理などの方法がある。
【0003】濃淡テンプレートマッチングは、予め登録
されたマスタパターンと入力パターンとの類似度を求
め、その値が最大になる位置を求める方法である。この
方法は、類似度として正規化相互相関係数を用いるケー
スがほとんどである。
【0004】ハフ変換は、直線や円など予め形状が特定
できるワークに対し、その形状をいくつかのパラメータ
で表現し、入力パターンをそのパラメータ空間に写像し
たとき、写像回数が最大になるパラメータ値を位置情報
とする方法である。たとえば、直線を検出する場合、原
点から直線へ下ろした垂線の長さρと、垂線とX軸との
なす角θをパラメータに用い、入力パターンの座標
(x,y)に対する(ρ,θ)をカウントアップし、カ
ウント値が極大になる(ρ,θ)を位置情報として出力
する。
【0005】2値処理は、入力パターンを2値化して、
その中から希望する面積や形状を持つ塊を対象物として
抽出し、抽出した塊の重心や主軸角を位置情報とする方
法である。
【0006】
【発明が解決しようとする課題】ピッキング装置などに
おいては、ほとんどの場合、重なり状態で積まれたワー
クを対象とする。このため、画像パターンが複雑とな
り、また対象物の向きもさまざまである。さらに、上か
ら1つ1つピッキングしていくので、カメラに映るパタ
ーンの縮尺も変化する。このことから考えて、従来のい
ずれの方法でも、対象物の背景データを検出に用いるた
め、重なり状態での検出が困難であり、回転や縮尺を考
慮した場合、その処理時間が現実的ではないという問題
がある。また、回転や縮尺を考慮した場合、カウント値
を保持するためのメモリが大量に必要になり、また大量
のメモリをアクセスするため、その処理時間が現実的で
はない。さらに、重なり状態のワークを2値化した場
合、最も上に存在するワークとの分離が困難であるとい
う種々の問題点があった。
【0007】それゆえに、この発明の主たる目的は、重
ねて積まれたワークをピッキングするピッキング装置に
おいて、画像処理により最も上に存在するワークを抽出
してその位置を検出するような位置検出方法を提供する
ことである。
【0008】
【課題を解決するための手段】請求項1に係る発明は、
重ねて積まれたワークのうち、最も上に存在するワーク
をピッキングするピッキング装置において、最も上に存
在するワークの位置を検出するワーク位置検出方法であ
って、基準となるワークの輪郭線を抽出して曲率が局所
的に最小になる画素を頂点情報として抽出して登録し、
入力された画像の輪郭線を抽出して曲率が局所的に最小
になる画素を頂点情報として抽出し、基準点となるワー
クの頂点情報と入力された画像の頂点情報とを比較し
て、重ねて積まれた最も上に存在するワークの姿勢を判
別する。
【0009】請求項2に係る発明では、ワークの姿勢を
判別するために弛緩マッチングを用いて粗い位置決めが
行なわれる。
【0010】請求項3に係る発明では、さらに、粗い位
置決めで求めたパラメータの近傍を微分画像でマッチン
グして精密な位置決めを行なう。
【0011】
【発明の実施の形態】図1はこの発明の一実施形態にお
けるワーク位置検出方法を用いたピッキング装置を示す
図である。図1において、容器1内に多数のワーク2が
積重ねられている。ワーク2は容器1の上方に設けられ
ているカメラ3によって撮像される。カメラ3の画像出
力は画像処理ユニット4に与えられて後述する画像処理
が行なわれて最も上のワークの姿勢が判別され、ピッキ
ング用ロボット5によってその最も上のワークがピッキ
ングされる。
【0012】図2はこの発明の一実施形態におけるマス
タパターンの登録過程を示す図であり、図3は前処理
部,輪郭抽出部,頂点抽出部の詳細を具体的に示す図で
ある。まず、図2および図3を参照して、マスタパター
ンを登録する過程について説明する。マスタパターンの
登録過程は、図2に示すようにカメラ3で図1に示した
ワーク2が撮像され、その撮像出力は画像メモリ41に
記憶された後、前処理部42に与えられる。前処理部4
2では、図3(a)に示すように、画像メモリ41に記
憶した画像が縦,横ともに1/2のサイズに圧縮され
る。このとき、2×2画素の平均値を濃度値とする圧縮
が行なわれ、平滑化が行なわれて微小なノイズが取除か
れて輪郭抽出部43に与えられる。輪郭抽出部43で
は、入力画像から輪郭線追跡の基準点として、たとえば
重心を求め、この重心を内部に持つ最も内側の輪郭が追
跡されて抽出される。抽出された輪郭線は頂点抽出部4
4に与えられる。頂点抽出部44は抽出した輪郭線から
曲率が局所的に最小になる画像を頂点として抽出し、こ
のようにして検出された輪郭線と頂点情報とがメモリ4
5に記憶される。
【0013】図4は位置認識過程を示す図であり、図5
はラベル対応の表を示す図であり、図6は頂点ラベルを
示す図であり、図7は変換後の頂点を示す図である。
【0014】次に、図4〜図7を参照して、位置の認識
過程について説明する。図4において、マスタパターン
の登録過程と同様にして、カメラ3によって検出しよう
とするワークが撮像され、その画像出力が画像メモリ4
1に記憶され、前処理部42で画像圧縮と平滑化が行な
われ、輪郭抽出部43で重心の算出と輪郭線の追跡が行
なわれ、頂点抽出部44で曲率が計算されて頂点情報が
抽出されて認識部46に与えられる。
【0015】認識部46は粗サーチ部47と精サーチ部
48とを含む。粗サーチ部47では、入力画像から抽出
された頂点情報と、マスタパターンの頂点情報とを用い
て、弛緩マッチングにより粗い位置決めが行なわれる。
入力画像とマスタパターンの頂点の各々に1から順番に
番号(ラベルと称する)がつけられる。次に、図5に示
すような両者の各ラベルの対応関係を表わすテーブルが
用意される。このテーブルは、入力画像の頂点ラベルと
マスタパターンの頂点ラベルとが対応しているときに
「1」になり、それ以外のときは「0」になるものであ
る。まず、このテーブルを初期化するために、入力画像
の頂点ラベルiとマスタパターンの頂点ラベルkにおけ
る曲率αの差部分が、あるしきい値以下のときは「1」
とし、そうでないときは「0」とする処理が行なわれ
る。
【0016】次に、テーブルの値が「1」であるすべて
の対(i,k)について、次に示す更新処理が行なわれ
る。図6に示すように、(i,k)と、(i,k)のそ
れぞれに隣接する(j,l)との間でヘルマート変換の
係数a,b,c,dが求められる。ヘルマート変換は、
平行移動・回転・縮尺を考慮した座標変換法であり、座
標(x,y)が(u,v)に変換されたとすると、次式
で表わされる。
【0017】 u=ax−by+c v=bx+ay+d 係数a,bが回転と縮尺を表わしており、係数c,dが
平行移動を表わしており、縮尺Sおよび回転角θで
(m,n)だけ平行移動したとすると、次の関係式が成
立する。
【0018】 a=S×cosθ b=S×sinθ c=m d=n ここでは、入力画像の頂点i,jがこの変換によってそ
れぞれk,lに変換されたものとする。この変換を
(i,k),(j,l)以外の対(p,q)に対して行
なったとき、図7に示すように、pの変換後の座標とq
の座標との距離があるしきい値以下になる(p,q)の
対をカウントしていく。このカウント値があるしきい値
以上のとき、iとkとの対応が矛盾していないものと解
釈してテーブルの値は「1」とし、そうでないときは
「0」とする処理を行なってテーブル値を更新する。こ
の更新処理をN回行なって、最終的な(i,k)の対が
決定される。
【0019】最後に、テーブル値が「1」なる(i,
k)の対と、(i,k)に隣接する(j,l)とで決ま
るヘルマート変換を(i,k)、(j,l)以外の対
(p,q)に対して行なったとき、pの変換後の座標と
qの座標との平均2乗誤差が最小になる変換係数a,
b,c,dを求める。係数a,b,c,dよりS,θ,
(m,n)を求め、粗サーチ部47の位置情報とする。
【0020】次に、精サーチ部48の動作について説明
する。精サーチ部48では、粗サーチ部47での結果
(S,θ,m,n)の近傍、 (S+ΔS,θ+Δθ,m+Δm,n+Δn) をサーチして、精密に位置決めを行なう。マスタパター
ンの輪郭線iを、 (S+ΔS,θ+Δθ,m+Δm,n+Δn) で変換し、変換後の輪郭線jの各々の画素に対応する入
力画像上の画素の微分値を積算していく。この積算値が
最大になる (S+ΔS,θ+Δθ,m+Δm,n+Δn) の組を求め、最終的な位置決め結果とする。
【0021】
【発明の効果】以上のように、この発明によれば、基準
となるワークの輪郭線を抽出して曲率が局所的に最小に
なる画素を頂点情報として抽出するとともに、入力され
た画像の輪郭線を抽出して曲率が局所的に最小になる画
像頂点情報として抽出して、両者の頂点情報を比較し
て、積重ねられた最も上に存在するワークの姿勢を判別
することにより、縮尺や回転を考慮に入れた重なり検出
が可能になる。
【0022】また、認識処理を粗サーチと精サーチとに
分けることにより、少量の情報で検出が可能になり、使
用メモリを軽減して処理効率を向上できる。
【図面の簡単な説明】
【図1】この発明の一実施形態におけるピッキング装置
を示す図である。
【図2】この発明の一実施形態におけるマスタパターン
の登録過程を示す図である。
【図3】前処理部,輪郭抽出部,頂点抽出部の詳細図で
ある。
【図4】この発明の一実施形態における位置認識過程を
示す図である。
【図5】ラベルの対応表を示す図である。
【図6】頂点ラベルを示す図である。
【図7】変換後の頂点を示す図である。
【符号の説明】
1 容器 2 ワーク 3 カメラ 4 画像処理ユニット 5 ピッキング用ロボット 41 画像メモリ 42 前処理部 43 輪郭抽出部 44 頂点抽出部 46 認識部 47 粗サーチ部 48 精サーチ部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 重ねて積まれたワークのうち、最も上に
    存在するワークの位置を検出するワーク位置検出方法で
    あって、 基準となるワークの輪郭線を抽出して、曲率が局所的に
    最小になる画素を頂点情報として抽出し登録する第1の
    ステップ、 入力された画像の輪郭線を抽出して曲率が局所的に最小
    になる画素を頂点情報として抽出する第2のステップ、
    および前記第1のステップで登録された基準点となるワ
    ークの頂点情報と前記第2のステップで抽出されたワー
    クの頂点情報とを比較して、前記重ねて積まれた最も上
    に存在するワークの姿勢を判別する第3のステップを含
    む、ワーク位置検出方法。
  2. 【請求項2】 前記ワークの姿勢を判別するために、弛
    緩マッチングを用いて粗い位置決めを行なうことを特徴
    とする、請求項1に記載のワーク位置検出方法。
  3. 【請求項3】 さらに、前記粗い位置決めで求めたパラ
    メータの近傍を微分画像でマッチングして精密な位置決
    めを行なうことを特徴とする、請求項2に記載のワーク
    位置検出方法。
JP9218639A 1997-08-13 1997-08-13 ワーク位置検出方法 Withdrawn JPH1166321A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9218639A JPH1166321A (ja) 1997-08-13 1997-08-13 ワーク位置検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9218639A JPH1166321A (ja) 1997-08-13 1997-08-13 ワーク位置検出方法

Publications (1)

Publication Number Publication Date
JPH1166321A true JPH1166321A (ja) 1999-03-09

Family

ID=16723108

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9218639A Withdrawn JPH1166321A (ja) 1997-08-13 1997-08-13 ワーク位置検出方法

Country Status (1)

Country Link
JP (1) JPH1166321A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006000428A (ja) * 2004-06-18 2006-01-05 Secom Co Ltd 食事支援装置
JPWO2006059676A1 (ja) * 2004-12-02 2008-08-07 村田機械株式会社 自動倉庫
JP2009220247A (ja) * 2008-03-18 2009-10-01 Ihi Corp ロボット装置及びロボット装置の制御方法
CN103764304A (zh) * 2011-04-05 2014-04-30 泽恩机器人有限公司 在机器人系统中拾取动作之后使传感器测量值无效的方法
CN109956251A (zh) * 2019-04-19 2019-07-02 深圳蓝胖子机器人有限公司 一种货物识别抓取方法、设备以及存储介质
CN110615227A (zh) * 2019-09-10 2019-12-27 灵动科技(北京)有限公司 自动搬运系统
CN113295096A (zh) * 2020-02-24 2021-08-24 青岛海尔模具有限公司 一种工件的加工装置及其加工方法
WO2021249570A1 (zh) * 2020-06-12 2021-12-16 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、机器人和仓储系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006000428A (ja) * 2004-06-18 2006-01-05 Secom Co Ltd 食事支援装置
JPWO2006059676A1 (ja) * 2004-12-02 2008-08-07 村田機械株式会社 自動倉庫
JP4582421B2 (ja) * 2004-12-02 2010-11-17 村田機械株式会社 自動倉庫
JP2009220247A (ja) * 2008-03-18 2009-10-01 Ihi Corp ロボット装置及びロボット装置の制御方法
CN103764304A (zh) * 2011-04-05 2014-04-30 泽恩机器人有限公司 在机器人系统中拾取动作之后使传感器测量值无效的方法
JP2014511772A (ja) * 2011-04-05 2014-05-19 ゼンロボティクス オイ ロボットシステムにおいてピッキング動作後にセンサ測定値を無効にする方法
CN109956251A (zh) * 2019-04-19 2019-07-02 深圳蓝胖子机器人有限公司 一种货物识别抓取方法、设备以及存储介质
CN110615227A (zh) * 2019-09-10 2019-12-27 灵动科技(北京)有限公司 自动搬运系统
CN110615227B (zh) * 2019-09-10 2021-08-06 灵动科技(北京)有限公司 自动搬运系统
CN113295096A (zh) * 2020-02-24 2021-08-24 青岛海尔模具有限公司 一种工件的加工装置及其加工方法
WO2021249570A1 (zh) * 2020-06-12 2021-12-16 深圳市海柔创新科技有限公司 仓储机器人的控制方法、装置、机器人和仓储系统

Similar Documents

Publication Publication Date Title
Hodaň et al. Detection and fine 3D pose estimation of texture-less objects in RGB-D images
Chua et al. Point signatures: A new representation for 3d object recognition
Rusu et al. Fast 3d recognition and pose using the viewpoint feature histogram
Wolfson Model-based object recognition by geometric hashing
Aldoma et al. CAD-model recognition and 6DOF pose estimation using 3D cues
US8994723B2 (en) Recognition and pose determination of 3D objects in multimodal scenes
Drost et al. 3d object detection and localization using multimodal point pair features
US8908913B2 (en) Voting-based pose estimation for 3D sensors
CN101777128B (zh) 一种融入全局信息的指纹细节点匹配方法及系统
US8830229B2 (en) Recognition and pose determination of 3D objects in 3D scenes
Azad et al. Stereo-based 6d object localization for grasping with humanoid robot systems
Biegelbauer et al. Efficient 3D object detection by fitting superquadrics to range image data for robot's object manipulation
Lysenkov et al. Pose estimation of rigid transparent objects in transparent clutter
Beveridge et al. Combinatorial optimization applied to variable scale 2d model matching
Chen et al. Robust affine-invariant line matching for high resolution remote sensing images
Yang et al. Polygon-invariant generalized Hough transform for high-speed vision-based positioning
CN104866854B (zh) 基于同底三角形面积描述的目标识别和形状检索方法
Zong et al. A fast and accurate planar-feature-based global scan registration method
JPH1166321A (ja) ワーク位置検出方法
Azad et al. Accurate shape-based 6-dof pose estimation of single-colored objects
Tsai et al. Real-time textureless object detection and recognition based on an edge-based hierarchical template matching algorithm
JP4793109B2 (ja) 物体検出法およびロボット
Nguyen et al. Determination of 3D object pose in point cloud with CAD model
CN102004921A (zh) 基于图像特征分析的目标辨识方法
JP2017091202A (ja) 物体認識方法及び物体認識装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20041102