JP7066671B2 - 干渉判定装置、干渉判定方法、プログラム及びシステム - Google Patents
干渉判定装置、干渉判定方法、プログラム及びシステム Download PDFInfo
- Publication number
- JP7066671B2 JP7066671B2 JP2019223746A JP2019223746A JP7066671B2 JP 7066671 B2 JP7066671 B2 JP 7066671B2 JP 2019223746 A JP2019223746 A JP 2019223746A JP 2019223746 A JP2019223746 A JP 2019223746A JP 7066671 B2 JP7066671 B2 JP 7066671B2
- Authority
- JP
- Japan
- Prior art keywords
- work
- gripping
- interference determination
- model
- interference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
第1の実施形態では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、2D画像上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について述べる。
ステップS201では、ワークモデル保持部13が、保持しているワークの三次元形状モデルをワーク位置姿勢導出部12および干渉判定部17に入力する。
ステップS202では、ハンドモデル保持部13が、保持しているハンドの三次元形状を表すモデルをハンド位置姿勢導出部15および干渉判定部17に入力する。ここでは、三次元形状をポリゴンの集合により近似したポリゴンモデルを入力するものとする。
ステップS203では、3次元形状データ計測部11が、山積みされた対象ワークの距離画像を撮影し、各画素の座標と奥行き値から三次元点群の座標データを算出して、ワーク位置姿勢導出部12に入力する。三次元点群の点の総数をNとする。なお、得られる三次元点群の各点の座標は、基準座標系で表現されているものとする。これ以後、基準座標系で表現された三次元点群の各点にIDをつけ、i番目の三次元点をkc_iと呼ぶことにする。ここで、本ステップで生成した三次元点の座標と、対応する距離画像の各画素の座標には、互いに参照できるようにリンク情報を記録しておく。
ステップS204では、ワーク位置姿勢導出部12が、山積み中のワークの中から把持対象となる個体を一つ検出し、センサ座標系における検出ワークの位置姿勢を表す6つのパラメータを算出する。個体の検出および位置姿勢の算出にはさまざまな方法を利用できる。前述したように、本ステップではまず、ワークを多数の位置姿勢から観測したときの各距離画像のパターンと、ステップS201で得られた距離画像とのマッチングを行い、もっともスコアの高かったデータに対応する観測位置姿勢を把持対象ワークの概略位置姿勢として求める。具体的には、特開2001-14307号公報明細書に記載されている方法を利用し、距離画像上の特徴点間の位置関係と、データベース上に存在する、各観測位置姿勢における特徴点間の位置関係とを比較して、最も一致する特徴点群を選別することで概略位置姿勢を算出する。次に、得られた概略位置姿勢を初期値として、ICP(Iterative Closest Point)法と呼ばれる手法を用いて、距離画像から得られた三次元点群に対して、ワークの三次元形状モデルが三次元空間中で当てはまるような位置姿勢を算出する。
P = { pm_1, pm_2, …, pm_N } (1)
K = { km_1, km_2, …, km_N } (2)
K.S.Arun,T.S.Huang,and S.D.Blosteln,”Least-Squares Fitting of Two3-D Point Sets,”PAMI,vol.9,no.5,1987
なお、本ステップでは上記のようにR,tを直接求めるのではなく、Gauss-Newton法など非線形最適化手法を用いてワークの位置姿勢パラメータの補正を繰り返すことで算出しても良い。その他、山積み中のワークの中から一個体を検出し、センサ座標系におけるワークの位置姿勢を表す6つのパラメータを算出可能な方法であればいかなる方法であってもよい。
ステップS205では、対象領域特定部14が、ステップS204で導出した把持対象ワークの位置姿勢に基づき、三次元形状データ上で把持対象ワーク以外に該当する三次元点を特定する。本ステップの処理について図3を用いて説明する。
ステップS206では、ハンド位置姿勢導出部15が、ステップS204で導出したワークの位置姿勢に基づき、センサ座標系におけるワークの把持動作を行うハンドの位置姿勢を導出する。具体的には、把持を行う際のワークとハンドとの相対位置姿勢を、把持教示情報として記録させる作業を事前に行っておく。ワークとハンドとの相対位置姿勢の設定は、ワークのモデルとハンドのモデルとを仮想環境で操作することで行う。あるいは、センサにより計測したデータに基づき、センサ座標系における位置姿勢を求めたワークに対して、センサとハンド間の相対位置姿勢が取得可能なハンドにより、そのワークを把持できるような位置姿勢へハンドを動かし、両者の位置姿勢から算出してもよい。そして算出したワークの位置姿勢を表す座標変換行列に対して、記録しておいた把持教示情報に基づき、ワーク・ハンド間の相対位置姿勢を表す座標変換行列を掛け合わせることでセンサ座標系におけるハンドの座標変換行列を求め、両者間の位置姿勢を算出する。
ステップS207では、干渉判定部14が、ステップS205で特定した、把持対象ワーク以外に該当する三次元形状データと、ステップS206で算出した位置姿勢におけるハンドとの干渉判定を行う。
ステップS208では、ステップS207の結果、干渉がないと判定されればステップS209へ進む。干渉があると判定されればステップS204へ進み、別の個体の検出、位置姿勢導出を行う。
ステップS209では、ロボットアームを動作させて、把持対象ワークを把持できる位置姿勢へハンドを移動し、ハンドによるワークの把持、所定位置への搬送動作を行う。
ステップS210では、ワーク収容箱が空であるか判定する。空でなければ、ステップS203へ進む。空であれば処理を終了する。
第2の実施形態(以下、本実施形態)では、検出したワークを把持する際に、把持対象ワークの位置姿勢を利用して、3D空間上で把持対象ワーク領域を特定し、周辺物体とハンドとの干渉の有無を事前判定する方法について述べる。本実施例では、算出した位置姿勢における把持対象ワークの三次元形状モデルと、三次元形状データを構成する各三次元点との距離に基づき、距離が小さいものを把持対象ワークに該当するものと判定することで、周辺物体に該当する三次元点群を特定する。これにより、他の個体により遮蔽された個体を検出した場合においても、把持対象ワーク部分の計測点による誤検出なく、周辺物体とハンドとの干渉を正しく判定することが可能となる。
ステップS205は、対象領域特定部14が、ステップS204で導出したワークの位置姿勢に基づき、三次元形状データ上で把持対象ワーク以外に該当する三次元点を特定する。本ステップの処理について図4を用いて説明する。
ステップS205で導出したワークの位置姿勢に基づき、センサ座標系における、ワークの把持動作を行うハンドの位置姿勢を導出する。具体的には、把持を行う際のワークとハンドとの相対位置姿勢を、把持教示情報として記録させる作業を事前に行っておく。そして導出したワークの位置姿勢を表す座標変換行列に対して、記録しておいた把持教示情報に基づき、ワーク・ハンド間の相対位置姿勢を表す座標変換行列を掛け合わせることでセンサ座標系におけるハンドの座標変換行列を求め、両者間の位置姿勢を算出する。
ステップS205で特定した、把持対象ワーク以外に該当する三次元形状データと、ステップS206で算出した位置姿勢におけるハンドとの干渉判定を実施する。なお、干渉判定には、第1の実施形態と同様の方法を用いればよい。ここで図5(d)中において、把持対象ワーク以外の三次元点のうち、ハンドとの干渉ありと判定されたものを黒丸で示す。
図2に示した干渉判定装置1内の各部はハードウェアで構成しても良い。また、ワークモデル保持部13をメモリで構成し、その他の各部をコンピュータプログラムで構成しても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (8)
- 複数のワークを含んだ空間内の複数の3次元計測点までの距離を取得する取得手段と、
前記取得手段の取得結果に基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定手段と、
前記複数の3次元計測点のうち、前記特定手段によって特定された位置姿勢にある前記把持対象ワークのモデルを把持手段のモデルが把持する際に前記把持対象ワークのモデルと前記把持手段のモデルとが接する面上の点からの距離が所定の値より小さい3次元計測点、を除いた3次元計測点と、前記把持手段のモデルと、の干渉判定を行う干渉判定手段と、
前記干渉判定手段の干渉判定の結果を出力する出力手段とを備えることを特徴とする干渉判定装置。 - 更に、前記把持対象ワークの3次元モデル情報を保持する保持手段を備え、
前記特定手段は、前記保持手段に保持される3次元モデル情報及び前記取得手段の取得結果に基づいて前記把持対象ワークの位置姿勢を特定することを特徴とする請求項1に記載の干渉判定装置。 - 更に、前記干渉判定手段により干渉がないと判定された把持対象ワークを把持するように前記把持手段を制御する制御手段を備えることを特徴とする請求項1又は2に記載の干渉判定装置。
- 前記取得手段は、山積みされた前記複数のワークを含んだ空間に投影されたパターンを撮像した画像に基づいて、前記3次元計測点までの距離を取得することを特徴とする請求項1乃至3のいずれか1項に記載の干渉判定装置。
- 前記3次元モデル情報は、CADモデルであることを特徴とする請求項2に記載の干渉判定装置。
- 複数のワークを含んだ空間内の複数の3次元計測点までの距離を取得する取得工程と、
前記取得工程の取得結果に基づいて、前記複数のワークに含まれる把持対象ワークの位置姿勢を特定する特定工程と、
前記複数の3次元計測点のうち、特定された位置姿勢にある前記把持対象ワークのモデルを把持手段のモデルが把持する際に前記把持対象ワークのモデルと前記把持手段のモデルとが接する面上の点からの距離が所定の値より小さい3次元計測点、を除いた3次元計測点と、前記把持手段のモデルと、の干渉判定を行う干渉判定工程と、
前記干渉判定工程の干渉判定の結果を出力する出力工程とを備えることを特徴とする干渉判定方法。 - コンピュータを請求項1乃至5のいずれか1項の干渉判定装置の各手段として機能させるプログラム。
- 請求項1乃至5のいずれか1項の干渉判定装置と
前記干渉判定装置により干渉がないと判定された把持対象ワークを把持する把持手段を備えることを特徴とするシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223746A JP7066671B2 (ja) | 2019-12-11 | 2019-12-11 | 干渉判定装置、干渉判定方法、プログラム及びシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019223746A JP7066671B2 (ja) | 2019-12-11 | 2019-12-11 | 干渉判定装置、干渉判定方法、プログラム及びシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018093276A Division JP6632656B2 (ja) | 2018-05-14 | 2018-05-14 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020049651A JP2020049651A (ja) | 2020-04-02 |
JP7066671B2 true JP7066671B2 (ja) | 2022-05-13 |
Family
ID=69995164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019223746A Active JP7066671B2 (ja) | 2019-12-11 | 2019-12-11 | 干渉判定装置、干渉判定方法、プログラム及びシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7066671B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114055472A (zh) * | 2021-12-06 | 2022-02-18 | 珠海格力智能装备有限公司 | 机器人抓取控制方法、装置、存储介质和机器人 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001277167A (ja) | 2000-03-31 | 2001-10-09 | Okayama Pref Gov Shin Gijutsu Shinko Zaidan | 3次元姿勢認識手法 |
JP2010207989A (ja) | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
WO2012066819A1 (ja) | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
JP2012125886A (ja) | 2010-12-15 | 2012-07-05 | Canon Inc | 物体把持装置、物体把持装置の制御方法、およびプログラム |
JP2013109691A (ja) | 2011-11-24 | 2013-06-06 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6134675A (ja) * | 1984-07-27 | 1986-02-18 | Hitachi Ltd | 画像認識方法および装置 |
-
2019
- 2019-12-11 JP JP2019223746A patent/JP7066671B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001277167A (ja) | 2000-03-31 | 2001-10-09 | Okayama Pref Gov Shin Gijutsu Shinko Zaidan | 3次元姿勢認識手法 |
JP2010207989A (ja) | 2009-03-11 | 2010-09-24 | Honda Motor Co Ltd | 対象物の把持システム及び同システムにおける干渉検出方法 |
WO2012066819A1 (ja) | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
JP2012125886A (ja) | 2010-12-15 | 2012-07-05 | Canon Inc | 物体把持装置、物体把持装置の制御方法、およびプログラム |
JP2013109691A (ja) | 2011-11-24 | 2013-06-06 | Canon Inc | 画像処理装置、画像処理方法及び画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
林 俊寛,他4名,"三次元物体認識技術を応用したバラ積みピッキングシステムの開発",IHI技報 第48巻 第1号,日本,株式会社IHI,2008年03月31日,第48巻,第7ページ-第11ページ |
Also Published As
Publication number | Publication date |
---|---|
JP2020049651A (ja) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6415026B2 (ja) | 干渉判定装置、干渉判定方法、コンピュータプログラム | |
JP6632656B2 (ja) | 干渉判定装置、干渉判定方法、コンピュータプログラム | |
JP5977544B2 (ja) | 情報処理装置、情報処理方法 | |
JP6529302B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
KR101453234B1 (ko) | 워크 취출 장치 | |
JP6598814B2 (ja) | 情報処理装置、情報処理方法、プログラム、システム、および物品製造方法 | |
JP2018144144A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP7377627B2 (ja) | 物体検出装置、物体把持システム、物体検出方法及び物体検出プログラム | |
JP7387117B2 (ja) | 計算システム、方法及び非一時的コンピュータ可読媒体 | |
JP2020121352A (ja) | 物体把持システム | |
JP7066671B2 (ja) | 干渉判定装置、干渉判定方法、プログラム及びシステム | |
US20230297068A1 (en) | Information processing device and information processing method | |
JP7454132B2 (ja) | ロボットシステムの制御装置、ロボットシステムの制御方法、コンピュータ制御プログラム、及びロボットシステム | |
JP2018146347A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
WO2023092519A1 (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
JP6915326B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
CN116175542A (zh) | 抓取控制方法、装置、电子设备和存储介质 | |
CN116188559A (zh) | 图像数据处理方法、装置、电子设备和存储介质 | |
JP2003141511A (ja) | 3次元形状認識方法、装置およびプログラム | |
WO2022137509A1 (ja) | 物体認識装置、物体認識方法、非一時的なコンピュータ可読媒体及び物体認識システム | |
US20230415349A1 (en) | Method for controlling a robot for manipulating, in particular picking up, an object | |
JP7391342B2 (ja) | 計算システム、方法及び非一時的コンピュータ可読媒体 | |
US11436754B2 (en) | Position posture identification device, position posture identification method and position posture identification program | |
JP2021071420A (ja) | 情報処理装置、情報処理方法、プログラム、システム、物品の製造方法、計測装置及び計測方法 | |
CN116197887A (zh) | 图像数据处理方法、装置、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220302 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220329 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220427 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7066671 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |