JP6836628B2 - ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム - Google Patents
ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム Download PDFInfo
- Publication number
- JP6836628B2 JP6836628B2 JP2019133137A JP2019133137A JP6836628B2 JP 6836628 B2 JP6836628 B2 JP 6836628B2 JP 2019133137 A JP2019133137 A JP 2019133137A JP 2019133137 A JP2019133137 A JP 2019133137A JP 6836628 B2 JP6836628 B2 JP 6836628B2
- Authority
- JP
- Japan
- Prior art keywords
- position information
- picking
- image
- devanning
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000001514 detection method Methods 0.000 claims description 95
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000005484 gravity Effects 0.000 claims description 12
- 241001316062 Labeo victorianus Species 0.000 claims 3
- 230000036544 posture Effects 0.000 description 32
- 238000003384 imaging method Methods 0.000 description 27
- 238000010191 image analysis Methods 0.000 description 21
- 239000000843 powder Substances 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Description
画像データ取得手段により取得された距離画像および撮像画像、ならびに、対象物領域検出手段による画像内の対象物の領域の検出結果に基づいて、対象物に該当する3次元点群を取得する3次元点群取得手段と、3次元点群取得手段により取得された対象物に該当する3次元点群に基づいて、対象物の姿勢を検出するために用いられる平面を表す平面方程式であるax+by+cz+d=0(a,b,c,d:係数)を求める平面方程式算出手段と、平面方程式算出手段により算出された平面方程式を用いて、対象物の姿勢を検出する姿勢検出手段と、撮像画像、3次元点群、および、平面方程式ax+by+cz+d=0に基づいて、ピッキングまたはデバンニングを行う装置が対象物を把持するための位置情報(x,y,z)を検出する位置検出手段とを有し、位置検出手段は、撮像画像における対象物の重心位置の座標(Xg,Yg)、位置情報(x,y,z)及び3次元空間における焦点距離fの関係を示すXg=f・x/z及びYg=f・y/zと、平面方程式であるax+by+cz+d=0とから、位置情報(x,y,z)を求めることを特徴とする。
Claims (8)
- 対象物に対してピッキングまたはデバンニングを行う装置を制御するための情報を生成するピッキングまたはデバンニング用対象物認識装置において、
前記対象物の距離画像および撮像画像を取得する画像データ取得手段と、
前記画像データ取得手段により取得された前記距離画像および前記撮像画像の少なくとも一方を用いて、画像内の前記対象物の領域を検出する対象物領域検出手段と、
前記画像データ取得手段により取得された前記距離画像および前記撮像画像、ならびに、前記対象物領域検出手段による前記画像内の前記対象物の領域の検出結果に基づいて、前記対象物に該当する3次元点群を取得する3次元点群取得手段と、
前記3次元点群取得手段により取得された前記対象物に該当する前記3次元点群に基づいて、前記対象物の姿勢を検出するために用いられる平面を表す平面方程式であるax+by+cz+d=0(a,b,c,d:係数)を求める平面方程式算出手段と、
前記平面方程式算出手段により算出された前記平面方程式を用いて、前記対象物の姿勢を検出する姿勢検出手段と、
前記撮像画像、前記3次元点群、および、前記平面方程式ax+by+cz+d=0に基づいて、前記ピッキングまたはデバンニングを行う装置が前記対象物を把持するための位置情報(x,y,z)を検出する位置検出手段と
を有し、
前記位置検出手段は、前記撮像画像における前記対象物の重心位置の座標(Xg,Yg)、前記位置情報(x,y,z)及び3次元空間における焦点距離fの関係を示すXg=f・x/z及びYg=f・y/zと、前記平面方程式であるax+by+cz+d=0とから、前記位置情報(x,y,z)を求める
ことを特徴とするピッキングまたはデバンニング用対象物認識装置。 - 請求項1に記載のピッキングまたはデバンニング用対象物認識装置において、前記位置情報(x,y,z)の内、位置情報xはXg・z/fとして算出され、位置情報yはYg・z/fとして算出され、位置情報zは、前記平面方程式であるax+by+cz+d=0、前記位置情報xおよび前記位置情報yからd・1/((a・Xg/f)+(b・Yg/f)+c))として算出される、
ことを特徴とするピッキングまたはデバンニング用対象物認識装置。 - 請求項1又は2に記載のピッキングまたはデバンニング用対象物認識装置において、
前記姿勢検出手段は、X−Y−Zオイラー角を、Z=Rz(α)、Y=Ry(β)、X=Rx(γ)としたとき、(x,y,z)=(0,0,1)の点を、Rz(α)・Ry(β)・Rx(γ)で回転させた場合、(x,y,z)=(a,b,c)となるようなβおよびγの値を求めた後、前記対象物の姿勢(Rz(α・Ry(β)・Rx(γ))を算出する
ことを特徴とするピッキングまたはデバンニング用対象物認識装置。 - 請求項1〜3のいずれか一項に記載のピッキングまたはデバンニング用対象物認識装置において、
前記姿勢検出手段により検出された前記姿勢、および、前記位置検出手段により検出された前記位置情報を、前記ピッキングまたはデバンニングを行う装置が認識可能な座標系に変換する座標系変換処理手段と、
前記座標系変換処理手段により座標系が変換された前記姿勢および前記位置情報の出力処理を実行する出力処理手段と
をさらに備えることを特徴とするピッキングまたはデバンニング用対象物認識装置。 - ピッキングまたはデバンニングの対象物を認識する、ピッキングまたはデバンニング用対象物認識方法において、
前記対象物の距離画像および撮像画像を取得する画像データ取得ステップと、
前記画像データ取得ステップの処理により取得された前記距離画像および前記撮像画像の少なくとも一方を用いて、画像内の前記対象物の領域を検出する対象物領域検出ステップと、
前記画像データ取得ステップの処理により取得された前記距離画像および前記撮像画像、ならびに、前記対象物領域検出ステップの処理による前記画像内の前記対象物の領域の検出結果に基づいて、前記対象物に該当する3次元点群を取得する3次元点群取得ステップと、
前記3次元点群取得ステップの処理により取得された前記対象物に該当する前記3次元点群に基づいて、前記対象物の姿勢を検出するために用いられる平面を表す平面方程式であるax+by+cz+d=0(a,b,c,d:係数)を求める平面方程式算出ステップと、
前記平面方程式算出ステップの処理により算出された前記平面方程式を用いて、前記対象物の姿勢を検出する姿勢検出ステップと、
前記距離画像、前記撮像画像、前記3次元点群、および、前記平面方程式ax+by+cz+d=0に基づいて、前記ピッキングまたはデバンニングを行う装置が前記対象物を把持するための位置情報(x,y,z)を検出する位置検出ステップと
を有し、
前記位置検出ステップは、前記撮像画像における前記対象物の重心位置の座標(Xg,Yg)、前記位置情報(x,y,z)及び3次元空間における焦点距離fの関係を示すXg=f・x/z及びYg=f・y/zと、前記平面方程式であるax+by+cz+d=0とから、前記位置情報(x,y,z)を求める
ことを特徴とするピッキングまたはデバンニング用対象物認識方法。 - 請求項5に記載のピッキングまたはデバンニング用対象物認識方法において、Xg・z/fに基づいて位置情報xを算出し、Yg・z/fに基づいて位置情報yを算出し、前記平面方程式であるax+by+cz+d=0、前記位置情報xおよび前記位置情報yから導き出されるd・1/((a・Xg/f)+(b・Yg/f)+c))に基づいて位置情報zを算出する、
ことを特徴とするピッキングまたはデバンニング用対象物認識方法。 - ピッキングまたはデバンニングを行う対象物を認識するコンピュータに、
前記対象物の距離画像および撮像画像を取得する画像データ取得ステップと、
前記画像データ取得ステップの処理により取得された前記距離画像および前記撮像画像の少なくとも一方を用いて、画像内の前記対象物の領域を検出する対象物領域検出ステップと、
前記画像データ取得ステップの処理により取得された前記距離画像および前記撮像画像、ならびに、前記対象物領域検出ステップの処理による前記画像内の前記対象物の領域の検出結果に基づいて、前記対象物に該当する3次元点群を取得する3次元点群取得ステップと、
前記3次元点群取得手段により取得された前記対象物に該当する前記3次元点群に基づいて、前記対象物の姿勢を検出するために用いられる平面を表す平面方程式であるax+by+cz+d=0(a,b,c,d:係数)を求める平面方程式算出ステップと、
前記平面方程式算出ステップの処理により算出された前記平面方程式を用いて、前記対象物の姿勢を検出する姿勢検出ステップと、
前記撮像画像、前記3次元点群、および、前記平面方程式ax+by+cz+d=0に基づいて、前記ピッキングまたはデバンニングを行う装置が前記対象物を把持するための位置情報(x,y,z)を検出する位置検出ステップと
を含む処理を実行させるとともに、
前記位置検出ステップの処理として、前記撮像画像における前記対象物の重心位置の座標(Xg,Yg)、前記位置情報(x,y,z)及び3次元空間における焦点距離fの関係を示すXg=f・x/z及びYg=f・y/zと、前記平面方程式であるax+by+cz+d=0とから、前記位置情報(x,y,z)を求める処理を実行させるプログラム。 - 請求項7に記載のプログラムにおいて、前記位置情報(x,y,z)を求める処理は、Xg・z/fに基づいて位置情報xを算出する処理と、Yg・z/fに基づいて位置情報yを算出する処理と、前記平面方程式であるax+by+cz+d=0、前記位置情報xおよび前記位置情報yから導き出されるd・1/((a・Xg/f)+(b・Yg/f)+c))に基づいて位置情報zを算出する処理を含む、
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133137A JP6836628B2 (ja) | 2019-07-18 | 2019-07-18 | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019133137A JP6836628B2 (ja) | 2019-07-18 | 2019-07-18 | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021016910A JP2021016910A (ja) | 2021-02-15 |
JP6836628B2 true JP6836628B2 (ja) | 2021-03-03 |
Family
ID=74565738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019133137A Active JP6836628B2 (ja) | 2019-07-18 | 2019-07-18 | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6836628B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022209272A1 (ja) * | 2021-03-30 | 2022-10-06 | 日本電産株式会社 | 撮像制御装置、撮像装置、撮像制御方法及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6015780A (ja) * | 1983-07-08 | 1985-01-26 | Hitachi Ltd | ロボット制御装置 |
JP2004348198A (ja) * | 2003-05-20 | 2004-12-09 | Nippon Telegr & Teleph Corp <Ntt> | 座標変換処理処置、処理方法、この方法のプログラム、このプログラムを記録した記録媒体 |
JP5195465B2 (ja) * | 2009-01-28 | 2013-05-08 | トヨタ自動車株式会社 | ロボット制御装置及び方法 |
JP5471355B2 (ja) * | 2009-11-24 | 2014-04-16 | オムロン株式会社 | 3次元視覚センサ |
-
2019
- 2019-07-18 JP JP2019133137A patent/JP6836628B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021016910A (ja) | 2021-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3550470B1 (en) | Object recognition processing apparatus and method, and object picking apparatus and method | |
JP5618569B2 (ja) | 位置姿勢推定装置及びその方法 | |
JP5839929B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN106945035B (zh) | 机器人控制设备及其控制方法和机器人系统 | |
JP5612916B2 (ja) | 位置姿勢計測装置、その処理方法、プログラム、ロボットシステム | |
JP4004899B2 (ja) | 物品の位置姿勢検出装置及び物品取出し装置 | |
JP6415026B2 (ja) | 干渉判定装置、干渉判定方法、コンピュータプログラム | |
JP2019063984A (ja) | 情報処理装置、方法及びロボットシステム | |
JP6415066B2 (ja) | 情報処理装置、情報処理方法、位置姿勢推定装置、ロボットシステム | |
JP5393531B2 (ja) | 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体 | |
JP5480667B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラム | |
JP2018144144A (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
JP7134016B2 (ja) | 情報処理装置、情報処理方法 | |
JP2010071743A (ja) | 物体検出方法と物体検出装置およびロボットシステム | |
JP2018119833A (ja) | 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体 | |
JP2016170050A (ja) | 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム | |
JP7264247B2 (ja) | 情報処理装置及び情報処理方法 | |
JP6836628B2 (ja) | ピッキングまたはデバンニング用対象物認識装置、ピッキングまたはデバンニング用対象物認識方法、ならびにプログラム | |
JP6040264B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
JP5476943B2 (ja) | 姿勢認識方法およびこの方法を用いた3次元視覚センサ | |
JP2014053018A (ja) | 情報処理装置、情報処理装置の制御方法及びプログラム | |
JP5083715B2 (ja) | 三次元位置姿勢計測方法および装置 | |
WO2018135326A1 (ja) | 画像処理装置、画像処理システム、画像処理プログラム、及び画像処理方法 | |
JP7066671B2 (ja) | 干渉判定装置、干渉判定方法、プログラム及びシステム | |
JP5030183B2 (ja) | 3次元物体位置姿勢計測方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6836628 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |