JP7481468B2 - ロボットシステム及び制御方法 - Google Patents
ロボットシステム及び制御方法 Download PDFInfo
- Publication number
- JP7481468B2 JP7481468B2 JP2022546279A JP2022546279A JP7481468B2 JP 7481468 B2 JP7481468 B2 JP 7481468B2 JP 2022546279 A JP2022546279 A JP 2022546279A JP 2022546279 A JP2022546279 A JP 2022546279A JP 7481468 B2 JP7481468 B2 JP 7481468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- thickness
- unit
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 101100521334 Mus musculus Prom1 gene Proteins 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37398—Thickness
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40584—Camera, non-contact sensor mounted on wrist, indep from gripper
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
Description
図1は、本実施形態に係るロボットシステム100の概要を示す図である。図1に示すように、ロボットシステム100は、ロボット10と、撮像部11と、ロボット制御装置20と、画像制御装置30と、を備える。ロボットシステム100は、撮像部11によって撮像された画像に基づいて、ロボット10により対象物Wのハンドリング等の作業を行う。
図2に示すように、撮像部11は、内部カメラ111と、プロジェクタ112と、を備える。撮像部11は、対象物Wの二次元画像を撮像する。二次元画像は、グレースケールで構成される画像である。
内部カメラ111は、2つのカメラを有する。内部カメラ111は、プロジェクタ112によって縞模様等のパターン光を照射された対象物W(被写体)を撮像する。また、2つのカメラの相対的な位置は、予め定められており、2つのカメラの光軸は、互いに平行になるように配置される。
プロジェクタ112は、光源として機能し、対象物Wへ縞模様等のパターン光を照射する。
また、画像制御装置30は、画像処理部301と、距離画像生成部302と、画像認識部303と、厚み算出部304と、を備える。
距離画像生成部302は、画像処理部301により取得された距離情報に基づいて距離画像を生成する。
厚み算出部304は、生成された距離画像に基づいて対象物Wの厚みを算出する。
視差から距離への変換は、三角以下の式(1)を用いて行われる。
Z=B*F/S (1)
ここで、Zは距離(mm)であり、Bは2つのカメラ間の距離(mm)であり、Fは焦点距離(mm)であり、Sは視差(mm)である。
すなわち、距離画像は、撮像部11(内部カメラ111)から対象物Wまでの距離情報を画像化することによって得られる。したがって、距離画像において、撮像部11から近い場所は、画像上で明るくなり、逆に遠い場所は、画像上で暗くなる。
(1)対象物Wのブロブの長軸/短軸の長さを用いる。
(2)複数のブロブの長軸/短軸の長さの平均値を用いる。
(3)高さ方向に隣接したブロブの重心間の長さを用いる。
(4)高さ方向に隣接した複数のブロブの重心間の長さの平均値を用いる。
ステップS1において、撮像部11は、対象物Wの二次元画像を撮像する。ここで、撮像部11は、ロボット10の動作に従って移動され、対象物Wの側面と撮像部11との位置関係にかかわらず、対象物の二次元画像を撮像する。すなわち、撮像部11は、対象物Wの側面が撮像部11と正対する場合であっても、正対しない場合であっても、対象物の二次元画像を撮像する。
ステップS3において、距離画像生成部302は、距離情報に基づいて距離画像を生成する。
ステップS4において、画像認識部303は、距離画像に基づいて対象物Wを認識する。
ステップS5において、厚み算出部304は、対象物Wが認識された距離画像に基づいて対象物Wの厚みを算出する。
10 ロボット
11 撮像部
20 ロボット制御装置
30 画像制御部
301 画像処理部
302 距離画像生成部
303 画像認識部
304 厚み算出部
Claims (5)
- 対象物の二次元画像を撮像する撮像部と、
前記二次元画像に基づいて前記対象物の距離情報を取得する画像処理部と、
前記距離情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像に基づいて前記対象物を認識する画像認識部と、
前記距離画像に基づいて、前記画像認識部により認識された前記対象物の鉛直方向の寸法を示す厚みを算出する厚み算出部と、
を備え、
前記画像認識部は、教示者による操作に基づいて、前記対象物を検出するように1以上の特徴量を選択し、前記1以上の特徴量を検索するための検索範囲を設定し、前記対象物の検出を繰り返すことによって、前記特徴量を検索するための検索範囲を調整する、
ロボットシステム。 - 前記厚み算出部は、前記距離画像に基づいて複数の前記対象物の厚みの平均値を算出することによって前記対象物の厚みを算出する、
請求項1に記載のロボットシステム。 - 前記厚み算出部は、前記距離画像において、近接した三次元の点を連結させ、前記三次元の点の集合を特徴付け、前記三次元の点の集合を検出することによって前記対象物を検出し、検出した前記対象物の厚みを算出する請求項1又は2に記載のロボットシステム。
- 二次元画像に関する情報に基づいて対象物の距離情報を取得する画像処理部と、
前記距離情報に基づいて距離画像を生成する距離画像生成部と、
前記距離画像に基づいて前記対象物を認識する画像認識部と、
前記距離画像に基づいて、前記画像認識部により認識された前記対象物の鉛直方向の寸法を示す厚みを算出する厚み算出部と、を備え、
前記画像認識部は、教示者による操作を受け付けた情報に基づいて、前記対象物を検出するように1以上の特徴量を選択し、前記1以上の特徴量を検索するための検索範囲を設定し、前記対象物の検出を実行することによって、前記特徴量を検索するための検索範囲を調整する、
制御装置。 - 対象物の二次元画像を撮像するステップと、
前記二次元画像に基づいて前記対象物の距離情報を取得するステップと、
前記距離情報に基づいて距離画像を生成するステップと、
前記距離画像に基づいて前記対象物を認識するステップと、
前記距離画像に基づいて前記対象物の厚みを算出し、前記対象物の厚みは、前記対象物における鉛直方向の寸法を示す、ステップと、を備え、
前記対象物の前記二次元画像を撮像する撮像部は、前記対象物の側面と前記撮像部との位置関係にかかわらず、前記対象物の前記二次元画像を撮像し、
前記対象物を認識するステップは、教示者による操作に従って、全ての前記対象物を検出するように1以上の特徴量を選択し、前記1以上の特徴量を検索するための検索範囲を設定し、前記教示者による操作に従って、前記対象物の検出を繰り返すことによって、前記特徴量を検索するための検索範囲を調整することを含む、
ロボットシステムの制御方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020147223 | 2020-09-02 | ||
JP2020147223 | 2020-09-02 | ||
PCT/JP2021/031375 WO2022050169A1 (ja) | 2020-09-02 | 2021-08-26 | ロボットシステム及び制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022050169A1 JPWO2022050169A1 (ja) | 2022-03-10 |
JP7481468B2 true JP7481468B2 (ja) | 2024-05-10 |
Family
ID=80491719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022546279A Active JP7481468B2 (ja) | 2020-09-02 | 2021-08-26 | ロボットシステム及び制御方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230311329A1 (ja) |
JP (1) | JP7481468B2 (ja) |
CN (1) | CN116033999A (ja) |
DE (1) | DE112021004595T5 (ja) |
WO (1) | WO2022050169A1 (ja) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010048579A (ja) | 2008-08-19 | 2010-03-04 | Omron Corp | 光学式計測装置および計測方法 |
JP2010247959A (ja) | 2009-04-16 | 2010-11-04 | Ihi Corp | 箱状ワーク認識装置および方法 |
JP2010266202A (ja) | 2009-04-13 | 2010-11-25 | Itt:Kk | 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム |
US10455212B1 (en) | 2014-08-25 | 2019-10-22 | X Development Llc | Projected pattern motion/vibration for depth sensing |
WO2020008538A1 (ja) | 2018-07-03 | 2020-01-09 | 三菱電機株式会社 | 材質推定装置及びロボット |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9102055B1 (en) * | 2013-03-15 | 2015-08-11 | Industrial Perception, Inc. | Detection and reconstruction of an environment to facilitate robotic interaction with the environment |
JP7119584B2 (ja) | 2018-05-29 | 2022-08-17 | オムロン株式会社 | 三次元計測装置、三次元計測装置の位置表示方法およびプログラム |
-
2021
- 2021-08-26 JP JP2022546279A patent/JP7481468B2/ja active Active
- 2021-08-26 WO PCT/JP2021/031375 patent/WO2022050169A1/ja active Application Filing
- 2021-08-26 CN CN202180053646.4A patent/CN116033999A/zh active Pending
- 2021-08-26 DE DE112021004595.4T patent/DE112021004595T5/de active Pending
- 2021-08-26 US US18/043,490 patent/US20230311329A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010048579A (ja) | 2008-08-19 | 2010-03-04 | Omron Corp | 光学式計測装置および計測方法 |
JP2010266202A (ja) | 2009-04-13 | 2010-11-25 | Itt:Kk | 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム |
JP2010247959A (ja) | 2009-04-16 | 2010-11-04 | Ihi Corp | 箱状ワーク認識装置および方法 |
US10455212B1 (en) | 2014-08-25 | 2019-10-22 | X Development Llc | Projected pattern motion/vibration for depth sensing |
WO2020008538A1 (ja) | 2018-07-03 | 2020-01-09 | 三菱電機株式会社 | 材質推定装置及びロボット |
Also Published As
Publication number | Publication date |
---|---|
US20230311329A1 (en) | 2023-10-05 |
DE112021004595T5 (de) | 2023-06-29 |
WO2022050169A1 (ja) | 2022-03-10 |
JPWO2022050169A1 (ja) | 2022-03-10 |
CN116033999A (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9672630B2 (en) | Contour line measurement apparatus and robot system | |
US11243072B2 (en) | Method for the three dimensional measurement of moving objects during a known movement | |
JP3805302B2 (ja) | ワーク取出し装置 | |
JP7082715B2 (ja) | 深層畳み込みニューラルネットワークを用いたレーザ加工システムの加工誤差の検出 | |
US9621793B2 (en) | Information processing apparatus, method therefor, and measurement apparatus | |
JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
JP4963964B2 (ja) | 物体検出装置 | |
US11667036B2 (en) | Workpiece picking device and workpiece picking method | |
CN109801333B (zh) | 体积测量方法、装置、系统及计算设备 | |
JP4766269B2 (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
JP2017033429A (ja) | 3次元物体検査装置 | |
US20170292827A1 (en) | Coordinate measuring system | |
JP2015111128A (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
JP7481468B2 (ja) | ロボットシステム及び制御方法 | |
KR102410300B1 (ko) | 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법 | |
JP2017030115A (ja) | ピッキング装置、ピッキング方法及びピッキングプログラム | |
US11717970B2 (en) | Controller, control method using controller, and control system | |
JP2006317418A (ja) | 画像計測装置、画像計測方法、計測処理プログラム及び記録媒体 | |
JP7365567B2 (ja) | 計測システム、計測装置、計測方法及び計測プログラム | |
KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
JP7153514B2 (ja) | 三次元形状検査装置、三次元形状検査方法、三次元形状検査プログラム、コンピュータ | |
JPH11223516A (ja) | 3次元画像撮像装置 | |
US20230083531A1 (en) | Three-dimensional measuring device, and three-dimensional measuring method | |
JP7436633B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2013167445A (ja) | 欠陥抽出装置および欠陥抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240425 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7481468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |