JP7197653B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP7197653B2 JP7197653B2 JP2021145479A JP2021145479A JP7197653B2 JP 7197653 B2 JP7197653 B2 JP 7197653B2 JP 2021145479 A JP2021145479 A JP 2021145479A JP 2021145479 A JP2021145479 A JP 2021145479A JP 7197653 B2 JP7197653 B2 JP 7197653B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- work
- data
- tool
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/04—Gripping heads and other end effectors with provision for the remote detachment or exchange of the head or parts thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/0093—Programme-controlled manipulators co-operating with conveyor means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Description
Claims (4)
- 供給された複数のワークの中から多関節ロボットが作業可能な対象ワークを抽出するにあたり、前記複数のワークの撮像画像に対して、画像処理データを用いて画像処理を行なう画像処理装置であって、
前記画像処理データは、
パターンマッチングによって前記対象ワークを認識するためのワーク形状データと、
前記多関節ロボットに装着されるツールが前記対象ワークに対して作業を行なうツール作業位置を基準として前記ツールと前記対象ワークに対する周辺ワークとの干渉を禁止する領域を指定する干渉領域を含むツールデータと、
を有し、
前記ワーク形状データは、ワークの外形と前記ワークのツール作業位置とを含み、
前記多関節ロボットには、複数種の前記ツールが選択的に装着可能であり、
前記ツールデータは、複数種の前記ツールの各々について作成され、
前記干渉領域は、前記ツール作業位置を中心として前記ツールの影響が及ぶ範囲として
作成され、
前記ワーク形状データと前記ツールデータの組み合わせを、ワーク毎またはツール毎に組み替えることが可能に構成されるものであり、
前記画像処理装置は、前記撮像画像から抽出されるワークの輪郭形状が前記ワーク形状データと概ね一致するか否かにより前記対象ワークを認識し、前記認識した対象ワークに対する前記干渉領域に前記周辺ワークが侵入していないか否かにより前記ツールが前記対象ワークを作業可能か否かを判定する、
画像処理装置。 - 前記干渉領域は、円形領域または方形領域として指定される、
請求項1に記載の画像処理装置。 - 前記画像処理データは、
更に、前記画像処理のシーケンスおよびパラメータ設定を含むプロセスデータを有し、
前記ワーク形状データと前記ツールデータとに対する前記プロセスデータの組み合わせを、環境条件毎に組み替えることが可能に構成されるものであり、
前記画像処理装置は、前記撮像画像に対する画像処理のシーケンスを前記パラメータ設
定に従って実行する、
請求項1または2に記載の画像処理装置。 - 前記環境条件は、前記ワークの供給方法または前記ワークの照明条件が含まれる、
請求項3に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021145479A JP7197653B2 (ja) | 2017-03-06 | 2021-09-07 | 画像処理装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/008767 WO2018163242A1 (ja) | 2017-03-06 | 2017-03-06 | 画像処理データ作成用のデータ構造および画像処理データ作成方法 |
JP2019503833A JP7145146B2 (ja) | 2017-03-06 | 2017-03-06 | 画像処理データ作成方法 |
JP2021145479A JP7197653B2 (ja) | 2017-03-06 | 2021-09-07 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019503833A Division JP7145146B2 (ja) | 2017-03-06 | 2017-03-06 | 画像処理データ作成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021185016A JP2021185016A (ja) | 2021-12-09 |
JP7197653B2 true JP7197653B2 (ja) | 2022-12-27 |
Family
ID=63447382
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019503833A Active JP7145146B2 (ja) | 2017-03-06 | 2017-03-06 | 画像処理データ作成方法 |
JP2021145479A Active JP7197653B2 (ja) | 2017-03-06 | 2021-09-07 | 画像処理装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019503833A Active JP7145146B2 (ja) | 2017-03-06 | 2017-03-06 | 画像処理データ作成方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11222417B2 (ja) |
EP (1) | EP3593960A4 (ja) |
JP (2) | JP7145146B2 (ja) |
CN (1) | CN110382172B (ja) |
WO (1) | WO2018163242A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6897396B2 (ja) * | 2017-07-28 | 2021-06-30 | セイコーエプソン株式会社 | 制御装置、ロボットシステムおよび制御方法 |
JP7221409B2 (ja) * | 2019-09-26 | 2023-02-13 | 株式会社Fuji | 高さ測定装置 |
AT524608B1 (de) * | 2020-12-23 | 2022-12-15 | Tgw Logistics Group Gmbh | Verfahren zum Umladen von Waren mit Hilfe eines Roboters mit verbesserter Effizienz und Lager- und Kommissioniersystem hierzu |
KR102604646B1 (ko) * | 2021-12-28 | 2023-11-23 | 에스아이에스(주) | 자율주행 이송 모빌리티 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004230513A (ja) | 2003-01-30 | 2004-08-19 | Fanuc Ltd | ワーク取出し装置 |
JP2008033419A (ja) | 2006-07-26 | 2008-02-14 | Honda Motor Co Ltd | ロボット教示用cad装置及びロボット教示方法 |
JP2010032258A (ja) | 2008-07-25 | 2010-02-12 | Ihi Corp | デパレタイズ用のワーク位置認識装置および方法 |
WO2012066819A1 (ja) | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
JP2012101320A (ja) | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
JP2013069100A (ja) | 2011-09-22 | 2013-04-18 | Dainippon Screen Mfg Co Ltd | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
JP2014205209A (ja) | 2013-04-11 | 2014-10-30 | 三菱電機株式会社 | ロボットシステム、及びロボットシステムの制御方法 |
JP2015009314A (ja) | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2015044274A (ja) | 2013-08-29 | 2015-03-12 | 三菱電機株式会社 | 部品供給装置および部品供給装置のプログラム生成方法 |
JP2015100866A (ja) | 2013-11-22 | 2015-06-04 | 三菱電機株式会社 | ロボットシミュレーション装置、プログラム、記録媒体及び方法 |
JP2017030135A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2703655B2 (ja) * | 1990-09-03 | 1998-01-26 | キヤノン株式会社 | ワークの把持装置 |
JPH04294989A (ja) * | 1991-03-20 | 1992-10-19 | Canon Inc | 部品分離整列装置 |
JP4000306B2 (ja) | 2003-06-02 | 2007-10-31 | 本田技研工業株式会社 | 多関節ロボットのティーチングデータ作成方法 |
JP4238256B2 (ja) * | 2006-06-06 | 2009-03-18 | ファナック株式会社 | ロボットシミュレーション装置 |
JP4309439B2 (ja) * | 2007-03-30 | 2009-08-05 | ファナック株式会社 | 対象物取出装置 |
DE102007060653A1 (de) * | 2007-12-15 | 2009-06-18 | Abb Ag | Positionsermittlung eines Objektes |
JP4835616B2 (ja) | 2008-03-10 | 2011-12-14 | トヨタ自動車株式会社 | 動作教示システム及び動作教示方法 |
JP5754454B2 (ja) * | 2013-03-18 | 2015-07-29 | 株式会社安川電機 | ロボットピッキングシステム及び被加工物の製造方法 |
US11004177B2 (en) * | 2014-03-13 | 2021-05-11 | Fuji Corporation | Image processing device and board production system |
CN104057459B (zh) * | 2014-06-25 | 2017-02-22 | 上海发那科机器人有限公司 | 一种机器人智能分拣工件的装置及方法 |
JP6548422B2 (ja) * | 2015-03-27 | 2019-07-24 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP6632224B2 (ja) * | 2015-06-02 | 2020-01-22 | キヤノン株式会社 | 把持制御装置、把持制御方法及びプログラム |
JP6325509B2 (ja) * | 2015-11-11 | 2018-05-16 | ファナック株式会社 | 工作機械 |
-
2017
- 2017-03-06 WO PCT/JP2017/008767 patent/WO2018163242A1/ja unknown
- 2017-03-06 EP EP17899322.6A patent/EP3593960A4/en active Pending
- 2017-03-06 JP JP2019503833A patent/JP7145146B2/ja active Active
- 2017-03-06 US US16/483,575 patent/US11222417B2/en active Active
- 2017-03-06 CN CN201780087667.1A patent/CN110382172B/zh active Active
-
2021
- 2021-09-07 JP JP2021145479A patent/JP7197653B2/ja active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004230513A (ja) | 2003-01-30 | 2004-08-19 | Fanuc Ltd | ワーク取出し装置 |
JP2008033419A (ja) | 2006-07-26 | 2008-02-14 | Honda Motor Co Ltd | ロボット教示用cad装置及びロボット教示方法 |
JP2010032258A (ja) | 2008-07-25 | 2010-02-12 | Ihi Corp | デパレタイズ用のワーク位置認識装置および方法 |
JP2012101320A (ja) | 2010-11-10 | 2012-05-31 | Canon Inc | 画像生成装置、画像生成方法、およびプログラム |
WO2012066819A1 (ja) | 2010-11-17 | 2012-05-24 | 三菱電機株式会社 | ワーク取り出し装置 |
JP2013069100A (ja) | 2011-09-22 | 2013-04-18 | Dainippon Screen Mfg Co Ltd | 三次元位置・姿勢認識装置、産業用ロボット、三次元位置・姿勢認識方法、プログラム、記録媒体 |
JP2014205209A (ja) | 2013-04-11 | 2014-10-30 | 三菱電機株式会社 | ロボットシステム、及びロボットシステムの制御方法 |
JP2015009314A (ja) | 2013-06-28 | 2015-01-19 | キヤノン株式会社 | 干渉判定装置、干渉判定方法、コンピュータプログラム |
JP2015044274A (ja) | 2013-08-29 | 2015-03-12 | 三菱電機株式会社 | 部品供給装置および部品供給装置のプログラム生成方法 |
JP2015100866A (ja) | 2013-11-22 | 2015-06-04 | 三菱電機株式会社 | ロボットシミュレーション装置、プログラム、記録媒体及び方法 |
JP2017030135A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ワークの取り出し動作を学習する機械学習装置、ロボットシステムおよび機械学習方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3593960A4 (en) | 2020-01-22 |
CN110382172A (zh) | 2019-10-25 |
WO2018163242A1 (ja) | 2018-09-13 |
CN110382172B (zh) | 2023-01-31 |
US20200027205A1 (en) | 2020-01-23 |
EP3593960A1 (en) | 2020-01-15 |
JPWO2018163242A1 (ja) | 2019-11-21 |
JP7145146B2 (ja) | 2022-09-30 |
US11222417B2 (en) | 2022-01-11 |
JP2021185016A (ja) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7197653B2 (ja) | 画像処理装置 | |
CN104690551B (zh) | 一种机器人自动化装配系统 | |
Nerakae et al. | Using machine vision for flexible automatic assembly system | |
JP7163506B2 (ja) | 作業ロボットおよび作業システム | |
CN110980276B (zh) | 一种三维视觉配合机器人实施铸件自动下料的方法 | |
US11305432B2 (en) | Work machine and pick-up position selection method | |
US10895030B1 (en) | Palletless sewing methods and systems | |
CN114174007A (zh) | 自主式机器人工装系统、控制系统、控制方法及存储介质 | |
KR101926351B1 (ko) | 예술 작품을 모사하는 로봇 장치 | |
JP7133017B2 (ja) | エンドエフェクタの選択方法および選択システム | |
JP2015182212A (ja) | ロボットシステム、ロボット、制御装置、及び制御方法 | |
CN204868885U (zh) | 用于操控工件的机器人系统 | |
CN111278612B (zh) | 元件移载装置 | |
JP7112528B2 (ja) | 作業座標作成装置 | |
JP6842753B2 (ja) | ワークの把持位置指示システムおよびピッキング装置 | |
JP7105223B2 (ja) | ロボットシステム | |
JP6915085B2 (ja) | 作業機および把持位置探索方法 | |
TWI507267B (zh) | 加工工具機 | |
Fuwen et al. | Vision modeling optimization of freely placed and moving objects | |
KR20230042877A (ko) | 의류 원단 핸들링 자동화 장치 및 방법 | |
CN117396311A (zh) | 工作站及其操作方法 | |
CN115715245A (zh) | 机器人系统 | |
Hamada et al. | Flexible handling robot system for cloth using 3-D sensor | |
Gulati et al. | Component Assemblies in a Flexible Work-Cell via Intelligent Control |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210913 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220801 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7197653 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |