JP5383836B2 - 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 - Google Patents
検索ウィンドウを自動的に調整する機能を備えた画像処理装置 Download PDFInfo
- Publication number
- JP5383836B2 JP5383836B2 JP2012021997A JP2012021997A JP5383836B2 JP 5383836 B2 JP5383836 B2 JP 5383836B2 JP 2012021997 A JP2012021997 A JP 2012021997A JP 2012021997 A JP2012021997 A JP 2012021997A JP 5383836 B2 JP5383836 B2 JP 5383836B2
- Authority
- JP
- Japan
- Prior art keywords
- search window
- orientation
- workpiece
- robot
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45063—Pick and place manipulator
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Description
まず、ステップSAt6で使用した画像上の3点Vi(i=1,2,3)を、固定カメラ2のキャリブレーションデータを用いて、実空間において平面高さが高さZcである平面上の3点WAi(i=1,2,3)に再度変換する。
次のステップSAe5で、検索ウィンドウの調整量TAoを計算する。検索ウィンドウの調整量TAoは、ステップSAt6で計算した基準見え方変換行列TArとステップSAe4で計算した実行時見え方変換行列TAaを用いて次の式で計算される。
次のステップSAe6で、次のワーク検出で使用する検索ウィンドウSAaを設定する。検索ウィンドウSAaを求めるには、基準検索ウィンドウSArと検索ウィンドウの調整量TAoとから、ステップSAt8で設定したAA〜ADに対応する頂点AA’〜 AD’を求める。ステップSAe5、SAe6の処理は検索ウィンドウ計算部1iで行われる。
コンテナ7の上方に固定設置された固定カメラ10及びロボット9の先端に設置されたハンドカメラ6は、画像処理装置5内のカメラ制御部5iに接続されている。画像処理装置5は、ロボット9に搭載したハンドカメラ6でワーク8を撮像し、撮像で得られた画像の中にワーク8を検出する範囲として検索ウィンドウを設定し、画像の検索ウィンドウ内にあるワーク8を検出する。画像処理装置5は、ワーク8を撮像した際のロボット9の位置姿勢をロボット位置姿勢として取得するロボット位置姿勢取得部5cと、ワークを撮像するロボット位置姿勢を求めるワークを撮像するロボット位置姿勢計算部5eと、ロボット9の基準となる位置姿勢を設定するための基準ロボット位置姿勢を設定する基準ロボット位置姿勢設定部5dと、固定カメラ10で撮像した画像からワークの概略位置姿勢を取得するワーク概略位置姿勢取得部5fと、基準となるワークの概略位置姿勢を基準ワーク概略位置姿勢として記憶する基準ワーク概略位置姿勢記憶部5gと、ロボット9が基準ロボット位置姿勢にありワーク8が基準ワーク概略位置姿勢に置かれているときに検出可能な検索ウィンドウを基準検索ウィンドウとして設定する基準検索ウィンドウ設定部5aと、固定カメラ10でワーク8の概略位置姿勢を検出してロボット9に搭載されたハンドカメラ6でワーク8を撮像した際に基準ロボット位置姿勢、撮像時のロボット位置姿勢、基準ワーク概略位置姿勢、ワーク8の概略位置姿勢から検索ウィンドウの調整量を計算して、基準検索ウィンドウと検索ウィンドウの調整量とからハンドカメラ6でワーク8を検出する際に使用する検索ウィンドウを計算する検索ウィンドウ計算部5hと、を有する。基準検索ウィンドウ、基準ロボット位置姿勢及び基準ワーク概略位置姿勢の記憶は、予め、各基準データ教示時に行われる。検索ウィンドウの計算は、基準データ教示時に記憶しておいた基準ロボット位置姿勢及び基準ワーク概略位置姿勢と、ワーク検出時に得られたロボット位置姿勢及びワーク概略位置姿勢とを用いて、基準検索ウィンドウを調整する形で行われる。
2、10 固定カメラ
3、7 コンテナ
4、8、22 ワーク
6、21 ハンドカメラ
1a、5a 基準検索ウィンドウ設定部
1b、5b 基準検索ウィンドウ記憶部
1c コンテナ位置姿勢取得部
1d コンテナ基準位置姿勢設定部
1e ワーク高さ計算部
1f ワーク基準高さ設定部
1g、5k 見え方変換計算部
1h、5g 基準見え方変換記憶部
1i、5h 検索ウィンドウ計算部
1j、5j ワーク検出部
1k、5i カメラ制御部
1l、5l 揮発性メモリ
1m、5m 不揮発性メモリ
5c ロボット位置姿勢取得部
5d 基準ロボット位置姿勢設定部
5e ワークを撮像するロボット位置姿勢計算部
5f ワーク概略位置姿勢取得部
5g 基準ワーク概略位置姿勢記憶部
9 ロボット
11 コンテナ基準位置姿勢
12 実行時コンテナ位置姿勢
13 基準検索ウィンドウ
14 コンテナの移動量にあわせて調整された検索ウィンドウ
15 基準検索ウィンドウ
16 ワーク高さにあわせて調整された検索ウィンドウ
17 ワーク基準高さ
18 ワーク高さ
19 ロボット先端に取り付けたハンドカメラでワークを撮像するロボット位置姿勢
20 ハンドとコンテナとの干渉を回避したロボット位置姿勢
23 予め設定されたロボット位置姿勢での検索ウィンドウ
24 ロボット位置姿勢の移動量にあわせて調整された検索ウィンドウ
25 ハンドカメラでワークを撮像した画像
Claims (5)
- カメラにより画像を撮像し、収容手段に収容されている対象物を前記画像から検出するための範囲としての検索ウィンドウを前記画像中に設定して対象物を検出する画像処理装置であって、
収容手段の基準となる位置姿勢を設定するための収容手段基準位置姿勢を設定する手段と、
対象物の基準となる高さを設定するための対象物基準高さを設定する手段と、
前記収容手段が前記収容手段基準位置姿勢にあり前記対象物が前記対象物基準高さにあるときに前記対象物が検出できるように設定した検索ウィンドウを基準検索ウィンドウとして設定する手段と、
前記対象物を撮像した際の前記収容手段の位置姿勢を収容手段位置姿勢として取得する手段と、
前記対象物を撮像した際の前記対象物の高さを対象物高さとして推定する手段と、
前記収容手段基準位置姿勢と前記対象物基準高さと前記収容手段位置姿勢と前記対象物高さとから検索ウィンドウの調整量を計算する手段と、
前記基準検索ウィンドウと前記検索ウィンドウの調整量とから検索ウィンドウを計算する手段と、
計算した前記検索ウィンドウを用いて画像から前記対象物を検出する手段と、
を備えることを特徴とする画像処理装置。 - 前記カメラで前記収容手段を撮像して得られた画像に基づいて前記収容手段基準位置姿勢或いは前記収容手段位置姿勢を計算する、請求項1に記載の画像処理装置。
- 前記カメラで前記対象物を撮像して得られた画像の中の前記対象物のサイズに基づいて前記対象物基準高さ或いは前記対象物高さを計算する、請求項1に記載の画像処理装置。
- ロボットに搭載されてロボットの動作により移動するカメラにより画像を撮像し、対象物を前記画像から検出するための範囲としての検索ウィンドウを前記画像中に設定して対象物を検出する画像処理装置であって、
前記ロボットの基準となる位置姿勢を設定するための基準ロボット位置姿勢を設定する手段と、
前記ロボットが前記基準ロボット位置姿勢にあるときに対象物が検出できるように設定した検索ウィンドウを基準検索ウィンドウとして設定する手段と、
前記対象物を撮像した際の前記ロボットの位置姿勢をロボット位置姿勢として取得する手段と、
前記基準ロボット位置姿勢と前記ロボット位置姿勢とから検索ウィンドウの調整量を計算する手段と、
前記基準検索ウィンドウと前記検索ウィンドウの調整量とから検索ウィンドウを計算する手段と、
計算した前記検索ウィンドウを用いて画像から前記対象物を検出する手段と、
を備えることを特徴とする画像処理装置。 - 前記ロボットが対象物を収容する収容手段と干渉する場合には、前記ロボット位置姿勢を前記ロボットと収容手段とが干渉しない位置姿勢に設定する、請求項4に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012021997A JP5383836B2 (ja) | 2012-02-03 | 2012-02-03 | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 |
DE102013001603.7A DE102013001603B4 (de) | 2012-02-03 | 2013-01-30 | Bildverarbeitungsvorrichtung mit einer Funktion zum automatischen Einstellen des Suchfensters |
US13/756,718 US9769428B2 (en) | 2012-02-03 | 2013-02-01 | Image processing device with function for automatically adjusting search window |
CN201310043607.3A CN103240756B (zh) | 2012-02-03 | 2013-02-04 | 具有自动调整检索窗口的功能的图像处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012021997A JP5383836B2 (ja) | 2012-02-03 | 2012-02-03 | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013158873A JP2013158873A (ja) | 2013-08-19 |
JP5383836B2 true JP5383836B2 (ja) | 2014-01-08 |
Family
ID=48794718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012021997A Active JP5383836B2 (ja) | 2012-02-03 | 2012-02-03 | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9769428B2 (ja) |
JP (1) | JP5383836B2 (ja) |
CN (1) | CN103240756B (ja) |
DE (1) | DE102013001603B4 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6181925B2 (ja) * | 2012-12-12 | 2017-08-16 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法およびプログラム |
JP6167760B2 (ja) * | 2013-08-26 | 2017-07-26 | 株式会社ダイフク | 物品位置認識装置 |
JP6324025B2 (ja) * | 2013-11-05 | 2018-05-16 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP6415190B2 (ja) * | 2014-09-03 | 2018-10-31 | キヤノン株式会社 | ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法 |
JP6424560B2 (ja) * | 2014-10-17 | 2018-11-21 | 株式会社リコー | 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法 |
JP6333871B2 (ja) * | 2016-02-25 | 2018-05-30 | ファナック株式会社 | 入力画像から検出した対象物を表示する画像処理装置 |
US10661442B2 (en) * | 2017-02-03 | 2020-05-26 | Abb Schweiz Ag | Calibration article for a 3D vision robotic system |
DE102019106458A1 (de) * | 2019-03-13 | 2020-09-17 | ese-robotics GmbH | Verfahren zur Ansteuerung eines Industrieroboters |
US11130237B1 (en) * | 2020-03-05 | 2021-09-28 | Mujin, Inc. | Method and computing system for performing container detection and object detection |
DE102021203779B4 (de) | 2021-04-16 | 2023-12-14 | Volkswagen Aktiengesellschaft | Verfahren und Vorrichtung zum Annotieren von mit Hilfe einer Kamera aufgenommenen Bildern eines Objektes |
WO2024038572A1 (ja) * | 2022-08-19 | 2024-02-22 | ファナック株式会社 | プログラム生成装置、制御装置及びプログラム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0821081B2 (ja) * | 1987-12-03 | 1996-03-04 | ファナック株式会社 | ウィンドウの制御方法 |
JPH05204992A (ja) * | 1992-01-27 | 1993-08-13 | Fanuc Ltd | 検索ウインドゥ設定方式 |
JP3948500B2 (ja) | 1997-08-01 | 2007-07-25 | 富士フイルム株式会社 | 写真用フィルムの熱処理方法 |
JP3300682B2 (ja) | 1999-04-08 | 2002-07-08 | ファナック株式会社 | 画像処理機能を持つロボット装置 |
JP2001179677A (ja) | 1999-12-21 | 2001-07-03 | Meidensha Corp | ビンピッキング装置 |
JP3782679B2 (ja) * | 2001-05-09 | 2006-06-07 | ファナック株式会社 | 干渉回避装置 |
JP2004160567A (ja) | 2002-11-11 | 2004-06-10 | Fanuc Ltd | 物品取出し装置 |
JP4454428B2 (ja) | 2004-07-30 | 2010-04-21 | 富士通株式会社 | 部品エッジ検出方法、部品エッジ検出プログラム及び検査装置 |
AR053272A1 (es) | 2005-05-11 | 2007-04-25 | Hoffmann La Roche | Determinacion de responsivos a la quimioterapia |
JP4087874B2 (ja) | 2006-02-01 | 2008-05-21 | ファナック株式会社 | ワーク取り出し装置 |
JP4199264B2 (ja) | 2006-05-29 | 2008-12-17 | ファナック株式会社 | ワーク取り出し装置及び方法 |
WO2009025271A2 (ja) * | 2007-08-22 | 2009-02-26 | Kabushiki Kaisha Yaskawa Denki | ロボットの制御装置および制御方法 |
JP4565023B2 (ja) * | 2008-07-04 | 2010-10-20 | ファナック株式会社 | 物品取り出し装置 |
JP2011133273A (ja) * | 2009-12-22 | 2011-07-07 | Canon Inc | 推定装置及びその制御方法、プログラム |
JP4938115B2 (ja) * | 2010-07-27 | 2012-05-23 | ファナック株式会社 | ワーク取出し装置およびワーク取出し方法 |
JP2013101045A (ja) * | 2011-11-08 | 2013-05-23 | Fanuc Ltd | 物品の3次元位置姿勢の認識装置及び認識方法 |
-
2012
- 2012-02-03 JP JP2012021997A patent/JP5383836B2/ja active Active
-
2013
- 2013-01-30 DE DE102013001603.7A patent/DE102013001603B4/de active Active
- 2013-02-01 US US13/756,718 patent/US9769428B2/en active Active
- 2013-02-04 CN CN201310043607.3A patent/CN103240756B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20130201346A1 (en) | 2013-08-08 |
US9769428B2 (en) | 2017-09-19 |
CN103240756A (zh) | 2013-08-14 |
CN103240756B (zh) | 2014-07-02 |
DE102013001603B4 (de) | 2018-04-26 |
DE102013001603A1 (de) | 2013-08-08 |
JP2013158873A (ja) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5383836B2 (ja) | 検索ウィンドウを自動的に調整する機能を備えた画像処理装置 | |
JP6813229B1 (ja) | 自動物体検出機構を備えたロボットシステム、および、その動作方法 | |
US11049280B2 (en) | System and method for tying together machine vision coordinate spaces in a guided assembly environment | |
US10647001B2 (en) | Calibration device, calibration method, and computer readable medium for visual sensor | |
US9927222B2 (en) | Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium | |
US10363664B2 (en) | Information processing apparatus, information processing method, and recording medium | |
US9495750B2 (en) | Image processing apparatus, image processing method, and storage medium for position and orientation measurement of a measurement target object | |
JP5469216B2 (ja) | バラ積みされた物品をロボットで取出す装置 | |
US10083512B2 (en) | Information processing apparatus, information processing method, position and orientation estimation apparatus, and robot system | |
US9639942B2 (en) | Information processing apparatus, information processing method, and storage medium | |
US20170336195A1 (en) | Dimension measurement device and dimension measurement method | |
US20150003678A1 (en) | Information processing apparatus, information processing method, and storage medium | |
KR20160003776A (ko) | 자세 추정 방법 및 로봇 | |
EP3367332A1 (en) | Information processing device, information processing method, and article manufacturing method | |
JP2016091053A (ja) | 情報処理装置および容器形状の推定方法、ワークピッキングシステム、プログラム | |
KR101741501B1 (ko) | 카메라와 객체 간 거리 추정 장치 및 그 방법 | |
CN115194751A (zh) | 机器人系统、控制方法、图像处理装置及方法和产品制造方法 | |
JP2022123510A (ja) | 支援システム、画像処理装置、支援方法およびプログラム | |
JP2020113951A (ja) | 情報処理装置、プログラム、被画像認識用マーカ | |
JP2020113950A (ja) | 情報処理装置、プログラム、被画像認識用マーカセット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130618 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130819 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131001 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5383836 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |