JP4220920B2 - 視覚センサ - Google Patents
視覚センサ Download PDFInfo
- Publication number
- JP4220920B2 JP4220920B2 JP2004064124A JP2004064124A JP4220920B2 JP 4220920 B2 JP4220920 B2 JP 4220920B2 JP 2004064124 A JP2004064124 A JP 2004064124A JP 2004064124 A JP2004064124 A JP 2004064124A JP 4220920 B2 JP4220920 B2 JP 4220920B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- measurement
- confirmation
- feature
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40564—Recognize shape, contour of object, extract position and orientation
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
ステップS2;ステップS1で得た画像を処理して、ワーク20の所定箇所21の検出を行なう。但し、後述するように、この所定箇所21以外の箇所を誤検出している可能性がある。既述の通り、ワーク20の所定箇所21には例えば穴、突起、輪郭の稜線などの特徴部が選ばれ、その検出には同特徴部21を表わす基準画像をテンプレートに用いた周知のパターンマッチングの手法を用いることができる。なお、視覚センサが例えばスリット光投光器を加えた3次元視覚センサの場合には、スリット光の投光によってワーク20上に形成される輝線の画像から特徴部21を抽出することで、所定箇所21を検出する。
ステップS6;ステップS5で検出された所定箇所21について計測を行なう。ここでは図3に示したように、カメラ3の代表点(レンズ中心)から所定箇所21の代表点21aに向かう視線24を計算するものとする。但し、もしも所定箇所21の検出(確認用)が誤検出であった場合には、別の箇所へ向かう視線(例えば視線27;図4参照)が計算されることになる。3次元視覚センサを用いた場合には、所定箇所21の代表点21aの3次元位置(正しい検出時)、あるいは、他の箇所の代表点(例えば点22a)の3次元位置(誤検出時)が計算されることになる。
ステップS9;誤検出の場合の例外処理を実行する。誤検出の場合の例外処理には種々考えられるが、例えばロボット位置を変更してからのリトライがある。
ステップQ1;ステップS3、S6で求めた各視線間の距離、即ち、ステップS3で求めた視線上の任意の点と、ステップS6で求めた視線上の任意の点との間の距離の内最小のものを求める。これをdで表わす。両視線が交点を持てばd=0となる(両視線の一致はあり得ない)。
ステップQ5;計測は信頼できない(誤検出あり、計測は無効)と判定する(ステップS9へ進む)。
なお、3次元視覚センサを使用した場合、ステップS3、S6の計測結果は3次元位置で与えられるから、それらが不一致(誤差範囲以上)ならば無条件に「誤検出で計測無効」とし、一致(誤差範囲未満)ならば、上記ステップQ3と同様の補助基準(点21aのZ座標値範囲)によりその一致点は、「点21a」に該当するか否かを判断する。そして、該当していれば「計測有効」、そうでなければ「計測無効」とする。
ステップR2;計測用カメラ2による撮像で特徴部30を含む画像を得て、特徴部30を検出する。この検出には、前述の例と同様、例えばパターンマッチングの手法を用いる。
ステップR3;特徴部30の代表点31の計測を行なう。前述したように、2次元視覚センサの場合、例えば代表点31を通る視線が求められる。3次元視覚センサの場合、代表点31の3次元位置が求められる。
ステップR5;ステップR2の撮像時点の位置から距離D1以上移動したかチェックする。ここで、距離D1は、条件チェック(2本線が見えるか否か)で経路の正常/異常が判別できるようになるまでの最小移動距離より若干大きく設定する。
ステップR7;画像の条件(ここでは輪郭線が2本検出できること)が満たされたか判定する。イエスならステップR8へ進み、ノーならステップR12へ進む。
ステップR10;特徴部40(2箇所目の所定箇所)のための計測用の撮像を行ない、特徴部40を検出する。
ステップR11;特徴部40の代表点41の計測を行う。この計測結果とステップR3で得た計測結果とを正しい計測結果として記憶し、ロボットコントローラ5に計測結果を送って、処理を終了する。ロボットコントローラ5は、この計測結果をロボット1、ハンド9の制御に利用する。
2 計測用カメラ(但し、確認用カメラとの兼用のケースあり)
3 確認用カメラ
4 パーソナルコンピュータ(視覚センサの制御/画像処理部)
5 ロボットコントローラ
6 ネットワーク回線
7、8 ケーブル(視覚センサ用)
9 ハンド
10 ケーブル(ハンド−ロボットコントローラ用)
12 ケーブル(ロボットド用)
20、200 ワーク
21 所定箇所(特徴部)
21a 特徴部21の代表点
22 検出予定でない特徴部(丸穴)
22a 特徴部22の中心
23〜27 視線
30 第1の所定箇所(特徴部)
31 第1の所定箇所(特徴部)の代表点
40 第2の所定箇所(特徴部)
41 第2の所定箇所(特徴部)の代表点
50 特徴部(検出・計測対象外)
201〜203、206〜213 視野
204 適正な移動経路
205 不適正な移動経路
Claims (2)
- カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサであって、
移動手段に搭載された計測用のカメラ並びに前記計測用のカメラとは別の確認用のカメラと、
前記確認用のカメラにより取得した画像の満たすべき条件を設定、記憶する手段と、
前記確認用のカメラにより取得した画像が、前記設定された条件を満たす場合のみ、前記計測用のカメラの画像での計測結果を有効にする手段とを備え、
前記移動手段によって、前記計測用のカメラを前記確認用のカメラと共に、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程において、前記確認用のカメラによる逐次撮影によって複数個の画像が取得され、
前記条件は、前記逐次撮影によって取得された複数個の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、
前記条件を満たすことが、前記移動過程が前記計測用カメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表していることを特徴とする視覚センサ。 - カメラを使用して物体の第1の特徴部及び第2の特徴部を含む2以上の特徴部を検出して計測を行なう視覚センサであって、
移動手段に搭載された同一のカメラにより少なくとも計測用と確認用の2種類の画像を取得する手段と、
前記確認用の画像の満たすべき条件を設定、記憶する手段と、
前記確認用の画像が前記設定された条件を満たす場合のみ、前記計測用の画像での計測結果を有効にする手段とを備え、
前記移動手段によって、前記同一のカメラを、前記第1の特徴部の検出を行った位置から、前記第2の特徴部の検出を行う位置へ向けて移動させるために実行される移動過程で前記確認用の画像が前記同一のカメラによる逐次撮影によって複数個取得され、
前記条件は、前記逐次撮影によって取得された複数個の確認用の画像のそれぞれにおいて、前記物体の一部が捕えられていることであり、
前記条件を満たすことが、前記移動過程が前記同一のカメラを前記第2の特徴部を視野に収め得る位置に到達させるものであることを表していることを特徴とする視覚センサ。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004064124A JP4220920B2 (ja) | 2004-03-08 | 2004-03-08 | 視覚センサ |
EP05004815A EP1574300A3 (en) | 2004-03-08 | 2005-03-04 | Measuring system |
CNA2005100515992A CN1667362A (zh) | 2004-03-08 | 2005-03-07 | 计量系统 |
US11/073,681 US7355725B2 (en) | 2004-03-08 | 2005-03-08 | Measuring system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004064124A JP4220920B2 (ja) | 2004-03-08 | 2004-03-08 | 視覚センサ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005251086A JP2005251086A (ja) | 2005-09-15 |
JP4220920B2 true JP4220920B2 (ja) | 2009-02-04 |
Family
ID=34824525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004064124A Expired - Fee Related JP4220920B2 (ja) | 2004-03-08 | 2004-03-08 | 視覚センサ |
Country Status (4)
Country | Link |
---|---|
US (1) | US7355725B2 (ja) |
EP (1) | EP1574300A3 (ja) |
JP (1) | JP4220920B2 (ja) |
CN (1) | CN1667362A (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10093022B2 (en) * | 2015-12-18 | 2018-10-09 | General Electric Company | Control system and method for brake bleeding |
JP4171488B2 (ja) * | 2005-12-16 | 2008-10-22 | ファナック株式会社 | オフラインプログラミング装置 |
CN101239552B (zh) * | 2007-02-08 | 2012-07-04 | 星云电脑股份有限公司 | 校正激光雕刻机中机构相对位置的方法 |
CN102116610B (zh) * | 2010-11-29 | 2012-10-17 | 科达斯特恩(常州)汽车塑件系统有限公司 | 基于机器视觉的汽车配件尺寸在线自动检测方法及装置 |
CN103776378A (zh) * | 2014-02-27 | 2014-05-07 | 上海思琢自动化科技有限公司 | 一种非接触式柔性在线尺寸测量系统 |
JP5946884B2 (ja) | 2014-10-24 | 2016-07-06 | ファナック株式会社 | 対象物の位置を検出する位置検出システム |
US10029372B2 (en) * | 2015-12-11 | 2018-07-24 | General Electric Company | Control system and method for brake bleeding |
JP2017163180A (ja) | 2016-03-07 | 2017-09-14 | 富士通株式会社 | ずれ判定プログラム、ずれ判定方法、及び、情報処理装置 |
JP6430986B2 (ja) * | 2016-03-25 | 2018-11-28 | ファナック株式会社 | ロボットを用いた位置決め装置 |
JP6586644B2 (ja) * | 2017-02-24 | 2019-10-09 | パナソニックIpマネジメント株式会社 | 電子機器製造装置および電子機器製造方法 |
GB201820935D0 (en) * | 2018-12-21 | 2019-02-06 | Renishaw Plc | Manufacturing system and method |
WO2021126051A1 (en) * | 2019-12-19 | 2021-06-24 | Delaval Holding Ab | Method and multibody system for supervision of a joint |
JP7414850B2 (ja) * | 2020-01-14 | 2024-01-16 | ファナック株式会社 | ロボットシステム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5150422A (en) * | 1989-03-31 | 1992-09-22 | Dainippon Screen Mfg. Co., Ltd. | Method of and apparatus for inspecting conductive pattern on printed board |
JP3143038B2 (ja) * | 1994-11-18 | 2001-03-07 | 株式会社日立製作所 | 自動焦点合わせ方法及び装置並びに三次元形状検出方法及びその装置 |
US6226395B1 (en) * | 1996-04-22 | 2001-05-01 | Malcolm T. Gilliland | Method and apparatus for determining the configuration of a workpiece |
US6292584B1 (en) * | 1998-04-08 | 2001-09-18 | Lsp Technologies, Inc. | Image processing for laser peening |
DE10080012B4 (de) * | 1999-03-19 | 2005-04-14 | Matsushita Electric Works, Ltd., Kadoma | Dreidimensionales Verfahren zum Erkennen von Gegenständen und System zum Aufnehmen eines Gegenstandes aus einem Behältnis mit Verwendung des Verfahrens |
JP2001160146A (ja) | 1999-12-01 | 2001-06-12 | Matsushita Electric Ind Co Ltd | 画像認識方法および画像認識装置 |
US6681151B1 (en) | 2000-12-15 | 2004-01-20 | Cognex Technology And Investment Corporation | System and method for servoing robots based upon workpieces with fiducial marks using machine vision |
JP3703411B2 (ja) | 2001-07-19 | 2005-10-05 | ファナック株式会社 | ワーク取り出し装置 |
-
2004
- 2004-03-08 JP JP2004064124A patent/JP4220920B2/ja not_active Expired - Fee Related
-
2005
- 2005-03-04 EP EP05004815A patent/EP1574300A3/en not_active Withdrawn
- 2005-03-07 CN CNA2005100515992A patent/CN1667362A/zh active Pending
- 2005-03-08 US US11/073,681 patent/US7355725B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1574300A3 (en) | 2008-09-17 |
JP2005251086A (ja) | 2005-09-15 |
US20050195409A1 (en) | 2005-09-08 |
CN1667362A (zh) | 2005-09-14 |
EP1574300A2 (en) | 2005-09-14 |
US7355725B2 (en) | 2008-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7355725B2 (en) | Measuring system | |
US7386367B2 (en) | Workpiece conveying apparatus | |
JP3946716B2 (ja) | ロボットシステムにおける3次元視覚センサの再校正方法及び装置 | |
JP5214511B2 (ja) | 作業工程管理システム | |
JP4442661B2 (ja) | 3次元計測方法および3次元計測装置 | |
US20160140703A1 (en) | System for inspecting vehicle body and method thereof | |
JP2000250626A (ja) | 無人搬送車の位置補正方法及び位置補正装置 | |
US20160093053A1 (en) | Detection method and detection apparatus for detecting three-dimensional position of object | |
JP2008235504A (ja) | 組立品検査装置 | |
US11454498B2 (en) | Coordinate measuring system | |
KR20160090677A (ko) | 주차 가이드 시스템 및 그 제어방법 | |
US20190035108A1 (en) | Control Device for Robot, Robot, Robot System, and Method of Confirming Abnormality Of Robot | |
CN110097516A (zh) | 内孔壁面图像畸变纠正方法、系统及介质 | |
JP6424560B2 (ja) | 異常原因推定装置、ピッキング装置及びピッキング装置における異常原因推定方法 | |
US20220219277A1 (en) | Method for loading a panel depositing device of a flatbed machine tool and flatbed machine tool | |
JPH1158273A (ja) | 移動ロボット装置 | |
JP2006224291A (ja) | ロボットシステム | |
KR20150066845A (ko) | 깊이맵 센서를 이용한 조립공정에서의 조립공정 검사장치, 방법 및 시스템 | |
JP2005093678A (ja) | 円形物におけるマーク検出方法、ノッチ検出方法、半導体ウェーハの向き検査方法、および半導体ウェーハの向き検査装置 | |
JP2007253699A (ja) | 光軸ずれ検出装置 | |
US20100262290A1 (en) | Data matching apparatus, data matching method and mobile robot | |
WO2018130605A1 (en) | Method for calibrating a camera for a motor vehicle considering a calibration error, camera as well as motor vehicle | |
JP2007152371A (ja) | 溶接打点位置検査システム | |
US10469823B2 (en) | Image apparatus for detecting abnormality of distance image | |
JP2001246582A (ja) | 作業用ロボット装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080926 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |