JP6639181B2 - 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 - Google Patents
撮像装置、生産システム、撮像方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP6639181B2 JP6639181B2 JP2015201855A JP2015201855A JP6639181B2 JP 6639181 B2 JP6639181 B2 JP 6639181B2 JP 2015201855 A JP2015201855 A JP 2015201855A JP 2015201855 A JP2015201855 A JP 2015201855A JP 6639181 B2 JP6639181 B2 JP 6639181B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- work
- light source
- image
- reflected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Manipulator (AREA)
- Image Input (AREA)
Description
図1は、第1実施形態に係る生産システムの概略構成を示す模式図である。生産システム100は、ワークWを搬送する搬送装置であるロボット200と、撮像装置であるカメラ300と、画像処理装置400と、ロボット制御装置500と、を備えている。
第1実施形態では、評価値として、2値化処理を行い、所定輝度よりも明るい画素について重心位置を求めたが、これに限定するものではない。2値化を行わずに座標値p(x,y)に画素の輝度bを掛けたものの総和を求め、輝度の総和Σbで割って得られた演算値Σ(b・P(x,y))/Σbを評価値として求めてもよい。この場合、図11のステップS6では、演算値Σ(b・P(x,y))/Σbが所定範囲内となったか否かを判断すればよい。
また、重心位置を計算する方法に代わり、マークの連続性を利用して、部分領域で明点が連続して存在することをもって評価値としてもよい。即ち、所定輝度よりも明るい連続する画素の面積(画素数)を評価値として求めてもよい。この場合も、図11のステップS6では、面積(画素数)が所定範囲内となったか否かを判断すればよい。この場合、重心位置の計算をせずに済むので、非常に速い撮像位置の評価が可能である。
さらに、重心位置の計算に代わる方法として、部分領域の範囲内での明暗の切り替わり位置を検出する方法も可能である。この方法であればごく狭い領域のみ評価すればよいのでさらに高速化が可能である。
次に、本発明の第2実施形態に係る撮像装置(撮像方法)について説明する。なお、第2実施形態の撮像装置は、第1実施形態で説明した撮像装置と同様の構成であり、プログラム340の内容、即ち撮像方法が第1実施形態と異なる。
次に、本発明の第3実施形態に係る撮像装置(撮像方法)について説明する。なお、第3実施形態の撮像装置は、第1実施形態で説明した撮像装置と同様の構成である。
次に、本発明の第4実施形態に係る生産システムについて説明する。第1実施形態では再帰反射材220がロボット200に3つ設けられている場合について説明したが、これに限定するものではなく、3つ以上が好ましく、第4実施形態では例えば5つ設けられている場合について説明する。
Claims (18)
- 搬送装置に搬送されて撮像範囲内を通過するワークを撮像する撮像部と、
前記撮像範囲内を通過する前記ワークに光を照射する照明部と、
前記撮像部及び前記照明部を制御する制御部と、を備え、
前記照明部は、前記ワークを撮像するのに必要な開口を有する第1光源と、前記第1光源よりも開口の小さい第2光源と、を有し、
前記制御部は、
前記搬送装置による前記ワークの搬送中、前記第1光源を消灯し、かつ前記第2光源を点灯した状態で前記撮像部に撮像させる撮像動作を繰り返し行い、前記搬送装置又は前記ワークに設けられたマークからの反射光が写り込んだ撮像画像を取得する第1撮像処理と、
前記搬送装置による前記ワークの搬送中、前記第1光源を点灯させた状態で前記撮像部により撮像させ、前記ワークが写り込んだ撮像画像を取得する第2撮像処理と、
前記第1撮像処理にて得られた前記反射光が写り込んだ撮像画像に基づき、前記第1撮像処理から前記第2撮像処理に切り替えるタイミングを設定する切替処理と、を実行する撮像装置。 - 前記マークは、前記第2光源により照射された光を前記第2光源に向けて再帰反射する再帰反射材であり、
前記第2光源は、前記再帰反射材からの前記反射光が前記撮像部に入射するように前記撮像部の近傍に配置されている請求項1に記載の撮像装置。 - 前記制御部は、前記第1撮像処理では、撮像画像中の部分領域のみの画素を取得する請求項1又は2に記載の撮像装置。
- 前記制御部は、前記切替処理では、前記第1撮像処理にて得られた撮像画像中の画素の輝度に関する評価値を求め、前記評価値に応じて前記第1撮像処理から前記第2撮像処理に切り替える請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい画素の重心位置を求め、前記重心位置が所定範囲内となった場合に前記第1撮像処理から前記第2撮像処理へ切り替える請求項4に記載の撮像装置。
- 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい画素の重心位置を求め、フレーム間の前記重心位置の変化から前記重心位置が所定範囲内に移動する推定時刻を求め、前記推定時刻となるタイミングで、前記第1撮像処理から前記第2撮像処理へ切り替える請求項4に記載の撮像装置。
- 前記制御部は、前記切替処理では、前記評価値として、画素の座標値に輝度を掛けたものの総和を、画素の輝度の総和で割った演算値を求め、前記演算値が所定範囲内となった場合に前記第1撮像処理から前記第2撮像処理へ切り替える請求項4に記載の撮像装置。
- 前記制御部は、前記切替処理では、前記評価値として、所定輝度よりも明るい連続する画素の面積を求め、前記面積が所定範囲内となった場合に前記第1撮像処理から前記第2撮像処理へ切り替える請求項4に記載の撮像装置。
- 前記制御部は、前記第2撮像処理にて取得した撮像画像を、外部機器に出力する出力処理を更に実行する請求項1乃至8のいずれか1項に記載の撮像装置。
- 前記制御部は、前記出力処理では、前記ワークが写り込んでいる部分を切り出した部分画像を前記外部機器に出力する請求項9に記載の撮像装置。
- 前記マークの面積が前記第2光源の開口の面積よりも大きい請求項1乃至10のいずれか1項に記載の撮像装置。
- 前記マークが複数設けられており、前記複数のマークを包含する最小領域の面積が前記第2光源の開口の面積よりも大きい請求項1乃至10のいずれか1項に記載の撮像装置。
- 前記マークの反射光が、前記撮像部により撮像された撮像画像中、直線上に3つ以上並ばないように、前記搬送装置又は前記ワークに3つ以上の前記マークが設けられている請求項1乃至12のいずれか1項に記載の撮像装置。
- 請求項1乃至13のいずれか1項に記載の撮像装置と、
前記ワークを搬送する搬送装置と、を備えた生産システム。 - 前記搬送装置は、前記ワークを保持して搬送するロボットである請求項14に記載の生産システム。
- 撮像部及び照明部を制御する制御部が、搬送装置に搬送され撮像範囲内を通過するワークを、前記撮像部に撮像させる際に、前記撮像範囲内を通過する前記ワークに光を照明部に照射させる撮像方法であって、
前記照明部が、前記ワークを撮像するのに必要な開口を有する第1光源と、前記第1光源よりも開口の小さい第2光源と、を有しており、
前記制御部が、前記搬送装置による前記ワークの搬送中、前記第1光源を消灯し、かつ前記第2光源を点灯した状態で前記撮像部に撮像させる撮像動作を繰り返し行い、前記搬送装置又は前記ワークに設けられたマークからの反射光が写り込んだ撮像画像を取得する第1撮像工程と、
前記制御部が、前記搬送装置による前記ワークの搬送中、前記第1光源を点灯させた状態で前記撮像部により撮像させ、前記ワークが写り込んだ撮像画像を取得する第2撮像工程と、
前記制御部が、前記第1撮像工程にて得られた前記反射光が写り込んだ撮像画像に基づき、前記第1撮像工程から前記第2撮像工程に切り替えるタイミングを設定する切替工程と、を備えた撮像方法。 - コンピュータに請求項16に記載の撮像方法の各工程を実行させるためのプログラム。
- 請求項17に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201855A JP6639181B2 (ja) | 2015-10-13 | 2015-10-13 | 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 |
US15/767,877 US10957003B2 (en) | 2015-10-13 | 2016-10-07 | Imaging apparatus, production system, imaging method, program, and recording medium |
PCT/JP2016/080634 WO2017065308A1 (en) | 2015-10-13 | 2016-10-07 | Imaging apparatus, production system, imaging method, program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015201855A JP6639181B2 (ja) | 2015-10-13 | 2015-10-13 | 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017076169A JP2017076169A (ja) | 2017-04-20 |
JP6639181B2 true JP6639181B2 (ja) | 2020-02-05 |
Family
ID=57321380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015201855A Active JP6639181B2 (ja) | 2015-10-13 | 2015-10-13 | 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10957003B2 (ja) |
JP (1) | JP6639181B2 (ja) |
WO (1) | WO2017065308A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018034242A (ja) * | 2016-08-31 | 2018-03-08 | セイコーエプソン株式会社 | ロボット制御装置、ロボット、及びロボットシステム |
JP2019158500A (ja) | 2018-03-12 | 2019-09-19 | オムロン株式会社 | 外観検査システム、画像処理装置、撮像装置および検査方法 |
JP7167453B2 (ja) | 2018-03-12 | 2022-11-09 | オムロン株式会社 | 外観検査システム、設定装置、画像処理装置、設定方法およびプログラム |
CN109421050B (zh) * | 2018-09-06 | 2021-03-26 | 北京猎户星空科技有限公司 | 一种机器人的控制方法及装置 |
JP2020197611A (ja) | 2019-05-31 | 2020-12-10 | パナソニックi−PROセンシングソリューションズ株式会社 | カメラ装置および生産システム |
JP7052840B2 (ja) * | 2020-08-18 | 2022-04-12 | オムロン株式会社 | 位置特定装置、位置特定装置の制御方法、情報処理プログラム、および記録媒体 |
WO2023166814A1 (ja) * | 2022-03-03 | 2023-09-07 | 株式会社エヌテック | 撮像装置および撮像方法 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5305122A (en) | 1988-08-31 | 1994-04-19 | Canon Kabushiki Kaisha | Image reading and processing apparatus suitable for use as a color hand-held scanner |
DE69329449T2 (de) | 1993-01-01 | 2001-03-08 | Canon Kk | Bildverarbeitungsvorrichtung und -verfahren |
JPH08130631A (ja) | 1994-10-28 | 1996-05-21 | Canon Inc | 画像処理装置及び画像処理方法 |
FR2770317B1 (fr) * | 1997-10-24 | 2000-12-08 | Commissariat Energie Atomique | Procede d'etalonnage de la position et de l'orientation d'origine d'une ou plusieurs cameras mobiles et son application a la mesure de position tridimentionnelle d'objets fixes |
JPH11346094A (ja) * | 1998-06-02 | 1999-12-14 | Matsushita Electric Ind Co Ltd | 部品実装機 |
JP2002187025A (ja) * | 2000-12-20 | 2002-07-02 | Matsushita Electric Ind Co Ltd | マグネット部品の位置決め装置 |
US6987875B1 (en) * | 2001-05-22 | 2006-01-17 | Cognex Technology And Investment Corporation | Probe mark inspection method and apparatus |
JP2003097916A (ja) * | 2001-09-25 | 2003-04-03 | Juki Corp | 基板マーク認識方法及び装置 |
TWI396225B (zh) * | 2004-07-23 | 2013-05-11 | 尼康股份有限公司 | 成像面測量方法、曝光方法、元件製造方法以及曝光裝置 |
US20060067572A1 (en) * | 2004-09-14 | 2006-03-30 | Tattile, L.L.C. | Object imaging system |
DE102008042260B4 (de) * | 2008-09-22 | 2018-11-15 | Robert Bosch Gmbh | Verfahren zur flexiblen Handhabung von Objekten mit einem Handhabungsgerät und eine Anordnung für ein Handhabungsgerät |
JP5509645B2 (ja) * | 2009-03-25 | 2014-06-04 | 富士ゼロックス株式会社 | 位置・姿勢認識方法、部品把持方法、部品配置方法、部品組立方法、位置・姿勢認識装置、部品把持装置、部品配置装置、および部品組立装置 |
US8319831B2 (en) | 2009-03-25 | 2012-11-27 | Fuji Xerox Co., Ltd. | Component manipulating method, component extracting method, component assembling method, component manipulating apparatus, component extracting apparatus, and component assembling apparatus |
JP2010221381A (ja) | 2009-03-25 | 2010-10-07 | Fuji Xerox Co Ltd | 部品組立方法および部品組立装置 |
JP2012022639A (ja) * | 2010-07-16 | 2012-02-02 | Ntt Docomo Inc | 表示装置、映像表示システムおよび映像表示方法 |
JP5899951B2 (ja) * | 2012-01-18 | 2016-04-06 | セイコーエプソン株式会社 | ロボット装置および位置姿勢検出方法 |
US10482471B2 (en) * | 2013-01-16 | 2019-11-19 | Amazon Technologies, Inc. | Unauthorized product detection techniques |
JP6245886B2 (ja) * | 2013-08-08 | 2017-12-13 | キヤノン株式会社 | 画像撮像方法及び画像撮像装置 |
US9870049B2 (en) * | 2015-07-31 | 2018-01-16 | Google Llc | Reflective lenses to auto-calibrate a wearable system |
US11576127B2 (en) * | 2018-02-20 | 2023-02-07 | Netgear, Inc. | Mesh-based home security system |
US10098204B1 (en) * | 2018-03-13 | 2018-10-09 | Cisco Technology, Inc. | System to determine the placement of smart light emitters |
US10616980B1 (en) * | 2019-04-12 | 2020-04-07 | Honeywell International Inc. | System and approach for lighting control based on location |
-
2015
- 2015-10-13 JP JP2015201855A patent/JP6639181B2/ja active Active
-
2016
- 2016-10-07 WO PCT/JP2016/080634 patent/WO2017065308A1/en active Application Filing
- 2016-10-07 US US15/767,877 patent/US10957003B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180308192A1 (en) | 2018-10-25 |
WO2017065308A9 (en) | 2017-08-31 |
US10957003B2 (en) | 2021-03-23 |
JP2017076169A (ja) | 2017-04-20 |
WO2017065308A1 (en) | 2017-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6639181B2 (ja) | 撮像装置、生産システム、撮像方法、プログラム及び記録媒体 | |
JP6685776B2 (ja) | 撮像システム、計測システム、生産システム、撮像方法、プログラム、記録媒体および計測方法 | |
US11727613B2 (en) | Systems and methods for stitching sequential images of an object | |
DK1738136T3 (en) | MEASURING APPARATUS AND PROCEDURE IN A DISTRIBUTION SYSTEM | |
JP5109633B2 (ja) | 測定方法及び検査方法並びに測定装置及び検査装置 | |
JP2013505464A (ja) | カメラアレイ及びコンパクトな組み込み照明装置を備えた高速光学検査システム | |
JPH10332320A (ja) | 製品スキャニング装置及び方法 | |
JP2007147433A (ja) | セラミック板の欠陥検出方法と装置 | |
WO2018137233A1 (en) | Optical inspection system | |
JP2009293999A (ja) | 木材欠陥検出装置 | |
JPWO2002023123A1 (ja) | 光学式センサ | |
JP4910800B2 (ja) | ネジ部品の検査装置および検査方法 | |
JP6198312B2 (ja) | 3次元測定装置、3次元測定方法および基板の製造方法 | |
JP7135297B2 (ja) | 検査装置、検査システム、および検査方法 | |
KR102227972B1 (ko) | 기판 모서리 위치 특정 방법 | |
KR20120001445A (ko) | 부품 실장 상태 검사 장치 | |
JP6031751B2 (ja) | ガラス基板検査装置及びガラス基板製造方法 | |
Munaro et al. | Efficient completeness inspection using real-time 3D color reconstruction with a dual-laser triangulation system | |
JP2007292606A (ja) | 表面検査装置 | |
CN112474384A (zh) | 一种印制电路板的检测设备及方法 | |
JP2018132468A (ja) | 形状測定システム及び形状測定方法 | |
JP2010236998A (ja) | 形状測定装置 | |
JP2006078421A (ja) | パターン欠陥検出装置及びその方法 | |
JP3831498B2 (ja) | 光学部材検査装置 | |
WO2022272173A1 (en) | Systems and methods for assigning a symbol to an object |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191224 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6639181 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |