JP6962858B2 - 画像管理装置 - Google Patents
画像管理装置 Download PDFInfo
- Publication number
- JP6962858B2 JP6962858B2 JP2018087628A JP2018087628A JP6962858B2 JP 6962858 B2 JP6962858 B2 JP 6962858B2 JP 2018087628 A JP2018087628 A JP 2018087628A JP 2018087628 A JP2018087628 A JP 2018087628A JP 6962858 B2 JP6962858 B2 JP 6962858B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image data
- archive data
- imaging conditions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/113—Details of archiving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Manipulator (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Processing (AREA)
Description
1)ロボットの手先にカメラを設置してワークの検出を行い得られた画像座標系における対象物の位置からロボットの座標系から見た対象物の位置を計算するためには、撮像時のカメラの位置が必要になる。また、ロボットがハンドで把持しているワークのハンド内での位置ずれを計算するためには、撮像時のロボットの位置が必要となる。
・産業用視覚センサで取得した画像データは一つ一つファイルとして保存する。
・画像データに関連する情報はテキストファイル等の容易に閲覧可能なファイルに記録する。画像データ内に記録しても良いが、テキストファイル等の閲覧するために特別なソフトを必要としないファイルであることが望ましい。
・これらの情報を一つのフォルダ、又は、圧縮ファイルに格納してまとめる。
・これらの情報は一回の検出単位または一回の撮像単位で保存する。
図1は本発明の一実施形態による画像管理装置の要部を示す概略的なハードウェア構成図である。画像管理装置1は、ロボットや工作機械等の製造機械を制御する制御装置として実装することができる。また、画像管理装置1は、製造機械を制御する制御装置と併設されたパソコンや、制御装置とネットワークを介して接続されたセルコンピュータ、ホストコンピュータ、クラウドサーバ等のコンピュータとして実装することが出来る。図1は、視覚センサを備えた製造機械(ロボット)を制御する制御装置として画像管理装置1を実装した場合の例を示している。
なお、画像処理部120は、画像処理した結果を、例えば表示器/MDIユニット70に表示するようにしても良く、また、不揮発性メモリ14に記憶する、又は、外部機器72に出力する等しておき、後で作業者が利用できるようにしても良い。
図3に例示されるように、画像管理装置1が、ロボットとしての製造機械2及び視覚センサ3を制御して、テーブル上に設置された撮像対象であるワークの位置計測用の画像データを取得する状況を考える。撮像対象であるワークには、図4に例示するようにワーク上面に特徴的な形状である特徴1,2が設けられており、これらの特徴に基づいて撮像対象であるワークの位置を特定することができる。この様な状況において、例えば図4に例示される製造機械2の制御用プログラム200を実行することを考える。図4において、1行目のプログラム指令MOVE_TOは指定した位置P1へとロボットハンドを移動させる指令である。また、2行目のプログラム指令VISION_FINDは、ビジョンプログラムVP1を実行する指令であり、これにより撮像対象の撮像、画像データの取得、取得した画像に対する画像処理が行われる。3行目のプログラム指令VISION_SAVEは、ビジョンプログラムVP1を実行することにより得られた画像データと撮像条件とがアーカイブデータ「/log/00001.zip」に保存する指令である。
動作1)位置1に移動して、露光時間1で画像1を撮像する。
動作2)位置2に移動して、露光時間2で画像2を撮像する。
動作3)画像1から撮像対象の特徴1を検出する。
動作4)画像2から撮像対象の特徴2を検出する。
動作5)特徴1の画像上での位置からロボットの座標系における特徴1の3次元位置を求める。これは視覚センサ3があらかじめキャリブレーションされていれば容易に計算可能である。
動作6)特徴2の画像上での位置からロボットの座標系における特徴2の3次元位置を求める。
動作7)特徴1と特徴2のロボットの座標系における3次元位置から撮像対象の3次元位置を求める。例えば、特徴1と特徴2の中点を撮像対象の3次元位置とすれば良い。
この様にして、以前に撮像した画像データを必要な撮像条件と共に読み込むことで、問題発生時にその時の状況を再現したり、撮像時間を無駄にすることなく一つのビジョンプログラムで撮像した画像を別のビジョンプログラムで任意のタイミングで再利用したり、することができる。
また、製造機械2としてのロボットに撮像対象となるワークを把持させて、該ロボットを制御することで視覚センサ3に対するワークに位置や向きを変化させながら撮像する場合にも、本発明を適宜対応させることが可能である。
2 製造機械
3 視覚センサ
11 CPU
12 ROM
13 RAM
14 不揮発性メモリ
15 ,18,19,20 インタフェース
17 I/Oユニット
22 バス
30 軸制御回路
34 制御部
40 サーボアンプ
50 サーボモータ
70 表示器/MDIユニット
71 操作盤
72 外部機器
Claims (10)
- 製造機械が設置された環境において視覚センサで撮像された撮像対象の画像データを管理する画像管理装置において、
前記視覚センサにより撮像された画像データを取得する画像データ取得部と、
前記製造機械及び前記視覚センサから、前記画像データが撮像された際の撮像条件を取得する撮像条件取得部と、
前記画像データ及び前記撮像条件に基づいてアーカイブデータを作成するアーカイブデータ作成部と、
前記アーカイブデータを記憶するアーカイブデータ記憶部と、
を備え、
前記アーカイブデータ作成部は、前記撮像条件をファイルに記録してからアーカイブデータを作成し、
前記アーカイブデータは、少なくとも前記製造機械の制御プログラムから指定可能な情報である、
画像管理装置。 - 前記アーカイブデータ作成部は、1回の検出単位で得られた1乃至複数の画像データ、及び該画像データの撮像条件に基づいて1つのアーカイブデータを作成する、
請求項1に記載の画像管理装置。 - 前記アーカイブデータは、1つのフォルダ内に前記画像データと、前記撮像条件を保存したものである、
請求項1又は2に記載の画像管理装置。 - 前記アーカイブデータは、1つの圧縮ファイル内に前記画像データと、前記撮像条件を保存したものである、
請求項1又は2に記載の画像管理装置。 - 前記撮像条件は、前記画像データを撮像した時の前記視覚センサの前記撮像対象に対する相対的な位置乃至向きを特定可能な情報、光学的な拡大/縮小率、ビニングレベル、撮像範囲、露光時間、照明の強度の少なくとも1つを含む、
請求項1〜4のいずれか1つに記載の画像管理装置。 - 前記アーカイブデータ作成部は、プログラムにより指令された任意のタイミングでアーカイブデータを作成する、
請求項1〜5のいずれか1つに記載の画像管理装置。 - 前記アーカイブデータ作成部は、プログラムにより指令された任意のファイル名でアーカイブデータを作成する、
請求項1〜6のいずれか1つに記載の画像管理装置。 - 前記アーカイブデータ記憶部に記憶されたアーカイブデータに格納された画像データ及び撮像条件を取り出し、取り出した画像データ及び撮像条件に基づいた画像処理を行う画像処理部を更に備える、
請求項1〜7のいずれか1つに記載の画像管理装置。 - 前記画像処理部は、プログラムにより指令された任意のタイミングでアーカイブデータに格納された画像データ及び撮像条件を取り出し、取り出した画像データ及び撮像条件に基づいた画像処理を行う、
請求項8に記載の画像管理装置。 - 製造機械が設置された環境において視覚センサにより撮像された画像データを管理する画像管理方法において、
前記視覚センサにより撮像された画像データを取得する第1ステップと、
前記製造機械及び前記視覚センサから、前記画像データが撮像された際の撮像条件を取得する第2ステップと、
前記画像データ及び前記撮像条件に基づいてアーカイブデータを作成する第3ステップと、
前記アーカイブデータを記憶する第4ステップと、
を実行する画像管理方法であって、
前記第3ステップにおいて、前記撮像条件はファイルに記録し、
前記アーカイブデータは、少なくとも前記製造機械の制御プログラムから指定可能な情報である、
画像管理方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087628A JP6962858B2 (ja) | 2018-04-27 | 2018-04-27 | 画像管理装置 |
DE102019002889.9A DE102019002889A1 (de) | 2018-04-27 | 2019-04-18 | Bildverwaltungsvorrichtung |
US16/393,960 US11295406B2 (en) | 2018-04-27 | 2019-04-25 | Image management device |
CN201910340405.2A CN110413806A (zh) | 2018-04-27 | 2019-04-25 | 图像管理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018087628A JP6962858B2 (ja) | 2018-04-27 | 2018-04-27 | 画像管理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019192161A JP2019192161A (ja) | 2019-10-31 |
JP6962858B2 true JP6962858B2 (ja) | 2021-11-05 |
Family
ID=68205630
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018087628A Active JP6962858B2 (ja) | 2018-04-27 | 2018-04-27 | 画像管理装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11295406B2 (ja) |
JP (1) | JP6962858B2 (ja) |
CN (1) | CN110413806A (ja) |
DE (1) | DE102019002889A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019210085A1 (de) * | 2019-07-09 | 2021-01-14 | Glatt Gmbh | Archivierungssystem und Verfahren zur Archivierung von elektronischen Daten |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2921718B2 (ja) | 1991-07-05 | 1999-07-19 | ファナック株式会社 | 産業用視覚センサにおける画像処理方法 |
JP3356537B2 (ja) * | 1994-04-15 | 2002-12-16 | 富士写真フイルム株式会社 | カメラシステムおよび画像ファイルシステム |
JPH10187953A (ja) * | 1996-10-22 | 1998-07-21 | Fuji Photo Film Co Ltd | 写真画像のファイリング方法および装置並びにそのためのプログラムを記憶した記憶媒体 |
IL120986A (en) * | 1997-06-03 | 2001-03-19 | Creoscitex Corp Ltd | System and method for preparing printing members in particular for printing members re-make in ctp systems |
BE1014222A3 (fr) * | 2001-06-13 | 2003-06-03 | Ct Rech Metallurgiques Asbl | Procede de caracterisation en ligne d'une surface en mouvement et dispositif pour sa mise en oeuvre. |
US6965895B2 (en) * | 2001-07-16 | 2005-11-15 | Applied Materials, Inc. | Method and apparatus for analyzing manufacturing data |
US20060009943A1 (en) * | 2004-07-09 | 2006-01-12 | Jay Keck | Method and system for managing, analyzing and automating data in the production of semiconductor wafers and for monitoring the production process |
CN102231801B (zh) | 2005-11-25 | 2013-07-10 | 株式会社尼康 | 电子摄像机及图像处理装置 |
US8405711B2 (en) * | 2007-01-09 | 2013-03-26 | Capso Vision, Inc. | Methods to compensate manufacturing variations and design imperfections in a capsule camera |
FR2940449A1 (fr) * | 2008-12-24 | 2010-06-25 | Snecma | Procede de controle non destructif d'une piece mecanique |
DE102009050474B4 (de) * | 2009-10-23 | 2013-08-29 | Testo Ag | Bildgebende Inspektionsvorrichtung |
CN102591868B (zh) * | 2011-01-10 | 2015-03-18 | 株式会社理光 | 用于拍照指南自动生成的系统和方法 |
US9488592B1 (en) * | 2011-09-28 | 2016-11-08 | Kurion, Inc. | Automatic detection of defects in composite structures using NDT methods |
US20130235186A1 (en) * | 2012-03-09 | 2013-09-12 | National Applied Research Laboratories | Apparatus and Method for Inspecting Chip Defects |
JP6205757B2 (ja) | 2013-03-07 | 2017-10-04 | オムロン株式会社 | 制御システム、制御装置、画像処理装置、および、制御方法 |
JP6765791B2 (ja) * | 2015-08-25 | 2020-10-07 | キヤノン株式会社 | パターンマッチング用の基準画像セットの作成方法、パターンマッチング用の基準画像セットの作成装置、ワークの認識方法、プログラム、及び記録媒体 |
US10902540B2 (en) * | 2016-08-12 | 2021-01-26 | Alitheon, Inc. | Event-driven authentication of physical objects |
-
2018
- 2018-04-27 JP JP2018087628A patent/JP6962858B2/ja active Active
-
2019
- 2019-04-18 DE DE102019002889.9A patent/DE102019002889A1/de active Pending
- 2019-04-25 CN CN201910340405.2A patent/CN110413806A/zh active Pending
- 2019-04-25 US US16/393,960 patent/US11295406B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019192161A (ja) | 2019-10-31 |
DE102019002889A1 (de) | 2019-10-31 |
US20190333182A1 (en) | 2019-10-31 |
CN110413806A (zh) | 2019-11-05 |
US11295406B2 (en) | 2022-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6527178B2 (ja) | 視覚センサのキャリブレーション装置、方法及びプログラム | |
JP6407812B2 (ja) | ワーク原点を取得可能な工作機械制御システムおよびワーク原点設定方法 | |
JP4021413B2 (ja) | 計測装置 | |
JP7337495B2 (ja) | 画像処理装置およびその制御方法、プログラム | |
US9444995B2 (en) | System and method for controlling a tracking autofocus (TAF) sensor in a machine vision inspection system | |
CN103231162A (zh) | 机器人焊接质量视觉检测装置及其检测方法 | |
WO2018066576A1 (ja) | 外観検査方法 | |
JP2017015396A (ja) | 検査方法、検査装置、処理装置、プログラム及び記録媒体 | |
CN111225143B (zh) | 图像处理装置及其控制方法以及程序存储介质 | |
CN112424718A (zh) | 控制系统以及控制装置 | |
JP2851151B2 (ja) | ワイヤボンディング検査装置 | |
JP6962858B2 (ja) | 画像管理装置 | |
CN109313333B (zh) | 用于接合视觉检视装置的方法和系统 | |
JP2682763B2 (ja) | ロボット機体の作動誤差の自動測定方法 | |
DE112022000320T5 (de) | Verarbeitungsverfahren und Verarbeitungsvorrichtung zum Erzeugen eines Querschnittbildes aus durch einen visuellen Sensor erfassten Informationen über dreidimensionale Positionen | |
JP7440975B2 (ja) | 撮像装置と識別方法 | |
JP6816176B2 (ja) | 測定システム | |
KR102528433B1 (ko) | 갠트리탑재형 카메라를 이용한 곡부재 제작 장치 | |
US20150287177A1 (en) | Image measuring device | |
Seçil et al. | 3-d visualization system for geometric parts using a laser profile sensor and an industrial robot | |
JP2003302345A (ja) | ロボットを用いた検査方法及び検査システム | |
JP6220514B2 (ja) | ロボット制御システムおよびロボット制御方法 | |
JP7384000B2 (ja) | 協調作業システム、解析収集装置および解析プログラム | |
JPH02201110A (ja) | プリント配線回路の検査方法、特にカードの構成部分の検査方法及び該方法を適用する装置 | |
WO2024111062A1 (ja) | 制御装置、及びコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210106 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210726 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210804 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210914 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211014 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6962858 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |