JP6833114B1 - ワーク画像検索装置およびワーク画像検索方法 - Google Patents
ワーク画像検索装置およびワーク画像検索方法 Download PDFInfo
- Publication number
- JP6833114B1 JP6833114B1 JP2020527124A JP2020527124A JP6833114B1 JP 6833114 B1 JP6833114 B1 JP 6833114B1 JP 2020527124 A JP2020527124 A JP 2020527124A JP 2020527124 A JP2020527124 A JP 2020527124A JP 6833114 B1 JP6833114 B1 JP 6833114B1
- Authority
- JP
- Japan
- Prior art keywords
- work
- work image
- image
- shape
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims description 91
- 238000010801 machine learning Methods 0.000 claims description 29
- 230000011218 segmentation Effects 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 18
- 238000011960 computer-aided design Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 238000013459 approach Methods 0.000 claims description 9
- 230000001131 transforming effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 description 27
- 230000009466 transformation Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 238000003754 machining Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
図1は、実施の形態1にかかるワーク画像検索装置の構成を示す図である。ワーク画像検索装置100Aは、加工対象のワークにワーク形状が類似したワークのワーク画像を検索するコンピュータである。
つぎに、図15から図17を用いてこの発明の実施の形態2について説明する。実施の形態2では、機械学習装置が、データベース40に登録されている登録ワーク画像の形状特徴と、新規ワーク画像の形状特徴と、ワーク形状間の類似度とに基づいて、登録ワーク画像を検索の照合対象にすべきか否かを学習する。
Claims (13)
- 第1のワークの第1のワーク形状を2次元平面に投影した第1のワーク画像と、第2のワークの第2のワーク形状を2次元平面に投影した第2のワーク画像と、におけるワーク形状間の差が小さくなるように、前記第2のワーク画像を変形させて第3のワーク画像を生成するワーク画像変形部と、
前記第3のワーク画像と前記第1のワーク画像とを比較することで、前記第1のワーク形状と、前記第2のワーク形状との類似度を算出する類似度算出部と、
を備えることを特徴とするワーク画像検索装置。 - 前記第2のワーク画像のうち、前記第2のワーク形状に対応する類似度が第1の特定値以上であるワーク画像を出力する出力部をさらに備える、
ことを特徴とする請求項1に記載のワーク画像検索装置。 - 前記第2のワーク画像と前記第2のワークの加工に用いられる加工プログラムとの複数の組み合わせを記憶するデータベースと、
前記データベースから、前記第2のワーク画像のうち前記第2のワーク形状に対応する類似度が第1の特定値以上であるワーク画像の加工プログラムを取得する登録プログラム取得部と、
をさらに備え、
前記出力部は、前記登録プログラム取得部が取得した加工プログラムを出力する、
ことを特徴とする請求項2に記載のワーク画像検索装置。 - 前記第1のワーク形状を示す3次元データを2次元平面に投影することによって、前記3次元データを2次元データである前記第1のワーク画像に変換するワーク画像取得部をさらに備える、
ことを特徴とする請求項1から3の何れか1つに記載のワーク画像検索装置。 - 前記ワーク画像変形部は、
前記第1のワーク画像に含まれるセグメントと前記第2のワーク画像に含まれるセグメントとを対応付けする対応要素設定部と、
対応付けされたセグメント間の形状の差が小さくなるように、前記第2のワーク画像を変形させて前記第3のワーク画像を生成する変形処理部と、
を有する、
ことを特徴とする請求項1から4の何れか1つに記載のワーク画像検索装置。 - 前記変形処理部は、前記第2のワーク画像に含まれるセグメントの縦方向の寸法と横方向の寸法との比が、前記第1のワーク画像に含まれるセグメントの縦方向の寸法と横方向の寸法との比に近付くように、前記第2のワーク画像に含まれるセグメントを変形させる、
ことを特徴とする請求項5に記載のワーク画像検索装置。 - 前記ワーク画像変形部は、
前記第1のワーク画像をセグメントに分割するワーク画像分割部をさらに有する、
ことを特徴とする請求項5に記載のワーク画像検索装置。 - 前記ワーク画像分割部は、
前記第1のワーク画像から形状の特徴である形状特徴を抽出する特徴抽出部と、
抽出した形状特徴から矩形または円を示す形状要素を検出する形状要素検出部と、
前記形状要素に基づいて、前記第1のワーク画像をセグメントに分割するセグメンテーション部と、
を具備することを特徴とする請求項7に記載のワーク画像検索装置。 - 前記ワーク画像取得部は、
前記3次元データを前記2次元平面に投影する仮想カメラの視点を決定する視点決定部と、
決定した視点における前記第1のワーク画像を生成する画像生成処理部と、
を有することを特徴とする請求項4に記載のワーク画像検索装置。 - 前記第1のワーク形状と前記第2のワーク形状との間の類似度を推測した情報である推測情報を学習する機械学習装置をさらに備える、
ことを特徴とする請求項1に記載のワーク画像検索装置。 - 前記機械学習装置は、
前記第1のワーク画像の形状特徴および前記第2のワーク画像の形状特徴を状態変数として観測する状態観測部と、
前記類似度を取得するデータ取得部と、
前記状態変数および前記類似度の組み合わせに基づいて作成されるデータセットに従って、前記推測情報を学習する学習部と、
を具備する、
ことを特徴とする請求項10に記載のワーク画像検索装置。 - 前記3次元データは、コンピュータ支援設計データである、
ことを特徴とする請求項4または9に記載のワーク画像検索装置。 - 第1のワーク形状を2次元平面に投影した第1のワーク画像と、第2のワーク形状を2次元平面に投影した第2のワーク画像と、におけるワーク形状間の差が小さくなるように、前記第2のワーク画像を変形させて第3のワーク画像を生成する生成ステップと、
前記第3のワーク画像と前記第1のワーク画像とを比較することで、前記第1のワーク形状と、前記第2のワーク形状との類似度を算出する算出ステップと、
を含むことを特徴とするワーク画像検索方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/046610 WO2021106154A1 (ja) | 2019-11-28 | 2019-11-28 | ワーク画像検索装置、ワーク画像検索方法、および機械学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6833114B1 true JP6833114B1 (ja) | 2021-02-24 |
JPWO2021106154A1 JPWO2021106154A1 (ja) | 2021-12-09 |
Family
ID=74665101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020527124A Active JP6833114B1 (ja) | 2019-11-28 | 2019-11-28 | ワーク画像検索装置およびワーク画像検索方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11580156B2 (ja) |
JP (1) | JP6833114B1 (ja) |
CN (1) | CN114730459B (ja) |
DE (1) | DE112019007827T5 (ja) |
WO (1) | WO2021106154A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118348942B (zh) * | 2024-06-17 | 2024-09-17 | 深圳市佛瑞森科技有限公司 | 一种基于人工智能的伺服驱动器控制系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216931A (ja) * | 2002-01-28 | 2003-07-31 | Matsushita Electric Works Ltd | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 |
JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス,インク. | 2次元画像からの3次元オブジェクトの不変視点検出および識別 |
JP2006520948A (ja) * | 2003-01-25 | 2006-09-14 | パーデュー リサーチ ファンデーション | 3次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造 |
JP2017208092A (ja) * | 2016-05-17 | 2017-11-24 | 富士通株式会社 | 記述子を使用して3dアイテムのデータベースを検索する方法及び装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1987003981A1 (en) * | 1985-12-20 | 1987-07-02 | Dietmar Steinpichler | Pattern recognition process |
JP3338373B2 (ja) | 1998-06-05 | 2002-10-28 | 株式会社アマダ | 板金加工統合支援システム |
US7397473B2 (en) * | 2004-07-16 | 2008-07-08 | Geometric Ltd. | Geometry based search method for 3D CAx/PDM repositories |
CN100349163C (zh) | 2004-10-14 | 2007-11-14 | 上海交通大学 | 三维cad模型基于形状的相似度评估方法 |
US7583852B2 (en) * | 2004-10-26 | 2009-09-01 | Mitutoyo Corporation | Method of filtering an image for high precision machine vision metrology |
CN101208639A (zh) | 2005-06-20 | 2008-06-25 | 富士通株式会社 | 加工工序生成装置 |
US8054471B2 (en) * | 2006-09-15 | 2011-11-08 | Sciammarella Cesar A | System and method for analyzing displacements and contouring of surfaces |
JP2009129337A (ja) * | 2007-11-27 | 2009-06-11 | Hitachi Ltd | 三次元類似形状検索装置 |
WO2010094022A1 (en) * | 2009-02-16 | 2010-08-19 | The Penn State Research Foundation | Method for rapid prototyping |
JP2010231632A (ja) | 2009-03-27 | 2010-10-14 | Fujitsu Ltd | 工数見積支援プログラム、工数見積支援装置、および工数見積支援方法 |
JP5705788B2 (ja) | 2012-06-05 | 2015-04-22 | 株式会社日立製作所 | アセンブリモデル類似構造検索システム、及びアセンブリモデル類似構造検索方法 |
JP5833998B2 (ja) | 2012-11-21 | 2015-12-16 | 株式会社日立製作所 | 組立作業性評価計算装置、および組立作業性評価方法 |
US9644942B2 (en) * | 2012-11-29 | 2017-05-09 | Mitsubishi Hitachi Power Systems, Ltd. | Method and apparatus for laser projection, and machining method |
WO2014091543A1 (ja) * | 2012-12-10 | 2014-06-19 | 三菱電機株式会社 | Ncプログラム検索方法、ncプログラム検索装置、ncプログラム作成方法およびncプログラム作成装置 |
WO2014156635A1 (ja) | 2013-03-28 | 2014-10-02 | Hoya株式会社 | 形状分割方法、形状分割プログラムおよびデータ処理装置、並びに、レンズデータ処理方法、レンズ加工方法およびレンズデータ処理プログラム |
DE102015208929B3 (de) * | 2015-05-13 | 2016-06-09 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Verfahren zur 2D-3D-Registrierung, Recheneinrichtung und Computerprogramm |
JP6557606B2 (ja) | 2016-01-13 | 2019-08-07 | 株式会社日立製作所 | モデル作成支援システム、モデル作成支援方法、及びモデル作成支援プログラム |
JP7075654B2 (ja) * | 2017-02-23 | 2022-05-26 | 東京都公立大学法人 | 3次元cadモデル部分検索方法及び3次元cadモデル検索方法 |
-
2019
- 2019-11-28 WO PCT/JP2019/046610 patent/WO2021106154A1/ja active Application Filing
- 2019-11-28 DE DE112019007827.5T patent/DE112019007827T5/de active Pending
- 2019-11-28 CN CN201980102410.8A patent/CN114730459B/zh active Active
- 2019-11-28 US US17/762,094 patent/US11580156B2/en active Active
- 2019-11-28 JP JP2020527124A patent/JP6833114B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216931A (ja) * | 2002-01-28 | 2003-07-31 | Matsushita Electric Works Ltd | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 |
JP2006520948A (ja) * | 2003-01-25 | 2006-09-14 | パーデュー リサーチ ファンデーション | 3次元オブジェクトについて検索を行なうための方法、システムおよびデータ構造 |
JP2006520055A (ja) * | 2003-03-06 | 2006-08-31 | アニメトリックス,インク. | 2次元画像からの3次元オブジェクトの不変視点検出および識別 |
JP2017208092A (ja) * | 2016-05-17 | 2017-11-24 | 富士通株式会社 | 記述子を使用して3dアイテムのデータベースを検索する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220350835A1 (en) | 2022-11-03 |
US11580156B2 (en) | 2023-02-14 |
CN114730459A (zh) | 2022-07-08 |
CN114730459B (zh) | 2024-02-13 |
WO2021106154A1 (ja) | 2021-06-03 |
JPWO2021106154A1 (ja) | 2021-12-09 |
DE112019007827T5 (de) | 2022-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4991317B2 (ja) | 顔特徴点検出装置及びその方法 | |
US10430650B2 (en) | Image processing system | |
JP6069489B2 (ja) | 物体認識装置および物体認識方法並びにプログラム | |
CN117541753A (zh) | 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法 | |
CN108737694B (zh) | 照相机系统及图像提供方法 | |
US20070183665A1 (en) | Face feature point detecting device and method | |
JP2020135679A (ja) | データセット作成方法、データセット作成装置、及びデータセット作成プログラム | |
JP2016179534A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6833114B1 (ja) | ワーク画像検索装置およびワーク画像検索方法 | |
JP2017130049A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5762099B2 (ja) | 姿勢認識装置、作業ロボット、姿勢認識方法、プログラム及び記録媒体 | |
JP6425405B2 (ja) | 情報処理装置、方法、プログラム | |
JP4772341B2 (ja) | 目標識別装置 | |
EP3291179B1 (en) | Image processing device, image processing method, and image processing program | |
JP2019211981A (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム | |
US20230185845A1 (en) | Image selection apparatus, image selection method, and non-transitory computer-readable medium | |
KR20190115161A (ko) | 3차원 객체 생성 장치 | |
JP5448952B2 (ja) | 同一人判定装置、同一人判定方法および同一人判定プログラム | |
JP2011150667A (ja) | 情報検索装置、情報検索プログラム及び情報検索方法 | |
JP2013137591A (ja) | 最近傍点探索装置およびその方法、プログラム、3次元位置・姿勢認識装置およびその方法 | |
JP6833150B1 (ja) | 加工プログラム検索装置および加工プログラム検索方法 | |
JP7265143B2 (ja) | 表示制御方法、表示制御プログラムおよび情報処理装置 | |
JP2020017096A (ja) | 計測装置、計測方法及び計測プログラム | |
JPS62269287A (ja) | 視覚認識装置 | |
CN117635888B (zh) | 一种数据处理方法及相关装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201218 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6833114 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |