JP7357708B2 - 画像照合システム - Google Patents
画像照合システム Download PDFInfo
- Publication number
- JP7357708B2 JP7357708B2 JP2022029654A JP2022029654A JP7357708B2 JP 7357708 B2 JP7357708 B2 JP 7357708B2 JP 2022029654 A JP2022029654 A JP 2022029654A JP 2022029654 A JP2022029654 A JP 2022029654A JP 7357708 B2 JP7357708 B2 JP 7357708B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processor
- matching system
- vector
- sketch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013598 vector Substances 0.000 claims description 106
- 238000000034 method Methods 0.000 claims description 47
- 230000008569 process Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003708 edge detection Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000003709 image segmentation Methods 0.000 claims description 4
- 230000010339 dilation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 description 32
- 238000010586 diagram Methods 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 23
- 238000010801 machine learning Methods 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 210000005069 ears Anatomy 0.000 description 6
- 235000013405 beer Nutrition 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 241001513371 Knautia arvensis Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 241001303755 Porpita porpita Species 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/32—Normalisation of the pattern dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Description
"mappings": {
"properties": {
"img_name": {
"type": "keyword"
},
"cnn_signature_256_0": {
"type": "long"
},
"cnn_signature_256_1": {
"type": "long"
},
"cnn_signature_256_2": {
"type": "long"
},
"cnn_signature_256_3": {
"type": "long"
},
"cnn_vector_256": {
"type": "dense_vector",
"dims": 256
},
"cnn_vector_1024": {
"type": "dense_vector",
"dims": 1024
},
"shape_signature_256_0": {
"type": "long"
},
"shape_signature_256_1": {
"type": "long"
},
"shape_signature_256_2": {
"type": "long"
},
"shape_signature_256_3": {
"type": "long"
},
"shape_vector_256": {
"type": "dense_vector",
"dims": 256
},
"shape_vector_1024": {
"type": "dense_vector",
"dims": 1024
},
"color_vector_64": {
"type": "dense_vector",
"dims": 64
}
}
}
Claims (20)
- 複数の画像の情報を記憶する非一時的なコンピュータ可読媒体と、
プロセッサと
を備え、
前記プロセッサは、
元の画像において物体を示す物体領域を特定し、
前記物体領域を正規化して正規化画像を得て、
前記正規化画像から形状ベクトル及び色ベクトルを計算し、
前記形状ベクトル及び前記色ベクトルを用いて、前記元の画像と前記非一時的なコンピュータ可読媒体に記憶された前記複数の画像の各々との一致度を計算し、
前記一致度に基づき、前記非一時的なコンピュータ可読媒体が前記元の画像と一致するものを記憶しているかどうかを判定する、
画像照合システム。 - 前記プロセッサは、
前記元の画像からスケッチ画像を生成し、
前記スケッチ画像において外接矩形を特定し、
前記外接矩形により前記スケッチ画像のクロッピングを行い、クロッピングがなされた前記スケッチ画像のサイズ変更及びパディングを行って、前記正規化画像を得て、
前記正規化画像から前記形状ベクトルを計算する、
請求項1に記載の画像照合システム。 - 前記プロセッサは、
前記物体の主軸に基づいて前記スケッチ画像を予め回転させ、
予め回転された前記スケッチ画像から前記正規化画像を生成する、
請求項2に記載の画像照合システム。 - 前記プロセッサは、
予め回転された前記スケッチ画像を更に回転させることにより、1つ以上の正規化画像を生成し、
各々の前記正規化画像から前記形状ベクトルを計算する、
請求項3に記載の画像照合システム。 - 前記プロセッサは、
前記元の画像からシルエット画像を生成し、
前記シルエット画像のサイズ変更を行い、前記正規化画像を得て、
色及び前記正規化画像から前記色ベクトルを計算する、
請求項1に記載の画像照合システム。 - 前記プロセッサは、誤一致かどうかの検査を行うことにより、前記一致するものが誤って特定されているかどうかを判定する、請求項1に記載の画像照合システム。
- 前記プロセッサは、エッジ検出により、前記元の画像から前記スケッチ画像を生成する、請求項2に記載の画像照合システム。
- 前記プロセッサは、3つの閾値集合によるエッジ検出を用い、高解像度のエッジ画像と、中間解像度のエッジ画像と、低解像度のエッジ画像とにつき異なる反復回数による膨張処理を行い、3つのエッジ画像を論理和演算により組み合わせる、請求項7に記載の画像照合システム。
- 前記プロセッサは、画像のセグメンテーションにより主たる物体を背景とは分けることで、前記元の画像から前記シルエット画像を生成する、請求項5に記載の画像照合システム。
- 前記プロセッサは、
いずれの前記形状ベクトルが計算されるかに基づき、前記元の画像からスケッチ画像を生成し、
前記シルエット画像と前記スケッチ画像との論理和演算を行う、
請求項5に記載の画像照合システム。 - 前記プロセッサは、前記外接矩形により前記スケッチ画像のクロッピングを行って、前記物体が、前記外接矩形に囲まれ、前記外接矩形の上縁及び下縁の両方と左縁及び右縁の両方とのいずれかに接することとなる、請求項2に記載の画像照合システム。
- 前記プロセッサは、クロッピングがなされた前記スケッチ画像を標準サイズへサイズ変更する、請求項2に記載の画像照合システム。
- 前記プロセッサは、サイズ変更がなされた前記スケッチ画像を正方形となるようにパディングする、請求項2に記載の画像照合システム。
- 前記プロセッサは、正規化された前記スケッチ画像を複数のセルに分割することにより前記形状ベクトルを計算する、請求項2に記載の画像照合システム。
- 前記プロセッサは、明度の高いピクセルをセルごとにカウントする、請求項14に記載の画像照合システム。
- 前記プロセッサは、各前景ピクセルにつきループ処理を行うことにより前記色ベクトルを計算し、前記色ベクトルを64個のバケットのうちの1つに割り当てる、請求項1に記載の画像照合システム。
- 前記プロセッサが前記色ベクトルの正規化を行う、請求項1に記載の画像照合システム。
- 前記プロセッサは、前記形状ベクトル及び前記色ベクトルの両方に対して4つの局所性鋭敏型ハッシュ値を計算する、請求項1に記載の画像照合システム。
- プロセッサが、元の画像において物体を示す物体領域を特定するステップと、
前記プロセッサが、前記物体領域を正規化し正規化画像を得るステップと、
前記プロセッサが、前記正規化画像から形状ベクトル及び色ベクトルを計算するステップと、
前記プロセッサが、前記形状ベクトル及び前記色ベクトルを用いて、前記元の画像と非一時的なコンピュータ可読媒体に記憶された複数の画像の各々との一致度を計算するステップと、
前記プロセッサが、前記一致度に基づき、前記複数の画像の情報を記憶する前記非一時的なコンピュータ可読媒体が前記元の画像と一致するものを記憶しているかどうかを判定するステップと
を含む画像照合方法。 - プロセッサが、元の画像において物体を示す物体領域を特定するステップと、
前記プロセッサが、前記物体領域を正規化し正規化画像を得るステップと、
前記プロセッサが、前記正規化画像から形状ベクトル及び色ベクトルを計算するステップと、
前記プロセッサが、前記形状ベクトル及び前記色ベクトルを用いて、前記元の画像と非一時的なコンピュータ可読媒体に記憶された複数の画像の各々との一致度を計算するステップと、
前記プロセッサが、前記一致度に基づき、前記複数の画像の情報を記憶する前記非一時的なコンピュータ可読媒体が前記元の画像と一致するものを記憶しているかどうかを判定するステップと
を行うためのコンピュータプログラムコードを有する、画像照合のためのコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/318,984 US12002252B2 (en) | 2021-05-12 | 2021-05-12 | Image matching system |
US17/318,984 | 2021-05-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022176073A JP2022176073A (ja) | 2022-11-25 |
JP7357708B2 true JP7357708B2 (ja) | 2023-10-06 |
Family
ID=81580866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022029654A Active JP7357708B2 (ja) | 2021-05-12 | 2022-02-28 | 画像照合システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US12002252B2 (ja) |
EP (1) | EP4089644A1 (ja) |
JP (1) | JP7357708B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117612176A (zh) * | 2023-10-26 | 2024-02-27 | 粤港澳大湾区(广东)国创中心 | 两边引脚图识别抽取方法、装置、存储介质以及设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010116885A1 (ja) | 2009-04-06 | 2010-10-14 | 日本電気株式会社 | データ処理装置、画像照合方法、プログラムおよび画像照合システム |
US8885994B2 (en) | 2007-11-30 | 2014-11-11 | Dow Corning Corporation | Integrated planar polymer waveguide for low-loss, low-crosstalk optical signal routing |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4901362A (en) | 1988-08-08 | 1990-02-13 | Raytheon Company | Method of recognizing patterns |
JP3754791B2 (ja) * | 1997-03-19 | 2006-03-15 | キヤノン株式会社 | 画像検索装置及び方法 |
US8180690B2 (en) * | 2006-10-31 | 2012-05-15 | Dotted Pair, Inc. | System and method for interacting with item catalogs |
JP5081276B2 (ja) * | 2010-06-02 | 2012-11-28 | 株式会社日立ハイテクノロジーズ | パターン計測装置、パターン計測方法、およびプログラム |
US9224060B1 (en) * | 2013-09-17 | 2015-12-29 | Amazon Technologies, Inc. | Object tracking using depth information |
US9665606B2 (en) * | 2014-02-14 | 2017-05-30 | Nant Holdings Ip, Llc | Edge-based recognition, systems and methods |
GB2592440A (en) * | 2020-02-28 | 2021-09-01 | Correvate Ltd | Object recognition via object data database and augmentation of 3D image data |
-
2021
- 2021-05-12 US US17/318,984 patent/US12002252B2/en active Active
-
2022
- 2022-02-28 JP JP2022029654A patent/JP7357708B2/ja active Active
- 2022-05-04 EP EP22171568.3A patent/EP4089644A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8885994B2 (en) | 2007-11-30 | 2014-11-11 | Dow Corning Corporation | Integrated planar polymer waveguide for low-loss, low-crosstalk optical signal routing |
WO2010116885A1 (ja) | 2009-04-06 | 2010-10-14 | 日本電気株式会社 | データ処理装置、画像照合方法、プログラムおよび画像照合システム |
Also Published As
Publication number | Publication date |
---|---|
US12002252B2 (en) | 2024-06-04 |
JP2022176073A (ja) | 2022-11-25 |
EP4089644A1 (en) | 2022-11-16 |
US20220366180A1 (en) | 2022-11-17 |
TW202244844A (zh) | 2022-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922353B2 (en) | Hybrid detection recognition system | |
Huang et al. | Learning local shape descriptors from part correspondences with multiview convolutional networks | |
JP5916886B2 (ja) | 画像特徴の類似性に基づく画像索引作成 | |
US9558213B2 (en) | Refinement shape content search | |
Odone et al. | Building kernels from binary strings for image matching | |
US11093748B2 (en) | Visual feedback of process state | |
US20170255648A1 (en) | Object recognition of feature-sparse or texture-limited subject matter | |
WO2016004330A1 (en) | Interactive content generation | |
JP2016530641A (ja) | コンテンツベースの画像検索 | |
US10204284B2 (en) | Object recognition utilizing feature alignment | |
Weinmann | Visual features—From early concepts to modern computer vision | |
US8942468B1 (en) | Object recognition | |
Forczmański et al. | Stamps detection and classification using simple features ensemble | |
JP7357708B2 (ja) | 画像照合システム | |
Kordelas et al. | Viewpoint independent object recognition in cluttered scenes exploiting ray-triangle intersection and SIFT algorithms | |
CN112445926B (zh) | 一种图像检索方法以及装置 | |
Kaya et al. | Gender classification from facial images using gray relational analysis with novel local binary pattern descriptors | |
JP7231165B2 (ja) | 検証システム | |
TWI847135B (zh) | 影像匹配系統 | |
Zhang et al. | Robust sketch-based image retrieval by saliency detection | |
CN109993178B (zh) | 一种特征数据生成和特征匹配方法及装置 | |
Maheshwari et al. | Bilingual text detection in natural scene images using invariant moments | |
Sipiran Mendoza | Local features for partial shape matching and retrieval | |
US11881037B2 (en) | Automatically detecting method for time-varying text region of interest | |
Ferilli et al. | A contour-based progressive technique for shape recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230203 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230926 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7357708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |