JP7438702B2 - 類似領域検出装置、類似領域検出方法およびプログラム - Google Patents
類似領域検出装置、類似領域検出方法およびプログラム Download PDFInfo
- Publication number
- JP7438702B2 JP7438702B2 JP2019174422A JP2019174422A JP7438702B2 JP 7438702 B2 JP7438702 B2 JP 7438702B2 JP 2019174422 A JP2019174422 A JP 2019174422A JP 2019174422 A JP2019174422 A JP 2019174422A JP 7438702 B2 JP7438702 B2 JP 7438702B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- similar
- feature points
- regions
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 92
- 238000000605 extraction Methods 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 30
- 239000000284 extract Substances 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Description
実施形態の類似領域検出装置は、2つの画像間で互いに類似する部分的な領域である類似領域を各画像から検出するものであり、特に、特徴点マッチングと最外輪郭抽出との組み合せにより類似領域の検出を行う。
図1は、本実施形態に係る類似領域検出装置の機能的な構成例を示すブロック図である。図1に示すように、本実施形態に係る類似領域検出装置は、取得部1と、特徴点抽出部2と、マッチング部3と、最外輪郭抽出部4と、検出部5と、出力部6とを備える。
次に、第2の実施形態について説明する。第2の実施形態は、第1の画像Im1と第2の画像Im2の各々から類似領域を検出する手法が、上述した第1の実施形態と異なる。なお、類似領域検出装置の基本的な構成および処理の概要は第1の実施形態と同様であるため、以下では、第1の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。
次に、第3の実施形態について説明する。第3の実施形態では、出力部6が第1の画像と第2の画像の各々から類似領域の最外輪郭に外接する矩形領域の画像を切り出して類似画像ペアとして出力する際に、矩形領域内の類似領域以外の背景領域(類似領域の輪郭となる最外輪郭の外側の領域)に映り込むオブジェクトを除去して出力する。なお、類似領域検出装置の基本的な構成および処理の概要は第1の実施形態や第2の実施形態と同様であるため、以下では、第1の実施形態や第2の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。
次に、第4の実施形態について説明する。第4の実施形態では、検出部5による類似領域の検出の誤りを低減するため、検出部5が、第1の画像と第2の画像の各々の最外輪郭と対応点の数に加えて、対応点の位置関係も用いて、第1の画像と第2の画像の各々から類似領域を検出する。なお、類似領域検出装置の基本的な構成および処理の概要は第1乃至第3の実施形態と同様であるため、以下では、第1乃至第3の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。
次に、第5の実施形態について説明する。第5の実施形態では、マッチング部3が、第1の画像と第2の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合に、一方の画像から抽出された特徴点と他方の画像から抽出された複数の特徴点とを対応付ける。なお、類似領域検出装置の基本的な構成および処理の概要は第1乃至第4の実施形態と同様であるため、以下では、第1乃至第4の実施形態と重複する説明は省略し、本実施形態に特徴的な部分についてのみ説明する。
上述した各実施形態の類似領域検出装置は、例えば、汎用のコンピュータを基本ハードウェアとして用いることで実現可能である。すなわち、上述の類似領域検出装置の各部の機能は、汎用のコンピュータに搭載された1以上のプロセッサにプログラムを実行させることにより実現することができる。このとき、上記のプログラムはコンピュータに予めインストールされてもよいし、コンピュータ読み取り可能な記憶媒体に記録された上記のプログラム、あるいはネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするようにしてもよい。
2 特徴点抽出部
3 マッチング部
4 最外輪郭抽出部
5 検出部
6 出力部
Im1,Im11 第1の画像
Im2,Im12 第2の画像
C1a,C1b,C1c,C2a,C2b,C2c 最外輪郭
Claims (8)
- 第1の画像と第2の画像を取得する取得部と、
前記第1の画像と前記第2の画像の各々の特徴点を抽出する特徴点抽出部と、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチング部と、
前記第1の画像から1つ以上の第1最外輪郭を抽出し、前記第2の画像から1つ以上の第2最外輪郭を抽出する最外輪郭抽出部と、
1つ以上の前記第1最外輪郭内の前記第1の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、1つ以上の第1類似領域を検出し、1つ以上の前記第2最外輪郭内の前記第2の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、1つ以上の第2類似領域を検出する検出部と、
を備える類似領域検出装置。 - 前記第1の画像から1つ以上の前記第1類似領域に外接する矩形領域の画像である1つ以上の第1類似画像を切り出し、前記第2の画像から1つ以上の前記第2類似領域に外接する矩形領域の画像である1つ以上の第2類似画像を切り出し、1つ以上の前記第1類似画像のうち1つと、1つ以上の前記第2類似画像のうち1つと、の組み合わせである類似画像ペアを出力する出力部をさらに備える、
請求項1に記載の類似領域検出装置。 - 前記出力部は、前記第1類似画像内の前記第1類似領域以外の背景領域に映り込むオブジェクトを除去し、前記第2類似画像内の前記第2類似領域以外の背景領域に映り込むオブジェクトを除去して出力する、
請求項2に記載の類似領域検出装置。 - 前記検出部は、1つ以上の前記第1類似領域に含まれる前記対応する特徴点の位置関係と、1つ以上の前記第2類似領域に含まれる前記対応する特徴点の位置関係とに基づいて、前記第1類似領域および前記第2類似領域が正しいか否かを判定する、
請求項1乃至3のいずれか一項に記載の類似領域検出装置。 - 前記マッチング部は、特徴点の局所特徴量の近さに基づいて、前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点とを対応付ける、
請求項1乃至4のいずれか一項に記載の類似領域検出装置。 - 前記マッチング部は、前記第1の画像と前記第2の画像のうちの一方の画像から抽出された特徴点と局所特徴量が近い複数の特徴点が他方の画像から抽出された場合、前記一方の画像から抽出された特徴点と前記他方の画像から抽出された複数の特徴点とを対応付ける、
請求項5に記載の類似領域検出装置。 - 類似領域検出装置により実行される方法であって、
第1の画像と第2の画像を取得する取得ステップと、
前記第1の画像と前記第2の画像の各々の特徴点を抽出する特徴点抽出ステップと、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチングステップと、
前記第1の画像から1つ以上の第1最外輪郭を抽出し、前記第2の画像から1つ以上の第2最外輪郭を抽出する最外輪郭抽出ステップと、
1つ以上の前記第1最外輪郭内の前記第1の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、1つ以上の第1類似領域を検出し、1つ以上の前記第2最外輪郭内の前記第2の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、1つ以上の第2類似領域を検出する検出ステップと、
を含む類似領域検出方法。 - コンピュータに、
第1の画像と第2の画像を取得する取得部の機能と、
前記第1の画像と前記第2の画像の各々の特徴点を抽出する特徴点抽出部の機能と、
前記第1の画像から抽出された特徴点と前記第2の画像から抽出された特徴点とを対応付けて、画像間の対応する特徴点を検出するマッチング部の機能と、
前記第1の画像から1つ以上の第1最外輪郭を抽出し、前記第2の画像から1つ以上の第2最外輪郭を抽出する最外輪郭抽出部の機能と、
1つ以上の前記第1最外輪郭内の前記第1の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が類似判定閾値を超える領域である、1つ以上の第1類似領域を検出し、1つ以上の前記第2最外輪郭内の前記第2の画像の部分的な領域のうち、前記対応する特徴点の数が最大の領域、または、前記対応する特徴点の数が前記類似判定閾値を超える領域である、1つ以上の第2類似領域を検出する検出部の機能と、
を実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174422A JP7438702B2 (ja) | 2019-09-25 | 2019-09-25 | 類似領域検出装置、類似領域検出方法およびプログラム |
PCT/JP2020/035285 WO2021060147A1 (ja) | 2019-09-25 | 2020-09-17 | 類似領域検出装置、類似領域検出方法およびプログラム |
CN202080066221.2A CN114514555A (zh) | 2019-09-25 | 2020-09-17 | 类似区域检测装置、类似区域检测方法及程序 |
US17/655,635 US20220207860A1 (en) | 2019-09-25 | 2022-03-21 | Similar area detection device, similar area detection method, and computer program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019174422A JP7438702B2 (ja) | 2019-09-25 | 2019-09-25 | 類似領域検出装置、類似領域検出方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021051581A JP2021051581A (ja) | 2021-04-01 |
JP7438702B2 true JP7438702B2 (ja) | 2024-02-27 |
Family
ID=75157316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019174422A Active JP7438702B2 (ja) | 2019-09-25 | 2019-09-25 | 類似領域検出装置、類似領域検出方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220207860A1 (ja) |
JP (1) | JP7438702B2 (ja) |
CN (1) | CN114514555A (ja) |
WO (1) | WO2021060147A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230133026A1 (en) * | 2021-10-28 | 2023-05-04 | X Development Llc | Sparse and/or dense depth estimation from stereoscopic imaging |
US11995859B2 (en) | 2021-10-28 | 2024-05-28 | Mineral Earth Sciences Llc | Sparse depth estimation from plant traits |
CN117765285A (zh) * | 2024-02-22 | 2024-03-26 | 杭州汇萃智能科技有限公司 | 一种具有抗噪功能的轮廓匹配方法、系统及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018147097A (ja) | 2017-03-02 | 2018-09-20 | Kddi株式会社 | 情報処理装置及びプログラム |
JP2018194956A (ja) | 2017-05-15 | 2018-12-06 | 日本電信電話株式会社 | 画像認識装置、方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101833668B (zh) * | 2010-04-23 | 2011-12-28 | 清华大学 | 一种基于轮廓带图的相似单元的检测方法 |
CN102915372B (zh) * | 2012-11-06 | 2016-02-03 | 成都理想境界科技有限公司 | 图像检索方法、装置及系统 |
CN105069089B (zh) * | 2015-08-04 | 2019-02-12 | 小米科技有限责任公司 | 图片检测方法及装置 |
CN107103323B (zh) * | 2017-03-09 | 2020-06-16 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于图像轮廓特征的目标识别方法 |
CN109583409A (zh) * | 2018-12-07 | 2019-04-05 | 电子科技大学 | 一种面向认知地图的智能车定位方法及系统 |
-
2019
- 2019-09-25 JP JP2019174422A patent/JP7438702B2/ja active Active
-
2020
- 2020-09-17 CN CN202080066221.2A patent/CN114514555A/zh active Pending
- 2020-09-17 WO PCT/JP2020/035285 patent/WO2021060147A1/ja active Application Filing
-
2022
- 2022-03-21 US US17/655,635 patent/US20220207860A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018147097A (ja) | 2017-03-02 | 2018-09-20 | Kddi株式会社 | 情報処理装置及びプログラム |
JP2018194956A (ja) | 2017-05-15 | 2018-12-06 | 日本電信電話株式会社 | 画像認識装置、方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021060147A1 (ja) | 2021-04-01 |
US20220207860A1 (en) | 2022-06-30 |
JP2021051581A (ja) | 2021-04-01 |
CN114514555A (zh) | 2022-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11704922B2 (en) | Systems, methods and computer program products for automatically extracting information from a flowchart image | |
JP7438702B2 (ja) | 類似領域検出装置、類似領域検出方法およびプログラム | |
US9275307B2 (en) | Method and system for automatic selection of one or more image processing algorithm | |
US8965127B2 (en) | Method for segmenting text words in document images | |
WO2015180100A1 (en) | Facial landmark localization using coarse-to-fine cascaded neural networks | |
US20050169520A1 (en) | Detecting human faces and detecting red eyes | |
EP2172856A2 (en) | Image processing apparatus, image processing method and program | |
JP4745207B2 (ja) | 顔特徴点検出装置及びその方法 | |
US8027978B2 (en) | Image search method, apparatus, and program | |
CA2656425A1 (en) | Recognizing text in images | |
US20140219569A1 (en) | Image recognition system and method for identifying similarities in different images | |
US8948517B2 (en) | Landmark localization via visual search | |
US10007678B2 (en) | Image processing apparatus, image processing method, and recording medium | |
US9081800B2 (en) | Object detection via visual search | |
US9104450B2 (en) | Graphical user interface component classification | |
CN113496215A (zh) | 一种活体人脸检测的方法、装置及电子设备 | |
Boillet et al. | Confidence estimation for object detection in document images | |
CN106557523B (zh) | 代表性图像选择方法和设备以及对象图像检索方法和设备 | |
Nugroho et al. | Nipple detection to identify negative content on digital images | |
JP5414631B2 (ja) | 文字列探索方法、文字列探索装置、記録媒体 | |
Voronin et al. | No-reference visual quality assessment for image inpainting | |
CN111967312B (zh) | 识别图片中重要人物的方法和系统 | |
CN110287943B (zh) | 图像的对象识别方法、装置、电子设备及存储介质 | |
JP2008282327A (ja) | 文字対称性判定方法及び文字対称性判定装置 | |
JP7391907B2 (ja) | 異常検出装置、異常検出方法、および異常検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231204 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7438702 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |