JP7016130B2 - 検証装置、方法、及びプログラム - Google Patents
検証装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP7016130B2 JP7016130B2 JP2020167625A JP2020167625A JP7016130B2 JP 7016130 B2 JP7016130 B2 JP 7016130B2 JP 2020167625 A JP2020167625 A JP 2020167625A JP 2020167625 A JP2020167625 A JP 2020167625A JP 7016130 B2 JP7016130 B2 JP 7016130B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- partial region
- correspondence
- partial
- cosine similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
まず、本発明の実施の形態における原理について説明する。
図1は、本発明の実施の形態に係る検証装置100の構成の一例を示すブロック図である。図1に示す検証装置100は、入力部110、特徴抽出部120、対応候補計算部130、検証部140、出力部150を備える。
本実施の形態における検証装置100の各処理部について説明する。
次に、本実施の形態における検証装置100の処理について説明する。本発明の実施形態における処理は、大きくオフライン処理とオンライン処理に分かれている。前者は参照データベース160に格納されている各参照画像について、少なくとも一度実施されていればよい処理であり、後者は実際に検索を行う際に、クエリ画像が入力されたことをトリガとして実施する処理である。以降、順に説明する。
以降、各処理の詳細処理について、本実施の形態における一例を説明する。
まず、入力された画像に対して、部分領域と特徴量ベクトルを抽出する方法について説明する。
次に、異なる2枚の画像間に規定された部分領域同士の対応候補を求める処理について説明する。本発明の実施の形態の一例においては、クエリ画像とそれぞれの参照画像との間で、対応する部分領域を決定するために用いる処理である。
コサイン類似度sim(Qi, Rj)は、-1から1までの値を取り、値が大きいほど特徴量ベクトル間が近いことを表す。本発明の実施の形態においては、特徴量ベクトルの近い部分領域の組み合わせを発見することを目的としているため、この値が高いものだけを考慮すればよい。この観点から、コサイン類似度sim(Qi, Rj)が一定の閾値以上の値を持つことを条件とする。この閾値は、例えば0.5などとするのが好適である。
参照画像の部分領域Rjに着目したとき、これに最も近い(最も類似度の高い)クエリ画像の部分領域がQiであったとする。このとき、反対に、クエリ画像の部分領域Qiに着目したとき、これに最も近い参照画像の部分領域もやはりRjであることを条件とする。
続いて、部分領域の幾何情報に基づいて、求めた部分領域の対応候補の対応の適否を判定する。すなわち、対応候補計算部130で求めた対応候補のうち、有効な対応ではない(つまり、物体から抽出された部分領域同士の対応ではない)と考えられる部分領域の組み合わせである対応候補を削除する。
110 入力部
120 特徴抽出部
130 対応候補計算部
140 検証部
150 出力部
160 参照データベース
170 クエリ画像
Claims (4)
- 第一の画像と第二の画像との対応を検証する検証装置であって、
前記第一の画像と前記第二の画像の各々について、少なくとも一つ以上の畳み込み層を含む畳み込みニューラルネットワークを適用し、画像の複数の部分領域ごとに前記畳み込み層の出力を求める特徴抽出部と、
前記第一の画像と第二の画像の各々について前記部分領域ごとに求められた前記畳み込み層の出力に基づいて、前記第一の画像の前記部分領域のそれぞれと、前記第二の画像の前記部分領域のそれぞれとの各組み合わせについて、前記畳み込み層の出力のコサイン類似度を求め、
前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせについて前記コサイン類似度が所定の閾値よりも高い値となり、かつ、前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjと一致し、かつ、前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiと一致する場合に、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを対応候補として各々選定し、
前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjでない場合には、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを前記対応候補として選定しないようにし、
前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiでない場合には、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを前記対応候補として選定しないようにする対応候補計算部と、
前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、前記対応候補の適否を判定し、前記対応候補が適当である場合には前記対応候補を対応として出力する検証部と、
を備えることを特徴とする検証装置。 - 前記検証部は、前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、他の対応候補についての部分領域の組み合わせにおける相対的な位置関係との一貫性に応じて、前記対応候補の適否を判定する請求項1記載の検証装置。
- 第一の画像と第二の画像との対応を検証する検証装置における検証方法であって、
特徴抽出部が、前記第一の画像と前記第二の画像の各々について、少なくとも一つ以上の畳み込み層を含む畳み込みニューラルネットワークを適用し、画像の複数の部分領域ごとに前記畳み込み層の出力を求め、
対応候補計算部が、前記第一の画像と第二の画像の各々について前記部分領域ごとに求められた前記畳み込み層の出力に基づいて、前記第一の画像の前記部分領域のそれぞれと、前記第二の画像の前記部分領域のそれぞれとの各組み合わせについて、前記畳み込み層の出力のコサイン類似度を求め、
前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせについて前記コサイン類似度が所定の閾値よりも高い値となり、かつ、前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjと一致し、かつ、前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiと一致する場合に、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを対応候補として各々選定し、
前記部分領域Aiに対して最大のコサイン類似度となる前記第二の画像の部分領域が前記部分領域Bjでない場合には、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを前記対応候補として選定しないようにし、
前記部分領域Bjに対して最大のコサイン類似度となる前記第一の画像の部分領域が前記部分領域Aiでない場合には、前記第一の画像の部分領域Aiと前記第二の画像の部分領域Bjとの組み合わせを前記対応候補として選定しないようにし、
検証部が、前記対応候補の各々についての部分領域の画像中の位置座標に基づいて、前記対応候補の適否を判定し、前記対応候補が適当である場合には前記対応候補を対応として出力する
ことを特徴とする検証方法。 - コンピュータを、請求項1又は2に記載の検証装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020167625A JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020167625A JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017147068A Division JP6793925B2 (ja) | 2017-07-28 | 2017-07-28 | 検証装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021005417A JP2021005417A (ja) | 2021-01-14 |
JP7016130B2 true JP7016130B2 (ja) | 2022-02-04 |
Family
ID=74099467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020167625A Active JP7016130B2 (ja) | 2020-10-02 | 2020-10-02 | 検証装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7016130B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323618A (ja) | 2002-04-30 | 2003-11-14 | Sharp Corp | 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
JP2008134791A (ja) | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2014229063A (ja) | 2013-05-22 | 2014-12-08 | 日本電信電話株式会社 | 画像検索装置、方法、及びプログラム |
JP2016025625A (ja) | 2014-07-24 | 2016-02-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016099835A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017059144A (ja) | 2015-09-18 | 2017-03-23 | Kddi株式会社 | 情報端末装置、プログラム及びデータ構造 |
JP2017062781A (ja) | 2015-09-22 | 2017-03-30 | ゼロックス コーポレイションXerox Corporation | 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3027995B2 (ja) * | 1991-03-27 | 2000-04-04 | 日本電気株式会社 | 画像マッチング方式 |
-
2020
- 2020-10-02 JP JP2020167625A patent/JP7016130B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003323618A (ja) | 2002-04-30 | 2003-11-14 | Sharp Corp | 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 |
JP2008134791A (ja) | 2006-11-28 | 2008-06-12 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
JP2014229063A (ja) | 2013-05-22 | 2014-12-08 | 日本電信電話株式会社 | 画像検索装置、方法、及びプログラム |
JP2016025625A (ja) | 2014-07-24 | 2016-02-08 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2016099835A (ja) | 2014-11-21 | 2016-05-30 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP2017059144A (ja) | 2015-09-18 | 2017-03-23 | Kddi株式会社 | 情報端末装置、プログラム及びデータ構造 |
JP2017062781A (ja) | 2015-09-22 | 2017-03-30 | ゼロックス コーポレイションXerox Corporation | 深層cnnプーリング層を特徴として用いる、類似度に基づく重要な対象の検知 |
Non-Patent Citations (1)
Title |
---|
柴山 祐輝、外4名,"大規模なデータセットの構築のための画像のフィルタリング手法",情報処理学会 研究報告 コンピュータビジョンとイメージメディア(CVIM),Vol.2017-CVIM-207, No.30,日本,情報処理学会,2017年05月03日,pp.1-5 |
Also Published As
Publication number | Publication date |
---|---|
JP2021005417A (ja) | 2021-01-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101531618B1 (ko) | 이미지들의 비교 방법 및 시스템 | |
JP6793925B2 (ja) | 検証装置、方法、及びプログラム | |
US8406535B2 (en) | Invariant visual scene and object recognition | |
JP6211407B2 (ja) | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム | |
Jiang et al. | Reliable image matching via photometric and geometric constraints structured by Delaunay triangulation | |
US20150098659A1 (en) | Method and apparatus for image retrieval | |
Erinc et al. | Anytime merging of appearance-based maps | |
US20200005078A1 (en) | Content aware forensic detection of image manipulations | |
Luo et al. | Effective outlier matches pruning algorithm for rigid pairwise point cloud registration using distance disparity matrix | |
Sghaier et al. | Efficient machine-learning based 3d face identification system under large pose variation | |
Yan et al. | Geometrically based linear iterative clustering for quantitative feature correspondence | |
Li et al. | A non-rigid 3D model retrieval method based on scale-invariant heat kernel signature features | |
Rodríguez et al. | Robust homography estimation from local affine maps | |
JP6482505B2 (ja) | 検証装置、方法、及びプログラム | |
JP7016130B2 (ja) | 検証装置、方法、及びプログラム | |
CN103064857B (zh) | 图像查询方法及图像查询设备 | |
Maier et al. | Ground truth accuracy and performance of the matching pipeline | |
Lu et al. | Search inliers based on redundant geometric constraints | |
JP2020135637A (ja) | 姿勢推定装置、学習装置、方法、及びプログラム | |
Clark et al. | Perspective correction for improved visual registration using natural features. | |
Kweon et al. | Robust invariant features for object recognition and mobile robot navigation | |
JP6832268B2 (ja) | 検証装置、方法、及びプログラム | |
Varga et al. | On fast point cloud matching with key points and parameter tuning | |
Shen et al. | LTM: efficient learning with triangular topology constraint for feature matching with heavy outliers | |
JP2018010592A (ja) | 検証装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220117 |