JP5230525B2 - 画像検索装置およびその方法 - Google Patents
画像検索装置およびその方法 Download PDFInfo
- Publication number
- JP5230525B2 JP5230525B2 JP2009125845A JP2009125845A JP5230525B2 JP 5230525 B2 JP5230525 B2 JP 5230525B2 JP 2009125845 A JP2009125845 A JP 2009125845A JP 2009125845 A JP2009125845 A JP 2009125845A JP 5230525 B2 JP5230525 B2 JP 5230525B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature
- feature points
- region
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
- G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
Description
(以下において、非特許文献1,2は「発明を実施するための最良の形態」の欄において参照されている文献である。)
入力されたクエリ画像と類似する画像を登録されている画像から検索する画像検索装置であって、
前記クエリ画像と登録されている比較先画像のそれぞれにおいて、互いに対応する特徴点の対に基づいて対称性を有する部分画像を抽出する抽出手段と、
前記クエリ画像と前記比較先画像のそれぞれにおいて、前記部分画像をその対称軸で分割して得られる2つの部分領域を、当該部分画像における画像特徴の傾向に基づいて第1領域と第2領域に決定する決定手段と、
前記クエリ画像と前記比較先画像の両画像の前記第1領域に決定されている部分領域から得られた対応する特徴点の対の座標が一致するように、前記両画像のうちの一方の画像の座標を変換するための座標変換係数を設定する設定手段と、
前記両画像の類似を判定するために、前記両画像から抽出された互いに対応する特徴点の座標を、前記一方の画像から抽出された特徴点の座標を前記座標変換係数を用いて変換してから、比較する比較手段と、を備える。
図1は本発明の第1実施形態における画像登録装置の構成例を示すブロック図である。図1において、100は画像登録装置であり、画像入力部102、縮小画像生成部103、局所特徴点抽出部104、局所特徴量算出部105、対称領域抽出部108、特徴量登録部106を備える。101は登録画像であり、画像登録装置100によって後述する画像特徴データベースに登録される画像である。107は画像特徴データベースであり、画像登録装置100により登録画像101から抽出された画像特徴が登録される。
まず、画像登録装置100が行う画像の登録処理について説明する。図3は画像の登録処理の手順を表すフローチャートである。ステップS301において、画像入力部102は、登録画像101を読み込む。ステップS302において、画像入力部102の輝度成分画像生成部111は、当該登録画像101から輝度成分を抽出して輝度成分画像を生成し、当該輝度成分画像を縮小画像生成部103に渡す。また、画像入力部102は、登録画像101を特徴量登録部106に渡す。
ρ=x cosθ+y sinθ
と表す事が出来る。この様に、極座標系では、1点(ρ, θ)が判れば一つの直線が定まることになる。ここで、点(ρ,θ)を直線y=ax+bのハフ変換と呼ぶ。また、x−y座標系の一点(x0, y0)を通る傾きの異なる直線の集まりは、
ρ=x0 cosθ+y0sinθ
というように表現することができる。このとき、図9の(a)に示す3点の各点を通る直線群の軌跡をρ−θ平面に書いたグラフが図9の(b)である。もし、この3点が同一直線上に乗っているとすればρとθの値は同じ値となるはずであり、それら3点に対応するρ−θ平面上の軌跡は1点で交わることになる。この原理を利用して、特徴点対の中点が直線上(対称軸)に乗っているかどうかを検証することが出来る。
次に、画像検索の際に行う各部の動作について説明する。図6は画像検索装置200による検索処理の手順を表すフローチャートである。
次に、本実施形態における局所特徴量の比較方法(図6のS607)を、図14〜図16のフローチャートを参照して説明する。
・領域乙に含まれるVqとVs、および
・非対称領域に含まれるVqとVs、
のそれぞれで、すべての組み合せについて特徴量間距離を計算し、最短距離対応点リスト1に追記する形で最短距離対応点リスト2を作成する。
すなわち、計算した特徴量間距離がしきい値Tv以下となり、かつ、最短距離となるようなVqとVsとの組合せ(対応点)を抽出し、これを最短距離対応点リストに登録する。以後、本実施形態の説明では、最短距離対応点リストに登録された対応点について、当該対応点の回転不変の性質を持つ特徴量をそれぞれVq(k)とVs(k)と記載する。また、Vq(k)とVs(k)に対応付けられている座標についてはそれぞれQk(x’k,y’k)、Sk(xk,yk)などと添え字をあわせて記載する。また、ステップS1503で作成された最短距離対応点リスト2に登録された対応点の組数をm組とする。最短距離対応点リスト2には、対応点リスト1の対応点(甲の対応点)+乙の対応点+非対称領域の対応点が登録されている。
また、当然、S1606、S1610では最短距離対応点リスト1から、幾何変換を行う特徴点の対を選ぶ事になる。
第1実施形態では、対称軸を求めるにあたりハフ変換を用いたが、これに限られるものではない。第2実施形態は、ハフ変換を用いず、別の方法で対称領域を求める例であり、その他の処理は第1実施形態と同様である。
クエリ画像の対称性を検証して対称性が有る(対称領域が存在する)と判定された場合、対称性が無い(対称領域が存在しない)登録画像は比較する価値が無い。そこで、クエリ画像が対称性の有る画像の場合に、登録画像の対称性解析において求めた対称領域数NLが0でない物のみを比較対象とすることで、大幅な処理の簡素化が行え、検索を高速に行うことが可能となる。
以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
Claims (12)
- 入力されたクエリ画像と類似する画像を登録されている画像から検索する画像検索装置であって、
前記クエリ画像と登録されている比較先画像のそれぞれにおいて、互いに対応する特徴点の対に基づいて対称性を有する部分画像を抽出する抽出手段と、
前記クエリ画像と前記比較先画像のそれぞれにおいて、前記部分画像をその対称軸で分割して得られる2つの部分領域を、当該部分画像における画像特徴の傾向に基づいて第1領域と第2領域に決定する決定手段と、
前記クエリ画像と前記比較先画像の両画像の前記第1領域に決定されている部分領域から得られた対応する特徴点の対の座標が一致するように、前記両画像のうちの一方の画像の座標を変換するための座標変換係数を設定する設定手段と、
前記両画像の類似を判定するために、前記両画像から抽出された互いに対応する特徴点の座標を、前記一方の画像から抽出された特徴点の座標を前記座標変換係数を用いて変換してから、比較する比較手段と、を備えることを特徴とする画像検索装置。 - 前記比較手段は、前記両画像の、前記第1領域に決定された領域、前記第2領域に決定された領域、前記抽出手段で抽出された対称性を有する部分画像を除いた非対称領域、のそれぞれの領域ごとに、対応する特徴点の対を抽出することを特徴とする請求項1に記載の画像検索装置。
- 前記抽出手段は、回転不変の性質をもつ特徴点を抽出し、前記特徴点の回転不変の性質を持つ局所特徴量を用いて前記互いに対応する特徴点の対を得ることを特徴とする請求項1又は2に記載の画像検索装置。
- 前記抽出手段において前記クエリ画像から対称性を有する部分画像が抽出されなかった場合は、前記設定手段は、前記両画像の全体から対応する特徴点の対を抽出することを特徴とする請求項1に記載の画像検索装置。
- 前記決定手段は、前記2つの部分領域の各々における濃度勾配の方向により、当該2つの部分領域のそれぞれを前記第1領域と前記第2領域に決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像検索装置。
- 前記決定手段は、前記2つの部分領域のそれぞれに存在する特徴点の個数により、当該2つの部分領域のそれぞれを前記第1領域と前記第2領域に決定することを特徴とする請求項1乃至4のいずれか1項に記載の画像検索装置。
- 前記第1領域に決定されている部分領域が存在しない比較先画像に対しては、前記クエリ画像との類似の判定を実施しないことを特徴とする請求項1乃至3のいずれか1項に記載の画像検索装置。
- 前記抽出手段は、前記クエリ画像より取得された複数組の特徴点の対より得られる中点群に対してハフ変換を適用することにより対称軸を求め、該対称軸の近傍に中点を持つ特徴点の対を包含する領域を前記対称性を有する部分画像として抽出することを特徴とする請求項1乃至7のいずれか1項に記載の画像検索装置。
- 前記抽出手段は、前記クエリ画像より取得された複数組の特徴点の対より得られる中点群から選択された2点を通る直線群のうち、前記中点群からの累積距離が最小となる直線を対称軸とし、該対称軸の近傍に中点を持つ特徴点の対を包含する領域を前記対称性を有する部分画像として抽出することを特徴とする請求項1乃至7のいずれか1項に記載の画像検索装置。
- 入力されたクエリ画像と類似する画像を登録されている画像から検索する画像検索装置による画像検索方法であって、
抽出手段が、前記クエリ画像と登録されている比較先画像のそれぞれにおいて、互いに対応する特徴点の対に基づいて対称性を有する部分画像を抽出する抽出工程と、
決定手段が、前記クエリ画像と前記比較先画像のそれぞれにおいて、前記部分画像をその対称軸で分割して得られる2つの部分領域を、当該部分画像における画像特徴の傾向に基づいて第1領域と第2領域に決定する決定工程と、
設定手段が、前記クエリ画像と前記比較先画像の両画像の前記第1領域に決定されている部分領域から得られれた対応する特徴点の対の座標が一致するように、前記両画像のうちの一方の画像の座標を変換するための座標変換係数を設定する設定工程と、
比較手段が、前記両画像の類似を判定するために、前記両画像から抽出された互いに対応する特徴点の座標を、前記一方の画像から抽出された特徴点の座標を前記座標変換係数を用いて変換してから、比較する比較工程と、を有することを特徴とする画像検索方法。 - 請求項10に記載の画像検索方法の各工程をコンピュータに実行させるためのコンピュータプログラム。
- 請求項10に記載の画像検索方法の各工程をコンピュータに実行させるためのコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009125845A JP5230525B2 (ja) | 2009-05-25 | 2009-05-25 | 画像検索装置およびその方法 |
US12/778,953 US8412730B2 (en) | 2009-05-25 | 2010-05-12 | Image search apparatus and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009125845A JP5230525B2 (ja) | 2009-05-25 | 2009-05-25 | 画像検索装置およびその方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2010272092A JP2010272092A (ja) | 2010-12-02 |
JP2010272092A5 JP2010272092A5 (ja) | 2012-07-12 |
JP5230525B2 true JP5230525B2 (ja) | 2013-07-10 |
Family
ID=43125276
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009125845A Active JP5230525B2 (ja) | 2009-05-25 | 2009-05-25 | 画像検索装置およびその方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8412730B2 (ja) |
JP (1) | JP5230525B2 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5736638B2 (ja) * | 2008-10-20 | 2015-06-17 | 株式会社リコー | 画像処理装置 |
US8630489B2 (en) * | 2009-05-05 | 2014-01-14 | Microsoft Corporation | Efficient image matching |
JP5290867B2 (ja) * | 2009-05-25 | 2013-09-18 | キヤノン株式会社 | 画像検索装置およびその方法 |
JP5676942B2 (ja) | 2010-07-06 | 2015-02-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP5249387B2 (ja) | 2010-07-06 | 2013-07-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR101364571B1 (ko) * | 2010-10-06 | 2014-02-26 | 한국전자통신연구원 | 영상 기반의 손 검출 장치 및 그 방법 |
JP5285727B2 (ja) * | 2011-02-22 | 2013-09-11 | シャープ株式会社 | 画像形成装置、および、画像形成方法 |
US8634654B2 (en) | 2011-04-15 | 2014-01-21 | Yahoo! Inc. | Logo or image recognition |
JP5820236B2 (ja) | 2011-10-28 | 2015-11-24 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP5646664B2 (ja) * | 2013-02-15 | 2014-12-24 | ヤフー株式会社 | 画像照合装置及び画像照合方法 |
WO2015012659A1 (en) * | 2013-07-26 | 2015-01-29 | Samsung Electronics Co., Ltd. | Two way local feature matching to improve visual search accuracy |
JP6431302B2 (ja) * | 2014-06-30 | 2018-11-28 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
US11151630B2 (en) | 2014-07-07 | 2021-10-19 | Verizon Media Inc. | On-line product related recommendations |
JP6243827B2 (ja) * | 2014-11-28 | 2017-12-06 | 本田技研工業株式会社 | 画像解析装置、画像特徴情報データベース作成方法並びに意匠類否判定装置及び方法 |
JP6393230B2 (ja) * | 2015-04-20 | 2018-09-19 | 株式会社日立製作所 | オブジェクト検出方法及び画像検索システム |
US9817471B2 (en) * | 2015-09-04 | 2017-11-14 | Panasonic Intellectual Property Corporation Of America | Method for adding information and server apparatus |
WO2017168601A1 (ja) * | 2016-03-30 | 2017-10-05 | 株式会社日立製作所 | 類似画像検索方法およびシステム |
CN107562805B (zh) | 2017-08-08 | 2020-04-03 | 浙江大华技术股份有限公司 | 一种以图搜图的方法及装置 |
JP7088665B2 (ja) * | 2017-09-19 | 2022-06-21 | ヤフー株式会社 | 検索装置、検索方法および検索プログラム |
JP7176638B2 (ja) * | 2019-07-22 | 2022-11-22 | 日本電気株式会社 | 照合位置出力システム |
CN111488933B (zh) * | 2020-04-13 | 2024-02-27 | 上海联影智能医疗科技有限公司 | 图像分类方法、网络、计算机设备和存储介质 |
US20230186591A1 (en) * | 2020-04-13 | 2023-06-15 | Nec Corporation | Information processing device, control method, and storage medium |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59133414A (ja) * | 1983-01-21 | 1984-07-31 | Agency Of Ind Science & Technol | 楕円形状検出方法とその装置 |
JPH07182522A (ja) * | 1993-12-24 | 1995-07-21 | Toshiba Corp | 線対称な物体領域を高速に検出する画像処理装置 |
JPH087033A (ja) | 1994-06-16 | 1996-01-12 | Canon Inc | 情報処理方法及び装置 |
FR2779848B1 (fr) * | 1998-06-15 | 2001-09-14 | Commissariat Energie Atomique | Procede invariant d'indexation d'une image utilisant des caracterisations fractales et par moments |
JP4125273B2 (ja) * | 2004-08-24 | 2008-07-30 | キヤノン株式会社 | 画像処理装置及びその方法、プログラム |
JP4605445B2 (ja) | 2004-08-24 | 2011-01-05 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
US7400784B2 (en) * | 2004-10-19 | 2008-07-15 | Institut National De L'audiovisuel-Ina | Search of similar features representing objects in a large reference database |
JP4859025B2 (ja) * | 2005-12-16 | 2012-01-18 | 株式会社リコー | 類似画像検索装置、類似画像検索処理方法、プログラム及び情報記録媒体 |
JP4196302B2 (ja) * | 2006-06-19 | 2008-12-17 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP2008116207A (ja) * | 2006-10-31 | 2008-05-22 | Fujitsu Ltd | 画像計測装置、画像計測方法及びプログラム |
-
2009
- 2009-05-25 JP JP2009125845A patent/JP5230525B2/ja active Active
-
2010
- 2010-05-12 US US12/778,953 patent/US8412730B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8412730B2 (en) | 2013-04-02 |
US20100299355A1 (en) | 2010-11-25 |
JP2010272092A (ja) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5230525B2 (ja) | 画像検索装置およびその方法 | |
Qi et al. | Imvotenet: Boosting 3d object detection in point clouds with image votes | |
Su et al. | Global localization of a mobile robot using lidar and visual features | |
CN103207898B (zh) | 一种基于局部敏感哈希的相似人脸快速检索方法 | |
US20140010407A1 (en) | Image-based localization | |
Cui et al. | Efficient large-scale structure from motion by fusing auxiliary imaging information | |
CN101727452B (zh) | 图像处理方法和设备 | |
Kushnir et al. | Epipolar geometry estimation for urban scenes with repetitive structures | |
Li et al. | Shrec’16 track: 3D sketch-based 3D shape retrieval | |
Cui et al. | Progressive large-scale structure-from-motion with orthogonal MSTs | |
Ng et al. | Matching of interest point groups with pairwise spatial constraints | |
Dehbi et al. | Robust and fast reconstruction of complex roofs with active sampling from 3D point clouds | |
He et al. | Ssd-monodetr: Supervised scale-aware deformable transformer for monocular 3d object detection | |
JP5304781B2 (ja) | 画像照合装置、画像照合用特徴量格納記憶媒体、画像照合方法および画像照合用プログラム | |
Kim et al. | Cluster Self-Refinement for Enhanced Online Multi-Camera People Tracking | |
JP5995916B2 (ja) | 画像検索装置、方法、及びプログラム | |
Bouksim et al. | New approach for 3D Mesh Retrieval using data envelopment analysis | |
Croitoru et al. | Monocular right-angle building hypothesis generation in regularized urban areas by pose clustering | |
Huang et al. | Improving keypoint matching using a landmark-based image representation | |
Wang et al. | Image matching via the local neighborhood for low inlier ratio | |
khan et al. | Feature set reduction for image matching in large scale environments | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
Chen et al. | Image-based airborne LiDAR point cloud encoding for 3D building model retrieval | |
JP6399651B2 (ja) | 登録装置及び検索装置並びに方法及びプログラム | |
CN108959650A (zh) | 基于共生surf特征的图像检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120525 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130319 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5230525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |