JPWO2012102018A1 - 画像検索装置及び方法、画像処理装置及び方法 - Google Patents

画像検索装置及び方法、画像処理装置及び方法 Download PDF

Info

Publication number
JPWO2012102018A1
JPWO2012102018A1 JP2012554678A JP2012554678A JPWO2012102018A1 JP WO2012102018 A1 JPWO2012102018 A1 JP WO2012102018A1 JP 2012554678 A JP2012554678 A JP 2012554678A JP 2012554678 A JP2012554678 A JP 2012554678A JP WO2012102018 A1 JPWO2012102018 A1 JP WO2012102018A1
Authority
JP
Japan
Prior art keywords
image
feature
conversion
feature point
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012554678A
Other languages
English (en)
Inventor
大樹 工藤
大樹 工藤
西川　博文
博文 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2012102018A1 publication Critical patent/JPWO2012102018A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２を設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。

Description

この発明は、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法に関するものである。
所望の画像検索を行うことで、多くのサービスをユーザに提供することが可能になる。
例えば、絵画、イラスト、ポスターなどが撮影された場合、その撮影画像に関連する情報を提供するなどのサービスが考えられる。
しかし、絵画やイラストなどを撮影する際に、正面から撮影することができないことがある。
例えば、図１３のように、撮影対象であるポスター等とカメラが非平行である場合、歪みが発生する現象、ポスター等の一部が途切れる現象、あるいは、本来含まれない余分な領域が撮影されてしまう現象などが発生し、画像検索の失敗の要因となる。
このため、画像検索技術では、画像の回転・拡大・縮小・切り取りや、照明変動などに対するロバスト性の高さが重要であり、ロバスト性を高めるための様々な方法が提案されている。
例えば、以下の特許文献１には、対応関係がある局所的な特徴量のペアに基づいて、画像の領域を限定することで、よりロバストに画像検索を行う画像検索装置が開示されている。
また、以下の特許文献２には、画像の幾何学的な変動に基づく局所的な画像特徴量の変動に対してロバストに画像検索を行う画像検索装置が開示されている。
特開２０１０−２０４９０８号公報（段落番号［００１０］、図１） 特開２００８−２５７４６９号公報（段落番号［０００７］、図１）
従来の画像検索装置は以上のように構成されているので、特許文献１の場合、クエリ画像に大きな歪みが発生していると、対応関係がある局所的な特徴量のペアを正確に特定することができず、検索精度が劣化することがある課題があった。
また、特許文献２の場合、余分な領域の写り込みや画像の歪みがあると、特徴量の変動が大きくなりやすく、画像がマッチングしないことがある課題があった。
この発明は上記のような課題を解決するためになされたもので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる画像検索装置及び画像検索方法を得ることを目的とする。
また、この発明は、余分な領域の写り込みや歪み等があるクエリ画像に画像処理を施して、そのクエリ画像と類似している画像を正確に検索することができるようにする画像処理装置及び画像処理方法を得ることを目的とする。
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
この発明によれば、検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
この発明の実施の形態１による画像検索装置を示す構成図である。 この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。 この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。 クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。 特徴点の対応付け例を示す説明図である。 この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。 この発明の実施の形態３による画像処理装置を示す構成図である。 この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。 この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。 変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。 この発明の実施の形態５による画像検索装置を示す構成図である。 この発明の実施の形態５による画像検索装置における画像マッチング部６の処理内容を示すフローチャートである。 ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像検索装置を示す構成図である。
図１において、画像特徴量抽出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する処理を実施する。なお、画像特徴量抽出部１は画像特徴量抽出手段を構成している。
画像特徴量データベース２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量を記録している。なお、画像特徴量データベース２は特徴量記録手段を構成している。
画像マッチング部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部１１、変換パラメータ算出部１２及びマッチング判定部１３を実装している。
特徴点ペア探索部１１は画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部１１は特徴点ペア探索手段を構成している。
変換パラメータ算出部１２は特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換（あるいは、参照画像の画像変換）に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する処理を実施する。なお、変換パラメータ算出部１２は変換パラメータ算出手段を構成している。
マッチング判定部１３は変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。
なお、変換パラメータ算出部１２及びマッチング判定部１３からマッチング判定手段が構成されている。
図１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を画像マッチング部３に出力する。
画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は問わないが、例えば、以下の非特許文献１に開示されているようなＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）や、非特許文献２に開示されているような“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”が挙げられる。
ただし、画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類と同一のものであるとする。
即ち、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類がＳＩＦＴであれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量としてＳＩＦＴを抽出する。
また、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類が“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”であれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量として“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”を抽出する。
・非特許文献１
David G. Lowe、 "Object recognition from local scale-invariant features、" IEEE Int. Conf. on Computer Vision、 Sep. 1999、 pp. 1150-1157.
・非特許文献２
M. Bober、 P. Brasnett、 "MPEG-7 visual signature tools、" IEEE Int. Conf. on Multimedia & Expo、 Aug. 2009、 pp.1540-1543.
画像マッチング部３は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得し、そのクエリ画像特徴量と各参照画像特徴量を比較することで、そのクエリ画像と類似している参照画像を検索する。
画像マッチング部３は、クエリ画像と類似している参照画像の集合を検索結果として出力する。
以下、画像マッチング部３の処理内容を具体的に説明する。
画像マッチング部３の特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受け、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（以下、「対応候補ペア」と称する）を探索する（図２のステップＳＴ１）。
即ち、特徴点ペア探索部１１は、クエリ画像特徴量に含まれているクエリ画像内の局所的な特徴量と、参照画像特徴量に含まれている参照画像内の局所的な特徴量との距離（以下、「特徴量間距離」と称する）を算出し、その特徴量間距離が予め定められた閾値より小さければ、その特徴量間距離に係る特徴点のペアは対応候補ペアであると判定する。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出して閾値と比較することで、その特徴量間距離に係る特徴点のペアが対応候補ペアであるか否かを判定する。
上記のようにして、特徴点ペア探索部１１が対応候補ペアの探索処理を行うと、幾つかの対応候補ペアが探索されるが、クエリ画像と参照画像が類似している画像であると認定するには、特徴点ペア探索部１１により探索された対応候補ペアのペア数が規定数以上である必要がある（言うまでもないが、クエリ画像と参照画像が類似していなければ、局所的な特徴量が類似している特徴点の個数が少なくなる）。
そこで、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントするが、特徴点ペア探索部１１により探索された複数の対応候補ペアの中に、同じ特徴点が重複して含まれている可能性がある。
本来、クエリ画像内の特徴点と参照画像内の特徴点は一対一の関係にあるため、同じ特徴点を重複している対応候補ペアを除いて、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントする必要がある。
例えば、クエリ画像内の特徴点がＱ１，Ｑ２，・・・，Ｑ９であり、参照画像内の特徴点がＲ１，Ｒ２，・・・，Ｒ９であるとき、特徴点ペア探索部１１により探索された対応候補ペアが以下の５ペアであるとする。
ペアＡ：Ｑ１とＲ２
ペアＢ：Ｑ１とＲ４
ペアＣ：Ｑ１とＲ７
ペアＤ：Ｑ３とＲ６
ペアＥ：Ｑ９とＲ１
この場合、特徴点ペア探索部１１により探索された対応候補ペアのペア数は５ペアであるが、ペアＡ、ペアＢ、ペアＣにおいて、特徴点Ｑ１が重複しており、同じ特徴点を重複している対応候補ペアを除いてカウントする必要があるため、対応候補ペアのペア数は３ペア（＝５ペア−２ペア）となる。ペアＡ、ペアＢ、ペアＣのうち、２つのペアは対応関係がないペアであるため、対応候補ペアのペア数から２ペアを減算している。
特徴点ペア探索部１１は、特徴点の重複がない対応候補ペアのペア数を規定数と比較し（ステップＳＴ２）、その対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部１２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部１２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部１２に出力する。
変換パラメータ算出部１２は、特徴点ペア探索部１１から特徴点の重複がない対応候補ペアを受けると、その対応候補ペアを用いて、画像変換に用いる射影変換パラメータを算出する（ステップＳＴ３）。
射影変換パラメータは、クエリ画像を参照画像に変換するパラメータでもよいし、参照画像をクエリ画像に変換するパラメータでもよいが、絵画、イラスト、ポスターなどを撮影し、その撮影画像に類似している画像を検索する場合、クエリ画像を参照画像に変換して歪みを補正する方が実用的であるため、この実施の形態１では、クエリ画像を参照画像に変換する射影変換パラメータを算出するものとする。
以下、変換パラメータ算出部１２による射影変換パラメータの算出処理を具体的に説明する。
変換パラメータ算出部１２は、特徴点の重複がない規定数以上の対応候補ペアを受けると、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、下記の式（１）を計算することで、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する（図３のステップＳＴ１１）。
Figure 2012102018
式（１）から分かる通り、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出するには、４組の変換前後の特徴点のＸ座標、Ｙ座標が必要である。
そのため、変換パラメータ算出部１２では、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、４組の対応候補ペアの特徴点の位置を変換前後のＸ座標、Ｙ座標として（対応候補ペアにおけるクエリ画像内の特徴点の位置を変換前の位置（Ｘ座標、Ｙ座標）とし、参照画像内の特徴点の位置を変換後の位置（Ｘ座標、Ｙ座標）とする）、式（１）から連立方程式を立て、その連立方程式を解くことで、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する。
変換パラメータ算出部１２は、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出すると、その射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ１２）。
ここで、図４はクエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。Ｔ１〜Ｔ９はクエリ画像内の射影変換後の特徴点である。
変換パラメータ算出部１２は、クエリ画像内の各特徴点を射影変換すると、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ１３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
変換パラメータ算出部１２は、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
ここで、図５は特徴点の対応付け例を示す説明図である。
図５では、クエリ画像内の９点の特徴点Ｑ１〜Ｑ９の中の特徴点Ｑ１〜Ｑ４と参照画像内の９点の特徴点Ｒ１〜Ｒ９の中の特徴点Ｒ１〜Ｒ４とを用いて射影変換パラメータを算出し、残りの特徴点Ｑ５〜Ｑ９が射影変換された特徴点Ｔ５〜Ｔ９と残りの特徴点Ｒ５〜Ｒ９の距離を算出して、対応付けを行っている例を示している。
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ５とＲ５
ペアＧ：Ｔ５とＲ９
ペアＨ：Ｔ７とＲ６
この場合、ペアＦとペアＧにおいて、特徴点Ｔ５が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
変換パラメータ算出部１２は、対応関係がある特徴点のペア数を得票数としてカウントすると、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ１４）、今回算出した射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ１５）。
ステップＳＴ１１〜ＳＴ１３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理でカウントしている得票数の中の最大の得票数よりも、今回カウントした得票数が大きければ、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するが、１回目の処理の場合、比較対象がないため、今回カウントした得票数が最大の得票数であるとして、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ１１の処理に戻って、ステップＳＴ１１〜ＳＴ１５の処理を繰り返し実施する（ステップＳＴ１６）。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ１５で最終的に記憶しているクエリ画像内の射影変換後の特徴点と、最大の得票数をマッチング判定部１３に出力する。
ここでは、ステップＳＴ１１で、４組の対応候補ペアをランダムに選択し、ステップＳＴ１６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を利用することが可能な場合などでは、全ての対応候補ペアについて、ステップＳＴ１１〜ＳＴ１６に至る処理を実施し、得票数が最大となる場合の射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するようにしてもよい。
この実施の形態１において、４組の対応候補ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
また、得票数が非常に大きい場合には、規定の回数を実施せずに終了するようにしてもよい。
マッチング判定部１３は、以下のようにして、クエリ画像と参照画像のマッチング判定を行う（図２のステップＳＴ４）。
ただし、図２のステップＳＴ２において、特徴点ペア探索部１１により対応候補ペアのペア数が規定数に満たないと判定されている場合、クエリ画像と参照画像は即座にマッチングしていないと判定する。
マッチング判定部１３は、対応候補ペアのペア数が規定数以上ある場合、変換パラメータ算出部１２から出力されたクエリ画像内の射影変換後の特徴点と最大の得票数を用いて、下記の式（２）を計算することで、クエリ画像と参照画像のマッチングスコアＳを算出する。
Figure 2012102018
ここで、式（２）について簡単に説明する。
変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点の中には、図４に示すように、参照画像の範囲外になる特徴点がある（特徴点Ｔ６，Ｔ７）。
このため、式（２）の分母において、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算している。
式（２）の分子における“４”は、射影変換パラメータの算出に用いている特徴点の数である。
したがって、式（２）で算出されるマッチングスコアＳは、参照画像の範囲外に存在している特徴点が除かれたクエリ画像内の特徴点と、参照画像内の特徴点とが対応する割合を示している。
マッチング判定部１３は、クエリ画像と参照画像のマッチングスコアＳを算出すると、そのマッチングスコアＳと予め設定されている閾値Ｓｔｈを比較し、そのマッチングスコアＳが閾値Ｓｔｈより大きければ、クエリ画像と参照画像がマッチングしていると判定する。
なお、図４及び図５の例では、FMatch＝２、FAll＝９、FOut＝２となり、マッチングスコアＳが０．８５となる。
このため、閾値Ｓｔｈが０．８５より小さな値に設定されていれば、クエリ画像と参照画像がマッチングしていると判定される。
ここでは、マッチング判定部１３が、クエリ画像と参照画像のマッチングスコアＳを算出するに際して、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算するようにしているが、変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点が参照画像の範囲外であるか否かを判定する際、種々の要因による誤差を考慮し、参照画像の範囲を僅かに超えていても、参照画像の範囲内であると判定するようにしてもよい。
以上で明らかなように、この実施の形態１によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部１１と、特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２とを設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪みがあるクエリ画像や、一部が切れているクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果を奏する。
実施の形態２．
上記実施の形態１では、特徴点ペア探索部１１が画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索するものを示したが、特徴点ペア探索部１１が対応候補ペアを探索する際、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するようにしてもよい。
この実施の形態２は、上記実施の形態１と比較して、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容だけが相違しているので、以下、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容を具体的に説明する。
図６はこの発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
まず、特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１と同様に、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得する。
特徴点ペア探索部１１は、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、クエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点との全ての組み合わせについて、クエリ画像内の特徴点に対応する局所的な特徴量と、参照画像内の特徴点に対応する局所的な特徴量との距離である特徴量間距離を算出する（ステップＳＴ２１）。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出する。
特徴点ペア探索部１１は、全ての組み合わせについて、特徴量間距離を算出すると、その特徴量間距離の統計量として、その特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを算出する。
また、特徴点ペア探索部１１は、特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを下記の式（３）（４）に代入することで、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出する（ステップＳＴ２２）。
Ｔｈ＝ＡｖｇＤ−α×ＳＤＤ （３）
ＴｈＭａｘ＝ＡｖｇＤ−ＳＤＤ （４）
ただし、αは１以上の定数である。
特徴点ペア探索部１１は、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出すると、全ての組み合わせについて、特徴量間距離と現在の閾値Ｔｈ（最初の段階では、閾値の初期値）を比較して、その特徴量間距離が現在の閾値Ｔｈより小さい特徴点のペア（クエリ画像内の特徴点と、参照画像内の特徴点との組み合わせ）を探索し、その特徴点のペアを対応候補ペアとする（ステップＳＴ２３）。
特徴点ペア探索部１１は、対応候補ペアを探索すると、その対応候補ペアの数がＮペア以上あるか否かを判定する（ステップＳＴ２４）。ここでは、Ｎは４以上であり、射影変換に必要なペア数である。
なお、Ｎが大きい場合、より多くの対応候補ペアが見つかるため、クエリ画像に大きな歪みがある場合などでもマッチングできるが、マッチング処理に時間がかかるので、許容されるマッチング処理時間の範囲内で、大きな値に設定される。
特徴点ペア探索部１１は、対応候補ペアの数がＮペア以上ある場合、対応候補ペアの探索処理を終了するが、対応候補ペアの数がＮペアに満たない場合、現在の閾値Ｔｈと閾値の最大値ＴｈＭａｘを比較する（ステップＳＴ２５）。
特徴点ペア探索部１１は、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ以上であれば、対応候補ペアの探索処理を終了するが、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ未満であれば、その閾値Ｔｈを大きくしてから（ステップＳＴ２６）、ステップＳＴ２３の処理に戻り、対応候補ペアの探索処理を継続する。
閾値Ｔｈを大きくする幅については任意であるが、例えば、０．５×ＳＤＤなどの値が考えられる。
以上で明らかなように、この実施の形態２によれば、特徴点ペア探索部１１が、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するように構成したので、対応候補ペアの探索時における特徴量間距離の閾値Ｔｈを動的に設定することで、対応候補ペアを適応的に探索することが可能になる。また、クエリ画像の歪みが大きい場合などでも、画像のマッチングが可能になる効果を奏する。
実施の形態３．
図７はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変換パラメータ推定部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部２１及び変換パラメータ算出部２２を実装している。
変換パラメータ推定部４の特徴点ペア探索部２１は、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部２１は特徴点ペア探索手段を構成している。
変換パラメータ算出部２２は特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する処理を実施する。なお、変換パラメータ算出部２２は変換パラメータ算出手段を構成している。
画像処理部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、変換パラメータ推定部４の変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力する処理を実施する。なお、画像処理部５は画像変換手段を構成している。
図７の例では、画像処理装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図８はこの発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、上記実施の形態１と同様に、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を変換パラメータ推定部４に出力する。
変換パラメータ推定部４は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得して、クエリ画像の画像変換に用いる射影変換パラメータの推定処理を実施する。
以下、変換パラメータ推定部４の処理内容を具体的に説明する。
変換パラメータ推定部４の特徴点ペア探索部２１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量データベース２に記録されている参照画像特徴量を順次取得し、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索する（ステップＳＴ３１）。
特徴点ペア探索部２１は、１以上の対応候補ペアを探索すると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、１以上の対応候補ペアの中から、同じ特徴点を重複している対応候補ペアを除き、特徴点の重複がない対応候補ペアのペア数を規定数と比較する（ステップＳＴ３２）。
特徴点ペア探索部２１は、対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部２２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部２２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部２２に出力する。
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態１，２の変換パラメータ算出部１２と同様に、その対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出し（ステップＳＴ３３）、その射影変換パラメータを画像処理部５に出力する。
画像処理部５は、変換パラメータ推定部４の変換パラメータ算出部２２から射影変換パラメータを受けると、その射影変換パラメータを用いて、クエリ画像全体の射影変換処理を実施する。
この射影変換処理は、式（１）の射影変換式に則り、クエリ画像の各画素の位置を変換することで行われる。
画像処理部５は、上記の射影変換処理を行った上で、図４の一点鎖線で示す範囲の外側を取り除くことで、変換処理後のクエリ画像に含まれる歪みを取り除くとともに、そのクエリ画像に含まれる余分な部分を除き、変換処理後のクエリ画像の中で参照画像に対応する部分のみを抜き出すことができる。
画像処理部５は、参照画像に対応する部分のクエリ画像を変換画像として出力する。
以上で明らかなように、この実施の形態３によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部２１と、特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する変換パラメータ算出部２２とを設け、画像処理部５が、変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力するように構成したので、クエリ画像に余分な領域の写り込みや歪み等がある場合でも、そのクエリ画像と類似している画像を正確に検索することが可能になる。
実施の形態４．
上記実施の形態３では、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するものを示し、この実施の形態４でも、クエリ画像の画像変換に用いる射影変換パラメータを算出するが、その射影変換パラメータの算出精度を高める処理を実施している点で、上記実施の形態３と相違している。
以下、変換パラメータ算出部２２の処理内容を具体的に説明する。
図９はこの発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
また、図１０は変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態２の変換パラメータ算出部１２と同様に、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択して、射影変換パラメータを算出する（図９のステップＳＴ４１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、上記実施の形態２の変換パラメータ算出部１２と同様に、その射影変換パラメータを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ４２）。
変換パラメータ算出部２２は、クエリ画像内の各特徴点を射影変換すると、上記実施の形態２の変換パラメータ算出部１２と同様に、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ４３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
変換パラメータ算出部２２は、上記実施の形態２の変換パラメータ算出部１２と同様に、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
変換パラメータ算出部２２は、対応関係がある特徴点のペア数を得票数としてカウントし、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ４４）、今回算出した射影変換パラメータと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ４５）。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ４１の処理に戻って、ステップＳＴ４１〜ＳＴ４５の処理を繰り返し実施する（ステップＳＴ４６）。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ４５で最終的に記憶している射影変換パラメータの精度向上処理を行う（ステップＳＴ４７）。
以下、射影変換パラメータの精度向上処理を具体的に説明する。
変換パラメータ算出部２２は、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、射影変換パラメータを算出する（図１０のステップＳＴ５１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、その射影変換パラメータを用いて、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出する（ステップＳＴ５２）。
変換パラメータ算出部２２は、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出すると、クエリ画像内の射影変換後の特徴点と、その特徴点と対応関係がある参照画像内の特徴点との空間距離を算出する（ステップＳＴ５３）。
変換パラメータ算出部２２は、全ての対応ペアについて、特徴点間の空間距離を算出すると、それらの空間距離の和を算出し、その和が、以前に算出している最小の空間距離の和より小さければ（ステップＳＴ５４）、今回算出した射影変換パラメータを記憶する（ステップＳＴ５５）。
ステップＳＴ５１〜ＳＴ５３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理で算出している空間距離の和の中の最小の空間距離の和より、今回算出した空間距離の和が小さければ、今回算出した射影変換パラメータを記憶するが、１回目の処理の場合、比較対象がないため、今回算出した空間距離の和が最小であるとして、今回算出した射影変換パラメータを記憶する。
なお、今回算出した射影変換パラメータを記憶する場合、過去に記憶した射影変換パラメータは破棄する。
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態１において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
画像の歪みなどの影響によって、クエリ画像内の特徴点と参照画像内の特徴点との間に誤差が生じることがあるが、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、再度、射影変換パラメータを算出するとともに、１以上の対応ペアに係る射影変換パラメータの中から、空間距離の和が最小になる対応ペアに係る射影変換パラメータを選択するようにしているので、最も確からしい射影変換パラメータを得ることができる。
以上で明らかなように、この実施の形態４によれば、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアの中から、任意の対応候補ペアを選択する処理と、任意の対応候補ペアを用いて、クエリ画像と参照画像間の画像変換に用いる射影変換パラメータを算出し、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する処理とを繰り返し、任意の対応候補ペアを用いて算出した１以上の射影変換パラメータの中で、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点の対応関係が最も高い（空間距離の和が最小）となる射影変換パラメータを選択して、その射影変換パラメータを画像処理部５に出力するように構成したので、射影変換パラメータの算出精度を高めることができる効果を奏する。
実施の形態５．
図１１はこの発明の実施の形態５による画像検索装置を示す構成図であり、図において、図７と同一符号は同一または相当部分を示すので説明を省略する。
画像特徴量データベース６は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量と、各参照画像全体の特徴量とを記録している。なお、画像特徴量データベース６は特徴量記録手段を構成している。
例えば、前述の“Ｉｍａｇｅ Ｓｉｇａｎａｔｕｒｅ”は、画像全体の特徴量である“Ｇｌｏｂａｌ Ｓｉｇｎａｔｕｒｅ”と画像の局所的な特徴量である“Ｌｏｃａｌ Ｓｉｇｎａｔｕｒｅ”から構成されている。
画像マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う。なお、画像マッチング部７はマッチング判定手段を構成している。
図１１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図１２はこの発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。
画像マッチング部７を実装している点以外は、上記実施の形態４と同様であるため、以下、画像マッチング部７の処理内容を説明する。
画像マッチング部７は、画像処理部５が、変換パラメータ推定部４により算出された射影変換パラメータを用いて、クエリ画像を射影変換すると、射影変換後のクエリ画像を取得する（ステップＳＴ６１）。
なお、射影変換後のクエリ画像の範囲は、参照画像の座標内に収まる範囲（図４の一点鎖線の範囲）であるとする。
画像マッチング部７は、射影変換後のクエリ画像を取得すると、そのクエリ画像全体の特徴量を抽出する（ステップＳＴ６２）。
画像マッチング部７により抽出される特徴量の種類は、画像特徴量データベース６に記録されている参照画像全体の特徴量の種類と同一である。
画像マッチング部７は、クエリ画像全体の特徴量を抽出すると、その特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う（ステップＳＴ６３）。
即ち、クエリ画像全体の特徴量と参照画像全体の特徴量との差分が、所定の閾値より小さければ、画像変換後のクエリ画像と参照画像がマッチングしていると判定する。
画像マッチング部７は、マッチング判定を実施して、マッチングしている参照画像を検索結果として出力する。
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴点が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
以上で明らかなように、この実施の形態５によれば、画像マッチング部７が、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行うように構成したので、クエリ画像内の参照画像に相当する部分の全体と、参照画像全体のマッチングが可能になり、更に正確な画像検索を実施することができる効果を奏する。
上記実施の形態１〜５では、クエリ画像を射影変換して、画像の検索や画像処理を実施するものを示したが、クエリ画像を射影変換以外の変換処理（例えば、アフィン変換、画像の回転・拡大・縮小処理）を実施して、画像の検索や画像処理を実施するようにしてもよい。
射影変換以外の変換処理を実施する場合、対応候補ペア、もしくは、対応ペアは、その処理内容に応じて必要なペア数を変更した上で、変換パラメータの推定が行われることになる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係る画像検索装置及び方法、画像処理装置及び方法は、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができるようにしたため、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法等に用いるのに適している。
１ 画像特徴量抽出部（画像特徴量抽出手段）、２，６ 画像特徴量データベース（特徴量記録手段）、３ 画像マッチング部、４ 変換パラメータ推定部、５ 画像処理部（画像変換手段）、７ 画像マッチング部（マッチング判定手段）、１１ 特徴点ペア探索部（特徴点ペア探索手段）、１２ 変換パラメータ算出部（変換パラメータ算出手段、マッチング判定手段）、１３ マッチング判定部（マッチング判定手段）、２１ 特徴点ペア探索部（特徴点ペア探索手段）、２２ 変換パラメータ算出部（変換パラメータ算出手段）。
この発明は、多数の画像の中からクエリ画像と類似している画像を探索する画像検索装置及び画像検索方法と、クエリ画像に画像処理を施す画像処理装置及び画像処理方法に関するものである。
所望の画像検索を行うことで、多くのサービスをユーザに提供することが可能になる。
例えば、絵画、イラスト、ポスターなどが撮影された場合、その撮影画像に関連する情報を提供するなどのサービスが考えられる。
しかし、絵画やイラストなどを撮影する際に、正面から撮影することができないことがある。
例えば、図１３のように、撮影対象であるポスター等とカメラが非平行である場合、歪みが発生する現象、ポスター等の一部が途切れる現象、あるいは、本来含まれない余分な領域が撮影されてしまう現象などが発生し、画像検索の失敗の要因となる。
このため、画像検索技術では、画像の回転・拡大・縮小・切り取りや、照明変動などに対するロバスト性の高さが重要であり、ロバスト性を高めるための様々な方法が提案されている。
例えば、以下の特許文献１には、対応関係がある局所的な特徴量のペアに基づいて、画像の領域を限定することで、よりロバストに画像検索を行う画像検索装置が開示されている。
また、以下の特許文献２には、画像の幾何学的な変動に基づく局所的な画像特徴量の変動に対してロバストに画像検索を行う画像検索装置が開示されている。
特開２０１０−２０４９０８号公報（段落番号［００１０］、図１） 特開２００８−２５７４６９号公報（段落番号［０００７］、図１）
従来の画像検索装置は以上のように構成されているので、特許文献１の場合、クエリ画像に大きな歪みが発生していると、対応関係がある局所的な特徴量のペアを正確に特定することができず、検索精度が劣化することがある課題があった。
また、特許文献２の場合、余分な領域の写り込みや画像の歪みがあると、特徴量の変動が大きくなりやすく、画像がマッチングしないことがある課題があった。
この発明は上記のような課題を解決するためになされたもので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる画像検索装置及び画像検索方法を得ることを目的とする。
また、この発明は、余分な領域の写り込みや歪み等があるクエリ画像に画像処理を施して、そのクエリ画像と類似している画像を正確に検索することができるようにする画像処理装置及び画像処理方法を得ることを目的とする。
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量と参照画像内の特徴点の局所的な特徴量とを比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量と参照画像内の特徴点の局所的な特徴量とを比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
この発明の実施の形態１による画像検索装置を示す構成図である。 この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。 この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。 クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。 特徴点の対応付け例を示す説明図である。 この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。 この発明の実施の形態３による画像処理装置を示す構成図である。 この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。 この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。 変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。 この発明の実施の形態５による画像検索装置を示す構成図である。 この発明の実施の形態５による画像検索装置における画像マッチング部６の処理内容を示すフローチャートである。 ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像検索装置を示す構成図である。
図１において、画像特徴量抽出部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する処理を実施する。なお、画像特徴量抽出部１は画像特徴量抽出手段を構成している。
画像特徴量データベース２は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量を記録している。なお、画像特徴量データベース２は特徴量記録手段を構成している。
画像マッチング部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部１１、変換パラメータ算出部１２及びマッチング判定部１３を実装している。
特徴点ペア探索部１１は画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部１１は特徴点ペア探索手段を構成している。
変換パラメータ算出部１２は特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換（あるいは、参照画像の画像変換）に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する処理を実施する。なお、変換パラメータ算出部１２は変換パラメータ算出手段を構成している。
マッチング判定部１３は変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行う。
なお、変換パラメータ算出部１２及びマッチング判定部１３からマッチング判定手段が構成されている。
図１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２及び画像マッチング部３の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を画像マッチング部３に出力する。
画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は問わないが、例えば、以下の非特許文献１に開示されているようなＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）や、非特許文献２に開示されているような“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”が挙げられる。
ただし、画像特徴量抽出部１により抽出されるクエリ画像内の特徴点や局所的な特徴量の種類は、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類と同一のものであるとする。
即ち、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類がＳＩＦＴであれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量としてＳＩＦＴを抽出する。
また、画像特徴量データベース２に記録されている参照画像内の特徴点や局所的な特徴量の種類が“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”であれば、画像特徴量抽出部１では、クエリ画像内の特徴点や局所的な特徴量として“Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ”を抽出する。
・非特許文献１
David G. Lowe、 "Object recognition from local scale-invariant features、" IEEE Int. Conf. on Computer Vision、 Sep. 1999、 pp. 1150-1157.
・非特許文献２
M. Bober、 P. Brasnett、 "MPEG-7 visual signature tools、" IEEE Int. Conf. on Multimedia & Expo、 Aug. 2009、 pp.1540-1543.
画像マッチング部３は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得し、そのクエリ画像特徴量と各参照画像特徴量を比較することで、そのクエリ画像と類似している参照画像を検索する。
画像マッチング部３は、クエリ画像と類似している参照画像の集合を検索結果として出力する。
以下、画像マッチング部３の処理内容を具体的に説明する。
画像マッチング部３の特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受け、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（以下、「対応候補ペア」と称する）を探索する（図２のステップＳＴ１）。
即ち、特徴点ペア探索部１１は、クエリ画像特徴量に含まれているクエリ画像内の局所的な特徴量と、参照画像特徴量に含まれている参照画像内の局所的な特徴量との距離（以下、「特徴量間距離」と称する）を算出し、その特徴量間距離が予め定められた閾値より小さければ、その特徴量間距離に係る特徴点のペアは対応候補ペアであると判定する。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出して閾値と比較することで、その特徴量間距離に係る特徴点のペアが対応候補ペアであるか否かを判定する。
上記のようにして、特徴点ペア探索部１１が対応候補ペアの探索処理を行うと、幾つかの対応候補ペアが探索されるが、クエリ画像と参照画像が類似している画像であると認定するには、特徴点ペア探索部１１により探索された対応候補ペアのペア数が規定数以上である必要がある（言うまでもないが、クエリ画像と参照画像が類似していなければ、局所的な特徴量が類似している特徴点の個数が少なくなる）。
そこで、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントするが、特徴点ペア探索部１１により探索された複数の対応候補ペアの中に、同じ特徴点が重複して含まれている可能性がある。
本来、クエリ画像内の特徴点と参照画像内の特徴点は一対一の関係にあるため、同じ特徴点を重複している対応候補ペアを除いて、特徴点ペア探索部１１により探索された対応候補ペアのペア数をカウントする必要がある。
例えば、クエリ画像内の特徴点がＱ１，Ｑ２，・・・，Ｑ９であり、参照画像内の特徴点がＲ１，Ｒ２，・・・，Ｒ９であるとき、特徴点ペア探索部１１により探索された対応候補ペアが以下の５ペアであるとする。
ペアＡ：Ｑ１とＲ２
ペアＢ：Ｑ１とＲ４
ペアＣ：Ｑ１とＲ７
ペアＤ：Ｑ３とＲ６
ペアＥ：Ｑ９とＲ１
この場合、特徴点ペア探索部１１により探索された対応候補ペアのペア数は５ペアであるが、ペアＡ、ペアＢ、ペアＣにおいて、特徴点Ｑ１が重複しており、同じ特徴点を重複している対応候補ペアを除いてカウントする必要があるため、対応候補ペアのペア数は３ペア（＝５ペア−２ペア）となる。ペアＡ、ペアＢ、ペアＣのうち、２つのペアは対応関係がないペアであるため、対応候補ペアのペア数から２ペアを減算している。
特徴点ペア探索部１１は、特徴点の重複がない対応候補ペアのペア数を規定数と比較し（ステップＳＴ２）、その対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部１２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部１２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部１２に出力する。
変換パラメータ算出部１２は、特徴点ペア探索部１１から特徴点の重複がない対応候補ペアを受けると、その対応候補ペアを用いて、画像変換に用いる射影変換パラメータを算出する（ステップＳＴ３）。
射影変換パラメータは、クエリ画像を参照画像に変換するパラメータでもよいし、参照画像をクエリ画像に変換するパラメータでもよいが、絵画、イラスト、ポスターなどを撮影し、その撮影画像に類似している画像を検索する場合、クエリ画像を参照画像に変換して歪みを補正する方が実用的であるため、この実施の形態１では、クエリ画像を参照画像に変換する射影変換パラメータを算出するものとする。
以下、変換パラメータ算出部１２による射影変換パラメータの算出処理を具体的に説明する。
変換パラメータ算出部１２は、特徴点の重複がない規定数以上の対応候補ペアを受けると、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、下記の式（１）を計算することで、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する（図３のステップＳＴ１１）。
Figure 2012102018
式（１）から分かる通り、８つの射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出するには、４組の変換前後の特徴点のＸ座標、Ｙ座標が必要である。
そのため、変換パラメータ算出部１２では、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択し、４組の対応候補ペアの特徴点の位置を変換前後のＸ座標、Ｙ座標として（対応候補ペアにおけるクエリ画像内の特徴点の位置を変換前の位置（Ｘ座標、Ｙ座標）とし、参照画像内の特徴点の位置を変換後の位置（Ｘ座標、Ｙ座標）とする）、式（１）から連立方程式を立て、その連立方程式を解くことで、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出する。
変換パラメータ算出部１２は、射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを算出すると、その射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ１２）。
ここで、図４はクエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。Ｔ１〜Ｔ９はクエリ画像内の射影変換後の特徴点である。
変換パラメータ算出部１２は、クエリ画像内の各特徴点を射影変換すると、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ１３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
変換パラメータ算出部１２は、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
ここで、図５は特徴点の対応付け例を示す説明図である。
図５では、クエリ画像内の９点の特徴点Ｑ１〜Ｑ９の中の特徴点Ｑ１〜Ｑ４と参照画像内の９点の特徴点Ｒ１〜Ｒ９の中の特徴点Ｒ１〜Ｒ４とを用いて射影変換パラメータを算出し、残りの特徴点Ｑ５〜Ｑ９が射影変換された特徴点Ｔ５〜Ｔ９と残りの特徴点Ｒ５〜Ｒ９の距離を算出して、対応付けを行っている例を示している。
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ５とＲ５
ペアＧ：Ｔ５とＲ９
ペアＨ：Ｔ７とＲ６
この場合、ペアＦとペアＧにおいて、特徴点Ｔ５が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
変換パラメータ算出部１２は、対応関係がある特徴点のペア数を得票数としてカウントすると、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ１４）、今回算出した射影変換パラメータａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ１５）。
ステップＳＴ１１〜ＳＴ１３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理でカウントしている得票数の中の最大の得票数よりも、今回カウントした得票数が大きければ、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するが、１回目の処理の場合、比較対象がないため、今回カウントした得票数が最大の得票数であるとして、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ１１の処理に戻って、ステップＳＴ１１〜ＳＴ１５の処理を繰り返し実施する（ステップＳＴ１６）。
変換パラメータ算出部１２は、ステップＳＴ１１〜ＳＴ１５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ１５で最終的に記憶しているクエリ画像内の射影変換後の特徴点と、最大の得票数をマッチング判定部１３に出力する。
ここでは、ステップＳＴ１１で、４組の対応候補ペアをランダムに選択し、ステップＳＴ１６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を利用することが可能な場合などでは、全ての対応候補ペアについて、ステップＳＴ１１〜ＳＴ１６に至る処理を実施し、得票数が最大となる場合の射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶するようにしてもよい。
この実施の形態１において、４組の対応候補ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
また、得票数が非常に大きい場合には、規定の回数を実施せずに終了するようにしてもよい。
マッチング判定部１３は、以下のようにして、クエリ画像と参照画像のマッチング判定を行う（図２のステップＳＴ４）。
ただし、図２のステップＳＴ２において、特徴点ペア探索部１１により対応候補ペアのペア数が規定数に満たないと判定されている場合、クエリ画像と参照画像は即座にマッチングしていないと判定する。
マッチング判定部１３は、対応候補ペアのペア数が規定数以上ある場合、変換パラメータ算出部１２から出力されたクエリ画像内の射影変換後の特徴点と最大の得票数を用いて、下記の式（２）を計算することで、クエリ画像と参照画像のマッチングスコアＳを算出する。
Figure 2012102018
ここで、式（２）について簡単に説明する。
変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点の中には、図４に示すように、参照画像の範囲外になる特徴点がある（特徴点Ｔ６，Ｔ７）。
このため、式（２）の分母において、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算している。
式（２）の分子における“４”は、射影変換パラメータの算出に用いている特徴点の数である。
したがって、式（２）で算出されるマッチングスコアＳは、参照画像の範囲外に存在している特徴点が除かれたクエリ画像内の特徴点と、参照画像内の特徴点とが対応する割合を示している。
マッチング判定部１３は、クエリ画像と参照画像のマッチングスコアＳを算出すると、そのマッチングスコアＳと予め設定されている閾値Ｓｔｈを比較し、そのマッチングスコアＳが閾値Ｓｔｈより大きければ、クエリ画像と参照画像がマッチングしていると判定する。
なお、図４及び図５の例では、FMatch＝２、FAll＝９、FOut＝２となり、マッチングスコアＳが０．８５となる。
このため、閾値Ｓｔｈが０．８５より小さな値に設定されていれば、クエリ画像と参照画像がマッチングしていると判定される。
ここでは、マッチング判定部１３が、クエリ画像と参照画像のマッチングスコアＳを算出するに際して、クエリ画像内の特徴点の数FAllから、射影変換後に参照画像の範囲外になったクエリ画像内の特徴点の数FOutを減算するようにしているが、変換パラメータ算出部１２により射影変換されたクエリ画像内の特徴点が参照画像の範囲外であるか否かを判定する際、種々の要因による誤差を考慮し、参照画像の範囲を僅かに超えていても、参照画像の範囲内であると判定するようにしてもよい。
以上で明らかなように、この実施の形態１によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部１１と、特徴点ペア探索部１１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するとともに、その射影変換パラメータを用いて、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点の位置を変換する変換パラメータ算出部１２とを設け、マッチング判定部１３が、変換パラメータ算出部１２による位置変換後のクエリ画像内の特徴点と参照画像内の特徴点を比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪みがあるクエリ画像や、一部が切れているクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果を奏する。
実施の形態２．
上記実施の形態１では、特徴点ペア探索部１１が画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索するものを示したが、特徴点ペア探索部１１が対応候補ペアを探索する際、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するようにしてもよい。
この実施の形態２は、上記実施の形態１と比較して、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容だけが相違しているので、以下、特徴点ペア探索部１１が対応候補ペアを探索する際の処理内容を具体的に説明する。
図６はこの発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。
まず、特徴点ペア探索部１１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１と同様に、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得する。
特徴点ペア探索部１１は、画像特徴量データベース２に記録されている任意の参照画像特徴量を取得すると、クエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点との全ての組み合わせについて、クエリ画像内の特徴点に対応する局所的な特徴量と、参照画像内の特徴点に対応する局所的な特徴量との距離である特徴量間距離を算出する（ステップＳＴ２１）。
例えば、クエリ画像内の特徴点の個数がＭ個、参照画像内の特徴点の個数がＮ個であれば、特徴点の組み合わせがＭ×Ｎ通りであるので、Ｍ×Ｎ通りの組み合わせについて特徴量間距離を算出する。
特徴点ペア探索部１１は、全ての組み合わせについて、特徴量間距離を算出すると、その特徴量間距離の統計量として、その特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを算出する。
また、特徴点ペア探索部１１は、特徴量間距離の平均値ＡｖｇＤと標準偏差ＳＤＤを下記の式（３）（４）に代入することで、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出する（ステップＳＴ２２）。
Ｔｈ＝ＡｖｇＤ−α×ＳＤＤ （３）
ＴｈＭａｘ＝ＡｖｇＤ−ＳＤＤ （４）
ただし、αは１以上の定数である。
特徴点ペア探索部１１は、閾値の初期値Ｔｈと閾値の最大値ＴｈＭａｘを算出すると、全ての組み合わせについて、特徴量間距離と現在の閾値Ｔｈ（最初の段階では、閾値の初期値）を比較して、その特徴量間距離が現在の閾値Ｔｈより小さい特徴点のペア（クエリ画像内の特徴点と、参照画像内の特徴点との組み合わせ）を探索し、その特徴点のペアを対応候補ペアとする（ステップＳＴ２３）。
特徴点ペア探索部１１は、対応候補ペアを探索すると、その対応候補ペアの数がＮペア以上あるか否かを判定する（ステップＳＴ２４）。ここでは、Ｎは４以上であり、射影変換に必要なペア数である。
なお、Ｎが大きい場合、より多くの対応候補ペアが見つかるため、クエリ画像に大きな歪みがある場合などでもマッチングできるが、マッチング処理に時間がかかるので、許容されるマッチング処理時間の範囲内で、大きな値に設定される。
特徴点ペア探索部１１は、対応候補ペアの数がＮペア以上ある場合、対応候補ペアの探索処理を終了するが、対応候補ペアの数がＮペアに満たない場合、現在の閾値Ｔｈと閾値の最大値ＴｈＭａｘを比較する（ステップＳＴ２５）。
特徴点ペア探索部１１は、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ以上であれば、対応候補ペアの探索処理を終了するが、現在の閾値Ｔｈが閾値の最大値ＴｈＭａｘ未満であれば、その閾値Ｔｈを大きくしてから（ステップＳＴ２６）、ステップＳＴ２３の処理に戻り、対応候補ペアの探索処理を継続する。
閾値Ｔｈを大きくする幅については任意であるが、例えば、０．５×ＳＤＤなどの値が考えられる。
以上で明らかなように、この実施の形態２によれば、特徴点ペア探索部１１が、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索するように構成したので、対応候補ペアの探索時における特徴量間距離の閾値Ｔｈを動的に設定することで、対応候補ペアを適応的に探索することが可能になる。また、クエリ画像の歪みが大きい場合などでも、画像のマッチングが可能になる効果を奏する。
実施の形態３．
図７はこの発明の実施の形態３による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
変換パラメータ推定部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、特徴点ペア探索部２１及び変換パラメータ算出部２２を実装している。
変換パラメータ推定部４の特徴点ペア探索部２１は、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と、画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する処理を実施する。なお、特徴点ペア探索部２１は特徴点ペア探索手段を構成している。
変換パラメータ算出部２２は特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する処理を実施する。なお、変換パラメータ算出部２２は変換パラメータ算出手段を構成している。
画像処理部５は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、変換パラメータ推定部４の変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力する処理を実施する。なお、画像処理部５は画像変換手段を構成している。
図７の例では、画像処理装置の構成要素である画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース２、変換パラメータ推定部４及び画像処理部５の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図８はこの発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。
次に動作について説明する。
画像特徴量抽出部１は、検索対象の画像であるクエリ画像を入力すると、上記実施の形態１と同様に、そのクエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する。
画像特徴量抽出部１は、クエリ画像内の特徴点と、その特徴点周辺の局所的な特徴量を抽出すると、その特徴点と局所的な特徴量を含むクエリ画像特徴量を変換パラメータ推定部４に出力する。
変換パラメータ推定部４は、画像特徴量抽出部１からクエリ画像特徴量を受けると、画像特徴量データベース２に記録されている複数の参照画像特徴量（参照画像内の特徴点、その特徴点周辺の局所的な特徴量）を順次取得して、クエリ画像の画像変換に用いる射影変換パラメータの推定処理を実施する。
以下、変換パラメータ推定部４の処理内容を具体的に説明する。
変換パラメータ推定部４の特徴点ペア探索部２１は、画像特徴量抽出部１からクエリ画像特徴量を受けると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、画像特徴量データベース２に記録されている参照画像特徴量を順次取得し、そのクエリ画像特徴量に含まれているクエリ画像内の特徴点と、その参照画像特徴量に含まれている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペア（対応候補ペア）を探索する（ステップＳＴ３１）。
特徴点ペア探索部２１は、１以上の対応候補ペアを探索すると、上記実施の形態１，２の特徴点ペア探索部１１と同様に、１以上の対応候補ペアの中から、同じ特徴点を重複している対応候補ペアを除き、特徴点の重複がない対応候補ペアのペア数を規定数と比較する（ステップＳＴ３２）。
特徴点ペア探索部２１は、対応候補ペアのペア数が規定数以上であれば、規定数以上の対応候補ペアを変換パラメータ算出部２２に出力する。
一方、その対応候補ペアのペア数が規定数に満たない場合、クエリ画像が当該参照画像と類似していないため、変換パラメータ算出部２２には対応候補ペアを出力しない。
例えば、規定数が４に設定されている場合、対応候補ペアのペア数が４以上であれば、対応候補ペアを変換パラメータ算出部２２に出力する。
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態１，２の変換パラメータ算出部１２と同様に、その対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出し（ステップＳＴ３３）、その射影変換パラメータを画像処理部５に出力する。
画像処理部５は、変換パラメータ推定部４の変換パラメータ算出部２２から射影変換パラメータを受けると、その射影変換パラメータを用いて、クエリ画像全体の射影変換処理を実施する。
この射影変換処理は、式（１）の射影変換式に則り、クエリ画像の各画素の位置を変換することで行われる。
画像処理部５は、上記の射影変換処理を行った上で、図４の一点鎖線で示す範囲の外側を取り除くことで、変換処理後のクエリ画像に含まれる歪みを取り除くとともに、そのクエリ画像に含まれる余分な部分を除き、変換処理後のクエリ画像の中で参照画像に対応する部分のみを抜き出すことができる。
画像処理部５は、参照画像に対応する部分のクエリ画像を変換画像として出力する。
以上で明らかなように、この実施の形態３によれば、クエリ画像内の特徴点を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出部１と、参照画像内の特徴点及び特徴点周辺の局所的な特徴量を記録している画像特徴量データベース２と、画像特徴量抽出部１により抽出されたクエリ画像内の特徴点と画像特徴量データベース２に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索部２１と、特徴点ペア探索部２１により探索された特徴点のペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出する変換パラメータ算出部２２とを設け、画像処理部５が、変換パラメータ算出部２２により算出された射影変換パラメータを用いて、クエリ画像の画像変換を実施し、変換後のクエリ画像を出力するように構成したので、クエリ画像に余分な領域の写り込みや歪み等がある場合でも、そのクエリ画像と類似している画像を正確に検索することが可能になる。
実施の形態４．
上記実施の形態３では、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアを用いて、クエリ画像の画像変換に用いる射影変換パラメータを算出するものを示し、この実施の形態４でも、クエリ画像の画像変換に用いる射影変換パラメータを算出するが、その射影変換パラメータの算出精度を高める処理を実施している点で、上記実施の形態３と相違している。
以下、変換パラメータ算出部２２の処理内容を具体的に説明する。
図９はこの発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。
また、図１０は変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。
変換パラメータ算出部２２は、特徴点ペア探索部２１から特徴点の重複がない対応候補ペアを受けると、上記実施の形態２の変換パラメータ算出部１２と同様に、規定数以上の対応候補ペアの中から、４組の対応候補ペアをランダムに選択して、射影変換パラメータを算出する（図９のステップＳＴ４１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、上記実施の形態２の変換パラメータ算出部１２と同様に、その射影変換パラメータを用いて、クエリ画像内の各特徴点を射影変換して、変換後の各特徴点の位置（座標）を算出する（ステップＳＴ４２）。
変換パラメータ算出部２２は、クエリ画像内の各特徴点を射影変換すると、上記実施の形態２の変換パラメータ算出部１２と同様に、射影変換後の各特徴点と参照画像内の各特徴点との対応付けを実施し、対応関係がある特徴点のペア数を得票数としてカウントする（ステップＳＴ４３）。
特徴点の対応付けは、局所特徴量間の特徴量間距離と、特徴点間の空間距離の２つを用いて行う。また、この対応付けは、射影変換パラメータの算出に用いた特徴点を除いて行う。
特徴量間距離は、クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量と、参照画像の局所的な特徴量から算出する。クエリ画像内の射影変換後の特徴点に対応するクエリ画像の局所的な特徴量は、クエリ画像内の射影変換前の特徴点に対応するクエリ画像の局所的な特徴量をそのまま用いる。
空間距離は、平面における特徴点の座標間の距離を用いる。
変換パラメータ算出部２２は、上記実施の形態２の変換パラメータ算出部１２と同様に、特徴量間距離と空間距離が共に閾値（この閾値は、特徴量間距離と空間距離で異なっていてもよい）を下回る特徴点を対応ペアとする。この対応付けは、同じ特徴点が重複しないようにするために、１つの特徴点に対して２つ以上の対応候補がある場合、距離の重み付け和を参照して、いずれかの特徴点を除くようにする。
変換パラメータ算出部２２は、対応関係がある特徴点のペア数を得票数としてカウントし、その得票数が、以前にカウントしている最大の得票数より大きければ（ステップＳＴ４４）、今回算出した射影変換パラメータと、クエリ画像内の射影変換後の特徴点とを記憶する（ステップＳＴ４５）。
なお、今回算出した射影変換パラメータとクエリ画像内の射影変換後の特徴点とを記憶する場合、過去に記憶した射影変換パラメータとクエリ画像内の射影変換後の特徴点は破棄する。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ４１の処理に戻って、ステップＳＴ４１〜ＳＴ４５の処理を繰り返し実施する（ステップＳＴ４６）。
変換パラメータ算出部２２は、ステップＳＴ４１〜ＳＴ４５の処理を予め設定された規定の回数だけ実施すると、ステップＳＴ４５で最終的に記憶している射影変換パラメータの精度向上処理を行う（ステップＳＴ４７）。
以下、射影変換パラメータの精度向上処理を具体的に説明する。
変換パラメータ算出部２２は、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、射影変換パラメータを算出する（図１０のステップＳＴ５１）。射影変換パラメータの算出方法は、上記実施の形態１と同様である。
変換パラメータ算出部２２は、射影変換パラメータを算出すると、その射影変換パラメータを用いて、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出する（ステップＳＴ５２）。
変換パラメータ算出部２２は、各対応ペアに含まれているクエリ画像内の特徴点を射影変換して、変換後の特徴点の位置（座標）を算出すると、クエリ画像内の射影変換後の特徴点と、その特徴点と対応関係がある参照画像内の特徴点との空間距離を算出する（ステップＳＴ５３）。
変換パラメータ算出部２２は、全ての対応ペアについて、特徴点間の空間距離を算出すると、それらの空間距離の和を算出し、その和が、以前に算出している最小の空間距離の和より小さければ（ステップＳＴ５４）、今回算出した射影変換パラメータを記憶する（ステップＳＴ５５）。
ステップＳＴ５１〜ＳＴ５３の処理がＮ回目（Ｎ＝２，３，・・・）であれば、１回目からＮ−１回目の処理で算出している空間距離の和の中の最小の空間距離の和より、今回算出した空間距離の和が小さければ、今回算出した射影変換パラメータを記憶するが、１回目の処理の場合、比較対象がないため、今回算出した空間距離の和が最小であるとして、今回算出した射影変換パラメータを記憶する。
なお、今回算出した射影変換パラメータを記憶する場合、過去に記憶した射影変換パラメータは破棄する。
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態１において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
画像の歪みなどの影響によって、クエリ画像内の特徴点と参照画像内の特徴点との間に誤差が生じることがあるが、ステップＳＴ４３で探索している対応ペアの中から、４組の対応ペアをランダムに選択して、再度、射影変換パラメータを算出するとともに、１以上の対応ペアに係る射影変換パラメータの中から、空間距離の和が最小になる対応ペアに係る射影変換パラメータを選択するようにしているので、最も確からしい射影変換パラメータを得ることができる。
以上で明らかなように、この実施の形態４によれば、変換パラメータ算出部２２が、特徴点ペア探索部２１により探索された対応候補ペアの中から、任意の対応候補ペアを選択する処理と、任意の対応候補ペアを用いて、クエリ画像と参照画像間の画像変換に用いる射影変換パラメータを算出し、その射影変換パラメータを用いて、クエリ画像内の特徴点の位置を変換する処理とを繰り返し、任意の対応候補ペアを用いて算出した１以上の射影変換パラメータの中で、位置変換後のクエリ画像内の特徴点と参照画像内の特徴点の対応関係が最も高い（空間距離の和が最小）となる射影変換パラメータを選択して、その射影変換パラメータを画像処理部５に出力するように構成したので、射影変換パラメータの算出精度を高めることができる効果を奏する。
実施の形態５．
図１１はこの発明の実施の形態５による画像検索装置を示す構成図であり、図において、図７と同一符号は同一または相当部分を示すので説明を省略する。
画像特徴量データベース６は例えばＲＡＭやハードディスクなどの記憶装置から構成されており、複数の参照画像内の特徴点と、その特徴点周辺の局所的な特徴量と、各参照画像全体の特徴量とを記録している。なお、画像特徴量データベース６は特徴量記録手段を構成している。
例えば、前述の“Ｉｍａｇｅ Ｓｉｇａｎａｔｕｒｅ”は、画像全体の特徴量である“Ｇｌｏｂａｌ Ｓｉｇｎａｔｕｒｅ”と画像の局所的な特徴量である“Ｌｏｃａｌ Ｓｉｇｎａｔｕｒｅ”から構成されている。
画像マッチング部７は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う。なお、画像マッチング部７はマッチング判定手段を構成している。
図１１の例では、画像検索装置の構成要素である画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像検索装置の全部又は一部がコンピュータで構成されるようにしてもよい。この場合には、画像特徴量抽出部１、画像特徴量データベース６、変換パラメータ推定部４、画像処理部５及び画像マッチング部７の処理内容を記述しているプログラムの全部又は一部をコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図１２はこの発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。
画像マッチング部７を実装している点以外は、上記実施の形態４と同様であるため、以下、画像マッチング部７の処理内容を説明する。
画像マッチング部７は、画像処理部５が、変換パラメータ推定部４により算出された射影変換パラメータを用いて、クエリ画像を射影変換すると、射影変換後のクエリ画像を取得する（ステップＳＴ６１）。
なお、射影変換後のクエリ画像の範囲は、参照画像の座標内に収まる範囲（図４の一点鎖線の範囲）であるとする。
画像マッチング部７は、射影変換後のクエリ画像を取得すると、そのクエリ画像全体の特徴量を抽出する（ステップＳＴ６２）。
画像マッチング部７により抽出される特徴量の種類は、画像特徴量データベース６に記録されている参照画像全体の特徴量の種類と同一である。
画像マッチング部７は、クエリ画像全体の特徴量を抽出すると、その特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行う（ステップＳＴ６３）。
即ち、クエリ画像全体の特徴量と参照画像全体の特徴量との差分が、所定の閾値より小さければ、画像変換後のクエリ画像と参照画像がマッチングしていると判定する。
画像マッチング部７は、マッチング判定を実施して、マッチングしている参照画像を検索結果として出力する。
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴点が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
以上で明らかなように、この実施の形態５によれば、画像マッチング部７が、画像処理部５による画像変換後のクエリ画像全体の特徴量を抽出し、そのクエリ画像全体の特徴量と画像特徴量データベース６に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と参照画像のマッチング判定を行うように構成したので、クエリ画像内の参照画像に相当する部分の全体と、参照画像全体のマッチングが可能になり、更に正確な画像検索を実施することができる効果を奏する。
上記実施の形態１〜５では、クエリ画像を射影変換して、画像の検索や画像処理を実施するものを示したが、クエリ画像を射影変換以外の変換処理（例えば、アフィン変換、画像の回転・拡大・縮小処理）を実施して、画像の検索や画像処理を実施するようにしてもよい。
射影変換以外の変換処理を実施する場合、対応候補ペア、もしくは、対応ペアは、その処理内容に応じて必要なペア数を変更した上で、変換パラメータの推定が行われることになる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
１ 画像特徴量抽出部（画像特徴量抽出手段）、２，６ 画像特徴量データベース（特徴量記録手段）、３ 画像マッチング部、４ 変換パラメータ推定部、５ 画像処理部（画像変換手段）、７ 画像マッチング部（マッチング判定手段）、１１ 特徴点ペア探索部（特徴点ペア探索手段）、１２ 変換パラメータ算出部（変換パラメータ算出手段、マッチング判定手段）、１３ マッチング判定部（マッチング判定手段）、２１ 特徴点ペア探索部（特徴点ペア探索手段）、２２ 変換パラメータ算出部（変換パラメータ算出手段）。
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置のみを変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と参照画像内の特徴点の局所的な特徴量の位置とを比較することで、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置のみを変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量の位置と参照画像内の特徴点の局所的な特徴量の位置とを比較することで、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。
この発明の実施の形態１による画像検索装置を示す構成図である。 この発明の実施の形態１による画像検索装置における画像マッチング部３の処理内容を示すフローチャートである。 この発明の実施の形態１による画像検索装置における変換パラメータ算出部１２の処理内容を示すフローチャートである。 クエリ画像における９点の特徴点Ｑ１〜Ｑ９の射影変換例を示す説明図である。 特徴点の対応付け例を示す説明図である。 この発明の実施の形態２による画像検索装置における特徴点ペア探索部１１の処理内容を示すフローチャートである。 この発明の実施の形態３による画像処理装置を示す構成図である。 この発明の実施の形態３による画像処理装置における変換パラメータ推定部４の処理内容を示すフローチャートである。 この発明の実施の形態４による画像処理装置における変換パラメータ算出部２２の処理内容を示すフローチャートである。 変換パラメータ算出部２２による射影変換パラメータの精度向上処理を示すフローチャートである。 この発明の実施の形態５による画像検索装置を示す構成図である。 この発明の実施の形態５による画像検索装置における画像マッチング部７の処理内容を示すフローチャートである。 ポスター等の一部の途切れの発生や、本来含まれない余分な領域が撮影されている様子を示す説明図である。
また、図５では、特徴量間距離の閾値を３．０、空間距離の閾値を２．５としており、この場合に、共に閾値を下回る対応ペアは、下記の３ペアである。
ペアＦ：Ｔ5とＲ5
ペアＧ：Ｔ 9 とＲ 5
ペアＨ：Ｔ7とＲ6
この場合、ペアＦとペアＧにおいて、特徴点Ｒ 5 が重複しているため、特徴量間距離と空間距離の重み付和を算出し、より小さい方のみに投票を行う。
例えば、重みを共に“１”とする場合、ペアＦの方が和が小さくなるため、ペアＦとペアＨのみに投票が行われ、得票数が２となる。
変換パラメータ算出部２２は、ステップＳＴ５１〜ＳＴ５５の処理を予め設定された規定の回数だけ未だ実施していなければ、ステップＳＴ５１の処理に戻って、ステップＳＴ５１〜ＳＴ５５の処理を繰り返し実施する（ステップＳＴ５６）。
ここでは、ステップＳＴ５１で、４組の対応ペアをランダムに選択し、ステップＳＴ５６で、規定の回数だけ実施したか否かを判定して処理を収束させているが、例えば、高性能なＣＰＵを利用することが可能な場合などには、全ての対応ペアについて、ステップＳＴ５１〜ＳＴ５６に至る処理を実施し、空間距離の和が最小の対応ペアについて、射影変換パラメータを算出するようにしてもよい。
この実施の形態４において、４組の対応ペアをランダムに選択しているのは、膨大な計算が必要になるのを防ぐためである。
画像マッチング部７では、クエリ画像全体の特徴量と参照画像全体の特徴量とを比較しているので、局所的な特徴量が偶然類似しているために、マッチングしていると誤判定してしまう状況化でも、正確にマッチングしているか否かを判定することができる。
この発明に係る画像検索装置は、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて画像特徴量抽出手段により抽出されたクエリ画像内のみの特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、クエリ画像と参照画像のマッチング判定を行うようにしたものである。
この発明によれば、検索対象の画像であるクエリ画像内の特徴点の位置を抽出するとともに、その特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点の位置及び特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、特徴点ペア探索手段により探索された特徴点のペアを用いて、特徴点ペア間の位置関係に基づいて画像変換に用いる変換パラメータを算出する変換パラメータ算出手段とを設け、マッチング判定手段が、変換パラメータ算出手段により算出された変換パラメータを用いて画像特徴量抽出手段により抽出されたクエリ画像内のみの特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点の局所的な特徴量及び位置と参照画像内の特徴点の局所的な特徴量及び位置とを比較して算出した局所特徴量間の特徴量間距離及び特徴点間の空間距離が共に閾値を下回る特徴点のペアの数を用いて、クエリ画像と参照画像のマッチング判定を行うように構成したので、余分な領域の写り込みや歪み等があるクエリ画像であっても、そのクエリ画像と類似している画像を正確に検索することができる効果がある。

Claims (12)

  1. 検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び上記特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点を比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段とを備えた画像検索装置。
  2. 特徴点ペア探索手段は、クエリ画像内の特徴点周辺の局所的な特徴量と、参照画像内の特徴点周辺の局所的な特徴量との距離の統計量を用いて閾値を設定し、局所的な特徴量が対応している特徴点のペアとして、上記距離が上記閾値より小さい特徴点のペアを探索することを特徴とする請求項１記載の画像検索装置。
  3. 検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点及び上記特徴点周辺の局所的な特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段とを備えた画像処理装置。
  4. 変換パラメータ算出手段は、特徴点ペア探索手段により探索された特徴点のペアの中から、任意の特徴点のペアを選択する処理と、
    上記特徴点のペアを用いて、画像変換に用いる変換パラメータを算出し、上記変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、
    任意の特徴点のペアを用いて算出した１以上の変換パラメータの中で、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点の対応関係が最も高い変換パラメータを選択して、上記変換パラメータを画像変換手段に出力する
    ことを特徴とする請求項３記載の画像処理装置。
  5. 検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出手段と、参照画像内の特徴点、上記特徴点周辺の局所的な特徴量及び上記参照画像全体の特徴量を記録している特徴量記録手段と、上記画像特徴量抽出手段により抽出されたクエリ画像内の特徴点と上記特徴量記録手段に記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索手段と、上記特徴点ペア探索手段により探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出手段と、上記変換パラメータ算出手段により算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換手段と、上記画像変換手段による画像変換後のクエリ画像全体の特徴量を抽出し、上記画像変換手段による画像変換後のクエリ画像全体の特徴量と上記特徴量記録手段に記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と上記参照画像のマッチング判定を行うマッチング判定手段とを備えた画像検索装置。
  6. 変換パラメータ算出手段は、特徴点ペア探索手段により探索された特徴点のペアの中から、任意の特徴点のペアを選択する処理と、
    上記特徴点のペアを用いて、画像変換に用いる変換パラメータを算出し、上記変換パラメータを用いて、上記クエリ画像内の特徴点の位置を変換する処理とを繰り返し、
    任意の特徴点のペアを用いて算出した１以上の変換パラメータの中で、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点の対応関係が最も高い変換パラメータを選択して、上記変換パラメータを画像変換手段に出力する
    ことを特徴とする請求項５記載の画像検索装置。
  7. クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項１記載の画像検索装置。
  8. クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項５記載の画像検索装置。
  9. クエリ画像及び参照画像内の特徴点と上記特徴点周辺の局所的な特徴量が、Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅであることを特徴とする請求項３記載の画像処理装置。
  10. 画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、マッチング判定手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点の位置を変換し、位置変換後のクエリ画像内の特徴点と上記参照画像内の特徴点を比較することで、上記クエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップとを備えた画像検索方法。
  11. 画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、画像変換手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップとを備えた画像処理方法。
  12. 画像特徴量抽出手段が検索対象の画像であるクエリ画像内の特徴点を抽出するとともに、上記特徴点周辺の局所的な特徴量を抽出する画像特徴量抽出処理ステップと、特徴点ペア探索手段が上記画像特徴量抽出処理ステップで抽出されたクエリ画像内の特徴点と予め記録されている参照画像内の特徴点の中で、局所的な特徴量が対応している特徴点のペアを探索する特徴点ペア探索処理ステップと、変換パラメータ算出手段が上記特徴点ペア探索処理ステップで探索された特徴点のペアを用いて、画像変換に用いる変換パラメータを算出する変換パラメータ算出処理ステップと、画像変換手段が上記変換パラメータ算出処理ステップで算出された変換パラメータを用いて、上記クエリ画像の画像変換を行う画像変換処理ステップと、マッチング判定手段が上記画像変換処理ステップによる画像変換後のクエリ画像全体の特徴量を抽出し、上記クエリ画像全体の特徴量と予め記録されている参照画像全体の特徴量を比較することで、画像変換後のクエリ画像と上記参照画像のマッチング判定を行うマッチング判定処理ステップとを備えた画像検索方法。
JP2012554678A 2011-01-25 2012-01-24 画像検索装置及び方法、画像処理装置及び方法 Pending JPWO2012102018A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011013012 2011-01-25
JP2011013012 2011-01-25
PCT/JP2012/000421 WO2012102018A1 (ja) 2011-01-25 2012-01-24 画像検索装置及び方法、画像処理装置及び方法

Publications (1)

Publication Number Publication Date
JPWO2012102018A1 true JPWO2012102018A1 (ja) 2014-06-30

Family

ID=46580594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012554678A Pending JPWO2012102018A1 (ja) 2011-01-25 2012-01-24 画像検索装置及び方法、画像処理装置及び方法

Country Status (3)

Country Link
JP (1) JPWO2012102018A1 (ja)
CN (1) CN103329166A (ja)
WO (1) WO2012102018A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014056486A (ja) * 2012-09-13 2014-03-27 Hitachi Ltd 画像ネットワークシステム、画像表示端末および画像処理方法
US9020982B2 (en) * 2012-10-15 2015-04-28 Qualcomm Incorporated Detection of planar targets under steep angles
JP5866064B2 (ja) * 2013-04-09 2016-02-17 株式会社日立国際電気 画像検索装置、画像検索方法、および記録媒体
JP2015060421A (ja) * 2013-09-19 2015-03-30 株式会社バッファロー 類似画像検索方法及び類似画像検索装置
JP7087681B2 (ja) * 2018-05-30 2022-06-21 ヤマハ株式会社 画像処理方法、画像処理装置およびプログラム
IT202100012143A1 (it) * 2021-05-12 2022-11-12 Speakart S R L Metodo per il confronto di immagini digitali, in particolare per la valutazione di opere artistiche
JP2023042935A (ja) * 2021-09-15 2023-03-28 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102502A (ja) * 2008-10-23 2010-05-06 Canon Inc 画像処理装置、画像処理方法およびプログラム
WO2010083420A1 (en) * 2009-01-16 2010-07-22 A9.Com, Inc. System and method to match images
JP2010266964A (ja) * 2009-05-12 2010-11-25 Canon Inc 画像検索装置及びその制御方法並びにプログラム
JP2011002966A (ja) * 2009-06-17 2011-01-06 Canon Inc 画像検索装置及びその制御方法並びにプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4213112B2 (ja) * 2004-11-09 2009-01-21 シャープ株式会社 画像検索装置、画像形成装置、画像検索装置の制御方法、画像検索プログラムおよびコンピュータ読取り可能な記録媒体
US8280196B2 (en) * 2009-05-12 2012-10-02 Canon Kabushiki Kaisha Image retrieval apparatus, control method for the same, and storage medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010102502A (ja) * 2008-10-23 2010-05-06 Canon Inc 画像処理装置、画像処理方法およびプログラム
WO2010083420A1 (en) * 2009-01-16 2010-07-22 A9.Com, Inc. System and method to match images
JP2010266964A (ja) * 2009-05-12 2010-11-25 Canon Inc 画像検索装置及びその制御方法並びにプログラム
JP2011002966A (ja) * 2009-06-17 2011-01-06 Canon Inc 画像検索装置及びその制御方法並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
西川 博文 外３名: ""ＭＰＥＧ−７技術 −Ｉｍａｇｅ Ｓｉｇｎａｔｕｒｅ：画像同定技術−"", 三菱電機技報, vol. 第８２巻 第１２号, JPN6013058288, 25 December 2008 (2008-12-25), pages 27 - 30, ISSN: 0002690225 *

Also Published As

Publication number Publication date
CN103329166A (zh) 2013-09-25
WO2012102018A1 (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
WO2012102018A1 (ja) 画像検索装置及び方法、画像処理装置及び方法
CN109977262B (zh) 从视频中获取候选片段的方法、装置及处理设备
JP6354589B2 (ja) 物体識別装置、方法及びプログラム
US9984280B2 (en) Object recognition system using left and right images and method
JP5818327B2 (ja) 三次元物体認識用画像データベースの作成方法および作成装置
KR20010053788A (ko) 내용기반 이미지 검색 시스템 및 그 방법
JP6278276B2 (ja) 物体識別装置、物体識別方法、及びプログラム
JPWO2014030399A1 (ja) 物体識別装置、物体識別方法、及びプログラム
US8660302B2 (en) Apparatus and method for tracking target
JPWO2009060975A1 (ja) 特徴点配置照合装置及び画像照合装置、その方法及びプログラム
JP2015111339A (ja) 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム
EP2717223A1 (en) Information processing device, information processing method, and information processing program
WO2020050413A1 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
Gonzalez-Diaz et al. Neighborhood matching for image retrieval
JPWO2012046426A1 (ja) 物体検出装置、物体検出方法および物体検出プログラム
Choi et al. Face feature weighted fusion based on fuzzy membership degree for video face recognition
JP2018526754A (ja) 画像処理装置、画像処理方法及び記憶媒体
TW202109357A (zh) 視覺定位方法、電子設備及電腦可讀儲存介質
Sahbi et al. Robust face recognition using dynamic space warping
CN111461196B (zh) 基于结构特征的快速鲁棒图像识别跟踪方法和装置
JP5520353B2 (ja) ＢｏＦ表現生成装置及びＢｏＦ表現生成方法
Smeets et al. Symmetric surface-feature based 3D face recognition for partial data
KR102306319B1 (ko) 포즈 추정 매핑 데이터를 생성하는 방법, 프로그램 및 컴퓨팅 장치
WO2021145030A1 (ja) 映像検索システム、映像検索方法、及びコンピュータプログラム
JP2014225168A (ja) 特徴点集合で表される画像間の類似度を算出するプログラム、装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140416

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140520