JP5646664B2 - 画像照合装置及び画像照合方法 - Google Patents
画像照合装置及び画像照合方法 Download PDFInfo
- Publication number
- JP5646664B2 JP5646664B2 JP2013027337A JP2013027337A JP5646664B2 JP 5646664 B2 JP5646664 B2 JP 5646664B2 JP 2013027337 A JP2013027337 A JP 2013027337A JP 2013027337 A JP2013027337 A JP 2013027337A JP 5646664 B2 JP5646664 B2 JP 5646664B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- local feature
- pair
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 49
- 238000006243 chemical reaction Methods 0.000 claims description 100
- 230000009466 transformation Effects 0.000 claims description 71
- 230000006978 adaptation Effects 0.000 claims description 65
- 238000004364 calculation method Methods 0.000 claims description 41
- 230000009467 reduction Effects 0.000 claims description 10
- 238000012790 confirmation Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 description 31
- 238000012545 processing Methods 0.000 description 28
- 230000000007 visual effect Effects 0.000 description 24
- 238000000605 extraction Methods 0.000 description 17
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、画像照合装置及び画像照合方法に関するものである。
下記特許文献１に示されるように、局所特徴量を用いた画像照合手法が知られている。なお、画像照合は画像認識と呼ばれることがある。この文献の手法では、画像を複数の部分に分割し、各部分に対応して局所特徴量を抽出し、この局所特徴量を用いて類似画像検索を行うことができる。これらの局所特徴量は、画像の特徴を精度良く表すために、通常、多次元のベクトルデータとされている。
ところで、下記特許文献１にも示されているように、局所特徴量を用いた類似画像検索では、計算量が膨大となる傾向がある。
そこで、局所特徴量を高速に検索するために、ビジュアルキーワードあるいはＢｏＦ（Bag of Features）という手法が提案されている。この手法では、複数の局所特徴量を予めクラスタリングすることにより、クラスタを代表する局所特徴量（つまりビジュアルキーワード）を算出する。さらに、各クラスタにＩＤを付す。これにより、各局所特徴量を、それが属するクラスタのＩＤに紐付けることができる。
すると、ある画像に対応する複数の局所特徴量の集合は、クラスタＩＤのヒストグラム（集合ということもできる）により置き換えることができる。このクラスタＩＤのヒストグラムを、ＢｏＦ表現あるいは単にＢｏＦと呼ぶ。一枚の画像に対応して、一つのＢｏＦ表現を得ることができる。生成されたＢｏＦ表現は、一般に転置ファイルによって検索できる。なお、ＢｏＦ表現を「特徴ベクトル」と称することがあるが、本明細書では、画像の特徴量を示す特徴ベクトルとの混同を避けるため、ＢｏＦ表現という用語を用いる。
このように、ＢｏＦ表現を用いることにより、局所特徴量を量子化して、データ量を減らすことができる。しかも、ＢｏＦ表現の検索には転置ファイルを利用できるので、局所特徴量自体を用いるよりも高速な類似画像検索（つまり画像認識）が可能となる。
ところで、ＢｏＦ表現を用いた画像照合においては、検索で得られた候補画像（学習画像）と認識対象画像との間における類似性あるいは同一性の確信度を検証することが提案されている。この確信度検証手法の一例を以下に説明する。
前提として、候補画像と認識対象画像とにおいては、いずれにも、複数の局所特徴量が含まれている。これらの局所特徴量は、同じビジュアルキーワードに紐づいている場合、類似性が高いと推定することができる。例えば、候補画像Ａの局所特徴量ａｉと認識対象画像Ｂの局所特徴量ｂｊとが同じビジュアルキーワードｖｋに紐づいている場合、これらの特徴量ａｉとｂｊとは類似性が高いと考えることができる。つまり、これらの特徴量ａｉとｂｊとは、特徴量の類似性（距離）により対応付けられた特徴点ペアと把握できる。そこで、この類似性による対応関係を用いて各特徴点の座標位置の照合を行う。
この照合においては、前記のように、特徴量の類似性（距離）により対応付けられた特徴点ペア（前記の例であればａｉとｂｊ）を２組選択する。ついで、画像の座標系において、一方の画像（例えば画像Ａ）上の点から他方の画像（たとえば画像Ｂ）上の点に座標変換するためのアフィン変換の係数を求める。求めたアフィン変換係数を用いて、一方の画像（例えば画像Ａ）における、その他の点を座標変換する。変換して得られた点と、画像Ｂ上における対応点との距離を比較し、既定位置内であれば一致数（適合数）をカウントアップする。得られた一致数の合計を一致確信度とする。この一致確信度と既定値とを比較し、一致確信度が既定値よりも高い場合、照合成功とすることができる。
しかしながら、候補画像と認識対象画像とが、いずれも同一オブジェクトについてのものであっても、一致確信度が低い場合があり、この場合には、本来照合成功とされるべき画像が不成功とされてしまう。一方、一致確信度の閾値を単に下げてしまうと、照合されるべきでない画像を照合成功としてしまう確率が高くなる。
なお、下記特許文献２では、ランダムに選択された特徴点ペアから算出されたアフィン変換への投票により、オブジェクトのモデル姿勢を推定する技術が示されている。しかしながら、これは、正しいアフィン変換パラメータをクラスタリングにより推定しようとする手法に過ぎず、アフィン変換への投票数を照合閾値とするものではない。
本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的は、画像照合精度の向上が可能な技術を提供することである。
本発明は、以下のいずれかの項目に記載の構成とされている。
（項目１）
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う装置であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部は、ｎ個の基準ペアを取得する構成となっており、
前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
前記変換係数算出部は、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされており、
前記変換加算部は、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされており、
前記照合判定部は、前記合計投票数を用いて前記照合を判定する構成とされている
ことを特徴とする画像照合装置。
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う装置であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部は、ｎ個の基準ペアを取得する構成となっており、
前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
前記変換係数算出部は、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされており、
前記変換加算部は、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされており、
前記照合判定部は、前記合計投票数を用いて前記照合を判定する構成とされている
ことを特徴とする画像照合装置。
（項目２）
さらに、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えており、
前記対象ペア取得部は、前記幾何変換係数の算出において使用されていない前記基準ペアを、対象ペアとして取得する構成となっており、
前記座標変換部は、前記対象ペアを構成する第１及び第２局所特徴量のうちの一方を、前記変換係数算出部により得た幾何変換係数を用いて幾何変換する構成とされており、
前記距離計算部は、前記座標変換部により幾何変換された局所特徴量と、前記対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされており、
前記適合数加算部は、前記距離計算部で算出された距離が既定条件に合致する場合に、前記座標変換部で用いた前記幾何変換係数についての適合数に投票する構成とされており、
前記適合数判定部は、前記適合数加算部で得られた前記適合数に基づいて、投票対象である前記幾何変換係数が既定条件に合致するかどうかを判定する構成とされており、
前記変換加算部は、前記適合数判定部において既定条件に合致しないと判定された前記幾何変換係数については、前記合計投票数を求めるための投票を行わない構成とされている
項目１に記載の画像照合装置。
さらに、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えており、
前記対象ペア取得部は、前記幾何変換係数の算出において使用されていない前記基準ペアを、対象ペアとして取得する構成となっており、
前記座標変換部は、前記対象ペアを構成する第１及び第２局所特徴量のうちの一方を、前記変換係数算出部により得た幾何変換係数を用いて幾何変換する構成とされており、
前記距離計算部は、前記座標変換部により幾何変換された局所特徴量と、前記対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされており、
前記適合数加算部は、前記距離計算部で算出された距離が既定条件に合致する場合に、前記座標変換部で用いた前記幾何変換係数についての適合数に投票する構成とされており、
前記適合数判定部は、前記適合数加算部で得られた前記適合数に基づいて、投票対象である前記幾何変換係数が既定条件に合致するかどうかを判定する構成とされており、
前記変換加算部は、前記適合数判定部において既定条件に合致しないと判定された前記幾何変換係数については、前記合計投票数を求めるための投票を行わない構成とされている
項目１に記載の画像照合装置。
（項目３）
さらに未処理ペア確認部を備えており、
前記未処理ペア確認部は、前記幾何変換係数の算出において使用されておらず、かつ、前記対象ペアとして未だ取得されていない前記基準ペアがあるか否か判定し、ある場合には、前記対象ペア取得部により対象ペアとして取得させる構成となっている
項目２に記載の画像照合装置。
さらに未処理ペア確認部を備えており、
前記未処理ペア確認部は、前記幾何変換係数の算出において使用されておらず、かつ、前記対象ペアとして未だ取得されていない前記基準ペアがあるか否か判定し、ある場合には、前記対象ペア取得部により対象ペアとして取得させる構成となっている
項目２に記載の画像照合装置。
（項目４）
前記ｎの数は、前記幾何変換係数を求めるために必要な前記基準ペアの個数に基づいて決定されている
項目１〜３のいずれか１項に記載の画像照合装置。
前記ｎの数は、前記幾何変換係数を求めるために必要な前記基準ペアの個数に基づいて決定されている
項目１〜３のいずれか１項に記載の画像照合装置。
（項目５）
さらに、適合数閾値減少部を備えており、
前記適合数判定部における前記既定条件とは、前記適合数が既定の閾値を越えるかどうかであり、
前記適合数閾値減少部は、前記変換係数算出部で算出された各々の前記幾何変換係数への前記合計投票数がいずれも前記既定の閾値を越えない場合に、前記適合数判定部での前記既定の閾値を減少させる構成となっている
項目２に記載の画像照合装置。
さらに、適合数閾値減少部を備えており、
前記適合数判定部における前記既定条件とは、前記適合数が既定の閾値を越えるかどうかであり、
前記適合数閾値減少部は、前記変換係数算出部で算出された各々の前記幾何変換係数への前記合計投票数がいずれも前記既定の閾値を越えない場合に、前記適合数判定部での前記既定の閾値を減少させる構成となっている
項目２に記載の画像照合装置。
（項目６）
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う方法であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部が、ｎ個の基準ペアを取得するステップを備えており、
ここで、前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
さらに、前記方法は、
前記変換係数算出部が、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出するステップと、
前記変換加算部が、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求めるステップと、
前記照合判定部が、前記合計投票数を用いて前記照合を判定するステップとを備える
ことを特徴とする画像照合方法。
第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う方法であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部が、ｎ個の基準ペアを取得するステップを備えており、
ここで、前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
さらに、前記方法は、
前記変換係数算出部が、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出するステップと、
前記変換加算部が、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求めるステップと、
前記照合判定部が、前記合計投票数を用いて前記照合を判定するステップとを備える
ことを特徴とする画像照合方法。
（項目７）
項目６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
項目６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。
本発明によれば、画像照合精度の向上が可能な技術を提供することが可能となる。
（本実施形態の構成）
本実施形態の照合装置は、学習部１と、認識部２と、ビジュアルキーワードＤＢ３と、ＢｏＦＤＢ４とを備えている（図１参照）。
本実施形態の照合装置は、学習部１と、認識部２と、ビジュアルキーワードＤＢ３と、ＢｏＦＤＢ４とを備えている（図１参照）。
（学習部の構成）
学習部１は、局所特徴量抽出部１１と、ＢｏＦ生成部１２と、ＢｏＦ登録部１３とを備えている（図２参照）。
学習部１は、局所特徴量抽出部１１と、ＢｏＦ生成部１２と、ＢｏＦ登録部１３とを備えている（図２参照）。
局所特徴量抽出部１１は、入力データとしての学習画像Ａから、局所特徴量を抽出するように構成されている。局所特徴量とは、画像の局部的な特徴を表すためのデータであり、ベクトルデータとして表現されることが多い。局所特徴量の抽出方法としては、例えばＳＩＦＴアルゴリズムのような既存の手法を用いることができる。本実施形態において使用できる局所特徴量の種類及びその抽出方法に特に制約はない。局所特徴量については、既によく知られている（例えば前記した特許文献２の「背景技術」を参照）ので、これについての詳しい説明は省略する。なお、画像上（つまりピクセル空間上）において局所特徴量が抽出される部分（局所）のことを、この明細書において特徴点と呼ぶことがある。
ＢｏＦ生成部１２は、局所特徴量抽出部１１により抽出された各局所特徴量に対応するビジュアルキーワードを、ビジュアルキーワードＤＢ３を参照することによって特定する。これにより、ビジュアルキーワード毎の、局所特徴量のヒストグラムを生成することができる。このヒストグラムは、いわゆるＢｏＦ表現として用いられるものである。
ＢｏＦ登録部１３は、生成されたＢｏＦ表現を、ＢｏＦＤＢ４に格納する構成となっている。
（認識部の構成）
認識部２は、局所特徴量抽出部２１と、ＢｏＦ生成部２２と、ＢｏＦ検索部２３と、照合処理部２４と、出力部２５とを備えている（図３参照）。
認識部２は、局所特徴量抽出部２１と、ＢｏＦ生成部２２と、ＢｏＦ検索部２３と、照合処理部２４と、出力部２５とを備えている（図３参照）。
局所特徴量抽出部２１は、認識対象画像Ｂから局所特徴量を抽出する構成となっている。局所特徴量抽出部２１の構成は、学習部１における局所特徴量抽出部１１と同様とすることが可能なので、これについての詳しい説明は省略する。あるいは、局所特徴量抽出部１１を構成する一つのプログラムモジュールを、局所特徴量２１に兼用することも可能である。
ＢｏＦ生成部２２は、局所特徴量２１において抽出された局所特徴量を用いて、ＢｏＦ表現を生成するものである。ＢｏＦ生成部２２は、学習部１におけるＢｏＦ生成部１２と同様とすることが可能なので、これについての詳しい説明は省略する。あるいは、ＢｏＦ生成部１２を構成する一つのプログラムモジュールを、ＢｏＦ生成部２２に兼用することも可能である。
ＢｏＦ検索部２３は、ＢｏＦ生成部２２で生成されたＢｏＦ表現（つまり認識対象画像に対応するＢｏＦ表現）を用いて、ＢｏＦＤＢ４を検索し、類似するＢｏＦ表現（つまり何らかの学習画像に対応するＢｏＦ表現）を取得する構成となっている。これは、ＢｏＦ表現を用いて、認識対象画像にもっとも近い学習画像データを特定することを意味する。
照合処理部２４は、ＢｏＦ検索部２３で得られたＢｏＦ表現に対応する画像データの照合処理を行うものである。つまり照合処理部２４は、第１画像（例えば学習画像）と第２画像（例えば認識対象画像）との同一性あるいは類似性に基づいて、画像どうしの照合を行う構成となっている。照合処理部２４の詳しい構成は後述する。
出力部２５は、認識（つまり照合）処理の結果を、適宜の出力先（例えば記憶媒体や表示装置や他の処理器）に出力する構成となっている。
（ビジュアルキーワードＤＢの構成）
ビジュアルキーワードＤＢ３は、ＢｏＦ作成のためのビジュアルキーワードを予め格納しておくためのＤＢである。ビジュアルキーワードとは、画像の局所特徴量との類似性（距離）を計算するための何らかのベクトルデータであることが多いが、データの種類や構造は特に制約されない。ビジュアルキーワードの生成や格納方法については、従来と同様とすることができるので、詳しい説明は省略する。
ビジュアルキーワードＤＢ３は、ＢｏＦ作成のためのビジュアルキーワードを予め格納しておくためのＤＢである。ビジュアルキーワードとは、画像の局所特徴量との類似性（距離）を計算するための何らかのベクトルデータであることが多いが、データの種類や構造は特に制約されない。ビジュアルキーワードの生成や格納方法については、従来と同様とすることができるので、詳しい説明は省略する。
（ＢｏＦＤＢの構成）
ＢｏＦＤＢ４は、学習データに対応するＢｏＦ表現を格納するためのＤＢである。ＤＢの構造は特に制約されない。ＢｏＦＤＢ４についても、従来のＢｏＦ表現用のＤＢと同様とすることができるので、詳しい説明は省略する。
ＢｏＦＤＢ４は、学習データに対応するＢｏＦ表現を格納するためのＤＢである。ＤＢの構造は特に制約されない。ＢｏＦＤＢ４についても、従来のＢｏＦ表現用のＤＢと同様とすることができるので、詳しい説明は省略する。
（照合処理部の構成）
以下、照合処理部２４の構成例を、図４をさらに参照しながら説明する。照合処理部２４は、この実施形態では、基準ペア生成部２４１と、基準ペア取得部２４２と、変換係数算出部２４３と、適合数処理部２４４と、変換加算部２４５と、変換最大カウント抽出部２４６と、照合判定部２４７とを備えている。ただし、これらの要素をすべて備えることは必須ではなく、用途に応じて不要な機能要素を省略することができる。
以下、照合処理部２４の構成例を、図４をさらに参照しながら説明する。照合処理部２４は、この実施形態では、基準ペア生成部２４１と、基準ペア取得部２４２と、変換係数算出部２４３と、適合数処理部２４４と、変換加算部２４５と、変換最大カウント抽出部２４６と、照合判定部２４７とを備えている。ただし、これらの要素をすべて備えることは必須ではなく、用途に応じて不要な機能要素を省略することができる。
基準ペア生成部２４１は、基準ペアを生成する構成となっている。基準ペアとは、第１画像（例えば学習画像Ａ）から抽出された局所特徴量（この明細書では「第１局所特徴量」という）と、第２画像（例えば認識対象画像Ｂ）から抽出された局所特徴量（この明細書では「第２局所特徴量という」）とで構成される「組」である。この基準ペアを構成する第１局所特徴量と第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられている。本実施形態の基準ペア生成部２４１は、同じビジュアルキーワードが付された第１局所特徴量と第２局所特徴量との組を基準ペアとする。第１画像の局所特徴量と第２画像の局所特徴量とが、同じビジュアルキーワードに紐づいている場合、それらの特徴量間での、特徴量空間上での距離は比較的に近いと考えることができる。したがって、ビジュアルキーワードを用いた基準ペアの生成は、特徴量空間での距離に基づいて対応付けられたペア関係の生成であるということができる。また、本実施形態の基準ペア生成部２４１は、複数の基準ペアを生成し、それらを基準ペア集合として保持しておく。
基準ペア取得部２４２は、基準ペア集合から、必要な個数の（つまりｎ個の）基準ペアを取得する構成となっている。前記ｎの数は、後述する変換係数算出部２４３において幾何変換係数を求めるために必要な基準ペアの個数に基づいて決定される。
変換係数算出部２４３は、取得されたｎ個の基準ペアに属する第１局所特徴量及び第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされている。ここで、幾何変換とは、例えば２次元アフィン変換であり、その場合、幾何変換係数とは、２次元アフィン変換係数である。ただし、幾何変換として、他の種類のものを用いることは可能である。なお、本実施形態の説明では、２次元アフィン変換のことを単にアフィン変換と称することがある。２次元アフィン変換の場合、前記した基準ペアの個数ｎは２個となる。また、本実施形態の説明では、特に断らない限り、ｎ＝２とする例を前提として説明する。ただし、必要となる基準ペアの個数は、幾何変換の種類によって異なる。
適合数処理部２４４は、変換係数算出部２４３で算出された変換係数の信頼性を示す適合数を処理する構成となっている。適合数処理部２４４の具体的構成例は後述する。
変換加算部２４５は、算出された幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされている。
照合判定部２４７は、合計投票数を用いて、画像間の照合を判定する構成とされている。
前記の構成により、本実施形態の画像照合装置は、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えたものとなっている。
（適合数処理部の構成）
適合数処理部２４４は、この実施形態では、対象ペア取得部２４４１と、座標変換部２４４２と、距離計算部２４４３と、適合数加算部２４４４と、未処理ペア確認部２４４５と、適合数判定部２４４６と、適合数閾値減少部２４４７とを備えている。ただし、適合数処理部２４４においては、用途や必要性に応じて、いずれかの構成要素を省略することができる。
適合数処理部２４４は、この実施形態では、対象ペア取得部２４４１と、座標変換部２４４２と、距離計算部２４４３と、適合数加算部２４４４と、未処理ペア確認部２４４５と、適合数判定部２４４６と、適合数閾値減少部２４４７とを備えている。ただし、適合数処理部２４４においては、用途や必要性に応じて、いずれかの構成要素を省略することができる。
対象ペア取得部２４４１は、幾何変換係数の算出において使用されていない基準ペアを、対象ペアとして取得する構成となっている。
座標変換部２４４２は、対象ペアを構成する第１及び第２局所特徴量のうちの一方を、変換係数算出部２４３により得た幾何変換係数を用いて幾何変換する構成とされている。
距離計算部２４４３は、座標変換部２４４２により幾何変換された局所特徴量と、対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされている。
適合数加算部２４４４は、距離計算部２４４３で算出された距離が既定条件に合致する場合に、座標変換部２４４２で用いた幾何変換係数についての適合数に投票する構成とされている。ここで既定条件とは、例えば既定の閾値を越えることである。
未処理ペア確認部２４４５は、基準ペア生成部２４１で生成された基準ペア集合において、座標変換部２４４２での変換係数の算出に使用されておらず、しかも、対象ペアとしても使用されていない基準ペアが存在するかどうかを確認する構成となっている。例えば、未処理ペア確認部２４４５は、データの使用状況を、そのデータに付したフラグにより判断することができる。
適合数判定部２４４６は、適合数加算部２４４４で得られた適合数に基づいて、投票対象である幾何変換係数が既定条件に合致するかどうかを判定する構成とされている。ここで既定条件とは、例えば既定の閾値を越えるかどうかである。
ここで、前記した変換加算部２４５は、適合数判定部２４４６において既定条件に合致しないと判定された幾何変換係数については、合計投票数を求めるための投票を行わない構成とされている。
適合数閾値減少部２４４７は、変換係数算出部２４３で算出された各々の幾何変換係数への合計投票数がいずれも既定の閾値を越えない場合に、適合数判定部２４４６での既定の閾値を減少させる構成となっている。
前記の構成により、本実施形態の画像照合装置は、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えたものとなっている。
画像照合装置についてのさらに詳しい構成は、本実施形態の動作として後述する。
（本実施形態の動作）
以下、本実施形態に係る画像照合装置を用いた画像照合方法を説明する。まず、図５を主に参照しながら、学習及び認識の全体的動作を説明する。
以下、本実施形態に係る画像照合装置を用いた画像照合方法を説明する。まず、図５を主に参照しながら、学習及び認識の全体的動作を説明する。
（学習動作）
（図５のステップＳＡ−１）
学習部１の局所特徴量抽出部１１は、複数の学習画像から、局所特徴量を抽出する。図６（ａ）に、学習画像の一例を示し、図６（ｂ）に、抽出された特徴点を画像空間上に配置した一例を示す。図６（ａ）では、局所特徴として特定された箇所の一例に丸を付した。なお、図６は、あくまで概念的な説明に過ぎず、正確なものではない。
（図５のステップＳＡ−１）
学習部１の局所特徴量抽出部１１は、複数の学習画像から、局所特徴量を抽出する。図６（ａ）に、学習画像の一例を示し、図６（ｂ）に、抽出された特徴点を画像空間上に配置した一例を示す。図６（ａ）では、局所特徴として特定された箇所の一例に丸を付した。なお、図６は、あくまで概念的な説明に過ぎず、正確なものではない。
（図５のステップＳＡ−２）
ついで、ＢｏＦ生成部１２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
ついで、ＢｏＦ生成部１２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
（図５のステップＳＡ−３）
ついで、ＢｏＦ登録部１３は、ＢｏＦ生成部１２で生成されたＢｏＦ表現を、ＢｏＦＤＢ４に格納する。
ついで、ＢｏＦ登録部１３は、ＢｏＦ生成部１２で生成されたＢｏＦ表現を、ＢｏＦＤＢ４に格納する。
以上の学習動作は、一般的なＢｏＦ表現の生成と同様なのでこれ以上詳しい説明は省略する。
（認識動作）
（図５のステップＳＢ−１）
認識部２の局所特徴量抽出部２１は、認識対象である画像から、局所特徴量を抽出する。図６（ｃ）に、認識対象画像の一例を示し、図６（ｄ）に、そこから抽出された特徴点を画像空間上に配置した一例を示す。図６（ｃ）では、局所特徴として特定された箇所の一例に丸を付した。
（図５のステップＳＢ−１）
認識部２の局所特徴量抽出部２１は、認識対象である画像から、局所特徴量を抽出する。図６（ｃ）に、認識対象画像の一例を示し、図６（ｄ）に、そこから抽出された特徴点を画像空間上に配置した一例を示す。図６（ｃ）では、局所特徴として特定された箇所の一例に丸を付した。
（図５のステップＳＢ−２）
ついで、認識部２のＢｏＦ生成部２２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
ついで、認識部２のＢｏＦ生成部２２は、ビジュアルキーワードＤＢ３を参照して、ＢｏＦ表現を生成する。
（図５のステップＳＢ−３）
ついで、ＢｏＦ検索部２３は、ＢｏＦ生成部２２で生成されたＢｏＦ表現（つまり認識対象画像の特徴量を量子化して得られたもの）に類似するＢｏＦ表現（つまり学習画像の特徴量を量子化して得られたもの）を、ＢｏＦＤＢ４から検索する。ここで、一般的には、最も類似度が高く、かつ、既定の類似度を超えるＢｏＦ表現を検索する。しかしながら、他の基準を用いて、類似度の高いＢｏＦ表現を特定することも可能である。なお、ＢｏＦ表現どうしの類似度は、例えば、ＢｏＦ表現をベクトル量と見なし、ベクトル量間の距離を計算することによって得ることができる。このようなＢｏＦ表現を用いた画像検索手法自体は、従来の技術と同様でよいので、これについての詳しい説明は省略する。
ついで、ＢｏＦ検索部２３は、ＢｏＦ生成部２２で生成されたＢｏＦ表現（つまり認識対象画像の特徴量を量子化して得られたもの）に類似するＢｏＦ表現（つまり学習画像の特徴量を量子化して得られたもの）を、ＢｏＦＤＢ４から検索する。ここで、一般的には、最も類似度が高く、かつ、既定の類似度を超えるＢｏＦ表現を検索する。しかしながら、他の基準を用いて、類似度の高いＢｏＦ表現を特定することも可能である。なお、ＢｏＦ表現どうしの類似度は、例えば、ＢｏＦ表現をベクトル量と見なし、ベクトル量間の距離を計算することによって得ることができる。このようなＢｏＦ表現を用いた画像検索手法自体は、従来の技術と同様でよいので、これについての詳しい説明は省略する。
（図５のステップＳＢ−４）
ついで、照合処理部２４により、照合処理を行う。この照合処理においては、検索されたＢｏＦ表現の最大確信度を算出し、この最大確信度が基準を満たすかどうかにより、照合の成否を決定する。照合成功の場合、検索されたＢｏＦ表現、あるいはそれに紐づいた画像データに関する情報を出力部２５により出力することができる。照合処理については図７を参照して詳しく説明する。
ついで、照合処理部２４により、照合処理を行う。この照合処理においては、検索されたＢｏＦ表現の最大確信度を算出し、この最大確信度が基準を満たすかどうかにより、照合の成否を決定する。照合成功の場合、検索されたＢｏＦ表現、あるいはそれに紐づいた画像データに関する情報を出力部２５により出力することができる。照合処理については図７を参照して詳しく説明する。
（照合処理）
（図７のステップＳＣ−１）
まず、照合処理部２４の基準ペア生成部２４１により、複数の基準ペアを含むペア集合を生成する。本実施形態における基準ペアの生成について、図８をさらに参照して説明する。画像（認識対象画像及び学習画像）における局所特徴量（図８において×印で示す）を特徴量空間に配置したとする。そして、特徴量間の距離に基づいて、図８に示すクラスタ＃１〜＃４が生成できたとする。この場合、クラスタに対応して、それぞれ別のビジュアルキーワードを割り振ることができる。すると、同じビジュアルキーワードに紐づいている特徴量は、特徴量空間における距離が概ね近いものとなる。したがって、同じビジュアルキーワードに紐づく特徴量のうち、第１画像（学習画像）に由来するものと第２画像（認識対象画像）に由来するものとを特定すれば、基準ペアを容易に生成することができる。もちろん、このようにビジュアルキーワードを基準とすることに代えて、特徴量間の距離を直接計算することによって、基準ペアを生成することは可能である。このように特定された二組の基準ペアを、図６の図（ａ）と図（ｃ）との間を結ぶ線によって模式的に示している。この例では、第１画像（学習画像）における二つの局所特徴量（第１局所特徴量）と、第２画像（認識対象画像）における二つの局所特徴量（第２局所特徴量）とが対応しており、これによって、二組の基準ペアが生成されている。多数の局所特徴点をピクセル空間上に示したものが図６（ｂ）及び（ｄ）である。ここでも、基準ペアの関係を、特徴点間を結ぶ実線で示している。
（図７のステップＳＣ−１）
まず、照合処理部２４の基準ペア生成部２４１により、複数の基準ペアを含むペア集合を生成する。本実施形態における基準ペアの生成について、図８をさらに参照して説明する。画像（認識対象画像及び学習画像）における局所特徴量（図８において×印で示す）を特徴量空間に配置したとする。そして、特徴量間の距離に基づいて、図８に示すクラスタ＃１〜＃４が生成できたとする。この場合、クラスタに対応して、それぞれ別のビジュアルキーワードを割り振ることができる。すると、同じビジュアルキーワードに紐づいている特徴量は、特徴量空間における距離が概ね近いものとなる。したがって、同じビジュアルキーワードに紐づく特徴量のうち、第１画像（学習画像）に由来するものと第２画像（認識対象画像）に由来するものとを特定すれば、基準ペアを容易に生成することができる。もちろん、このようにビジュアルキーワードを基準とすることに代えて、特徴量間の距離を直接計算することによって、基準ペアを生成することは可能である。このように特定された二組の基準ペアを、図６の図（ａ）と図（ｃ）との間を結ぶ線によって模式的に示している。この例では、第１画像（学習画像）における二つの局所特徴量（第１局所特徴量）と、第２画像（認識対象画像）における二つの局所特徴量（第２局所特徴量）とが対応しており、これによって、二組の基準ペアが生成されている。多数の局所特徴点をピクセル空間上に示したものが図６（ｂ）及び（ｄ）である。ここでも、基準ペアの関係を、特徴点間を結ぶ実線で示している。
（図７のステップＳＣ−２）
後述のステップＳＣ−１２での判断がＹｅｓであった場合、適合数閾値減少部２４４７が適合数閾値を減少させる。これについては後述する。初回の動作においてはこのステップは飛ばしてよい。
後述のステップＳＣ−１２での判断がＹｅｓであった場合、適合数閾値減少部２４４７が適合数閾値を減少させる。これについては後述する。初回の動作においてはこのステップは飛ばしてよい。
（図７のステップＳＣ−３）
ついで、基準ペア取得部２４２が、ペア集合の中から、二組の基準ペアを取得する。この二組の基準ペアを、この明細書では、第１基準ペア及び第２基準ペアと呼ぶことがある。
ついで、基準ペア取得部２４２が、ペア集合の中から、二組の基準ペアを取得する。この二組の基準ペアを、この明細書では、第１基準ペア及び第２基準ペアと呼ぶことがある。
（図７のステップＳＣ−４）
ついで、変換係数算出部２４３が、座標変換係数を算出する。本例では、座標変換として、二次元アフィン変換を用いる例を説明している。図６を参照すると、二組の基準ペアに属する二つの第１局所特徴量（図６（ｄ）参照）の座標から、同じ二組の基準ペアに属する二つの第２局所特徴量の座標への変換するための変換係数を算出する。二次元アフィン変換であれば、二組の基準ペア（一般的には四つの一次式により表現できる）により、回転（１自由度）と伸縮（１自由度）と移動（２自由度）という四つのパラメータを算出できる。これらのパラメータで構成される組が変換係数の具体例に対応する。本実施形態では、画像の座標系を前提とするので、これら四つのパラメータを取得できれば、以降の処理において十分である。なお、すでに述べたように、変換係数の算出のために必要なペア数は、座標変換の種類により決まる。
ついで、変換係数算出部２４３が、座標変換係数を算出する。本例では、座標変換として、二次元アフィン変換を用いる例を説明している。図６を参照すると、二組の基準ペアに属する二つの第１局所特徴量（図６（ｄ）参照）の座標から、同じ二組の基準ペアに属する二つの第２局所特徴量の座標への変換するための変換係数を算出する。二次元アフィン変換であれば、二組の基準ペア（一般的には四つの一次式により表現できる）により、回転（１自由度）と伸縮（１自由度）と移動（２自由度）という四つのパラメータを算出できる。これらのパラメータで構成される組が変換係数の具体例に対応する。本実施形態では、画像の座標系を前提とするので、これら四つのパラメータを取得できれば、以降の処理において十分である。なお、すでに述べたように、変換係数の算出のために必要なペア数は、座標変換の種類により決まる。
（図７のステップＳＣ−５）
ついで、適合数処理部２４４の対象ペア取得部２４４１は、ペア集合に属する基準ペアのうち、座標変換として使用されていない基準ペアを取得する。このように取得された基準ペアを対象ペアと称する。
ついで、適合数処理部２４４の対象ペア取得部２４４１は、ペア集合に属する基準ペアのうち、座標変換として使用されていない基準ペアを取得する。このように取得された基準ペアを対象ペアと称する。
（図７のステップＳＣ−６）
ついで、座標変換部２４４２は、対象ペア取得部２４４１で取得された対象ペアを構成する第１及び第２局所特徴量のうちの一方の座標（第一座標と称する。図６（ｄ）において符号ｐ１を付した。）に対して、変換係数算出部２４３で算出された変換係数を適用することによって幾何変換を行う。また、座標変換後の座標をここでは第三座標と称することとする。
ついで、座標変換部２４４２は、対象ペア取得部２４４１で取得された対象ペアを構成する第１及び第２局所特徴量のうちの一方の座標（第一座標と称する。図６（ｄ）において符号ｐ１を付した。）に対して、変換係数算出部２４３で算出された変換係数を適用することによって幾何変換を行う。また、座標変換後の座標をここでは第三座標と称することとする。
（図７のステップＳＣ−７）
ついで、距離計算部２４４３は、座標変換部２４４２により幾何変換された局所特徴量の座標（第三座標）と、対象ペアを構成する第１及び第２局所特徴量のうちの他方の座標（第二座標）との距離を算出する（図６（ｅ）参照）。ここで、第三座標（図６において符号ｐ３）及び第二座標（図６において符号ｐ２）は画像上（つまりピクセル空間上）のものなので、両者間の距離は画像上での距離となる。
ついで、距離計算部２４４３は、座標変換部２４４２により幾何変換された局所特徴量の座標（第三座標）と、対象ペアを構成する第１及び第２局所特徴量のうちの他方の座標（第二座標）との距離を算出する（図６（ｅ）参照）。ここで、第三座標（図６において符号ｐ３）及び第二座標（図６において符号ｐ２）は画像上（つまりピクセル空間上）のものなので、両者間の距離は画像上での距離となる。
（図７のステップＳＣ−８）
ついで、適合数加算部２４４４は、距離計算部２４４３で算出された距離が既定条件に合致する場合に、座標変換部２４４２で用いた幾何変換係数についての適合数に投票する。ここで既定条件とは、例えば距離が既定の閾値以内にあることであるが、例えば何らかのパラメータを用いて条件を動的に生成することも可能である。投票により適合数が増加する。通常、投票される数値は１なので、初回の動作では、適合数が０から１に遷移する。なお、適合数に投票される数値を何らかの条件で変動させることも可能である。
ついで、適合数加算部２４４４は、距離計算部２４４３で算出された距離が既定条件に合致する場合に、座標変換部２４４２で用いた幾何変換係数についての適合数に投票する。ここで既定条件とは、例えば距離が既定の閾値以内にあることであるが、例えば何らかのパラメータを用いて条件を動的に生成することも可能である。投票により適合数が増加する。通常、投票される数値は１なので、初回の動作では、適合数が０から１に遷移する。なお、適合数に投票される数値を何らかの条件で変動させることも可能である。
（図７のステップＳＣ−９）
ついで、未処理ペア確認部２４４５は、ペア集合中に、「基準ペアとされておらず、しかも対象ペアとされていないペア」があるかどうかを判断する。この判定は、例えば、基準ペアあるいは対象ペアとされたデータにフラグを付するなどの適宜な手段によって実行できる。そのような未処理ペアがあれば、手順はステップＳＣ−５に戻り、前記の処理を繰り返す。未処理ペアがなければ、手順は次のステップＳＣ−１０に進む。これにより、適合数への投票の手順を繰り返すことができる。
ついで、未処理ペア確認部２４４５は、ペア集合中に、「基準ペアとされておらず、しかも対象ペアとされていないペア」があるかどうかを判断する。この判定は、例えば、基準ペアあるいは対象ペアとされたデータにフラグを付するなどの適宜な手段によって実行できる。そのような未処理ペアがあれば、手順はステップＳＣ−５に戻り、前記の処理を繰り返す。未処理ペアがなければ、手順は次のステップＳＣ−１０に進む。これにより、適合数への投票の手順を繰り返すことができる。
（図７のステップＳＣ−１０）
適合数判定部２４４６は、適合数加算部２４４４での加算により得られた適合数に基づいて、「投票対象である幾何変換係数が既定条件に合致するかどうか」を判定する。ここで既定条件とは、例えば、既定の閾値以上であることである。しかしながら、既定条件として、何らかのパラメータを用いて動的に算出される条件を用いることも可能である。ステップＳＣ−１０での判定結果がＮｏ（つまり閾値以上）であれば、ステップＳＣ−１２に進む。判定結果がＹｅｓ（つまり閾値未満）であれば、ステップＳＣ−１１に進む。
適合数判定部２４４６は、適合数加算部２４４４での加算により得られた適合数に基づいて、「投票対象である幾何変換係数が既定条件に合致するかどうか」を判定する。ここで既定条件とは、例えば、既定の閾値以上であることである。しかしながら、既定条件として、何らかのパラメータを用いて動的に算出される条件を用いることも可能である。ステップＳＣ−１０での判定結果がＮｏ（つまり閾値以上）であれば、ステップＳＣ−１２に進む。判定結果がＹｅｓ（つまり閾値未満）であれば、ステップＳＣ−１１に進む。
この処理により、変換加算部２４５は、適合数判定部２４４６において既定条件に合致しないと判定された幾何変換係数については、合計投票数を求めるための投票（後述のステップＳＣ−１３〜１４）を行わない構成となる。
（図７のステップＳＣ−１１）
適合数閾値減少部２４４７は、適合数の閾値が下限に達していない場合、ステップＳＣ−２に戻り、適合数の閾値を減少させる。その後は、前記と同様の手順が繰り返される。適合数閾値が下限に達している場合、照合判定部２４７は、照合失敗と判定する。ここで適合数閾値の減少幅は、処理の迅速さと照合精度とを考慮して、例えば実験的に決定することができる。
適合数閾値減少部２４４７は、適合数の閾値が下限に達していない場合、ステップＳＣ−２に戻り、適合数の閾値を減少させる。その後は、前記と同様の手順が繰り返される。適合数閾値が下限に達している場合、照合判定部２４７は、照合失敗と判定する。ここで適合数閾値の減少幅は、処理の迅速さと照合精度とを考慮して、例えば実験的に決定することができる。
この手順により、照合のための適合数閾値を徐々に減少させることができる。閾値を最初から低く設定すると、不正確な照合の頻度が増えるという問題を生じるが、本実施形態では、照合失敗の場合に、徐々に閾値を減少させるので、照合の信頼性を向上させることができる。すなわち、本実施形態では、認識率と誤認識率とのバランスを適切に設定できるという利点がある。
（図７のステップＳＣ−１２）
このステップにおいて、変換加算部２４５は、変換テーブルに、前記した手順により算出された変換係数と類似する変換があるか否かを確認する。ここで、変換が類似するかどうかの判定手法は、特に制約されないが、例えば以下のいずれかのように行うことができる。もちろん他の手法も可能である。
（１）変換係数ごとに差分値の閾値を設定しておき、変換係数ごとの差分値が閾値以内であれば類似すると判定する手法；
（２）変換係数の空間を想定し、その空間内での距離が閾値以内であれば類似すると判定する手法。
このステップにおいて、変換加算部２４５は、変換テーブルに、前記した手順により算出された変換係数と類似する変換があるか否かを確認する。ここで、変換が類似するかどうかの判定手法は、特に制約されないが、例えば以下のいずれかのように行うことができる。もちろん他の手法も可能である。
（１）変換係数ごとに差分値の閾値を設定しておき、変換係数ごとの差分値が閾値以内であれば類似すると判定する手法；
（２）変換係数の空間を想定し、その空間内での距離が閾値以内であれば類似すると判定する手法。
変換テーブルの一例を図９に示す。このテーブルにおいて、変換ＩＤは、座標変換係数（この例ではアフィン変換係数）ごとに付されるＩＤである。
（図７のステップＳＣ−１３〜１４）
類似する変換があれば、変換加算部２４５は、類似の変換に投票することによって、その変換への投票数をカウントアップする。図９の例では、変換ＩＤごとのカウント数ｘｉ（ここでｉは０〜ｎまでの整数）に対して加算する。つまり、カウント数ｘｉ+１として、カウント数を更新する。ただし加算の幅を適宜調整することは可能である。
類似する変換があれば、変換加算部２４５は、類似の変換に投票することによって、その変換への投票数をカウントアップする。図９の例では、変換ＩＤごとのカウント数ｘｉ（ここでｉは０〜ｎまでの整数）に対して加算する。つまり、カウント数ｘｉ+１として、カウント数を更新する。ただし加算の幅を適宜調整することは可能である。
類似する変換がない場合、変換加算部２４５は、当該の変換係数を変換テーブルに追加し、新たなＩＤを付す（ステップＳＣ−１４）。
（図７のステップＳＣ−１５）
ついで、基準ペア取得部２４２は、ペア集合に、基準ペアとして未使用のペアがあるかどうかを判定する。あれば手順はステップＳＣ−３に戻り、以降の手順を繰り返す。なければステップＳＣ−１６に進む。
ついで、基準ペア取得部２４２は、ペア集合に、基準ペアとして未使用のペアがあるかどうかを判定する。あれば手順はステップＳＣ−３に戻り、以降の手順を繰り返す。なければステップＳＣ−１６に進む。
（図７のステップＳＣ−１６）
ついで、変換最大カウント抽出部２４６は、各変換係数に対する投票数のうちで最大のもの（変換最大カウント）を算出する。変換最大カウントは、ステップＳＣ−１３でカウントアップされたカウント数を変換テーブルに記録しておけば簡単に得ることができる。
ついで、変換最大カウント抽出部２４６は、各変換係数に対する投票数のうちで最大のもの（変換最大カウント）を算出する。変換最大カウントは、ステップＳＣ−１３でカウントアップされたカウント数を変換テーブルに記録しておけば簡単に得ることができる。
（図７のステップＳＣ−１７〜ＳＣ−１８）
ついで、照合判定部２４７は、変換最大カウントが既定条件（例えば閾値以上であること）を満たせば、認識対象画像に対する照合の成功（あるいは認識の成功）と判定することができる。
ついで、照合判定部２４７は、変換最大カウントが既定条件（例えば閾値以上であること）を満たせば、認識対象画像に対する照合の成功（あるいは認識の成功）と判定することができる。
本実施形態では、照合が成功した場合、変換最大カウントに対応する座標変換係数を算出しておく（ステップＳＣ−１８）。これを用いて、例えば認識対象画像の座標変換を行ない、その結果をユーザに提示することができる。ただし、このような座標変換は必須ではなく、省略可能である。
変換最大カウントが既定条件を満たさない場合、ステップＳＣ−１１に移り、以降の処理を繰り返す。
本実施形態においては、適正な変換係数を直接的に推定するのではなく、類似の変換係数に対して投票し、その投票数が既定条件を満たすことにより照合成功としているので、当初に得られた変換係数が誤っていたとしても、適正な照合を行うことができるという利点がある。この点は次のようにも説明できる。すなわち、一般的に、学習画像の撮影条件と認識対象画像の撮影条件との相違（例えば撮影方向とかレンズパラメータの相違）が大きい場合には、画像間の対比によって変換係数を直接に算出しても、正確な推定を行うことは難しい。これに対して、本実施形態では、前記のようにして得られた個々の変換係数を投票することによって照合を行うので、照合精度が向上すると考えられる。
また、本実施形態では、適合数処理部２４４を用いて、適合数を基準とした変換係数の信頼性を検証しているので、照合の信頼性を向上させることができる。ただし、本実施形態において、適合数処理部２４４を用いることは必須ではなく、ステップＳＣ−５〜ＳＣ−１０を省略することも可能である。
また、本実施形態では、適合数処理部２４４を用いて、変換係数についてのある程度の信頼性を確認しているので、ステップＳＣ−１５において、全ての基準ペアについて変換カウントを算出する必要はない。例えば、一つの変換係数に対する投票数が閾値を越えたとき（ステップＳＣ−１７参照）に、照合成功とすることもできる。このようにすれば、照合精度を維持しつつ、照合処理を迅速に完了することができるという利点がある。
なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
１ 学習部
１１ 局所特徴量抽出部
１２ ＢｏＦ生成部
１３ ＢｏＦ登録部
２ 認識部
２１ 局所特徴量抽出部
２２ ＢｏＦ生成部
２３ ＢｏＦ検索部
２４ 照合処理部
２４１ 基準ペア生成部
２４２ 基準ペア取得部
２４３ 変換係数算出部
２４４ 適合数処理部
２４４１ 対象ペア取得部
２４４２ 座標変換部
２４４３ 距離計算部
２４４４ 適合数加算部
２４４５ 未処理ペア確認部
２４４６ 適合数判定部
２４４７ 適合数閾値減少部
２４５ 変換加算部
２４６ 変換最大カウント抽出部
２４７ 照合判定部
２５ 出力部
３ ビジュアルキーワードＤＢ
４ ＢｏＦＤＢ
Ａ 学習画像（候補画像）
Ｂ 認識対象画像
１１ 局所特徴量抽出部
１２ ＢｏＦ生成部
１３ ＢｏＦ登録部
２ 認識部
２１ 局所特徴量抽出部
２２ ＢｏＦ生成部
２３ ＢｏＦ検索部
２４ 照合処理部
２４１ 基準ペア生成部
２４２ 基準ペア取得部
２４３ 変換係数算出部
２４４ 適合数処理部
２４４１ 対象ペア取得部
２４４２ 座標変換部
２４４３ 距離計算部
２４４４ 適合数加算部
２４４５ 未処理ペア確認部
２４４６ 適合数判定部
２４４７ 適合数閾値減少部
２４５ 変換加算部
２４６ 変換最大カウント抽出部
２４７ 照合判定部
２５ 出力部
３ ビジュアルキーワードＤＢ
４ ＢｏＦＤＢ
Ａ 学習画像（候補画像）
Ｂ 認識対象画像
Claims (7)
- 第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う装置であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部は、ｎ個の基準ペアを取得する構成となっており、
前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
前記変換係数算出部は、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出する構成とされており、
前記変換加算部は、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求める構成とされており、
前記照合判定部は、前記合計投票数を用いて前記照合を判定する構成とされている
ことを特徴とする画像照合装置。 - さらに、対象ペア取得部と、座標変換部と、距離計算部と、適合数加算部と、適合数判定部とを備えており、
前記対象ペア取得部は、前記幾何変換係数の算出において使用されていない前記基準ペアを、対象ペアとして取得する構成となっており、
前記座標変換部は、前記対象ペアを構成する第１及び第２局所特徴量のうちの一方を、前記変換係数算出部により得た幾何変換係数を用いて幾何変換する構成とされており、
前記距離計算部は、前記座標変換部により幾何変換された局所特徴量と、前記対象ペアを構成する第１及び第２局所特徴量のうちの他方との、画像上での距離を算出する構成とされており、
前記適合数加算部は、前記距離計算部で算出された距離が既定条件に合致する場合に、前記座標変換部で用いた前記幾何変換係数についての適合数に投票する構成とされており、
前記適合数判定部は、前記適合数加算部で得られた前記適合数に基づいて、投票対象である前記幾何変換係数が既定条件に合致するかどうかを判定する構成とされており、
前記変換加算部は、前記適合数判定部において既定条件に合致しないと判定された前記幾何変換係数については、前記合計投票数を求めるための投票を行わない構成とされている
請求項１に記載の画像照合装置。 - さらに未処理ペア確認部を備えており、
前記未処理ペア確認部は、前記幾何変換係数の算出において使用されておらず、かつ、前記対象ペアとして未だ取得されていない前記基準ペアがあるか否か判定し、ある場合には、前記対象ペア取得部により対象ペアとして取得させる構成となっている
請求項２に記載の画像照合装置。 - 前記ｎの数は、前記幾何変換係数を求めるために必要な前記基準ペアの個数に基づいて決定されている
請求項１〜３のいずれか１項に記載の画像照合装置。 - さらに、適合数閾値減少部を備えており、
前記適合数判定部における前記既定条件とは、前記適合数が既定の閾値を越えるかどうかであり、
前記適合数閾値減少部は、前記変換係数算出部で算出された各々の前記幾何変換係数への前記合計投票数がいずれも前記既定の閾値を越えない場合に、前記適合数判定部での前記既定の閾値を減少させる構成となっている
請求項２に記載の画像照合装置。 - 第１画像と第２画像との同一性あるいは類似性に基づいて前記画像どうしの照合を行う方法であって、基準ペア取得部と、変換係数算出部と、変換加算部と、照合判定部とを備えており、
前記基準ペア取得部が、ｎ個の基準ペアを取得するステップを備えており、
ここで、前記基準ペアは、第１画像から抽出された第１局所特徴量と、前記第２画像から抽出された第２局所特徴量とで構成されており、
前記基準ペアを構成する前記第１局所特徴量と前記第２局所特徴量とは、両者間における特徴量空間での距離の近さに基づいてペア関係が対応付けられており、
さらに、前記方法は、
前記変換係数算出部が、前記ｎ個の基準ペアに属する前記第１局所特徴量及び前記第２局所特徴量のうちの一方についての画像上の座標から、他方についての画像上の座標に幾何変換するための幾何変換係数を算出するステップと、
前記変換加算部が、算出された前記幾何変換係数を、類似又は同一の幾何変換係数に投票して、合計投票数を求めるステップと、
前記照合判定部が、前記合計投票数を用いて前記照合を判定するステップとを備える
ことを特徴とする画像照合方法。 - 請求項６に記載の各ステップをコンピュータに実行させるためのコンピュータプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013027337A JP5646664B2 (ja) | 2013-02-15 | 2013-02-15 | 画像照合装置及び画像照合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013027337A JP5646664B2 (ja) | 2013-02-15 | 2013-02-15 | 画像照合装置及び画像照合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014157443A JP2014157443A (ja) | 2014-08-28 |
| JP5646664B2 true JP5646664B2 (ja) | 2014-12-24 |
Family
ID=51578293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013027337A Active JP5646664B2 (ja) | 2013-02-15 | 2013-02-15 | 画像照合装置及び画像照合方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5646664B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7044677B2 (ja) * | 2018-09-18 | 2022-03-30 | ヤフー株式会社 | 判定装置、判定方法および判定プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5365969B2 (ja) * | 2007-11-13 | 2013-12-11 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| JP5230525B2 (ja) * | 2009-05-25 | 2013-07-10 | キヤノン株式会社 | 画像検索装置およびその方法 |
-
2013
- 2013-02-15 JP JP2013027337A patent/JP5646664B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014157443A (ja) | 2014-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10657183B2 (en) | Information processing apparatus, similarity search program, and similarity search method | |
| CN106096066B (zh) | 基于随机近邻嵌入的文本聚类方法 | |
| Jégou et al. | Aggregating local image descriptors into compact codes | |
| JP5487970B2 (ja) | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム | |
| US8416982B2 (en) | Image processing apparatus, image processing method and program | |
| US8270723B2 (en) | Recognition device, recognition method, and program | |
| JP5265656B2 (ja) | クラスタリング装置及びクラスタリング方法 | |
| US8243988B1 (en) | Clustering images using an image region graph | |
| US7940263B2 (en) | Curved-surface generating method and program, and three-dimensional shape processing apparatus | |
| AU2012202352A1 (en) | Method, system and apparatus for determining a hash code representing a portion of an image | |
| JP2006338313A (ja) | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 | |
| KR101977231B1 (ko) | 커뮤니티 검출 방법 및 커뮤니티 검출 프레임워크 장치 | |
| US20150304320A1 (en) | Secret data matching device, secret data matching method, and recording medium | |
| JPWO2020050413A1 (ja) | 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体 | |
| Spreeuwers | Breaking the 99% barrier: optimisation of three‐dimensional face recognition | |
| CN106933824B (zh) | 在多个文档中确定与目标文档相似的文档集合的方法和装置 | |
| JP5520353B2 (ja) | ＢｏＦ表現生成装置及びＢｏＦ表現生成方法 | |
| Sahillioğlu et al. | Multiple shape correspondence by dynamic programming | |
| JP5646664B2 (ja) | 画像照合装置及び画像照合方法 | |
| JP2019028700A (ja) | 検証装置、方法、及びプログラム | |
| CN114334052B (zh) | 病案首页生成系统、方法及相应设备和存储介质 | |
| US11048872B2 (en) | Method of determining word similarity | |
| JP2015118464A (ja) | 空間分割方法、空間分割装置および空間分割プログラム | |
| JP5490859B2 (ja) | ビジュアルキーワード抽出装置、これを用いたＢｏＦ表現生成装置、及びビジュアルキーワード抽出方法 | |
| JPWO2009151002A1 (ja) | パターン識別方法、装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141007 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5646664 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |