JP5680152B2

JP5680152B2 - オブジェクト検索方法、検索検証方法、及びその装置

Info

Publication number: JP5680152B2
Application number: JP2013156401A
Authority: JP
Inventors: ショウホウトウ; ダイウェイリャン; ウェイゼン
Original assignee: NEC China Co Ltd
Current assignee: NEC China Co Ltd
Priority date: 2012-09-29
Filing date: 2013-07-29
Publication date: 2015-03-04
Anticipated expiration: 2033-07-29
Also published as: JP2014071890A; CN103714077B; US20140092244A1; CN103714077A

Description

本発明はビデオ監視技術の分野に関し、特に、オブジェクト検索方法、検索検証方法、及びその装置に関する。

ビデオ技術の絶え間ない発達に伴い、ビデオ監視の普及は拡大の一途をたどっている。捕捉されたビデオの管理にあたっては、ビデオ内で指定されたオブジェクトを検索することが解決するべき課題であり、重要な研究テーマとなる。

従来技術においては、ビデオ内でオブジェクトを検索する際の１つの方法は、検索対象のオブジェクトイメージのドミナントカラー（支配的な色）を決定し、捕捉されたビデオ内において、同じドミナントカラーを有するオブジェクトイメージを検索するというものである。そして、もう１つの方法は、検索対象のオブジェクトイメージの色ヒストグラムを計算し、その色ヒストグラムに基づいて、ビデオ内の各捕捉イメージと検索対象のオブジェクトイメージとの間の一致度を測定し、それにより検索結果を取得するというものである。

本発明の発明者は、本発明の実装時に、従来技術は少なくとも以下の問題を抱えることを確認している。

まず、色ヒストグラムはイメージ間のグローバルマッチング率のみを反映するため、色ヒストグラムを使用したオブジェクト検索方法の適用範囲は限定的である。加えて、オブジェクトの色は照明等の要因に大きく影響されるので、オブジェクトの特徴を完全に体現しているわけではない。そのため、照明等の外的条件が変動した場合は効果的なオブジェクト検索ができず、オブジェクトの色分布を用いたオブジェクト検索であれ、色ヒストグラムを用いたオブジェクト検索であれ、低精度の検索結果しか得られない。

本発明は、従来技術の問題を解決するため、オブジェクト検索方法、検索検証方法、及びその装置を提供する。その技術的解決法は以下のとおりである。

１つの態様においては、オブジェクト検索方法が提供され、当該方法は、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップとを含む。

その上、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップの前に、当該方法はさらに、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算するステップと、
取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するステップとを含む。

具体的には、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップは特に、
指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するステップを含む。

その上、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、当該方法はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定するステップと、
各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するステップとを含む。

あるいは、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、当該方法はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップとを含む。

その上、検索対象のオブジェクトイメージを取得するステップの後に、当該方法はさらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するステップを含む。

その上、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、当該方法はさらに、
被検出オブジェクトイメージを表示するステップを含む。

その上、当該方法はさらに、
検証に合格したオブジェクトイメージを表示するステップを含む。

他の態様においては、オブジェクト検索装置が提供され、当該装置は、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得するように構成された第１取得モジュールと、
第１取得モジュールによって取得された検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するように構成された計算モジュールと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、計算モジュールによって計算された指定領域内の局所特徴点と一致する索引を検索するように構成された検出モジュールと、
検出モジュールによって検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成された第２取得モジュールとを含む。

その上、当該装置はさらに、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算し、取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するように構成された索引セット構築モジュールを含む。

検出モジュールは、具体的には、指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するように構成される。

その上、当該装置はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定し、各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するように構成された第１検証モジュールとを含む。

あるいは、当該装置はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算し、計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された第２検証モジュールを含む。

その上、当該装置はさらに、
第１取得モジュールによって取得された、検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するように構成された第１ＧＵＩを含む。

その上、当該装置はさらに、
第２取得モジュールによって取得されたオブジェクトイメージを表示するように構成された第２ＧＵＩを含む。

その上、当該装置はさらに、
第１検証モジュールと第２検証モジュールによる検証に合格したオブジェクトイメージを表示するように構成された第３ＧＵＩを含む。

１つの態様においては、オブジェクト検証方法が提供され、当該方法は、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップとを含む。

その上、検索対象のオブジェクトイメージの指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップの前に、当該方法はさらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内における局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップとを含む。

その上、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップの後に、当該方法はさらに、
検証に合格したオブジェクトイメージを表示するステップを含む。

他の態様においては、検索検証装置が提供され、当該装置は、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するように構成された第１取得モジュールと、
第１取得モジュールによって取得された任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するように構成された計算モジュールと、
計算モジュールによって計算された角度差が、当該線分ペアによって形成される角度と等しいかどうかを判定するように構成された判定モジュールと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された検証モジュールとを含む。

その上、当該装置はさらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算し、ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索し、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成された検索モジュールとを含む。

検索モジュールは、具体的には、指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するように構成される。

本発明が提供する技術的解決法は、以下の有益な効果を達成する。

上記のオブジェクト検索方法によれば、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の局所特徴点を使用して、ビデオ内から１つ以上のオブジェクトイメージが検出される。これにより、オブジェクト検索は、イメージの局所領域を使用して実行される。加えて、局所特徴点の計算は照明等の外的要因の影響を受けないので、ビデオ内のオブジェクトが有効に検出されるため、検索結果の精度が向上する。

上記の検索検証方法によれば、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差と、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度とが計算され、それに基づいて一致する局所特徴点ペアが取得され、その後、一致する局所特徴点ペア数に基づいて、１つ以上の被検出オブジェクトイメージが検証される。このように、計算の複雑性を軽減するという前提に立ち、局所特徴点間の相対的位置関係が効果的に使用されるため、検証性能が向上する。

以下では、本発明の実施例における技術的解決法の理解を容易にするため、実施例を示す添付図面について簡単に説明する。なお、以下の説明で言及される添付図面は、本発明の一部の実施例を示すに過ぎず、当業者は何らの創造的な努力を要することなく、これらの添付図面から他の添付図面を導出できることは明らかである。

本発明の実施例１によるオブジェクト検索方法のフローチャートである。本発明の実施例１による検索検証方法のフローチャートである。本発明の実施例２によるオブジェクト検索方法のフローチャートである。本発明の実施例２によるオブジェクト検索用インタフェースの概略図である。本発明の実施例２によるイメージ照合の概略図である。本発明の実施例２による角度差分布の概略図である。本発明の実施例２による点ペアの概略図である。本発明の実施例３による検索検証方法のフローチャートである。本発明の実施例４による第１オブジェクト検索装置の概略的構造図である。本発明の実施例４による第２オブジェクト検索装置の概略的構造図である。本発明の実施例４による第３オブジェクト検索装置の概略的構造図である。本発明の実施例４による第４オブジェクト検索装置の概略的構造図である。本発明の実施例５による第１検索検証装置の概略的構造図である。本発明の実施例５による第２検索検証装置の概略的構造図である。本発明の実施例５による第３検索検証装置の概略的構造図である。

本発明の目的、技術的解決法及び利点を明確にするため、以下では、添付図面を参照して本発明の実施例について詳細に説明する。

本実施例はオブジェクト検索方法を提供する。当該方法は、検索対象のオブジェクトイメージの指定領域に含まれる局所特徴点を使用して、ビデオ内でオブジェクトイメージを検出することにより、イメージの局所領域を使用したオブジェク検索を実行する。図１を参照すると、本実施例で提供される当該方法は、以下のステップを含む。

１０１：検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内における局所特徴点を計算する。

１０２：ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索する。

具体的には、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップは、
指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するステップを含む。

１０３：検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用する。

他の態様においては、１つの実施例はさらに検索検証方法を提供する。図２を参照すると、本実施例による検索検証方法は、以下のステップを含む。

２０１：局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々における対応する局所特徴点とを取得する。

２０２：任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算する。

２０３：計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用する。

２０４：被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証する。

本実施例で提供されるオブジェクト検索方法によれば、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の局所特徴点を使用して、ビデオ内から１つ以上のオブジェクトイメージが検出される。これにより、オブジェクト検索は、イメージの局所領域を使用して実行される。加えて、局所特徴点の計算は照明等の外的要因の影響を受けないので、ビデオ内のオブジェクトが有効に検出されるため、検索結果の精度が向上する。

本実施例で提供される検索検証方法によれば、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差と、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度とが計算され、それに基づいて一致する局所特徴点ペアが取得され、その後、一致する局所特徴点ペア数に基づいて、１つ以上の被検出オブジェクトイメージが検証される。このように、計算の複雑性を軽減するという前提に立ち、局所特徴点間の相対的位置関係が効果的に使用されるため、検証性能が向上する。

オブジェクト検索方法及び検索検証方法を明確に提示するため、上記の実施例で開示された内容を参照し、実施例２及び実施例３を例として用いて、オブジェクト検索方法及び検索検証方法について説明する。詳細については、以下の実施例２及び実施例３を参照されたい。

本実施例はオブジェクト検索方法を提供する。オブジェクト検索時には、オブジェクトイメージは概して特徴的な局所領域を含むので、局所特徴点を利用してオブジェクトイメージの局所特徴を検出及び描画することができる。従って、オブジェクト検索の適用範囲を拡大するため、本実施例で提供される方法は、検索対象のオブジェクトイメージの指定領域に含まれる局所特徴点を使用してオブジェクトイメージを検索することにより、イメージの局所領域を使用したオブジェク検索を実行する。以下では、実施例１の説明を参照して本実施例を説明するが、説明の便宜上、ＳＩＦＴ（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍ）点を一例として用いる。図３を参照すると、本実施例で提供される当該方法は、以下のステップを含む。

３０１：ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内のＳＩＦＴ点を計算する。

このステップの具体的な実装方法においては、まずビデオが取得される。このビデオには、多くの場合、樹木、自動車、建物、人等の様々なオブジェクトが含まれる。次に、取得された後、ビデオが対応するイメージ系列に変換され、イメージ系列内の各イメージに対してオブジェクト検出が実行され、マルチフレームのオブジェクトを含むイメージが取得される。これらのイメージは、フレーム番号によって識別される。識別されたマルチフレームのオブジェクトを含むイメージは、フォアグラウンドイメージとバックグラウンドイメージとから成る。イメージ内のオブジェクトイメージは、通常、オブジェクトを含むイメージのフォアグラウンドイメージである。オブジェクトイメージの識別では、座標、長さ、幅等の情報が使用される。これにより、座標、長さ、幅等の情報に基づいて、オブジェクトを含むイメージからオブジェクトイメージを抽出し、抽出したオブジェクトイメージのＳＩＦＴ点が計算される。ＳＩＦＴ点を計算するための方法については、従来技術に既知のものがいくつかある。ＳＩＦＴ点の計算はこうした従来技術で開示された方法によって行うことができるので、ここではさらなる詳述を控える。

ビデオを取得する方法については、ビデオ技術の絶え間ない発達により、ビデオ捕捉装置が多様なシナリオで広く使用されているので、ビデオ捕捉装置を使用して大量なビデオを捕捉及び取得することができる。また、多くの場合、取得されたビデオは限定的な範囲のシナリオ情報を反映するので、取得するビデオの量が多いほど、ビデオから取得されるオブジェクトイメージは多様となり、オブジェクト検索の範囲も広範になる。この理由から、概して大量なビデオが取得される。本実施例は、具体的な実装時に取得されるビデオの数とオブジェクトイメージの数を限定しない。

３０２：取得したＳＩＦＴ点をクラスタ化し、クラスタ中心のＳＩＦＴ点を索引として用いて索引セットを構築する。

このステップでは、取得されたＳＩＦＴ点は数通りの方法でクラスタ化することができる。本実施例で採用される方法には、Ｋ−平均アルゴリズムを使用して取得されたすべてのＳＩＦＴ点をクラスタ化する方法等がある。具体的な計算プロセスは以下のとおりである。

まず、すべてのＳＩＦＴ点から、Ｋ個のカテゴリの初期クラスタ中心として、Ｋ個のＳＩＦＴ点が無作為に選択され、各ＳＩＦＴ点とＫ個の初期クラスタ中心との間の類似性が計算される。具体的には、この類似性は、各ＳＩＦＴ点とＫ個の初期クラスタ中心との間のユークリッド距離またはマハラノビス距離を計算するか、または類似性計算のための他の類似した方法を使用して計算することができる。本実施例では、この計算方法は特定のものに限定されない。

次に、各ＳＩＦＴ点とＫ個のクラスタ中心との間の類似性が計算された後、ＳＩＦＴ点が類似性に基づいて対応するカテゴリにグループ分けされてＫ個のカテゴリが取得され、各カテゴリの各２つのＳＩＦＴ点間の類似性が計算されて各カテゴリのクラスタ中心が再度取得される。このようにして、ＳＩＦＴ点が正しくクラスタ化される。

取得された各クラスタ中心は、対応する１つのＳＩＦＴ点でもある。そして、クラスタ中心であるＳＩＦＴは、ＳＩＦＴ点の１つのカテゴリを表す。このカテゴリに含まれるＳＩＦＴ点は、オブジェクトイメージの１つのカテゴリに対応する。そのため、本実施例においては、各カテゴリのクラスタ中心が取得された後に、クラスタ中心のＳＩＦＴ点を索引として用いて索引セットが構築され、オブジェクトイメージに基づいてＳＩＦＴ点が取得されてクラスタ化された後に、クラスタ中心としてのＳＩＦＴ点が、対応するカテゴリに含まれるオブジェクトイメージを検索するための索引として使用される。例えば、オブジェクトイメージＡ、Ｂ、Ｃ、Ｄ、Ｅ、及びＦに含まれるＳＩＦＴ点がそれぞれ計算されてクラスタ化され、このうちオブジェクトイメージＡ、Ｂ、Ｃ、及びＤは同じクラスタ中心のＳＩＦＴ点１に対応し、オブジェクトイメージＥ及びＦは同じクラスタ中心のＳＩＦＴ点２に対応する。ＳＩＦＴ点１とＳＩＦＴ点２を索引として用いて索引セットが構築された後には、オブジェクトイメージＡ、Ｂ、Ｃ、及びＤはＳＩＦＴ点１をクエリすることにより特定でき、オブジェクトイメージＥ及びＦはＳＩＦＴ点２をクエリすることにより特定できる。

ここで、ステップ３０１及び３０２に示した索引セットを構築するプロセスは、ビデオに基づいて検索データベースを構築するプロセスとみなすことができることに留意されたい。すべてのビデオは索引セットとして記憶されるので、索引セットを使用すれば、指定された索引に対応するオブジェクトイメージが検出される。そのため、ステップ３０１及び３０２はオブジェクト検索の前提条件として、オブジェクト検索方法を実行する前に実行することができる。また、本実施例で提供されるオブジェクト検索方法の実行中にビデオが変化しない場合には、ステップ３０１及び３０２を反復して実行する必要はなく、同じ索引セットに基づいてオブジェクトを検出することができる。一方、ビデオが変化するか新しいビデオが取得された場合には、ステップ３０１及び３０２を再度実行して、対応する索引セットを構築する必要がある。

３０３：検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内におけるＳＩＦＴ点を計算する。

検索対象のオブジェクトイメージはユーザが指定することができ、この場合は、指定されたオブジェクトイメージに基づいて、ビデオ内の対応するオブジェクトイメージが検出される。具体的な実装においては、本実施例による方法は、検索対象のオブジェクトイメージを入力するためのインタフェース、すなわちＧＵＩを提供する。ユーザはこの入力インタフェース上で検索対象の対応するオブジェクトイメージを選択して入力する。入力されたオブジェクトイメージは取得された検索対象のオブジェクトイメージとして使用され、そのオブジェクトイメージが表示される。ユーザは、入力インタフェース上で対応する検索対象のオブジェクトイメージを入力した後、検索対象のオブジェクトイメージから、例えば衣服の柄や自動車のロゴやマウンティングブラケット等の特徴的な局所領域を選択することもできる。選択された局所領域は指定領域として使用され、以降のステップでは、指定領域内のＳＩＦＴ点に基づいてオブジェクトが検出される。つまり、この場合の指定領域は、ＧＵＩ上でユーザによって選択された特徴的領域となる。

理解を容易にするため、以下では、図４に示すユーザ用の入力インタフェースが提供され、ユーザが提供された入力インタフェース上で自動車を検索対象のオブジェクトイメージとして選択して入力するケースを例として説明する。図４に示す参照記号４１は、検索対象のオブジェクトイメージを入力する際のオプション項目を示す。ユーザがこのオプション項目を選択して、検索対象のオブジェクトイメージを入力する操作を実行すると、選択され、入力された検索対象のオブジェクトイメージが取得され、取得された検索対象のオブジェクトイメージ４２が入力インタフェースに表示される。さらに、ユーザはマウス等の入力デバイスを使用して、図４に示す、表示された検索対象のオブジェクトイメージ４２内の指定領域４２１をマーキングすることもできる。これをもってユーザの入力操作は完了し、続いて、ユーザが入力した検索対象のオブジェクトイメージとユーザが指定した指定領域とを取得して、従来のＳＩＦＴ点計算方法によって指定領域内のＳＩＦＴ点を計算するプロセスが開始される。

３０４：ビデオ内におけるオブジェクトイメージのＳＩＦＴ点に基づいて構築される、事前構築された索引セット内において、指定領域内のＳＩＦＴ点と一致する索引を検索する。

具体的には、本実施例においては、事前構築された索引セット内で、指定領域内のＳＩＦＴ点と一致する索引が検出される。検出方法は、以下を含むがこれに限定されない。

すなわち、指定領域内のＳＩＦＴ点と索引セット内のＳＩＦＴ点とをクラスタ化し、指定領域内のＳＩＦＴ点と同じカテゴリに分類される索引セット内のＳＩＦＴ点を、指定領域内のＳＩＦＴ点と一致するとして検出されたＳＩＦＴ点として使用する。

指定領域内のＳＩＦＴ点と索引セット内のＳＩＦＴ点とのクラスタ化は、ステップ３０２で説明されるクラスタ化方法を用いて行うことができる。具体的には、指定領域内のＳＩＦＴ点と索引セット内のＳＩＦＴ点とがクラスタ化され、指定領域内のＳＩＦＴ点と同じカテゴリに分類されるＳＩＦＴ点が、検出された索引として使用される。

３０５：検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用する。

このステップにおいては、ステップ３０２での索引セットの構築時には、索引セット内の各索引はオブジェクトイメージのカテゴリに対応するので、検出された索引に基づいて、オブジェクトイメージの対応するカテゴリを取得することができる。さらに、検出された索引は指定領域内のＳＩＦＴ点と一致するＳＩＦＴ点なので、検出された索引に基づいて取得されたオブジェクトイメージもまた指定領域内の特徴を含む。このように、取得されたオブジェクトイメージは、ビデオ内の被検出オブジェクトイメージとして使用でき、これにより検索結果を得ることができる。

加えて、本実施例で提供される方法はさらに、ユーザに検索結果を通知するために、被検出オブジェクトイメージを表示する動作をサポートしている。被検出オブジェクトイメージは、具体的には、検索対象のオブジェクトイメージを表示するためのインタフェースに、被検出オブジェクトイメージを表示する等の方法で表示することができる。例えば、図４に示すインタフェースでは、インタフェースの左側においてユーザが検索対象のオブジェクトイメージを選択して入力し、指定領域を選択した後に、図４に示すインタフェースの右側に、ステップ３０５で被検出オブジェクトイメージが表示される。

さらに、ビデオ内で検出された１つ以上のオブジェクトイメージが、検索対象のオブジェクトイメージと完全に一致する場合には、これらの間に存在するＳＩＦＴ点ペアは角度差及びスケールの面で一致している。以下では、図５に示す検索対象のオブジェクトイメージの指定領域と被検出オブジェクトイメージ、並びに図６に示す角度差分布を例として用いて、さらに説明する。図６に示すヒストグラムから分かるように、４つのタイプの角度差が計算されている。ここで、角度差の過半数は２つのタイプに該当し、ヒストグラムの２つの領域に集中している。他の領域の角度差は、不一致に起因する角度差とみなすことができる。そのため、不一致による検索結果を除去してオブジェクト検索の精度をさらに高めるため、本実施例で提供される方法はさらに、被検出オブジェクトイメージを検証する動作をサポートする。具体的な検証方法は、以下の２つを含むがこれに限定されない。

検証方法１：ＳＩＦＴ点ペアを取得するために、指定領域内の各ＳＩＦＴ点と、被検出オブジェクトイメージの各々に対応するＳＩＦＴ点とを取得し、各ＳＩＦＴ点ペアにおける２つのＳＩＦＴ点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定し、各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証する。

ここで、４つのＳＩＦＴ点ペア（ｆ１，ｇ１）、（ｆ２，ｇ２）、（ｆ３，ｇ３）、及び（ｆ４，ｇ４）を例として、検証方法１について説明する。２つのイメージが互いに一致する場合、それぞれのＳＩＦＴ点ペアにおけるＳＩＦＴ点間の差は同じである。図７に示すように、この２つのイメージにおいては、ＳＩＦＴ点ペア（ｆ４，ｇ４）における２つのＳＩＦＴ点の位置は同じではないので、この２つのＳＩＦＴ点間の角度差は、他の任意のＳＩＦＴ点ペアにおける２つのＳＩＦＴ点間の角度差と等しくない。計算で得られた角度差から１つの基本角度差を決定する際には、マッチ数が最も多い角度差が基本角度差として決定され、各角度差から基本角度差までの距離が計算される。そして、それ以降には、１つ以上の被検出オブジェクトイメージがこの距離に基づいて検証される。

検証時には、当該１つ以上の被検出オブジェクトイメージが、各被検出オブジェクトイメージの各角度差から基本角度差までの距離の総和に基づいてソートされるか、または各被検出オブジェクトイメージの角度差から基本角度差までの距離のうち最大の距離に基づいてソートされ、ソートされた被検出オブジェクトイメージから事前設定された数の被検出オブジェクトイメージが最終検索結果として選択される。被検出オブジェクトイメージのソートは昇順または降順のどちらでも行うことができ、本実施例では限定されない。加えて、事前設定される選択すべき被検出オブジェクトイメージの数もまた、本実施例では限定されない。距離の大きさは一致エラーの程度の大きさを示す。そのため、距離の小さい被検出オブジェクトイメージを、検証に合格したオブジェクトイメージとして選択することができる。

検証方法２：ＳＩＦＴ点ペアを取得するために、指定領域内の各ＳＩＦＴ点と、被検出オブジェクトイメージの各々に対応するＳＩＦＴ点とを取得し、任意の２つのＳＩＦＴ点ペアの各々における２つのＳＩＦＴ点間の角度差を計算し、当該任意の２つのＳＩＦＴ点ペアによって形成される線分ペアによって形成される角度を計算し、計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つのＳＩＦＴ点ペアを一致するＳＩＦＴ点ペアとして使用し、被検出オブジェクトイメージの各々における一致するＳＩＦＴ点ペア数を計数し、被検出オブジェクトイメージ内の一致するＳＩＦＴ点ペア数に基づいて、被検出オブジェクトイメージを検証する。

第２検証方法の詳細については実施例３の説明を参照できるので、ここではさらなる詳述は控える。

本実施例で提供される方法によれば、オブジェクト検索時に、検索対象のオブジェクトイメージの特徴的な領域である指定領域内のＳＩＦＴ点を使用して、ビデオ内から１つ以上のオブジェクトイメージが検出される。このように、オブジェクト検索はイメージの局所領域を使用して実行されるので、オブジェクト検索の適用範囲が拡大される。加えて、ＳＩＦＴ点の計算は照明等の外的要因の影響を受けないので、ビデオ内のオブジェクトが有効に検出されるため、検索結果の精度が向上する。さらに、１つ以上のオブジェクトイメージが検出された後に、これらのオブジェクトイメージが検証される。これにより、一致しないオブジェクトイメージが除去されるため、検索結果の精度はさらに向上する。

本実施例は検索検証方法を提供する。以下では本実施例について、実施例１の説明を参照し、実施例２で提供されたオブジェクト検索方法により取得された検索結果を検証する動作を例として説明する。本実施例では、説明の便宜上、ＳＩＦＴ点を例として使用する。図８を参照すると、本実施例で提供される当該方法は、以下のステップを含む。

８０１：ＳＩＦＴ点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各ＳＩＦＴ点と、被検出オブジェクトイメージに対応するＳＩＦＴ点とを取得する。

検索対象のオブジェクトイメージ、検索対象のオブジェクトイメージの指定領域、及び指定領域内のＳＩＦＴ点を取得する動作の詳細については、実施例２のステップ３０３を参照できるので、ここではさらなる詳述を控える。１つ以上の被検出オブジェクトイメージとは、実施例２で提供されるオブジェクト検索方法によりビデオ内で検出されたオブジェクトイメージである。そのため、検索対象のオブジェクトイメージの指定領域内の各ＳＩＦＴ点と、被検出オブジェクトイメージの各々における対応するＳＩＦＴ点とを取得するステップの前に、当該方法はさらに、
検索対象のオブジェクトイメージと、ユーザによってＧＵＩ上で選択された特徴的な領域である検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内におけるＳＩＦＴ点を計算するステップと、
ビデオ内におけるオブジェクトイメージのＳＩＦＴ点に基づいて構築される、事前構築された索引セット内において、指定領域内のＳＩＦＴ点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップとを含む。

その上、事前構築された索引セット内において、指定領域内のＳＩＦＴ点と一致する索引を検索するステップの前に、当該方法はさらに、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内のＳＩＦＴ点を計算するステップと、
取得したＳＩＦＴ点をクラスタ化し、クラスタ中心のＳＩＦＴ点を索引として使用して、索引セットを構築するステップとを含む。

具体的には、事前構築された索引セット内において、指定領域内のＳＩＦＴ点と一致する索引を検索するステップは特に、
指定領域内のＳＩＦＴ点と索引セット内のＳＩＦＴ点とをクラスタ化し、指定領域内のＳＩＦＴ点と同じカテゴリに分類される索引セット内のＳＩＦＴ点を、指定領域内のＳＩＦＴ点と一致するとして検出されたＳＩＦＴ点として使用するステップを含む。

被検出オブジェクトイメージを取得するステップについては実施例２の説明を参照できるので、ここではさらなる詳述を控える。

８０２：任意の２つのＳＩＦＴ点ペアの各々における２つのＳＩＦＴ点間の角度差を計算し、当該任意の２つのＳＩＦＴ点ペアによって形成される線分ペアによって形成される角度を計算する。

このステップについては、説明の便宜上、図７に示す２つのＳＩＦＴ点ペア（ｆ１，ｇ１）、（ｆ４，ｇ４）、及び４つのＳＩＦＴ点ペア（ｆ１，ｇ１）、（ｆ２，ｇ２）、（ｆ３，ｇ３）、（ｆ４，ｇ４）におけるＳＩＦＴ点間の角度差と、当該２つのＳＩＦＴ点ペアによって形成される線分ペアによって形成される角度とを例として用いる。これらの角度差と角度は、以下の式で表される。
ＳＩＦＴＡｎｇｌｅ（ｆ１）−ＳＩＦＴＡｎｇｌｅ（ｇ１）；
ＳＩＦＴＡｎｇｌｅ（ｆ４）−ＳＩＦＴＡｎｇｌｅ（ｇ４）；
Ａｎｇｌｅ（ｆ１ｆ４，ｇ１ｇ４）；

「ＳＩＦＴＡｎｇｌｅ（ｆ１）−ＳＩＦＴＡｎｇｌｅ（ｇ１）」はｆ１及びｇ１間の角度差を示し、「ＳＩＦＴＡｎｇｌｅ（ｆ４）−ＳＩＦＴＡｎｇｌｅ（ｇ４）」はｆ４及びｇ４間の角度差を示し、「Ａｎｇｌｅ（ｆ１ｆ４，ｇ１ｇ４）」はｆ１及びｆ４によって形成される線分とｇ１及びｇ４によって形成される線分とによって形成される線分ペアによって形成される角度を示す。この角度差と角度は、ＳＩＦＴ点の位置、スケール、及び方向を使用して取得することができる。線分ペアによって形成される角度の計算は、ＳＩＦＴ点の相対的位置関係を始めとする空間的情報を使用して行われるので、検証性能が向上する。

８０３：計算で得られた角度差が当該線分ペアによって形成される計算で得られた角度と等しいかどうかを判定し、等しい場合にはステップ８０４を実行し、等しくない場合にはステップ８０５を実行する。

このステップにおいては、計算で得られた角度差が当該線分ペアによって形成される計算で得られた角度と等しいかどうかが判定される。その理由は、検索対象のオブジェクトイメージが被検出オブジェクトイメージと一致する場合は、この２つの一致するオブジェクトイメージ内における任意の２つのＳＩＦＴ点ペアに含まれるＳＩＦＴ点間の角度差と、この２つの一致するオブジェクトイメージ内の当該任意の２つのＳＩＦＴ点ペアによって形成される線分ペアによって形成される角度は同じだからである。そのため、このステップの判定結果が、計算で得られた角度差が当該線分ペアによって形成される計算で得られた角度と等しいことを示す場合は、ステップ８０４が実行され、等しくないことを示す場合にはステップ８０５が実行される。

８０４：当該任意の２つのＳＩＦＴ点ペアを一致するＳＩＦＴ点ペアとして使用して、ステップ８０６を実行する。

ステップ８０３において、ステップ８０２で取得された角度差が線分ペアによって形成される角度と等しいと判定された場合には、当該任意の２つのＳＩＦＴ点ペアは一致するＳＩＦＴ点ペアとして使用される。

８０５：当該任意の２つのＳＩＦＴ点ペアを一致しないＳＩＦＴ点ペアとして使用する。

ステップ８０３において、ステップ８０２で取得された角度差が線分ペアによって形成される角度と等しくないと判定された場合には、当該任意の２つのＳＩＦＴ点ペアは一致しないＳＩＦＴ点ペアとして使用される。

８０６：被検出オブジェクトイメージ内の一致するＳＩＦＴ点ペア数を計数し、被検出オブジェクトイメージ内の一致するＳＩＦＴ点ペア数に基づいて、被検出オブジェクトイメージを検証する。

このステップにおいては、被検出オブジェクトイメージ内の任意の２つのＳＩＦＴ点ペアに対して、ステップ８０２及び８０３に基づいて一致するか否かの判定が実行され、被検出オブジェクトイメージの各々における一致するＳＩＦＴ点ペア数が計数される。そして、一致するＳＩＦＴ点ペア数に基づいて、１つ以上の被検出オブジェクトイメージが検証される。

検証時には、１つ以上の被検出オブジェクトイメージが、一致するＳＩＦＴ点ペア数に基づいてソートされ、ソートされた被検出オブジェクトイメージから、事前設定された数の被検出オブジェクトイメージが検証に合格したオブジェクトイメージとして選択される。当該１つ以上の被検出オブジェクトイメージが、一致するＳＩＦＴ点ペア数に基づいてソートされる際には、昇順または降順のどちらでも行うことができ、本実施例では限定されない。加えて、事前設定される選択すべき被検出オブジェクトイメージの数もまた、本実施例では限定されない。一致するＳＩＦＴ点ペア数が少ないことは一致エラーの程度が大きいことを意味し、一致するＳＩＦＴ点ペア数が多いことは一致エラーの程度が小さいことを意味する。従って、一致するＳＩＦＴ点ペア数が多いオブジェクトイメージを、検証に合格したオブジェクトイメージとして選択することができる。

その上、本実施例で提供される方法は、検証に合格したオブジェクトイメージに関して、オブジェクトイメージを表示する動作をさらにサポートする。オブジェクトイメージは様々な方法で表示することができ、その方法は本実施例では限定されない。

ここで、本実施例で提供される検索検証方法はさらに、実施例１または実施例２で提供されるオブジェクト検索方法を用いて検出されたオブジェクトイメージを検証する動作に加えて、他のオブジェクト検索方法を用いて検出されたオブジェクトイメージも検証できることに留意されたい。本実施例は、検証対象の被検出オブジェクトイメージを取得する方法を限定しない。

本実施例で提供される検索検証方法によれば、任意の２つのＳＩＦＴ点ペアの各々における２つのＳＩＦＴ点間の角度差と、当該任意の２つのＳＩＦＴ点ペアによって形成される線分ペアによって形成される角度とが計算され、それに基づいて一致するＳＩＦＴ点ペアが取得され、さらに、一致するＳＩＦＴ点ペア数に基づいて、１つ以上の検出されたオブジェクトイメージが検証される。このように、計算の複雑性を軽減するという前提に立ち、ＳＩＦＴ点間の相対的位置関係が効果的に使用されるため、検証性能が向上する。

本実施例は、実施例１〜２で提供されるオブジェクト検索方法を実行するように構成されたオブジェクト検索装置を提供する。図９を参照すると、当該装置は、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得するように構成された第１取得モジュール９０１と、
第１取得モジュール９０１によって取得された検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するように構成された計算モジュール９０２と、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、計算モジュール９０２によって計算された指定領域内の局所特徴点と一致する索引を検索するように構成された検出モジュール９０３と、
検出モジュール９０３によって検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成された第２取得モジュール９０４とを含む。

図１０を参照すると、当該装置は、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算し、取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として使用して、索引セットを構築するように構成された索引セット構築モジュール９０５を含む。

検出モジュール９０３は、具体的には、指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するように構成される。

その上、図１１を参照すると、当該装置はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定し、各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するように構成された第１検証モジュール９０６を含む。

その上、図１２を参照すると、当該装置はさらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算し、計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された第２検証モジュール９０７を含む。

その上、当該装置はさらに、
第１取得モジュール９０１によって取得された、検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するように構成された第１ＧＵＩを含む。

その上、当該装置はさらに、
第２取得モジュール９０４によって取得されたオブジェクトイメージを表示するように構成された第２ＧＵＩを含む。

その上、当該装置はさらに、
第１検証モジュール９０６と第２検証モジュール９０７による検証に合格したオブジェクトイメージを表示するように構成された第３ＧＵＩを含む。

本実施例で提供される装置によれば、オブジェクト検索時に、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の局所特徴点を使用して、ビデオ内から１つ以上のオブジェクトイメージが検出される。このように、オブジェクト検索はイメージの局所領域を使用して実行されるので、オブジェクト検索の適用範囲が拡大される。加えて、局所特徴点の計算は照明等の外的要因の影響を受けないので、ビデオ内のオブジェクトが有効に検出されるため、検索結果の精度が向上する。さらに、１つ以上のオブジェクトイメージが検出された後に、これらのオブジェクトイメージが検証される。これにより、一致しないオブジェクトイメージが除去されるため、検索結果の精度はさらに向上する。

本実施例は、実施例１〜３で提供されるオブジェクト検索方法を実行するように構成されたオブジェクト検索装置を提供する。図１３を参照すると、当該装置は、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するように構成された第１取得モジュール１３０１と、
第１取得モジュール１３０１によって取得された任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するように構成された計算モジュール１３０２と、
計算モジュール１３０２によって計算された角度差が、当該線分ペアによって形成される角度と等しいかどうかを判定するように構成された判定モジュール１３０３と、
計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された検証モジュール１３０４とを含む。

その上、図１４を参照すると、当該装置はさらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算し、ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索し、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成された検索モジュール１３０５とを含む。

さらに、図１５を参照すると、当該装置はさらに、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算し、取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として使用して、索引セットを構築するように構成された索引セット構築モジュール１３０６を含む。

検索モジュール１３０５は、具体的には、指定領域内のローカル特徴点と索引セット内のローカル特徴点とをクラスタ化し、指定領域内のローカル特徴点と同じカテゴリに分類される索引セット内のローカル特徴点を、指定領域内のローカル特徴点と一致するとして検出された索引として使用するように構成される。

その上、当該装置はさらに、
検索モジュール１３０５によって取得された、検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するように構成された第４ＧＵＩを含む。

その上、当該装置はさらに、
検索モジュール１３０５によって検出されたオブジェクトイメージを表示するように構成された第５ＧＵＩを含む。

その上、当該装置はさらに、
検証モジュール１３０４による検証に合格したオブジェクトイメージを表示するように構成された第５ＧＵＩを含む。

本実施例で提供される検索検証装置によれば、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差と、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度とが計算され、それに基づいて一致する局所特徴点ペアが取得され、その後、一致する局所特徴点ペア数に基づいて、１つ以上の検出されたオブジェクトイメージが検証される。このように、計算の複雑性を軽減するという前提に立ち、局所特徴点間の相対的位置関係が効果的に使用されるため、検証性能が向上する。

上記の実施例で提供されるオブジェクト検索装置により実行されるオブジェクト検索においては、上記の実施例による装置は、上記の機能モジュールの配分を一例として説明されているに過ぎないことに留意されたい。実用用途においては、これらの機能は実装の必要に応じて、異なる機能モジュールに割り当てることができる。具体的には、当該装置の内部構造は、上記で説明した機能の全部または一部を実装するために、様々な機能モジュールに分割される。加えて、上記の実施例によれば、オブジェクト検索装置とオブジェクト検索方法は同じ概念に関連し、検索検証装置と検索検証方法も同じ概念に関連する。具体的な実装の詳細については、方法の実施例の説明を参照できるので、ここではさらなる詳述は控える。

本発明の上記の実施例の連続番号は、説明の便宜上付けたものであり、実施例の好適度を示すものではない。

上記の方法の全部または一部のステップは、ハードウェア、またはプログラムの命令に従うソフトウェアによって実装できることは、当業者には理解されるであろう。これらのプログラムは、コンピュータ可読記憶媒体に記憶することができる。この記憶媒体は、読み出し専用メモリ、磁気ディスク、またはコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）のいずれであってもよい。

上記の説明は本発明の好適な実施例のみを示したに過ぎず、本発明を限定することを意図するものではない。従って、本発明の保護範囲には、本発明の精神及び原則に則ったあらゆる変更態様、等価置換または改良態様も内包される。

さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。

（付記１）オブジェクト検索方法であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップと
を含むことを特徴とするオブジェクト検索方法。

（付記２）事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップの前に、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算するステップと、
取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するステップと
を含むことを特徴とする付記１に記載のオブジェクト検索方法。

（付記３）事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップは、
指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するステップを
含むことを特徴とする付記１に記載のオブジェクト検索方法。

（付記４）検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、さらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定するステップと、
各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とする付記１に記載のオブジェクト検索方法。

（付記５）検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、さらに、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とする付記１に記載のオブジェクト検索方法。

（付記６）検索対象のオブジェクトイメージを取得するステップの後に、さらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するステップを
含むことを特徴とする付記１に記載のオブジェクト検索方法。
（付記７）検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、さらに、
被検出オブジェクトイメージを表示するステップを
含むことを特徴とする付記１に記載のオブジェクト検索方法。

（付記８）検証に合格したオブジェクトイメージを表示するステップを
さらに含むことを特徴とする付記４または付記５に記載のオブジェクト検索方法。

（付記９）オブジェクト検索装置であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得するように構成される第１取得モジュールと、
第１取得モジュールによって取得された検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するように構成される計算モジュールと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、計算モジュールによって計算された指定領域内の局所特徴点と一致する索引を検索するように構成される検出モジュールと、
検出モジュールによって検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成される第２取得モジュールと
を備えることを特徴とするオブジェクト検索装置。

（付記１０）ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算し、取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するように構成される索引セット構築モジュールをさらに備えることを特徴とする付記９に記載のオブジェクト検索装置。

（付記１１）前記検出モジュールは、指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するように構成されることを特徴とする付記９または付記１０に記載のオブジェクト検索装置。

（付記１２）局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定し、各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するように構成される第１検証モジュールをさらに備えることを特徴とする付記９に記載のオブジェクト検索装置。

（付記１３）局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算し、計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成される第２検証モジュールをさらに備えることを特徴とする付記９に記載のオブジェクト検索装置。

（付記１４）前記第１取得モジュールによって取得された、検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するように構成される第１ＧＵＩをさらに備えることを特徴とする付記９に記載のオブジェクト検索装置。

（付記１５）前記第２取得モジュールによって取得されたオブジェクトイメージを表示するように構成された第２ＧＵＩをさらに備えることを特徴とする付記９に記載のオブジェクト検索装置。

（付記１６）前記第１検証モジュールと前記第２検証モジュールによる検証に合格したオブジェクトイメージを表示するように構成される第３ＧＵＩをさらに備えることを特徴とする付記１２または付記１３に記載のオブジェクト検索装置。

（付記１７）オブジェクト検証方法であって、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とするオブジェクト検証方法。

（付記１８）検索対象のオブジェクトイメージの指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップの前に、さらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内における局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップと
を含むことを特徴とする付記１７に記載のオブジェクト検証方法。

（付記１９）事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップの前に、さらに、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算するステップと、
取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するステップと
を含むことを特徴とする付記１８に記載のオブジェクト検証方法。

（付記２０）事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップは、
指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するステップ
を含むことを特徴とする付記１９に記載のオブジェクト検証方法。

（付記２１）検索検証装置であって、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するように構成された第１取得モジュールと、
前記第１取得モジュールによって取得された任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するように構成された計算モジュールと、
前記計算モジュールによって計算された角度差が、当該線分ペアによって形成される角度と等しいかどうかを判定するように構成された判定モジュールと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された検証モジュールと
を備えることを特徴とする検索検証装置。

（付記２２）検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算し、ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索し、検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成された検索モジュールをさらに備えることを特徴とする付記２１に記載の検索検証装置。

（付記２３）ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算し、取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するように構成された索引セット構築モジュールをさらに備えることを特徴とする付記２２に記載の検索検証装置。

（付記２４）前記検索モジュールは、指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するように構成されることを特徴とする付記２２に記載の検索検証装置。

９０１：第１取得モジュール
９０２：計算モジュール
９０３：検出モジュール
９０４：第２取得モジュール
９０５：逆索引構築モジュール
９０６：第１検証モジュール
９０７：第２検証モジュール
１３０１：第１取得モジュール
１３０２：計算モジュール
１３０３：判定モジュール
１３０４：検証モジュール
１３０５：検索モジュール
１３０６：逆索引構築モジュール

Claims

オブジェクト検索方法であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップと、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定するステップと、
各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とする、コンピュータが実行するオブジェクト検索方法。
オブジェクト検索方法であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得し、検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するステップと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップと、
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップと、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とする、コンピュータが実行するオブジェクト検索方法。
事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップの前に、
ビデオ内のオブジェクトイメージを取得し、オブジェクトイメージ内の局所特徴点を計算するステップと、
取得した局所特徴点をクラスタ化し、クラスタ中心の局所特徴点を索引として用いて索引セットを構築するステップと
を含むことを特徴とする請求項１又は２に記載のオブジェクト検索方法。
事前構築された索引セット内において、指定領域内の局所特徴点と一致する索引を検索するステップは、
指定領域内の局所特徴点と索引セット内の局所特徴点とをクラスタ化し、指定領域内の局所特徴点と同じカテゴリに分類される索引セット内の局所特徴点を、指定領域内の局所特徴点と一致するとして検出された索引として使用するステップを
含むことを特徴とする請求項１乃至３のいずれか一項に記載のオブジェクト検索方法。
検索対象のオブジェクトイメージを取得するステップの後に、さらに、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの指定領域とを表示するステップを
含むことを特徴とする請求項１乃至４のいずれか一項に記載のオブジェクト検索方法。
検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するステップの後に、さらに、
被検出オブジェクトイメージを表示するステップを
含むことを特徴とする請求項１乃至５のいずれか一項に記載のオブジェクト検索方法。
オブジェクト検索装置であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域
である指定領域とを取得するように構成される第１取得モジュールと、
第１取得モジュールによって取得された検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するように構成される計算モジュールと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、計算モジュールによって計算された指定領域内の局所特徴点と一致する索引を検索するように構成される検出モジュールと、
検出モジュールによって検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成される第２取得モジュールと、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、各局所特徴点ペアにおける２つの局所特徴点間の角度差を計算し、計算で得られた角度差から１つの基本角度差を決定し、各角度差から基本角度差までの距離を計算し、その距離に基づいて、被検出オブジェクトイメージを検証するように構成される第１検証モジュールと
を備えることを特徴とするオブジェクト検索装置。
オブジェクト検索装置であって、
検索対象のオブジェクトイメージと、検索対象のオブジェクトイメージの特徴的な領域である指定領域とを取得するように構成される第１取得モジュールと、
第１取得モジュールによって取得された検索対象のオブジェクトイメージの指定領域内に含まれる局所特徴点を計算するように構成される計算モジュールと、
ビデオ内におけるオブジェクトイメージの局所特徴点に基づいて構築される、事前構築された索引セット内において、計算モジュールによって計算された指定領域内の局所特徴点と一致する索引を検索するように構成される検出モジュールと、
検出モジュールによって検出された索引に対応するオブジェクトイメージを取得し、取得したオブジェクトイメージを、ビデオ内の被検出オブジェクトイメージとして使用するように構成される第２取得モジュールと、
局所特徴点ペアを取得するために、指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得し、任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算し、計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成される第２検証モジュールと
を備えることを特徴とするオブジェクト検索装置。
オブジェクト検証方法であって、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するステップと、
任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するステップと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しいかどうかを判定し、計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用するステップと、
被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するステップと
を含むことを特徴とする、コンピュータが実行するオブジェクト検証方法。
検索検証装置であって、
局所特徴点ペアを取得するために、検索対象のオブジェクトイメージの特徴的な領域である指定領域内の各局所特徴点と、被検出オブジェクトイメージの各々に対応する局所特徴点とを取得するように構成された第１取得モジュールと、
前記第１取得モジュールによって取得された任意の２つの局所特徴点ペアの各々における２つの局所特徴点間の角度差を計算し、当該任意の２つの局所特徴点ペアによって形成される線分ペアによって形成される角度を計算するように構成された計算モジュールと、
前記計算モジュールによって計算された角度差が、当該線分ペアによって形成される角度と等しいかどうかを判定するように構成された判定モジュールと、
計算で得られた角度差が当該線分ペアによって形成される角度と等しい場合には、当該任意の２つの局所特徴点ペアを一致する局所特徴点ペアとして使用し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数を計数し、被検出オブジェクトイメージ内の一致する局所特徴点ペア数に基づいて、被検出オブジェクトイメージを検証するように構成された検証モジュールと
を備えることを特徴とする検索検証装置。