JPWO2007004522A1 - 検索システム及び検索方法 - Google Patents

Abstract

携帯アプリケーション（１３）及びマッチング処理部（２１）は、画像入力部（１１）で入力した画像を基にして、階層管理されたテンプレートを用いて、ＴＰデータ管理ＤＢ（２２）から画像を検索する際、上位階層のテンプレート（例えば１次階層テンプレート２２２１）を用いたテンプレートマッチングに続いて、下位階層のテンプレート（例えば２次階層テンプレート２２２２）を用いたテンプレートマッチングを行って検索画像を絞り込み、その絞り込まれた検索結果の画像をディスプレイ（１２）で出力する。

Description

本発明は、データベースから画像を検索する検索システム及び検索方法に関する。

従来より、入力された画像に対応する画像をデータベースから検索する手法として、テンプレートマッチングが広く知られている。これは、データベースに蓄積された各画像を予め所定の粗い解像度に落としたテンプレートを作成して、それらテンプレートをデータベースに登録しておき、同様の解像度に落とした入力画像とそれらテンプレートとのマッチングを取るというものである。

しかし、そのようなテンプレートマッチングでは、似た画像をミスマッチングしてしまう可能性がある。そこで、ミスマッチングを低減させるために、類似度テーブルによって、テンプレート間の類似度を管理し、類似した画像の登録を防止するなどの対応を行っている。しかしながら、登録テンプレート数が多くなればなるほど、ミスマッチングの可能性は増大してしまう。

また、類似度を決定する特徴量を特徴点の配置から決める方法も知られている。そして、そのような方法においては、例えば、特開２００４−３６２１８６号公報に開示されているように、多数のマッチング用データベースを保持し参照する場合、マッチングサーバを並列化し、多数の参照データを分割してマッチングすることで時間短縮を図ろうとする手法が考えられている。

しかしながら、上記特開２００４−３６２１８６号公報に開示されているようなマッチングの並列処理については、確率的に高速化する効果はあるものの、認識（成功）率を向上させる効果はないことが発明者らの実験で確認されている。

本発明は、上記の点に鑑みてなされたもので、高速化と認識率の向上をバランス良く達成できる検索システム及び検索方法を提供することを目的とする。

本発明の検索システムの一態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、階層管理されたテンプレートを用いて、データベースから画像を検索する手段であり、上位階層のテンプレートを用いたテンプレートマッチングに続いて、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込む検索手段と、上記検索手段によって絞り込まれた検索結果の画像を出力する出力手段と、を具備することを特徴とする。

また、本発明の検索方法の一態様は、画像をデータベースから検索する方法であり、画像を入力し、入力した画像を基にして、階層管理されたテンプレートの上位階層のテンプレートを用いてテンプレートマッチングを行って、データベースから画像を検索し、さらに、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込み、上記絞り込まれた検索結果の画像を出力する、ことを特徴とする。

図１は、本発明の一実施例に係る検索システムの構成を示す図である。 図２は、紙面とその紙面上の対象画像を示す図である。 図３は、ＴＰ作成部での階層テンプレート作成処理のフローチャートを示す図である。 図４は、領域分割レイアウトの例を示す図である。 図５は、領域分割レイアウトの別の例を示す図である。 図６は、切り出し位置と解像度とを組み合わせた領域分割レイアウトの例を示す図である。 図７は、切り出し位置と解像度とを組み合わせた領域分割レイアウトの別の例を示す図である。 図８は、従来のテンプレートマッチングの問題点を説明するための図である。 図９は、階層テンプレートを使用する効果を説明するための図である。 図１０は、ＴＰデータ管理ＤＢでのＴＰデータ管理処理のフローチャートを示す図である。 図１１は、携帯アプリケーションでの端末側動作処理のフローチャートを示す図である。 図１２は、マッチング処理部でのマッチング処理のフローチャートを示す図である。 図１３は、第１具体例を説明するための、似ている対象画像、レイアウト構成、第１階層のテンプレート、及び第２階層のテンプレートを示す図である。 図１４は、第２具体例における検索システムの構成を示す図である。 図１５は、第３具体例における、対象画像入力画像解像度、カメラ付携帯端末、及びＴＰデータ管理ＤＢを説明するための図である。 図１６は、第４具体例における検索システムの構成を示す図である。 図１７は、認識対象画像における個別領域とＩＤ領域との固定位置関係を示す図である。 図１８は、認識対象画像における個別領域とＩＤ領域との相対位置関係を示す図である。 図１９は、第５具体例において、複数個マッチングしたときの表示例を説明するための図である。 図２０は、第５具体例において、複数個マッチングしたときの別の表示例を説明するための図である。 図２１は、第５具体例において、複数個マッチングしたときの更に別の表示例を説明するための図である。 図２２は、第５具体例において、複数個マッチングしたときの他の表示例を説明するための図である。 図２３は、第６具体例にけるマッチングしたときの表示例を説明するための図である。 図２４は、第６具体例にけるマッチングしたときの別の表示例を説明するための図である。 図２５は、第８具体例において解像度に応じて順次マッチングしていく様子を示す図である。 図２６は、第９具体例における検索システムの構成を示す図である。 図２７は、第９具体例の動作を説明するためのフローチャートを示す図である。 図２８は、第１０具体例の動作を説明するためのフローチャートを示す図である。 図２９は、共有データ領域及び個別ユーザ領域を説明するための図である。 図３０は、登録拒否メッセージの表示例を示す図である。 図３１は、登録確認メッセージの表示例を示す図である。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

図１に示すように、本発明の一実施例に係る検索システムは、カメラ付携帯電話機やカメラ付ＰＤＡ等のカメラ付携帯端末１０と検索手段とから構成される。カメラ付携帯端末１０は、画像を入力する画像入力手段としての画像入力部（カメラ）１１と、特定結果を出力する出力手段としてのディスプレイ１２とを含む。検索手段は、階層管理されたテンプレートを用いて、上記画像入力部１１で入力した画像を基にしてデータベースから画像を検索するものである。この検索手段は、カメラ付携帯端末１０の携帯アプリケーション１３と、上記カメラ付携帯端末１０と通信可能なサーバ２０に構成されたマッチング処理部２１とによって実現される。

上記サーバ２０は、更に、複数のテンプレートが登録され、それらを階層管理するテンプレート（ＴＰ）データ管理データベース（ＤＢ）２２を有している。このＴＰデータ管理ＤＢ２２に登録されるテンプレートは、デスクトップパブリッシング（ＤＴＰ）３０で、図２に示すように紙面４０に配置した対象画像４１から、ＴＰ作成部５０によって作成されたものである。即ち、本一実施例に係る検索システムでは、予め、ＤＴＰ３０によって、図２に示すように紙面４０に対象画像４１を印刷する。それと共に、ＴＰ作成部５０でその対象画像４１のテンプレートを作成する。そして、その作成したテンプレートをサーバ２０のＴＰデータ管理ＤＢ２２に登録しておく。なお、登録する対象画像４１が多数あれば、そのようなテンプレートの作成と登録を繰り返す。

検索を望むユーザは、紙面４０からカメラ付携帯端末１０等の画像入力部１１を使って対象画像４１を取り込む。すると、携帯アプリケーション１３は、その入力画像から画像の特徴抽出を行い、抽出した特徴データをサーバ２０のマッチング処理部２１に送る。この特徴データを受けたマッチング処理部２１は、ＴＰデータ管理ＤＢ２２に登録されているテンプレートとパターンマッチングを行う。この場合、上位階層のテンプレートを用いたテンプレートマッチングに続いて、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込む。そして、パターンマッチング結果が取得されたならば、マッチング処理部２１は、その結果情報をカメラ付携帯端末１０の携帯アプリケーション１３に送る。この結果情報を受信した携帯アプリケーション１３は、その結果情報をディスプレイ１２に表示する。

以下、各部の動作をより詳細に説明する。

まず、上記ＴＰ作成部５０での階層テンプレート作成処理について、図３を参照して説明する。

即ち、ＴＰ作成部５０においては、まず、ユーザが所望の、Ｎ次の階層テンプレートの各層で使用する対象画像４１の領域分割レイアウトを定義する（ステップＳ１１）。

図４及び図５に示すように、この領域分割レイアウト２２１とは、例えば、各階層のテンプレートの画像の切り出し位置を示すものである。あるいは、各階層のテンプレートの解像度を示すものであっても良い。

更には、図６及び図７に示すように、切り出し位置と解像度とを組み合わせたものであっても良い。即ち、図６に示す領域分割レイアウト２２１の例は、画像の全体領域を８×８セグメントに分割した１次階層テンプレート２２２１、画像の１／４の領域を８×８セグメントに分割した２次階層テンプレート２２２２、画像の１／８の領域を８×８セグメントに分割した３次階層テンプレート２２２３を、それらの右下を一致させるような切り出し位置に設定した例である。また、図７に示す領域分割レイアウト２２１の例は、上記３つのテンプレート２２２１，２２２２，２２２３の中心を一致させるような切り出し位置に設定した例である。なお、図４乃至図７の例はＮ＝３場合を示しているが、それに限定されるものではないことは勿論である。

例えば、テンプレートマッチングでは、図８に示すような似た画像をミスマッチングしてしまう可能性がある。これに対して、図９に示すように、右下の領域のみ解像度の高いテンプレート（２次階層テンプレート２２２２）を使用すれば、ミスマッチングの可能性を減少させることができる。

なお、領域分割レイアウトを「定義する」とは、新たに「作成する」場合と既にあるものを「選択する」場合との何れをも含むものである。

而して、上記のような領域分割レイアウト２２１が定義されたならば、内部カウンタｎを「１」にセットする（ステップＳ１２）。そして、そのカウンタｎの値がＮよりも大きくなっているか否かを判別する（ステップＳ１３）。

ここで、まだＮよりも小さい場合には、上記定義した領域分割レイアウト２２１に従って、元画像を入力する（ステップＳ１４）。この場合、入力される元画像は、対象画像４１における上記領域分割レイアウト２２１により示される画像切り出し位置の画像データである。そして、上記定義した領域分割レイアウト２２１に従って、その入力された元画像から特徴データを作成、つまりｎ層（ｎ次元）テンプレートを作成する（ステップＳ１５）。次に、例えばテンプレートマッチングによってＯＫとなったときに出力すべき結果情報、例えば特定のＷｅｂサイトのＵＲＬ等を入力する（ステップＳ１６）。そして、それら特徴データ及び結果情報を、該ＴＰ作成部５０内に構成した特徴データ／結果情報テーブル５１に登録する（ステップＳ１７）。

その後、カウンタｎの値を「＋１」した後（ステップＳ１８）、上記ステップＳ１３に戻り、上記ステップを繰り返し行う。こうして、カウンタｎの値がＮよりも大きくなったならば（ステップＳ１３）、このＴＰ作成処理を終了する。

次に、図１０を参照して、上記サーバ２０のＴＰデータ管理ＤＢ２２でのＴＰデータ管理処理の詳細を説明する。

即ち、ＴＰデータ管理ＤＢ２２では、まず、ＴＰ作成部５０から上記Ｎ次の階層テンプレートの各層で使用する対象画像４１の領域分割レイアウト２２１を読み出す（ステップＳ２１）。次に、その読み出した領域分割レイアウト２２１に対応する特徴データ／結果情報テーブル５１の内容を読み出す（ステップＳ２２）。そして、テンプレートレイアウト毎に設けられたデータベースに、上記読み出した領域分割レイアウト２２１に従って、上記読み出した特徴データ／結果情報テーブル５１の内容を登録する（ステップＳ２３）。この処理を、ＴＰ作成部５０で作成した全てのテンプレートが終了するまで（ステップＳ２４）、繰り返す。

次に、図１１及び図１２を参照して、上記カメラ付携帯端末１０の携帯アプリケーション１３での端末側動作処理、及び、上記サーバ２０のマッチング処理部２１でのマッチング処理の詳細を説明する。なお、図１では、携帯アプリケーション１３は一つしか図示していないが、実際にはカメラ付携帯端末１０には複数の携帯アプリケーション１３が存在する。即ち、一つのテンプレートレイアウトに対して一つの携帯アプリケーション１３が存在し、元の対象画像４１の種類に応じて起動される携帯アプリケーション１３が異なる。

ある対象画像４１に対応する携帯アプリケーション１３が起動されると、その携帯アプリケーション１３は、まず、当該携帯アプリケーション１３のテンプレートレイアウトによって決まるテンプレート最大階層数を、図示しない内部カウンタＮにセットする（ステップＳ３１）。そして、画像入力部１１により紙面４０上の対象画像４１を撮影して得られた画像を入力する（ステップＳ３２）。次に、階層番号をカウントする図示しない内部カウンタｎを「１」にセットする（ステップＳ３３）。

その後、当該携帯アプリケーション１３のテンプレートレイアウトに従って、その画像に対し第ｎ階層領域の特徴データ（ｎ次特徴量）を抽出する（ステップＳ３４）。ここで、特徴データ（特徴量）とは、例えば特徴点の分布や濃度などである。そして、その抽出したｎ次特徴量を、当該携帯アプリケーション１３のテンプレートレイアウトを特定するためのＴＰレイアウト番号ｍ及び現在の階層番号ｎと共に、サーバ２０のマッチング処理部２１に対して送信する（ステップＳ３５）。その後、そのマッチング処理部２１からの結果情報の受信待ちとなる（ステップＳ３６）。

サーバ２０のマッチング処理部２１においては、まず、受信したＴＰレイアウト番号ｍに従って最大階層数を図示しない内部カウンタＮにセットする（ステップＳ５１）。また、マッチング対象の階層番号を図示しない内部カウンタｎにセットする（ステップＳ５２）。そして、受信したｎ次の特徴データ（特徴量）を取得する（ステップＳ５３）。次に、上記ＴＰデータ管理ＤＢ２２の上記受信したＴＰレイアウト番号ｍで示されるデータベースに登録管理されているテンプレートと該取得した特徴データとのパターンマッチングを行う（ステップＳ５４）。

そのパターンマッチングにより、対象データ候補が有ったならば（ステップＳ５５）、更に、類似度チェックを行う（ステップＳ５６）。そして、類似度が所定の閾値以上の対象データ候補が一つであるか否かを判別する（ステップＳ５７）。

このステップＳ５７において、対象データ候補が一つであると判別されたならば、その対象データ候補の特徴データに対応して特徴データ／結果情報テーブル５１に登録されている結果情報を、上記カメラ付携帯端末１０に対して返信する（ステップＳ５８）。

携帯アプリケーション１３は、上記サーバ２０のマッチング処理部２１から結果情報が返信されてきたならば（ステップＳ３７）、それをディスプレイ１２に表示する（ステップＳ３８）。

これに対して、上記ステップＳ５７において、類似度が所定の閾値以上の対象データ候補が複数あると判別された場合には、内部カウンタＮの値が内部カウンタｎの値よりも大きいか否かを判別する（ステップＳ５９）。そして、大きくなければ、（ｎ＋１）次特徴データの送信を、上記カメラ付携帯端末１０に対して要求する（ステップＳ６０）。

携帯アプリケーション１３は、上記サーバ２０のマッチング処理部２１から上記（ｎ＋１）次特徴データの送信要求があった場合には（ステップＳ３７）、内部カウンタＮの値が内部カウンタｎの値よりも大きいか否かを判別する（ステップＳ３９）。そして、大きくなければ、カウンタｎの値を「＋１」して（ステップＳ４０）、上記ステップＳ３４に戻り、上記の処理を繰り返す。これにより、ｎ＋１次の特徴データがサーバ２０のマッチング処理部２１に送信されることになる。

そして、サーバ２０のマッチング処理部２１においては、そのｎ＋１次の特徴データに対して上述したような処理を実行する。但しこの場合、前回のパターンマッチング時に複数あった対象データ候補に対して優先的にパターンマッチングを行う。

こうして、一つのテンプレートにマッチングするまで、上記の処理が携帯アプリケーション１３とマッチング処理部２１で繰り返される。

なお、上記ステップＳ３９において、内部カウンタＮの値が内部カウンタｎの値よりも大きいと判別された場合には、携帯アプリケーション１３は、マッチングエラーとして、エラーメッセージ等をディスプレイ１２に表示して（ステップＳ４１）、処理を終了することになる。

以下、具体的な具体例を図面を参照して説明する。

［第１具体例］
本具体例は、カメラ付き携帯電話機を利用して、通販雑誌／カタログ誌にてスムーズな通販を進める場合の例である。

通販雑誌／カタログ誌で商品とオプション品をセットで販売する場合、図１３に示すように、紙面４０には、メイン商品（カメラ）の画像が大きく、オプション品（交換レンズやフィルム）が小さく印刷されている場合がある。このような対象画像４１の場合、類似度が接近して判別が難しくなる。

そこで、予め、対象画像４１全体を第１階層テンプレート（１次階層テンプレート２２２１）として登録しておき、注目領域を第２階層テンプレート（２次階層テンプレート２２２２）として登録しておく。この結果、比較的粗い解像度で撮影した画像から特徴量を抽出（特徴点分布方式、テンプレート濃度方式のどちらでも）した場合であっても、第２階層のテンプレート（マッチングエンジン）を指定する意味のみであるので、誤認識率は小さく且つ、元画像が粗いので特徴量データ容量自体も小さい。

さらに、このときの第１階層テンプレート領域と第２階層テンプレート領域のレイアウト構成（領域分割レイアウト２２１）も登録しておく。

そして、対象画像４１を入力し、携帯アプリケーション１３で第１階層レイアウト範囲の特徴データを抽出し、サーバ２０のマッチング処理部２１では、その抽出された第１階層の特徴データに対してマッチング処理を行う。所定の閾値以上の演算結果が複数あった場合には、上記登録した第２階層テンプレート領域の特徴データを抽出し、パターンマッチングを行う。

第１階層におけるパターンマッチングと第２階層で行うパターンマッチングで用いる特徴データの構成サイズ（特徴の細かさ）を同じにすると、各階層での特徴抽出やパターンマッチング処理を共通化可能であるし、異なる特徴抽出を設定しておくことも有効である。更に、第１階層の特徴抽出において、例えば画像を９分割し、その任意のセグメントに対応する部分のみの特徴量抽出を進める事も可能であり、且つその指定を携帯電話機であれば、テンキーなどで指定することが有効である。例えば、右上のセグメントを「３」、中央を「５」等である。この後、第１階層のマッチングエンジン（及びデータベース）にて所定の第２階層データベースを指定され、決定マッチングがされる。しかもこの間の通信はおよそ大きく見積もってもＶＧＡクラスで１０ｋＢ以上を必要としない。言い換えると、それ以上の精細度、或いは特徴点の配置組み合わせ数を持っていても結果に影響しない事が判明している。これはテンプレート方式でも同様で、第１階層の役割から機能を設計すると、１６×１６セグメント（特徴量サイズ：２５６）でのテンプレート設定でも充分であり、その場合の特徴量はやはり２ｋＢ程度である。従って、通信されるべき特微量についても従来より極めて低く携帯回線上の通信容量に関しても１０ｋＢ以下のデータであり、高速化の観点からも効果を発揮するものである。

［第２具体例］
ＷｅｂページはＵＲＬがわかれば誰でも参照することができる。これに対して、写真集などの雑誌を買った人だけが接続できるＷｅｂページ（プレミアムコンテンツ）では、そのＷｅｂページの参照を制限する手段として、会員制にして、ユーザ名及びパスワードを入力する場合が多い。しかし、携帯電話機のＷｅｂサイトなどの場合、ユーザ名及びパスワードを端末から入力するのは非常に面倒であった。

そこで、本具体例は、紙面４０の対象画像４１を、携帯アプリケーション１３を有するカメラ付携帯端末１０で読み取った場合だけ、そのようなＷｅｂベージを参照できるようにするものである。

即ち、紙面４０上の対象画像４１に対して、第１階層テンプレート（１次階層テンプレート２２２１）と第２階層テンプレート（２次階層テンプレート２２２２）に分け、第１階層テンプレートをプレミアムＩＤに関連付けておく。そして、紙面４０上の対象画像４１を入力し、第１階層テンプレートと第２階層テンプレートそれぞれに対し、テンプレートマッチングを行う。サーバ２０は、テンプレートマッチング結果として得られた結果情報であるＵＲＬが上記のようなプレミアサイトのときだけ、時間限定でＷｅｂページを動的に生成するように要求する。このため、紙面４０から対象画像４１を読み込んで、マッチした場合だけＷｅｂベージが生成され、この生成されたＷｅｂページを参照することができる。

なお、Ｗｅｂページを動的に生成するとあるが、図１４に示すように、プレミアムサーバ６０がプレミアムＩＤの認証処理を行うことにより、Ｗｅｂサーバ７０に静的に用意されたＷｅｂページ７１に対して動的にアクセス制御を行うことで、動的にＷｅｂページを生成していることと同等の効果を得られることは勿論である。

［第３具体例］
携帯電話機上やＰＤＡなどのカメラ付携帯端末１０でマッチングを行う場合、カメラ付携帯端末１０側にＴＰデータ管理ＤＢ２２を設けることは可能であるが、携帯端末１０側で大量に参照特徴量データ（テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末１０がサーバ２０から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ２０側で行った方が、メモリ容量、演算速度の面では有利である。しかしながら、携帯端末１０側で対象画像４１を入力する毎に、特徴データをサーバ２０に送信しなければならない。対象画像４１の特徴点の配置関係で特徴量を定義する方式（Ｖｉｐｒ）の場合、特徴量の演算に用いる対象画像４１の撮影時の解像度が認識精度とマッチング速度を決める。解像度が高い、即ち撮影時の画素数が多くければ認識精度は向上するが、マッチング速度は演算回数が増大するため遅くなる。従って、階層化マッチングを行うには、同一対象画像４１に対してその解像度が段階的に全て異なる各階層の特徴量を、ＴＰデータ管理ＤＢ２２で管理する構成が有効である。

本具体例は、カメラ付携帯端末１０としてカメラ付携帯電話機を使用する例であり、予め登録した画像を撮影することにより、その画像を認識し、所定の動作、例えば音声出力や所定のプログラムの起動、或いは所定のＵＲＬの表示をさせる場合に適用するものである。特に、予め登録した画像が極めて多数（１０００以上）の場合に効果がある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。

画像を認識する場合、いわゆる辞書データとして画像データを登録するが、画像をそのまま比較するのではなく、画像の特徴量を比較するのが効率が良く実際的である。本具体例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴量として定義する。そのとき、この特徴量は、特徴点の現れる数によってその精度が異なり、元の画像の精細度が高ければ特徴点が数多く検出可能であるため、同じ元画像に対し、なるべく高精細な条件で特徴量を算出する。このとき、同じ画像素材に対して精細度を低下させた画像を基に特徴量を算出すると、特徴点が比較的少なくなるため特徴量自体は小さい容量となる。容量が小さいことはマッチング精度には劣るものの、マッチング速度が高速であることや、携帯回線などでの通信速度が速い等のメリットがある。本具体例においてはここに着眼し、画像を参照データ（テンプレート）として登録する際、同じ画像素材を登録するにしても異なる複数の精細度から特徴量を算出し、それぞれの精細度に分割したデータベース（ＴＰデータ管理ＤＢ２２）を構成する。そのそれぞれのデータベースにはそれぞれに対応するマッチングサーバ（マッチング処理部２１）が接続し、並列動作可能な配置とする。

例えば、図１５に示すように、多数のマッチング処理部２１とＴＰデータ管理ＤＢ２２がクラスタ化されネットワーク内に大方等位に存在したとする。そのＴＰデータ管理ＤＢ２２には同一対象画像４１の特徴量が各階層で管理されている。但し、各ＴＰデータ管理ＤＢ２２では、特徴量を算出したときの元画像の解像度が異なる。例えば、ＱＶＧＡレベル、ＶＧＡレベル、ＸＧＡレベル、ＳＸＧＡレベル、…のように分けられている。

このようなマッチング処理系を準備した上で、携帯電話機の画像入力部（カメラ）１１から、既に登録されている意匠を撮影し、携帯電話機上の携帯アプリケーション１３により特徴点の配置関係から特徴量を算出する。このときのカメラ解像度が２００万画素級であったとすれば、通信を介してマッチング処理部２１にて検索する場合も２００万画素級の解像度のＴＰデータ管理ＤＢ２２からのデータでマッチングを行えば誤認識率が少ない。しかしながら、同時に動作する低解像度（例えばＶＧＡクラスの解像度）のＴＰデータ管理ＤＢ２２でのマッチングは高速に応答するため、先に携帯電話機に結果が送付される。このように、マッチング処理部２１を元画像の解像度別に並列配置することは、速度的、認識精度的に有利である。

例えば、一万円札の画像をＱＶＧＡで入力し、その解像度レベルにおいて特徴量を算出し、マッチング処理部２１クラスタに送られれば、当然ＱＶＧＡレベルのテンプレートを蓄積したＴＰデータ管理ＤＢ２２に対しマッチングを行うマッチング処理部２１は最初にマッチし、所定の認識結果を返す。そして、それ以降のマッチング処理部２１による結果も時間差はあるものの同様の結果が期待できる。

また、この一万円札の画像をＳＸＧＡの解像度で入力し、各マッチング処理部２１にこの解像度での特徴量を送ったとすると、この場合も同様に、最初にＱＶＧＡレベルのマッチング処理部２１からマッチング結果が返ってくることが予測される。しかしながら、その後、ＶＧＡレベル、ＸＧＡレベル、ＳＸＧＡレベル、…の各マッチング処理部２１からわずかな時差でマッチング結果が返ってきたとき、当初「一万円札」であると言う結果だったものが、解像度が上がった場合に「一万円札で、番号部分にＸＤＡ３２４８７９８ＰＳＰに相当する画像がある」という特定結果まで返してくることが可能となる。また、上述したとおり、高解像度マッチング処理部２１においては特徴量自体の容量が大きく、ＸＧＡクラスの特徴量は４０ＫＢ程度に肥大するが、予め低解像度マッチングによりおよそ１０ＫＢ程度までに小さく成る。また、２次以降のマッチング処理部２１及びＴＰデータ管理ＤＢ２２においては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。

このように、一部又は全面の解像度を同画像より算出し、実質上の階層化を実現することは、複数のデータベースをクラスタ的にマッチングエンジンを分散処理する場合に比べて認識速度、認識精度の両面で効果がある。

また、この方式は、仮に当初の認識結果が誤認識（間違った認識結果）を返したとしても、後から返ってきた認識結果の方が確率的に正答で有る可能性が高いため、訂正が可能である。

なお、ＴＰデータ管理ＤＢ２２への登録については、高解像度の対象画像４１の特徴量を計算した後、順次解像度を落として特徴量を再算出して次々に当該解像度のＤＢに登録して行くことで行われる。

また、高解像度で対象画像４１を撮影してマッチングを行う場合には、上記ＴＰデータ管理ＤＢ登録時とは逆に、カメラ付携帯端末１０の携帯アプリケーション１３において撮影画像をリサイズして特徴量を計算する。そして、当該解像度に対応するＴＰデータ管理ＤＢ２２及びマッチング処理部２１に送信。その後、更に解像度を上げて特徴量を再算出し、当該解像度に対応するＴＰデータ管理ＤＢ２２及びマッチング処理部２１に送信する。これを、撮影時の解像度に達するまで、繰り返す。

この方法の応用として、低解像度のＴＰデータ管理ＤＢ２２及びマッチング処理部２１でマッチングさせることにより、対象物を大まかに分無し、その分類に対応したＴＰデータ管理ＤＢ２２及びマッチング処理部２１に対してさらにマッチングを行うことも可能である。例えば、一万円札を対象画像４１として入力した場合、低解像度では｛本の表紙，新聞，図書券カード、チケット，札，ポスター｝、順次解像度が上がると｛図書券，カード，チケット，紙幣｝、｛日本紙幣，ドル紙幣，ユーロ紙幣．元，ウォン｝、｛千円紙幣札，２千円紙幣，５千円紙幣，１万円紙幣｝、｛新１万円紙幣、旧一万円紙幣｝、…のように、各階層（各解像度）でのマッチング結果を使って、関連付けられたＴＰデータ管理ＤＢ２２を優先的に検索することによって高速に検索を行うことが可能になる。さらに、高解像度の検索結果の方が、精度が高いため誤認識があっても訂正が可能となる。

［第４具体例］
携帯電話機上やＰＤＡなどのカメラ付携帯端末１０でマッチングを行う場合、カメラ付携帯端末１０側にＴＰデータ管理ＤＢ２２を設けることは可能であるが、携帯端末１０側で大量に参照特徴量データ（テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末１０がサーバ２０から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ２０側で行った方が、メモリ容量、演算速度の面では有利である。しかしながら、携帯端末１０側で対象画像４１を入力する毎に、特徴データをサーバ２０に送信しなければならない。

特徴量を用いて画像認識を行う場合、ＴＰデータ管理ＤＢ２２で管理する特徴量データの数が増加すると、特徴量が接近したデータが増大する可能性があり、検索時間も増加する。このため不要な特徴量データは早急に削除することが望ましい。

また、特徴量を用いて画像を認識しようとして結果情報を取得したが、結果情報が古かったり、指定された先の情報が削除されていたりする場合がある。例えば、結果情報にＵＲＬが書かれていて、そのＵＲＬに接続したが、そのＷｅｂページが削除されていて、接続できない場合などである。携帯電話のＷｅｂサイトなどの場合、サイトに接続できなくても通信料金が発生する場合がある。

そこで、本具体例では、図１６に示すように、認識対象画像４１の画像領域を個別領域４１ＡとＩＤ領域４１Ｂとに分ける。そして、ＩＤ領域４１Ｂの特徴量を有効期限に対応させ、１週間、１ヶ月、３ヶ月、６ヶ月、１年などの有効期限を用意しておく。

ＩＤ領域４１Ｂの特徴量は数を少なくすることが可能であり、サイズを小さくできるので、カメラ付携帯端末１０側にＩＤ領域ＴＰデータ管理ＤＢ２２Ａを用意することが可能である。画像入力時にネットワーク等を経由して個別領域ＴＰデータ管理ＤＢ２２Ｂに検索に行く前に、このカメラ付携帯端末１０内部に持ったＩＤ領域ＴＰデータ管理ＤＢ２２Ａを高速に検索可能で、有効期限が切れているか否かをユーザに示すことが可能となる。

なお、認識対象画像４１における個別領域４１ＡとＩＤ領域４１Ｂとの関係は、図１７に示すように、互いに固定位置に配置されていても良いし、図１８に示すように、相対位置に配置されていても構わない。

［第５具体例］
携帯電話機上やＰＤＡなどのカメラ付携帯端末１０でマッチングを行う場合、携帯端末１０側にＴＰデータ管理ＤＢ２２を設けることは可能であるが、携帯端末１０側で大量に参照特徴量（テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末１０がサーバ２０から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ２０側で行った方が、メモリ容量、演算速度の面では有利である。しかしながら、携帯端末１０側で対象画像４１を入力する毎に、特徴データをサーバ２０に送信しなければならない。

この場合、撮影画像１枚に対して特徴量抽出を行い、サーバ２０に問い合わせる。このとき、１枚の画像に対して複数の対象画像４１が含まれている場合がある。このような場合、以下のような方法が有効である。

・複数個マッチングしたとき、図１９に示すように、全ての対象画像４１の結果情報を表示する。

・複数個マッチングしたとき、マッチングしたそれぞれの結果情報のＡＮＤ情報で関連付けされた情報を表示する。例えば、「チューリップ」と「さくら」を認識したら植物図鑑の情報を表示する。

・複数個マッチングしたとき、図２０に示すように、どの情報を取得するかユーザに選択させる。

・複数個マッチングしたとき、図２１に示すように、ＴＰデータ管理ＤＢ２２側の参照特徴量算出時に使用した元画像を表示させる。このとき、画像入力時に中心に最も近い位置の対象画像４１から順に表示領域の一部（例えば下部）に表示させる。

・複数個マッチングしたとき、図２２に示すように、中心に近い対象画像４１にマッチする結果情報だけを表示する。

以上の方法を可能とすることにより、ユーザの意思（これを認識させたい）に近い操作性を実現することができる。

［第６具体例］
画像を認識したとき、すぐに結果情報を表示させると、入力画像中のどの対象画像４１を認識したのかユーザが判別できなくなる虞がある。

そこで、図２３及び図２４に示すように、入力画像中の対象画像４１に対して特徴量を抽出した領域上に明示的に「Ｇｅｔ」や「ハートマーク」などの文字列や意匠マーク表示させる。

こうすることにより、認識対象画像４１をユーザに知らせ、ユーザの意思（ボタンの押下など）により結果情報を表示させることが可能となる。

［第７具体例］
本実施例に係る検索システムをカードゲームに適用した場合を次に説明する。

本具体例では、カメラ付携帯端末１０として、カメラ付携帯電話機、もしくは撮影装置と組み合わせて使用できる通信機能を持ったＰＤＡ等を用いて、カードゲームを行う。

即ち、フィールドに並べられたカードを対象画像４１として撮影し、認識を行い、その認識結果に従って、様々な結果をユーザに提供するものである。

ここで、複数のカードが画面内に存在する場合、画面中央等、予め規定された基準点に近いものが選択される。

また、画面内に複数のカードを捉えた際には、それら複数のカードの組合せによって、表示する情報を切り替えることができる。この場合、カードの種類としての組合せのみならず、複数のカードの相対的な向き、また、１つのカードであっても、画面に対する向さや位置によって情報を切り替えることも当然可能である。

また、携帯端末１０を画面上方へ動かすことで、カードに対する指示と認識することができる。これは、カードの意匠等を認識することによって、特定のカードであることを理解し、さらに、画面内の画像情報（オプティカルフローや、カードの意匠そのもの、また絵柄としての角やエッジなどによって表現される自然特徴点等）を利用して、画面内におけるカードの相対的な移動をトラッキングすることによって実現される。

また、携帯端末１０の動作を画面内の情報からトラッキングすることによって、出力する情報、例えば認識したカードの情報を切り替えることも可能である。例えば、カードを捉えた後、携帯端末１０を上方へ動かすときには、攻撃に関する情報や音声を提示したり、携帯端末１０を回転させたときには、カードに記載されたキャラクタの進化情報が提示されることになる。

複数のカードを捉えた際の選択の基準となるのは、これらに限らず、例えば、登録時の姿勢に近いもの、つまり、正面の状態で登録したものについては、画面に対して縦横がほぼ一致し、天地も一致した状態になっているものが優先的に選択されても良い。

また、認識した複数のカードに対応する登録画像を画面の一部に帯状の列として表示し（タブのイメージ）、これらを選択させても良い。

また、認識した際には、「ＧＥＴ」等のテキストや、星印等の意匠が認識物上／周辺に（リアルタイム）に表示される。または、認識した領域を線等で囲むことにより、認識したことをユーザに提示する。認識した領域の輝度を変更することにより、光っているように提示しても良い。さらに、音・音声が利用できることは勿論である。また、画面下部（例えば右下）に認識した対象の登録画像や名称等の関連情報を対象を捉えたカメラの撮影画像上に重畳表示しても効果的なユーザへの提示となる。この際、画面を一時停止させる方法をとっても良い。つまり、認識した瞬間に規定の時間だけ画面の更新を止め、認識した状態をはっきりとユーザに提示することができる。規定の時間が経過した後には、画面は再度更新される状態になる。

［第８具体例］
本実施例に係る検索システムを、テーマパーク等のある限定された空間で利用する場合の例を次に説明する。

この場合、入場時に、カメラ付携帯端末１０によって、チケット、場内地図、ゲート付近の看板等に仕掛けられたシンボルを捉えることによって、テーマパーク内のコンテンツの全て、もしくは一部を予め携帯端末１０内の記憶領域に保存することができる。この記憶領域は、内蔵メモリであっても良いし、メモリカードといった別媒体のものであっても良い。もちろん、コンテンツを記憶させた状態のメモリカードを配布しても良い。

そして、例えばマップの希望するアトラクションを画像入力部１１で撮影することにより、結果情報として当該アトラクションに関連するコンテンツを取得できる。

アトラクション付近の看板もしくはアトラクション施設外観、ゲート等をコンテンツに対応する特徴領域として登録しておくことにより、コンテンツをダウンロードしたカメラ付携帯端末１０で看板や施設外観、ゲート等を眺める、もしくは撮影するだけで、対応するコンテンツを楽しむことができる。例えば、待ち行列に並んだ際に施設のゲートを撮影すると、結果情報として送られてくる当該施設の説明をキャラクタのアニメーション等で見ることができる。また、施設内のアトラクションと連動したゲームで遊ぶことができ、そのゲームの結果、得点等が施設内の演出を変化させるパラメータとなっても良い。ゲームの結果、得点等は、ゲーム完了時に通信によりテーマパークに設置されたサーバ２０等へ送信される。また、アトラクション開始時には再度ゲートを撮影することで、ログイン通知が完了する。

また、テーマパーク内の看板を対象とした場合、同種の看板、例えばフードコーナーを示すものやトイレを示すもの等があるが、カメラ付携帯端末１０に装備された概略位置特定装置、例えばＧＰＳや基地局間の電波強度を利用したもの等により、利用者の現在の概略位置から認識されるはずのものを制限することができる。例えば、Ａゾーンの中央部にいる利用者がフードコーナーの看板を撮影した場合には、そもそものマッチング候補をその位置から見える可能性のあるレストランＡとアトラクションＢ、Ｃ、Ｄ、お土産ショップＥ、Ｆだけに制限でき、マッチングの効率を飛躍的に向上させることが可能である。

また、利用者が集中する環境なので、必ずしも十分な通信帯域／速度を確保できないことが考えられる。こういった状況への対応として、撮影画像を送信する際には、粗い画像情報Ｐ０をまず送信し、続いて、より解像度の高い画像Ｐ１を構成するためのＰ０との差分情報ｄＰ１を送信する。サーバからはＰ０の検索結果、その後、Ｐ１の検索結果といった具合に、非同期に通信を行い結果を得る。非同期に行うことにより、ユーザの使用感を損なわずに、こういった多重情報のやりとりが可能となる。画像から抽出した特徴量を送信する際には、各特徴要素の重要度に応じて送信順位を変化させることになる。つまり、重要度の高い特徴要素から順に送信すれば良い。

また、多重情報に対応したマッチングサーバでは、低解像度の情報に関連付けする情報はグループ化された情報であっても良い。例えば、図２５に示すように、施設の種類を示す看板の一部に具体的店舗情報がのっているような場合、低解像度では、店舗情報を判断することは困難である。よって、低解像度に対応するサーバ上の情報も施設の種類を関連付けするに留め、より高解像度な情報に対応するサーバ上で、具体的な店舗の情報を関連付けする。このように、基礎となる情報の解像度／情報量に応じてマッチングサーバ上の情報密度も変化させることによって、ユーザへ順次マッチング情報を送信する場合であっても、結果が段々と詳細になっていくことになり、良好な使用感を提供できる。

［第９具体例］
本実施例に係る検索システムを、通販及び現物商品のマーケティングに適用した場合を次に説明する。

本具体例では、カメラ付携帯端末１０として、カメラ付携帯電話機を用いるものとする。カメラ付携帯電話機には、予め本技術を含む携帯アプリケーション１３をダウンロード或いは予め販売時点でインストールさせておく。

本具体例においては、携帯電話機側の携帯アプリケーション１３は、撮影した画像をユーザが適宜選択できる所定のサーバへ送付する機能を有し、サーバからの回答を一旦表示し、携帯サイト接続に対してブラウザを起動する機能を有する。

図２６に示すように、本検索システムは、主に３種のソフトウェア群から成る。即ち、携帯電話機にインストールされる携帯アプリケーション１３、サーバ２０に構成されたマッチング処理部２１のソフトウェア、及び画像登録システム８０である。

図２７に示すように、携帯アプリケーション１３は、上述の通り携帯電話機に導入されている画像入力部１１であるカメラを起動し、ユーザの指示により対象物の撮影を行い（ステップＳ７１）、通信を介してサーバ２０のマッチング処理部２１に画像を送付する（ステップＳ７２）。この場合、カメラ付携帯端末１０上で予備的な処理、例えば、画像圧縮、輪郭強調やコントラスト調整、或いは特徴点抽出や一部の特徴量評価などを行い、これらを元の画像と併せて及び／又は別途サーバ側に送るものである。この携帯アプリケーション１３は、画像特徴量のマッチング機能を保有しても良い。しかしながら、画像を特徴点群のフォーメーションやその各点群の特徴の強弱などから特徴量として送信し、判別はサーバ側で処理する方が基本的に処理時間上有利であることが発明者らの実験で確かめられている。

マッチング処理部２１については前述されているが、これは画像登録システム８０により登録された参照画像群がその精細度に応じ或いは精細度を段階化したテンプレートとしてＴＰデータ管理ＤＢ２２に格納されたものと、照合を図る機能が第一義である。

画像登録システム８０は本技術において利用時の導入部となるもので、情報を提供するきっかけとしたい画像や検索対象にしたい画像を登録する機能を有する。本具体例では、この画像登録システム８０がＷｅｂアプリケーションの形態で利用可能にするものを提供している。この形態にすることにより、画像の登録を希望する者がその登録する時間や場所の制限が極めて少なくなる。また、本検索システムの利用に対して画像の登録についての課金系を設定する場合に非常に課金システムを構築するのが容易となる利点もある。

更に、この画像登録システム８０を携帯アプリケーション１３の一つにすることも更に登録の利便性確保のために有効となる。携帯アプリケーション１３の形で携帯電話機のカメラ（画像入力部１１）を用い、そこで撮影した画像をそのカメラ付携帯端末１０に特定或いはユーザ指定のデータベース（ＴＰデータ管理ＤＢ２２）に登録し、更にその画像に紐づけるべき情報を併せて登録できる。例えば、ＵＲＬもその画像とＷｅｂサーバ７０上のＷｅｂページ（コンテンツサイト）を紐づけるものであるし、テキストでキーワードを指定しておくことで更に一般的な検索エンジンにてサイト検索を掛けるように設定すること等も出来る。

携帯電話機のカメラから画像を登録する場合、携帯電話機からＴＰデータ管理ＤＢ２２に登録画像を送信し（ステップＳ７３）、それを第２階層テンプレート（２次階層テンプレート２２２２）として登録すると共に、その送信画像から精細度を下げた画像を再生成して第１階層テンプレート（１次階層テンプレート２２２１）を作成して登録する（ステップＳ７４）。これは、携帯電話機上から同一画像を複数回送信することは時間的にも利用料金的にも不利であるためである。

このように、画像登録システム８０と携帯アプリケーション１３を、携帯電話機上で一体のソフトウェアとして構成することが好ましい。これは、両ソフトウェアが携帯電話機上で画像を撮影し、サーバへ画像を送付する機能がほぼ同一であるためである。このソフトウェアをここでは登録兼用携帯アプリケーションと呼称する。この登録兼用携帯アプリケーションでは、携帯電話機上で携帯アプリ１３を立ち上げると、“登録”か“検索”かを画像撮影後に決定することが出来る。また、立ち上げ直後に特定のサーバ２０のマッチング処理部２１或いは特定のＴＰデータ管理ＤＢ２２を指定することも出来る。この場合、“登録”か“検索”をこのタイミングで指定することも可能である。

“検索”を行う場合には、上記のようにステップＳ７２で画像を送信する。これを受けたマッチング処理部２１では、ＴＰデータ管理ＤＢ２２に登録された１次階層テンプレート２２２１による１次マッチングを実施し（ステップＳ７５）、更に、２次階層テンプレート２２２２による２次マッチングを実施する（ステップＳ７６）。そして、マッチングした画像に紐つく情報、例えばＵＲＬ等のリンク先情報を返送する（ステップＳ７７）。このリンク先情報を受けた携帯アプリケーション１３は、携帯電話ブラウザを起動して、そのリンク先であるＷｅｂサーバ７０のＷｅｂページを読み込んで（ステップＳ７８）、表示する（ステップＳ７９）。

本検索システムを通販雑誌／カタログ誌による所謂カタログ通販で利用した場合の追加機能例を記す。

カタログ通販では、ページ一面に個々の商品写真が列記された状態のページレイアウトと１枚の写真内に多種の商品を配置した場合とがある。前者の場合は、カメラ付携帯端末１０で撮影した画像内に複数の商品写真が入ってしまうことがある。そのような場合、本検索システムでは、個々の商品写真に対応した特徴量の計算を行い、それぞれの商品名及び／またはＵＲＬを次の画面で表示する。この表示方法については主に２種の方式を採用している。一つは撮影された商品の配列に併せて列挙するものと、もう一つは撮影画像のより中心に捉えられた商品写真から順に前記リストを列挙するものとである。

また通販などに限らないが、携帯電話機では基地局情報やＧＰＳ信号を利用し、ユーザの存在位置を勘案してマッチング処理部２１或いはＴＰデータ管理ＤＢ２２を自動的に位置情報によりスイッチする事で同一の写真やポスター等から別の情報（その位置でより有用な情報）を呈示することなどが可能である。

［第１０具体例］
上記第９具体例において画像登録システム８０で画像を登録する際、すでに登録されている画像と非常に良く似た画像を登録しようとする場合がある。このような場合、類似度を評価し、閾値以上であれば登録を拒否するのが通常である。

しかしながら、自社の商品写真やロゴなどの似ている画像を登録しようとした場合など、少しだけ異なる写真だが結果情報は一緒であるとしたい場合、画像が登録できないと不便である。

そこで、自分たちが登録したグループの画像であれば類似度が接近していても自分たちの責任で登録を許可することが好ましい。

図２８に示すように、ユーザｎが画像を登録しようとした場合、画像登録システム８０に対して、登録を望む画像を入力し（ステップＳ８１）、また、その画像に紐つく情報である結果情報を入力する（ステップＳ８２）。このような入力を受け付けた画像登録システム８０は、ＴＰデータ管理ＤＢ２２の共有データ領域に登録済みの全画像に対して類似度のチェックを行う（ステップＳ８３）。

即ち、図２９に示すように、ＴＰデータ管理ＤＢ２２は、画像を検索する範囲及び類似度をチェックする範囲として、その全ての領域である共有データ領域２２３を対象とする。この共有データ領域２２３は、個別ユーザ領域２２４の集合である。個別ユーザ領域２２４に、ユーザ毎の画像及び結果情報を登録するものである。

共有データ領域２２３に類似画像が無ければ（ステップＳ８４）、ユーザｎの個別ユーザ領域２２４へ、入力された画像及び結果情報を登録して（ステップＳ８５）、終了する。

これに対して、共有データ領域２２３に類似画像が有った場合には（ステップＳ８４）、その類似画像が当該ユーザｎの個別ユーザ領域２２４に登録されている画像であるのか否かを判別する（ステップＳ８６）。

例えば、ユーザＡが画像ａ−１，ａ−２，ａ−３，…，ａ−ｎを登録し、ユーザＢが画像ｂ−１，ｂ−２，ｂ−３，…，ｂ−ｎを登録していたとする。ここで、ユーザＣが画像ｃ−ｍを登録しようとしたとき、その画像ｃ−ｍと類似する画像ｂ−ｉが既に登録されている。このような場合には、その登録は拒否され、図３０に示すような登録拒否のメッセージを表示して（ステップＳ８７）、終了する。

これに対して、例えば、ユーザＢが画像ｂ−ｍを登録しようとしたとき、類似する画像ｂ−ｉが存在していたならば、同一ユーザであるので（ステップＳ８６）、図３１に示すような登録確認メッセージを表示して（ステップＳ８８）、ユーザがそれを登録するか否か確認する（ステップＳ８９）。そして、［Ｃａｎｃｅｌ］が選択されたならば、終了する。［ＯＫ］が選択されたならば、当該ユーザｎの個別ユーザ領域２２４へ、入力された画像及び結果情報を登録して（ステップＳ８５）、終了する。

以上のように、同じユーザが登録済みの画像に似ている場合、ユーザの責任で登録を可能にする。これにより、類似した複数の画像を登録することが可能になる。これは、立体物などを多方面から撮影した画像を登録する場合、つまり、複数の画像で一つまたは複数の結果情報を得る場合に有効である。

以上、具体的な具体例と共に説明したように、本実施例に係る検索システムによれば、類似商品のカタログ写真のような場合、テンプレート化すると類似度が接近してしまうが、テンプレートを階層化させることにより、各層のテンプレートをＡＮＤしてマッチングさせることが可能となり、ミスマッチングを低減可能となる。

また、従来、多数（例えば１万件以上）のマッチング用参照データを参照しようとすると、マッチングサーバを並列化し、多数の参照データを分割してマッチングすることで時間短縮を図ろうとするやり方が考えられているが、こういったマッチングの並列処理については確率的に高速化する効果はあるものの、認識（成功）率を向上させる効果は無いことが発明者らの実験で確認されている。これに対し、本実施例に係る検索システムのようなツリー構造の場合は、結果的に高速化と認識率の向上をバランス良く達成できる。

以上、一実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

Claims (4)

1. 画像を入力する画像入力手段（１１）と、
   上記画像入力手段で入力した画像を基にして、階層管理されたテンプレートを用いて、データベース（２２）から画像を検索する手段であり、上位階層のテンプレート（２２２１）を用いたテンプレートマッチングに続いて、下位階層のテンプレート（２２２２）を用いたテンプレートマッチングを行って検索画像を絞り込む検索手段（１３，２１）と、
   上記検索手段によって絞り込まれた検索結果の画像を出力する出力手段（１２）と、
   を具備することを特徴とする検索システム。
2. 上記階層管理されたテンプレートにおいて、上位階層のテンプレート（２２２１）と下位階層のテンプレート（２２２２）は、画像の切り出し位置が異なることを特徴とする請求項１に記載の検索システム。
3. 上記階層管理されたテンプレートにおいて、上位階層のテンプレート（２２２１）と下位階層のテンプレート（２２２２）は、解像度が異なることを特徴とする請求項１に記載の検索システム。
4. 画像をデータベースから検索する方法であり、
   画像（４１）を入力し、
   入力した画像を基にして、階層管理されたテンプレートの上位階層のテンプレート（２２２１）を用いてテンプレートマッチングを行って、データベース（２２）から画像を検索し、さらに、下位階層のテンプレート（２２２２）を用いたテンプレートマッチングを行って検索画像を絞り込み、
   上記絞り込まれた検索結果の画像を出力する、
   ことを特徴とする検索方法。

Images