WO2007004522A1

WO2007004522A1 - 検索システム及び検索方法

Info

Publication number: WO2007004522A1
Application number: PCT/JP2006/313018
Authority: WO
Inventors: Kazuo Ono; Takao Shibasaki; Yukihito Furuhashi
Original assignee: Olympus Corporation
Priority date: 2005-06-30
Filing date: 2006-06-29
Publication date: 2007-01-11
Also published as: CN101010693A; EP1772823A4; EP1772823A1; US20080095448A1; JPWO2007004522A1; KR20070118155A

Abstract

　携帯アプリケーション（１３）及びマッチング処理部（２１）は、画像入力部（１１）で入力した画像を基にして、階層管理されたテンプレートを用いて、ＴＰデータ管理ＤＢ（２２）から画像を検索する際、上位階層のテンプレート（例えば１次階層テンプレート２２２１）を用いたテンプレートマッチングに続いて、下位階層のテンプレート（例えば２次階層テンプレート２２２２）を用いたテンプレートマッチングを行って検索画像を絞り込み、その絞り込まれた検索結果の画像をディスプレイ（１２）で出力する。

Description

検索システム及び検索方法

技術分野

[0001] 本発明は、データベース力画像を検索する検索システム及び検索方法に関する背景技術

[0002] 従来より、入力された画像に対応する画像をデータベースから検索する手法として、テンプレートマッチングが広く知られている。これは、データベースに蓄積された各画像を予め所定の粗い解像度に落としたテンプレートを作成して、それらテンプレートをデータベースに登録しておき、同様の解像度に落とした入力画像とそれらテンプレートとのマッチングを取ると、うものである。

[0003] し力し、そのようなテンプレートマッチングでは、似た画像をミスマッチングしてしまう可能性がある。そこで、ミスマッチングを低減させるために、類似度テーブルによって、テンプレート間の類似度を管理し、類似した画像の登録を防止するなどの対応を行つている。し力しながら、登録テンプレート数が多くなればなるほど、ミスマッチングの可能性は増大してしまう。

[0004] また、類似度を決定する特徴量を特徴点の配置から決める方法も知られて!/、る。そして、そのような方法においては、例えば、特開 2004— 362186号公報に開示されているように、多数のマッチング用データベースを保持し参照する場合、マッチングサーバを並列化し、多数の参照データを分割してマッチングすることで時間短縮を図ろうとする手法が考えられて、る。

発明の開示

[0005] しかしながら、上記特開 2004— 362186号公報に開示されているようなマッチングの並列処理については、確率的に高速化する効果はあるものの、認識 (成功）率を向上させる効果はな、ことが発明者らの実験で確認されて、る。

[0006] 本発明は、上記の点に鑑みてなされたもので、高速化と認識率の向上をバランス良く達成できる検索システム及び検索方法を提供することを目的とする。 [0007] 本発明の検索システムの一態様は、画像を入力する画像入力手段と、上記画像入力手段で入力した画像を基にして、階層管理されたテンプレートを用いて、データべースから画像を検索する手段であり、上位階層のテンプレートを用いたテンプレートマッチングに続いて、下位階層のテンプレートを用いたテンプレートマッチングを行つて検索画像を絞り込む検索手段と、上記検索手段によって絞り込まれた検索結果の画像を出力する出力手段と、を具備することを特徴とする。

[0008] また、本発明の検索方法の一態様は、画像をデータベースから検索する方法であり、画像を入力し、入力した画像を基にして、階層管理されたテンプレートの上位階層のテンプレートを用いてテンプレートマッチングを行って、データベースから画像を検索し、さらに、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込み、上記絞り込まれた検索結果の画像を出力する、ことを特徴とする図面の簡単な説明

[0009] [図 1]図 1は、本発明の一実施例に係る検索システムの構成を示す図である。

[図 2]図 2は、紙面とその紙面上の対象画像を示す図である。

[図 3]図 3は、 TP作成部での階層テンプレート作成処理のフローチャートを示す図である。

[図 4]図 4は、領域分割レイアウトの例を示す図である。

[図 5]図 5は、領域分割レイアウトの別の例を示す図である。

[図 6]図 6は、切り出し位置と解像度とを組み合わせた領域分割レイアウトの例を示す図である。

[図 7]図 7は、切り出し位置と解像度とを組み合わせた領域分割レイアウトの別の例を示す図である。

[図 8]図 8は、従来のテンプレートマッチングの問題点を説明するための図である。

[図 9]図 9は、階層テンプレートを使用する効果を説明するための図である。

[図 10]図 10は、 TPデータ管理 DBでの TPデータ管理処理のフローチャートを示す図である。

[図 11]図 11は、携帯アプリケーションでの端末側動作処理のフローチャートを示す図である。

[図 12]図 12は、マッチング処理部でのマッチング処理のフローチャートを示す図である。

[図 13]図 13は、第 1具体例を説明するための、似ている対象画像、レイアウト構成、第 1階層のテンプレート、及び第 2階層のテンプレートを示す図である。

[図 14]図 14は、第 2具体例における検索システムの構成を示す図である。

[図 15]図 15は、第 3具体例における、対象画像入力画像解像度、カメラ付携帯端末

、及び TPデータ管理 DBを説明するための図である。

[図 16]図 16は、第 4具体例における検索システムの構成を示す図である。

圆 17]図 17は、認識対象画像における個別領域と ID領域との固定位置関係を示す図である。

圆 18]図 18は、認識対象画像における個別領域と ID領域との相対位置関係を示す図である。

[図 19]図 19は、第 5具体例において、複数個マッチングしたときの表示例を説明するための図である。

[図 20]図 20は、第 5具体例において、複数個マッチングしたときの別の表示例を説明するための図である。

[図 21]図 21は、第 5具体例において、複数個マッチングしたときの更に別の表示例を説明するための図である。

[図 22]図 22は、第 5具体例において、複数個マッチングしたときの他の表示例を説明するための図である。

[図 23]図 23は、第 6具体例にけるマッチングしたときの表示例を説明するための図である。

[図 24]図 24は、第 6具体例にけるマッチングしたときの別の表示例を説明するための図である。

[図 25]図 25は、第 8具体例において解像度に応じて順次マッチングしていく様子を示す図である。

[図 26]図 26は、第 9具体例における検索システムの構成を示す図である。 [図 27]図 27は、第 9具体例の動作を説明するためのフローチャートを示す図である。

[図 28]図 28は、第 10具体例の動作を説明するためのフローチャートを示す図である

[図 29]図 29は、共有データ領域及び個別ユーザ領域を説明するための図である。

[図 30]図 30は、登録拒否メッセージの表示例を示す図である。

[図 31]図 31は、登録確認メッセージの表示例を示す図である。

発明を実施するための最良の形態

[0010] 以下、本発明を実施するための最良の形態を図面を参照して説明する。

[0011] 図 1に示すように、本発明の一実施例に係る検索システムは、カメラ付携帯電話機やカメラ付 PDA等のカメラ付携帯端末 10と検索手段とから構成される。カメラ付携帯端末 10は、画像を入力する画像入力手段としての画像入力部 (カメラ） 11と、特定結果を出力する出力手段としてのディスプレイ 12とを含む。検索手段は、階層管理されたテンプレートを用いて、上記画像入力部 11で入力した画像を基にしてデータべ一ス力画像を検索するものである。この検索手段は、カメラ付携帯端末 10の携帯アブリケーシヨン 13と、上記カメラ付携帯端末 10と通信可能なサーバ 20に構成されたマツチング処理部 21とによって実現される。

[0012] 上記サーバ 20は、更に、複数のテンプレートが登録され、それらを階層管理するテンプレート（TP)データ管理データベース（DB) 22を有して!/、る。この TPデータ管理 DB22に登録されるテンプレートは、デスクトップパブリツシング（DTP) 30で、図 2に示すように紙面 40に配置した対象画像 41から、 TP作成部 50によって作成されたものである。即ち、本一実施例に係る検索システムでは、予め、 DTP30によって、図 2 に示すように紙面 40に対象画像 41を印刷する。それと共に、 TP作成部 50でその対象画像 41のテンプレートを作成する。そして、その作成したテンプレートをサーバ 20 の TPデータ管理 DB22に登録しておく。なお、登録する対象画像 41が多数あれば、そのようなテンプレートの作成と登録を繰り返す。

[0013] 検索を望むユーザは、紙面 40からカメラ付携帯端末 10等の画像入力部 11を使つて対象画像 41を取り込む。すると、携帯アプリケーション 13は、その入力画像から画像の特徴抽出を行い、抽出した特徴データをサーバ 20のマッチング処理部 21に送る。この特徴データを受けたマッチング処理部 21は、 TPデータ管理 DB22に登録されているテンプレートとパターンマッチングを行う。この場合、上位階層のテンプレートを用いたテンプレートマッチングに続いて、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込む。そして、パターンマッチング結果が取得されたならば、マッチング処理部 21は、その結果情報をカメラ付携帯端末 10の携帯アプリケーション 13に送る。この結果情報を受信した携帯アプリケーション 13は、その結果情報をディスプレイ 12に表示する。

[0014] 以下、各部の動作をより詳細に説明する。

[0015] まず、上記 TP作成部 50での階層テンプレート作成処理について、図 3を参照して説明する。

[0016] 即ち、 TP作成部 50においては、まず、ユーザが所望の、 N次の階層テンプレートの各層で使用する対象画像 41の領域分割レイアウトを定義する (ステップ S 11)。

[0017] 図 4及び図 5に示すように、この領域分割レイアウト 221とは、例えば、各階層のテンプレートの画像の切り出し位置を示すものである。あるいは、各階層のテンプレートの解像度を示すものであっても良い。

[0018] 更には、図 6及び図 7に示すように、切り出し位置と解像度とを組み合わせたものであっても良い。即ち、図 6に示す領域分割レイアウト 221の例は、画像の全体領域を 8 X 8セグメントに分割した 1次階層テンプレート 2221、画像の 1/4の領域を 8 X 8セグメントに分割した 2次階層テンプレート 2222、画像の 1/8の領域を 8 X 8セグメントに分割した 3次階層テンプレート 2223を、それらの右下を一致させるような切り出し位置に設定した例である。また、図 7に示す領域分割レイアウト 221の例は、上記 3つのテンプレート 2221, 2222, 2223の中心を一致させるような切り出し位置に設定した例である。なお、図 4乃至図 7の例は N = 3場合を示している力それに限定されるものではな!/、ことは勿論である。

[0019] 例えば、テンプレートマッチングでは、図 8に示すような似た画像をミスマッチングしてしまう可能性がある。これに対して、図 9に示すように、右下の領域のみ解像度の高いテンプレート（2次階層テンプレート 2222)を使用すれば、ミスマッチングの可能性を減少、させることができる。 [0020] なお、領域分割レイアウトを「定義する」とは、新たに「作成する」場合と既にあるものを「選択する」場合との何れをも含むものである。

[0021] 而して、上記のような領域分割レイアウト 221が定義されたならば、内部カウンタ nを「1」にセットする（ステップ S12)。そして、そのカウンタ nの値が Nよりも大きくなつているか否かを判別する (ステップ S 13)。

[0022] ここで、まだ Nよりも小さい場合には、上記定義した領域分割レイアウト 221に従つて、元画像を入力する (ステップ S 14)。この場合、入力される元画像は、対象画像 4 1における上記領域分割レイアウト 221により示される画像切り出し位置の画像データである。そして、上記定義した領域分割レイアウト 221に従って、その入力された元画像から特徴データを作成、つまり n層（n次元)テンプレートを作成する (ステップ S1 5)。次に、例えばテンプレートマッチングによって OKとなったときに出力すべき結果情報、例えば特定の Webサイトの URL等を入力する (ステップ S16)。そして、それら特徴データ及び結果情報を、該 TP作成部 50内に構成した特徴データ Z結果情報テーブル 51に登録する（ステップ S 17)。

[0023] その後、カウンタ nの値を「 + 1」した後（ステップ S18)、上記ステップ S13に戻り、上記ステップを繰り返し行う。こうして、カウンタ nの値が Nよりも大きくなつたならば (ステップ S13)、この TP作成処理を終了する。

[0024] 次に、図 10を参照して、上記サーバ 20の TPデータ管理 DB22での TPデータ管理処理の詳細を説明する。

[0025] 即ち、 TPデータ管理 DB22では、まず、 TP作成部 50から上記 N次の階層テンプレートの各層で使用する対象画像 41の領域分割レイアウト 221を読み出す (ステップ S 21)。次に、その読み出した領域分割レイアウト 221に対応する特徴データ Z結果情報テーブル 51の内容を読み出す (ステップ S22)。そして、テンプレートレイアウト毎に設けられたデータベースに、上記読み出した領域分割レイアウト 221に従って、上記読み出した特徴データ Z結果情報テーブル 51の内容を登録する (ステップ S 23) 。この処理を、 TP作成部 50で作成した全てのテンプレートが終了するまで (ステップ S 24)、繰り返す。

[0026] 次に、図 11及び図 12を参照して、上記カメラ付携帯端末 10の携帯アプリケーション 13での端末側動作処理、及び、上記サーバ 20のマッチング処理部 21でのマッチング処理の詳細を説明する。なお、図 1では、携帯アプリケーション 13は一つしか図示していないが、実際にはカメラ付携帯端末 10には複数の携帯アプリケーション 13 が存在する。即ち、一つのテンプレートレイアウトに対して一つの携帯アプリケーション 13が存在し、元の対象画像 41の種類に応じて起動される携帯アプリケーション 13 が異なる。

[0027] ある対象画像 41に対応する携帯アプリケーション 13が起動されると、その携帯アブリケーシヨン 13は、まず、当該携帯アプリケーション 13のテンプレートレイアウトによつて決まるテンプレート最大階層数を、図示しない内部カウンタ Nにセットする (ステップ S31)。そして、画像入力部 11により紙面 40上の対象画像 41を撮影して得られた画像を入力する (ステップ S32)。次に、階層番号をカウントする図示しない内部カウンタ nを「1」にセットする（ステップ S33)。

[0028] その後、当該携帯アプリケーション 13のテンプレートレイアウトに従って、その画像に対し第 n階層領域の特徴データ (n次特徴量)を抽出する (ステップ S34)。ここで、特徴データ (特徴量)とは、例えば特徴点の分布や濃度などである。そして、その抽出した n次特徴量を、当該携帯アプリケーション 13のテンプレートレイアウトを特定するための TPレイアウト番号 m及び現在の階層番号 nと共に、サーバ 20のマッチング処理部 21に対して送信する (ステップ S35)。その後、そのマッチング処理部 21からの結果情報の受信待ちとなる (ステップ S36)。

[0029] サーバ 20のマッチング処理部 21においては、まず、受信した TPレイアウト番号 m に従って最大階層数を図示しない内部カウンタ Nにセットする (ステップ S51)。また、マッチング対象の階層番号を図示しない内部カウンタ nにセットする (ステップ S52)。そして、受信した n次の特徴データ (特徴量)を取得する (ステップ S53)。次に、上記 TPデータ管理 DB22の上記受信した TPレイアウト番号 mで示されるデータベースに登録管理されているテンプレートと該取得した特徴データとのパターンマッチングを行う（ステップ S 54)。

[0030] そのパターンマッチングにより、対象データ候補が有ったならば (ステップ S55)、更に、類似度チェックを行う（ステップ S56)。そして、類似度が所定の閾値以上の対象データ候補が一つであるか否かを判別する (ステップ S57)。

[0031] このステップ S57にお、て、対象データ候補が一つであると判別されたならば、その対象データ候補の特徴データに対応して特徴データ Z結果情報テーブル 51に登録されている結果情報を、上記カメラ付携帯端末 10に対して返信する (ステップ S58

) o

[0032] 携帯アプリケーション 13は、上記サーバ 20のマッチング処理部 21から結果情報が返信されてきたならば (ステップ S37)、それをディスプレイ 12に表示する（ステップ S 38)。

[0033] これに対して、上記ステップ S57において、類似度が所定の閾値以上の対象データ候補が複数あると判別された場合には、内部カウンタ Nの値が内部カウンタ nの値よりも大きいか否かを判別する (ステップ S59)。そして、大きくなければ、（n+ 1)次特徴データの送信を、上記カメラ付携帯端末 10に対して要求する (ステップ S60)。

[0034] 携帯アプリケーション 13は、上記サーバ 20のマッチング処理部 21から上記（n+ 1) 次特徴データの送信要求があった場合には (ステップ S37)、内部カウンタ Nの値が内部カウンタ nの値よりも大きいか否かを判別する (ステップ S39)。そして、大きくなければ、カウンタ nの値を「 + 1」して（ステップ S40)、上記ステップ S34に戻り、上記の処理を繰り返す。これにより、 n+ 1次の特徴データがサーバ 20のマッチング処理部 21に送信されることになる。

[0035] そして、サーノ 20のマッチング処理部 21においては、その n+ 1次の特徴データに対して上述したような処理を実行する。但しこの場合、前回のパターンマッチング時に複数あった対象データ候補に対して優先的にパターンマッチングを行う。

[0036] こうして、一つのテンプレートにマッチングするまで、上記の処理が携帯アプリケーシヨン 13とマッチング処理部 21で繰り返される。

[0037] なお、上記ステップ S39において、内部カウンタ Nの値が内部カウンタ nの値よりも大きいと判別された場合には、携帯アプリケーション 13は、マッチングエラーとして、エラーメッセージ等をディスプレイ 12に表示して (ステップ S41)、処理を終了することになる。

[0038] 以下、具体的な具体例を図面を参照して説明する。 [0039] [第 1具体例]

本具体例は、カメラ付き携帯電話機を利用して、通販雑誌 Zカタログ誌にてスムーズな通販を進める場合の例である。

[0040] 通販雑誌 Zカタログ誌で商品とオプション品をセットで販売する場合、図 13に示すように、紙面 40には、メイン商品（カメラ）の画像が大きぐオプション品（交換レンズやフィルム）が小さく印刷されている場合がある。このような対象画像 41の場合、類似度が接近して判別が難しくなる。

[0041] そこで、予め、対象画像 41全体を第 1階層テンプレート（1次階層テンプレート 222

1)として登録しておき、注目領域を第 2階層テンプレート（2次階層テンプレート 222

2)として登録しておく。この結果、比較的粗い解像度で撮影した画像カゝら特徴量を抽出 (特徴点分布方式、テンプレート濃度方式のどちらでも）した場合であっても、第 2階層のテンプレート（マッチングエンジン)を指定する意味のみであるので、誤認識率は小さく且つ、元画像が粗ヽので特徴量データ容量自体も小さヽ。

[0042] さらに、このときの第 1階層テンプレート領域と第 2階層テンプレート領域のレイァゥト構成 (領域分割レイアウト 221)も登録しておく。

[0043] そして、対象画像 41を入力し、携帯アプリケーション 13で第 1階層レイアウト範囲の特徴データを抽出し、サーバ 20のマッチング処理部 21では、その抽出された第 1階層の特徴データに対してマッチング処理を行う。所定の閾値以上の演算結果が複数あった場合には、上記登録した第 2階層テンプレート領域の特徴データを抽出し、パターンマッチングを行う。

[0044] 第 1階層におけるパターンマッチングと第 2階層で行うパターンマッチングで用いる特徴データの構成サイズ (特徴の細かさ）を同じにすると、各階層での特徴抽出ゃパターンマッチング処理を共通化可能であるし、異なる特徴抽出を設定しておくことも有効である。更に、第 1階層の特徴抽出において、例えば画像を 9分割し、その任意のセグメントに対応する部分のみの特徴量抽出を進める事も可能であり、且つその指定を携帯電話機であれば、テンキーなどで指定することが有効である。例えば、右上のセグメントを「3」、中央を「5」等である。この後、第 1階層のマッチングエンジン (及びデータベース）にて所定の第 2階層データベースを指定され、決定マッチングがされる。しかもこの間の通信はおよそ大きく見積もっても VGAクラスで lOkB以上を必要としない。言い換えると、それ以上の精細度、或いは特徴点の配置組み合わせ数を持って!/、ても結果に影響しな、事が判明して、る。これはテンプレート方式でも同様で、第 1階層の役割力も機能を設計すると、 16 X 16セグメント (特徴量サイズ: 256 )でのテンプレート設定でも充分であり、その場合の特徴量はやはり 2kB程度である。従って、通信されるべき特微量にっ、ても従来より極めて低く携帯回線上の通信容量に関しても lOkB以下のデータであり、高速化の観点からも効果を発揮するものである。

[0045] [第 2具体例]

Webページは URLがわかれば誰でも参照することができる。これに対して、写真集などの雑誌を買った人だけが接続できる Webページ (プレミアムコンテンツ)では、その Webページの参照を制限する手段として、会員制にして、ユーザ名及びパスヮードを入力する場合が多い。しかし、携帯電話機の Webサイトなどの場合、ユーザ名及びパスワードを端末力入力するのは非常に面倒であった。

[0046] そこで、本具体例は、紙面 40の対象画像 41を、携帯アプリケーション 13を有するカメラ付携帯端末 10で読み取った場合だけ、そのような Webページを参照できるようにするものである。

[0047] 即ち、紙面 40上の対象画像 41に対して、第 1階層テンプレート（1次階層テンプレート 2221)と第 2階層テンプレート（2次階層テンプレート 2222)に分け、第 1階層テンプレートをプレミアム IDに関連付けておく。そして、紙面 40上の対象画像 41を入力し、第 1階層テンプレートと第 2階層テンプレートそれぞれに対し、テンプレートマツチングを行う。サーバ 20は、テンプレートマッチング結果として得られた結果情報である URLが上記のようなプレミアサイトのときだけ、時間限定で Webページを動的に生成するように要求する。このため、紙面 40から対象画像 41を読み込んで、マッチした場合だけ Webページが生成され、この生成された Webページを参照することができる。

[0048] なお、 Webページを動的に生成するとある力図 14に示すように、プレミアムサーノ 60がプレミアム IDの認証処理を行うことにより、 Webサーバ 70に静的に用意された Webページ 71に対して動的にアクセス制御を行うことで、動的に Webページを生成して、ることと同等の効果を得られることは勿論である。

[0049] [第 3具体例]

携帯電話機上や PDAなどのカメラ付携帯端末 10でマッチングを行う場合、カメラ付携帯端末 10側に TPデータ管理 DB22を設けることは可能であるが、携帯端末 10 側で大量に参照特徴量データ (テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末 10がサーバ 20から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ 20側で行った方力メモリ容量、演算速度の面では有利である。しかしながら、携帯端末 10側で対象画像 41を入力する毎に、特徴データをサーバ 20に送信しなければならない。対象画像 41の特徴点の配置関係で特徴量を定義する方式 (Vipr)の場合、特徴量の演算に用いる対象画像 41の撮影時の解像度が認識精度とマッチング速度を決める。解像度が高い、即ち撮影時の画素数が多くければ認識精度は向上するが、マッチング速度は演算回数が増大するため遅くなる。従って、階層化マッチングを行うには、同一対象画像 41に対してその解像度が段階的に全て異なる各階層の特徴量を、 TPデータ管理 DB22で管理する構成が有効である。

[0050] 本具体例は、カメラ付携帯端末 10としてカメラ付携帯電話機を使用する例であり、予め登録した画像を撮影することにより、その画像を認識し、所定の動作、例えば音声出力や所定のプログラムの起動、或、は所定の URLの表示をさせる場合に適用するものである。特に、予め登録した画像が極めて多数（1000以上）の場合に効果力 Sある方式であり、また、類似性の高い画像がその中に含まれている場合にも効果を有する。

[0051] 画像を認識する場合、 V、わゆる辞書データとして画像データを登録するが、画像をそのまま比較するのではなぐ画像の特徴量を比較するのが効率が良く実際的である。本具体例では、画像の特徴点の配置関係をベクトル量の組み合わせとして算出し、その多数組を特徴量として定義する。そのとき、この特徴量は、特徴点の現れる数によってその精度が異なり、元の画像の精細度が高ければ特徴点が数多く検出可能であるため、同じ元画像に対し、なるべく高精細な条件で特徴量を算出する。このとき、同じ画像素材に対して精細度を低下させた画像を基に特徴量を算出すると、特徴点が比較的少なくなるため特徴量自体は小さ、容量となる。容量が小さ!/、ことはマツチング精度には劣るものの、マッチング速度が高速であることや、携帯回線などでの通信速度が速い等のメリットがある。本具体例においてはここに着眼し、画像を参照データ (テンプレート）として登録する際、同じ画像素材を登録するにしても異なる複数の精細度から特徴量を算出し、それぞれの精細度に分割したデータベース (TP データ管理 DB22)を構成する。そのそれぞれのデータベースにはそれぞれに対応するマッチングサーバ（マッチング処理部 21)が接続し、並列動作可能な配置とする

[0052] 例えば、図 15に示すように、多数のマッチング処理部 21と TPデータ管理 DB22がクラスタ化されネットワーク内に大方等位に存在したとする。その TPデータ管理 DB2 2には同一対象画像 41の特徴量が各階層で管理されている。但し、各 TPデータ管理 DB22では、特徴量を算出したときの元画像の解像度が異なる。例えば、 QVGA レベル、 VGAレベル、 XGAレベル、 SXGAレベル、…のように分けられている。

[0053] このようなマッチング処理系を準備した上で、携帯電話機の画像入力部 (カメラ） 11 から、既に登録されている意匠を撮影し、携帯電話機上の携帯アプリケーション 13により特徴点の配置関係から特徴量を算出する。このときのカメラ解像度が 200万画素級であったとすれば、通信を介してマッチング処理部 21にて検索する場合も 200万画素級の解像度の TPデータ管理 DB22からのデータでマッチングを行えば誤認識率が少ない。しカゝしながら、同時に動作する低解像度 (例えば VGAクラスの解像度）の TPデータ管理 DB22でのマッチングは高速に応答するため、先に携帯電話機に結果が送付される。このように、マッチング処理部 21を元画像の解像度別に並列配置することは、速度的、認識精度的に有利である。

[0054] 例えば、一万円札の画像を QVG Aで入力し、その解像度レベルにおいて特徴量を算出し、マッチング処理部 21クラスタに送られれば、当然 Q VGAレベルのテンプレートを蓄積した TPデータ管理 DB22に対しマッチングを行うマッチング処理部 21は最初にマッチし、所定の認識結果を返す。そして、それ以降のマッチング処理部 21 による結果も時間差はあるものの同様の結果が期待できる。

[0055] また、この一万円札の画像を SXG Aの解像度で入力し、各マッチング処理部 21にこの解像度での特徴量を送ったとすると、この場合も同様に、最初に QVGAレベルのマッチング処理部 21からマッチング結果が返ってくることが予測される。し力しながら、その後、 VGAレベル、 XGAレベル、 SXGAレベル、…の各マッチング処理部 21 力もわずかな時差でマッチング結果が返ってきたとき、当初「一万円札」であると言う結果だったもの力解像度が上がった場合に「一万円札で、番号部分に XDA3248 798PSPに相当する画像がある」という特定結果まで返してくることが可能となる。また、上述したとおり、高解像度マッチング処理部 21においては特徴量自体の容量が大きぐ XGAクラスの特徴量は 40KB程度に肥大する力予め低解像度マッチングによりおよそ 10KB程度までに小さく成る。また、 2次以降のマッチング処理部 21及び TPデータ管理 DB22においては、より低解像データベースとの差分のみを保持すれば、より小さいデータベース構成を実現し、それは認識処理の高速化につながる。

[0056] このように、一部又は全面の解像度を同画像より算出し、実質上の階層化を実現することは、複数のデータベースをクラスタ的にマッチングエンジンを分散処理する場合に比べて認識速度、認識精度の両面で効果がある。

[0057] また、この方式は、仮に当初の認識結果が誤認識（間違った認識結果)を返したとしても、後から返ってきた認識結果の方が確率的に正答で有る可能性が高いため、訂正が可能である。

[0058] なお、 TPデータ管理 DB22への登録については、高解像度の対象画像 41の特徴量を計算した後、順次解像度を落として特徴量を再算出して次々に当該解像度の D Bに登録して行くことで行われる。

[0059] また、高解像度で対象画像 41を撮影してマッチングを行う場合には、上記 TPデータ管理 DB登録時とは逆に、カメラ付携帯端末 10の携帯アプリケーション 13において撮影画像をリサイズして特徴量を計算する。そして、当該解像度に対応する TPデータ管理 DB22及びマッチング処理部 21に送信。その後、更に解像度を上げて特徴量を再算出し、当該解像度に対応する TPデータ管理 DB22及びマッチング処理部 21に送信する。これを、撮影時の解像度に達するまで、繰り返す。 [0060] この方法の応用として、低解像度の TPデータ管理 DB22及びマッチング処理部 21 でマッチングさせること〖こより、対象物を大まかに分無し、その分類に対応した TPデータ管理 DB22及びマッチング処理部 21に対してさらにマッチングを行うことも可能である。例えば、一万円札を対象画像 41として入力した場合、低解像度では {本の表紙，新聞，図書券カード、チケット，札，ポスター }、順次解像度が上がると {図書券 ,カード，チケット，紙幣 }、 {日本紙幣，ドル紙幣，ユーロ紙幣.元，ウォン }、{千円紙幣札， 2千円紙幣， 5千円紙幣， 1万円紙幣 } J新 1万円紙幣、旧一万円紙幣 }、…のように、各階層（各解像度)でのマッチング結果を使って、関連付けられた TPデータ管理 DB22を優先的に検索することによって高速に検索を行うことが可能になる。さらに、高解像度の検索結果の方が、精度が高いため誤認識があっても訂正が可能となる。

[0061] [第 4具体例]

携帯電話機上や PDAなどのカメラ付携帯端末 10でマッチングを行う場合、カメラ付携帯端末 10側に TPデータ管理 DB22を設けることは可能であるが、携帯端末 10 側で大量に参照特徴量データ (テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末 10がサーバ 20から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ 20側で行った方力メモリ容量、演算速度の面では有利である。しかしながら、携帯端末 10側で対象画像 41を入力する毎に、特徴データをサーバ 20に送信しなければならない。

[0062] 特徴量を用いて画像認識を行う場合、 TPデータ管理 DB22で管理する特徴量データの数が増加すると、特徴量が接近したデータが増大する可能性があり、検索時間も増加する。このため不要な特徴量データは早急に削除することが望ましい。

[0063] また、特徴量を用いて画像を認識しょうとして結果情報を取得したが、結果情報が古かったり、指定された先の情報が削除されていたりする場合がある。例えば、結果情報に URLが書かれていて、その URLに接続した力その Webページが削除されていて、接続できない場合などである。携帯電話の Webサイトなどの場合、サイトに接続できなくても通信料金が発生する場合がある。 [0064] そこで、本具体例では、図 16に示すように、認識対象画像 41の画像領域を個別領域 41Aと ID領域 41Bとに分ける。そして、 ID領域 41Bの特徴量を有効期限に対応させ、 1週間、 1ヶ月、 3ヶ月、 6ヶ月、 1年などの有効期限を用意しておく。

[0065] ID領域 41Bの特徴量は数を少なくすることが可能であり、サイズを小さくできるので、カメラ付携帯端末 10側に ID領域 TPデータ管理 DB22Aを用意することが可能である。画像入力時にネットワーク等を経由して個別領域 TPデータ管理 DB22Bに検索に行く前に、このカメラ付携帯端末 10内部に持った ID領域 TPデータ管理 DB22 Aを高速に検索可能で、有効期限が切れているか否かをユーザに示すことが可能となる。

[0066] なお、認識対象画像 41における個別領域 41Aと ID領域 41Bとの関係は、図 17に示すように、互いに固定位置に配置されていても良いし、図 18に示すように、相対位置に配置されて、ても構わなヽ。

[0067] [第 5具体例]

携帯電話機上や PDAなどのカメラ付携帯端末 10でマッチングを行う場合、携帯端末 10側に TPデータ管理 DB22を設けることは可能であるが、携帯端末 10側で大量に参照特徴量 (テンプレート）を管理するのは、メモリ容量、演算速度の面で不利な場合が多い。さらに、テンプレートは頻繁に更新されるため、テンプレートを携帯端末 10がサーバ 20から逐次ダウンロードする必要がある。従って、画像のマッチングを行う場合、マッチングをサーバ 20側で行った方が、メモリ容量、演算速度の面では有利である。しかしながら、携帯端末 10側で対象画像 41を入力する毎に、特徴データをサーバ 20に送信しなければならな、。

[0068] この場合、撮影画像 1枚に対して特徴量抽出を行い、サーバ 20に問い合わせる。

このとき、 1枚の画像に対して複数の対象画像 41が含まれている場合がある。このような場合、以下のような方法が有効である。

[0069] ·複数個マッチングしたとき、図 19に示すように、全ての対象画像 41の結果情報を表示する。

[0070] '複数個マッチングしたとき、マッチングしたそれぞれの結果情報の ANひ f青報で関連付けされた情報を表示する。例えば、「チューリップ」と「さくら」を認識したら植物図鑑の情報を表示する。

[0071] ·複数個マッチングしたとき、図 20に示すように、どの情報を取得するかユーザに選択させる。

[0072] ·複数個マッチングしたとき、図 21に示すように、 TPデータ管理 DB22側の参照特徴量算出時に使用した元画像を表示させる。このとき、画像入力時に中心に最も近い位置の対象画像 41から順に表示領域の一部（例えば下部）に表示させる。

[0073] ·複数個マッチングしたとき、図 22に示すように、中心に近い対象画像 41にマッチする結果情報だけを表示する。

[0074] 以上の方法を可能とすることにより、ユーザの意思 (これを認識させたい）に近い操作性を実現することができる。

[0075] [第 6具体例]

画像を認識したとき、すぐに結果情報を表示させると、入力画像中のどの対象画像

41を認識したのかユーザが判別できなくなる虞がある。

[0076] そこで、図 23及び図 24に示すように、入力画像中の対象画像 41に対して特徴量を抽出した領域上に明示的に「Get」や「ノヽートマーク」などの文字列や意匠マーク表示させる。

[0077] こうすることにより、認識対象画像 41をユーザに知らせ、ユーザの意思（ボタンの押下など）により結果情報を表示させることが可能となる。

[0078] [第 7具体例]

本実施例に係る検索システムをカードゲームに適用した場合を次に説明する。

[0079] 本具体例では、カメラ付携帯端末 10として、カメラ付携帯電話機、もしくは撮影装置と組み合わせて使用できる通信機能を持った PDA等を用いて、カードゲームを行

[0080] 即ち、フィールドに並べられたカードを対象画像 41として撮影し、認識を行!ヽ、その認識結果に従って、様々な結果をユーザに提供するものである。

[0081] ここで、複数のカードが画面内に存在する場合、画面中央等、予め規定された基準点に近いものが選択される。

[0082] また、画面内に複数のカードを捉えた際には、それら複数のカードの組合せによつて、表示する情報を切り替えることができる。この場合、カードの種類としての組合せのみならず、複数のカードの相対的な向き、また、 1つのカードであっても、画面に対する向さや位置によって情報を切り替えることも当然可能である。

[0083] また、携帯端末 10を画面上方へ動かすことで、カードに対する指示と認識することができる。これは、カードの意匠等を認識することによって、特定のカードであることを理解し、さらに、画面内の画像情報（オプティカルフローや、カードの意匠そのもの、また絵柄としての角やエッジなどによって表現される自然特徴点等）を利用して、画面内におけるカードの相対的な移動をトラッキングすることによって実現される。

[0084] また、携帯端末 10の動作を画面内の情報力もトラッキングすることによって、出力する情報、例えば認識したカードの情報を切り替えることも可能である。例えば、カードを捉えた後、携帯端末 10を上方へ動かすときには、攻撃に関する情報や音声を提示したり、携帯端末 10を回転させたときには、カードに記載されたキャラクタの進化情報が提示されることになる。

[0085] 複数のカードを捉えた際の選択の基準となるのは、これらに限らず、例えば、登録時の姿勢に近いもの、つまり、正面の状態で登録したものについては、画面に対して縦横がほぼ一致し、天地も一致した状態になっているものが優先的に選択されても良い。

[0086] また、認識した複数のカードに対応する登録画像を画面の一部に帯状の列として表示し (タブのイメージ）、これらを選択させても良い。

[0087] また、認識した際には、「GET」等のテキストや、星印等の意匠が認識物上 Z周辺に（リアルタイム）に表示される。または、認識した領域を線等で囲むことにより、認識したことをユーザに提示する。認識した領域の輝度を変更することにより、光っているように提示しても良い。さらに、音 ·音声が利用できることは勿論である。また、画面下部 (例えば右下）に認識した対象の登録画像や名称等の関連情報を対象を捉えた力メラの撮影画像上に重畳表示しても効果的なユーザへの提示となる。この際、画面を一時停止させる方法をとつても良い。つまり、認識した瞬間に規定の時間だけ画面の更新を止め、認識した状態をはっきりとユーザに提示することができる。規定の時間が経過した後には、画面は再度更新される状態になる。 [0088] [第 8具体例]

本実施例に係る検索システムを、テーマパーク等のある限定された空間で利用する場合の例を次に説明する。

[0089] この場合、入場時に、カメラ付携帯端末 10によって、チケット、場内地図、ゲート付近の看板等に仕掛けられたシンボルを捉えることによって、テーマパーク内のコンテンッの全て、もしくは一部を予め携帯端末 10内の記憶領域に保存することができる。この記憶領域は、内蔵メモリであっても良いし、メモリカードといった別媒体のものであっても良い。もちろん、コンテンツを記憶させた状態のメモリカードを配布しても良い

[0090] そして、例えばマップの希望するアトラクションを画像入力部 11で撮影することにより、結果情報として当該アトラクションに関連するコンテンツを取得できる。

[0091] アトラクション付近の看板もしくはアトラクション施設外観、ゲート等をコンテンツに対応する特徴領域として登録しておくことにより、コンテンツをダウンロードしたカメラ付携帯端末 10で看板や施設外観、ゲート等を眺める、もしくは撮影するだけで、対応するコンテンツを楽しむことができる。例えば、待ち行列に並んだ際に施設のゲートを撮影すると、結果情報として送られてくる当該施設の説明をキャラクタのアニメーション等で見ることができる。また、施設内のアトラクションと連動したゲームで遊ぶことができ、そのゲームの結果、得点等が施設内の演出を変化させるパラメータとなっても良い。ゲームの結果、得点等は、ゲーム完了時に通信によりテーマパークに設置されたサーバ 20等へ送信される。また、アトラクション開始時には再度ゲートを撮影することで、ログイン通知が完了する。

[0092] また、テーマパーク内の看板を対象とした場合、同種の看板、例えばフードコーナ一を示すものやトイレを示すもの等があるが、カメラ付携帯端末 10に装備された概略位置特定装置、例えば GPSや基地局間の電波強度を利用したもの等により、利用者の現在の概略位置カゝら認識されるはずのものを制限することができる。例えば、 Aゾーンの中央部にいる利用者がフードコーナーの看板を撮影した場合には、そもそものマッチング候補をその位置から見える可能性のあるレストラン Aとアトラクション B、C 、 D、お土産ショップ E、 Fだけに制限でき、マッチングの効率を飛躍的に向上させることが可能である。

[0093] また、利用者が集中する環境なので、必ずしも十分な通信帯域 Z速度を確保できないことが考えられる。こういった状況への対応として、撮影画像を送信する際には、粗い画像情報 POをまず送信し、続いて、より解像度の高い画像 P1を構成するための POとの差分情報 dPlを送信する。サーノくからは POの検索結果、その後、 P1の検索結果といった具合に、非同期に通信を行い結果を得る。非同期に行うことにより、ユーザの使用感を損なわずに、こういった多重情報のやりとりが可能となる。画像から抽出した特徴量を送信する際には、各特徴要素の重要度に応じて送信順位を変化させることになる。つまり、重要度の高い特徴要素力順に送信すれば良い。

[0094] また、多重情報に対応したマッチングサーバでは、低解像度の情報に関連付けする情報はグループィ匕された情報であっても良い。例えば、図 25に示すように、施設の種類を示す看板の一部に具体的店舗情報がのっているような場合、低解像度では、店舗情報を判断することは困難である。よって、低解像度に対応するサーバ上の情報も施設の種類を関連付けするに留め、より高解像度な情報に対応するサーバ上で、具体的な店舗の情報を関連付けする。このように、基礎となる情報の解像度 Z情報量に応じてマッチングサーバ上の情報密度も変化させることによって、ユーザへ順次マッチング情報を送信する場合であっても、結果が段々と詳細になっていくことになり、良好な使用感を提供できる。

[0095] [第 9具体例]

本実施例に係る検索システムを、通販及び現物商品のマーケティングに適用した場合を次に説明する。

[0096] 本具体例では、カメラ付携帯端末 10として、カメラ付携帯電話機を用いるものとする。カメラ付携帯電話機には、予め本技術を含む携帯アプリケーション 13をダウン口ード或いは予め販売時点でインストールさせておく。

[0097] 本具体例においては、携帯電話機側の携帯アプリケーション 13は、撮影した画像をユーザが適宜選択できる所定のサーバへ送付する機能を有し、サーバからの回答を一旦表示し、携帯サイト接続に対してブラウザを起動する機能を有する。

[0098] 図 26に示すように、本検索システムは、主に 3種のソフトウェア群力も成る。即ち、携帯電話機にインストールされる携帯アプリケーション 13、サーバ 20に構成されたマツチング処理部 21のソフトウェア、及び画像登録システム 80である。

[0099] 図 27に示すように、携帯アプリケーション 13は、上述の通り携帯電話機に導入されている画像入力部 11であるカメラを起動し、ユーザの指示により対象物の撮影を行い (ステップ S71)、通信を介してサーバ 20のマッチング処理部 21に画像を送付する (ステップ S72)。この場合、カメラ付携帯端末 10上で予備的な処理、例えば、画像圧縮、輪郭強調やコントラスト調整、或いは特徴点抽出や一部の特徴量評価などを行い、これらを元の画像と併せて及び Z又は別途サーバ側に送るものである。この携帯アプリケーション 13は、画像特徴量のマッチング機能を保有しても良い。しかしながら、画像を特徴点群のフォーメーションやその各点群の特徴の強弱など力も特徴量として送信し、判別はサーバ側で処理する方が基本的に処理時間上有利であることが発明者らの実験で確かめられている。

[0100] マッチング処理部 21については前述されている力これは画像登録システム 80により登録された参照画像群がその精細度に応じ或いは精細度を段階ィ匕したテンプレートとして TPデータ管理 DB22に格納されたものと、照合を図る機能が第一義である

[0101] 画像登録システム 80は本技術において利用時の導入部となるもので、情報を提供するきっかけとしたヽ画像や検索対象にしたヽ画像を登録する機能を有する。本具体例では、この画像登録システム 80が Webアプリケーションの形態で利用可能にするものを提供している。この形態にすることにより、画像の登録を希望する者がその登録する時間や場所の制限が極めて少なくなる。また、本検索システムの利用に対して画像の登録についての課金系を設定する場合に非常に課金システムを構築するのが容易となる利点もある。

[0102] 更に、この画像登録システム 80を携帯アプリケーション 13の一つにすることも更に登録の利便性確保のために有効となる。携帯アプリケーション 13の形で携帯電話機のカメラ (画像入力部 11)を用い、そこで撮影した画像をそのカメラ付携帯端末 10に特定或いはユーザ指定のデータベース (TPデータ管理 DB22)に登録し、更にその画像に紐づけるべき情報を併せて登録できる。例えば、 URLもその画像と Webサーノ 70上の Webページ（コンテンツサイト）を紐づけるものであるし、テキストでキーヮードを指定しておくことで更に一般的な検索エンジンにてサイト検索を掛けるように設定すること等も出来る。

[0103] 携帯電話機のカメラから画像を登録する場合、携帯電話機から TPデータ管理 DB 22に登録画像を送信し (ステップ S73)、それを第 2階層テンプレート（2次階層テンプレート 2222)として登録すると共に、その送信画像から精細度を下げた画像を再生成して第 1階層テンプレート（1次階層テンプレート 2221)を作成して登録する (ステツプ S74)。これは、携帯電話機上から同一画像を複数回送信することは時間的にも利用料金的にも不利であるためである。

[0104] このように、画像登録システム 80と携帯アプリケーション 13を、携帯電話機上で一体のソフトウェアとして構成することが好ましい。これは、両ソフトウェアが携帯電話機上で画像を撮影し、サーバへ画像を送付する機能がほぼ同一であるためである。このソフトウェアをここでは登録兼用携帯アプリケーションと呼称する。この登録兼用携帯アプリケーションでは、携帯電話機上で携帯アプリ 13を立ち上げると、 "登録"か" 検索"かを画像撮影後に決定することが出来る。また、立ち上げ直後に特定のサーバ 20のマッチング処理部 21或いは特定の TPデータ管理 DB22を指定することも出来る。この場合、 "登録"か"検索"をこのタイミングで指定することも可能である。

[0105] "検索"を行う場合には、上記のようにステップ S72で画像を送信する。これを受けたマッチング処理部 21では、 TPデータ管理 DB22に登録された 1次階層テンプレート 2221による 1次マッチングを実施し (ステップ S75)、更に、 2次階層テンプレート 22 22による 2次マッチングを実施する (ステップ S76)。そして、マッチングした画像に紐つく情報、例えば URL等のリンク先情報を返送する (ステップ S77)。このリンク先情報を受けた携帯アプリケーション 13は、携帯電話ブラウザを起動して、そのリンク先である Webサーバ 70の Webページを読み込んで (ステップ S78)、表示する（ステップ S79)。

[0106] 本検索システムを通販雑誌/カタログ誌による所謂カタログ通販で利用した場合の追加機能例を記す。

[0107] カタログ通販では、ページ一面に個々の商品写真が列記された状態のページレイアウトと 1枚の写真内に多種の商品を配置した場合とがある。前者の場合は、カメラ付携帯端末 10で撮影した画像内に複数の商品写真が入ってしまうことがある。そのような場合、本検索システムでは、個々の商品写真に対応した特徴量の計算を行い、それぞれの商品名及び Zまたは URLを次の画面で表示する。この表示方法につ!、ては主に 2種の方式を採用して、る。一つは撮影された商品の配列に併せて列挙するものと、もう一つは撮影画像のより中心に捉えられた商品写真力順に前記リストを列挙するものとである。

[0108] また通販などに限らないが、携帯電話機では基地局情報や GPS信号を利用し、ュ一ザの存在位置を勘案してマッチング処理部 21或いは TPデータ管理 DB22を自動的に位置情報によりスィッチする事で同一の写真やポスター等力別の情報 (その位置でより有用な情報)を呈示することなどが可能である。

[0109] [第 10具体例]

上記第 9具体例にぉ、て画像登録システム 80で画像を登録する際、すでに登録されている画像と非常に良く似た画像を登録しょうとする場合がある。このような場合、類似度を評価し、閾値以上であれば登録を拒否するのが通常である。

[0110] しかしながら、自社の商品写真やロゴなどの似ている画像を登録しょうとした場合など、少しだけ異なる写真だが結果情報は一緒であるとしたい場合、画像が登録できないと不便である。

[0111] そこで、自分たちが登録したグループの画像であれば類似度が接近していても自分たちの責任で登録を許可することが好まし、。

[0112] 図 28に示すように、ユーザ nが画像を登録しょうとした場合、画像登録システム 80 に対して、登録を望む画像を入力し (ステップ S81)、また、その画像に紐つく情報である結果情報を入力する (ステップ S82)。このような入力を受け付けた画像登録システム 80は、 TPデータ管理 DB22の共有データ領域に登録済みの全画像に対して類似度のチェックを行う（ステップ S83)。

[0113] 即ち、図 29に示すように、 TPデータ管理 DB22は、画像を検索する範囲及び類似度をチヱックする範囲として、その全ての領域である共有データ領域 223を対象とする。この共有データ領域 223は、個別ユーザ領域 224の集合である。個別ユーザ領域 224に、ユーザ毎の画像及び結果情報を登録するものである。

[0114] 共有データ領域 223に類似画像が無ければ (ステップ S84)、ユーザ nの個別ユーザ領域 224へ、入力された画像及び結果情報を登録して (ステップ S85)、終了する

[0115] これに対して、共有データ領域 223に類似画像が有った場合には (ステップ S84)、その類似画像が当該ユーザ nの個別ユーザ領域 224に登録されている画像であるのか否かを判別する (ステップ S86)。

[0116] 例えば、ユーザ Aが画像 a— 1, a- 2, a— 3, · ··, a— nを登録し、ユーザ Bが画像 b

- 1, b- 2, b- 3, · ··, b—nを登録していたとする。ここで、ユーザ Cが画像 c— mを登録しょうとしたとき、その画像 c—mと類似する画像 b—iが既に登録されている。このような場合には、その登録は拒否され、図 30に示すような登録拒否のメッセージを表示して (ステップ S87)、終了する。

[0117] これに対して、例えば、ユーザ Bが画像 b—mを登録しょうとしたとき、類似する画像 b—iが存在していたならば、同一ユーザであるので (ステップ S86)、図 31に示すような登録確認メッセージを表示して (ステップ S88)、ユーザがそれを登録するか否か確認する（ステップ S89)。そして、 [Cancel]が選択されたならば、終了する。 [OK] が選択されたならば、当該ユーザ nの個別ユーザ領域 224へ、入力された画像及び結果情報を登録して (ステップ S85)、終了する。

[0118] 以上のように、同じユーザが登録済みの画像に似ている場合、ユーザの責任で登録を可能にする。これにより、類似した複数の画像を登録することが可能になる。これは、立体物などを多方面力撮影した画像を登録する場合、つまり、複数の画像で一つまたは複数の結果情報を得る場合に有効である。

[0119] 以上、具体的な具体例と共に説明したように、本実施例に係る検索システムによれば、類似商品のカタログ写真のような場合、テンプレートイ匕すると類似度が接近してしまうが、テンプレートを階層化させることにより、各層のテンプレートを ANDしてマッチングさせることが可能となり、ミスマッチングを低減可能となる。

[0120] また、従来、多数 (例えば 1万件以上）のマッチング用参照データを参照しょうとすると、マッチングサーバを並列化し、多数の参照データを分割してマッチングすることで時間短縮を図ろうとするやり方が考えられている力こういったマッチングの並列処理については確率的に高速ィ匕する効果はあるものの、認識 (成功）率を向上させる効果は無いことが発明者らの実験で確認されている。これに対し、本実施例に係る検索システムのようなツリー構造の場合は、結果的に高速化と認識率の向上をバランス良く達成できる。

以上、一実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなぐ本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

Claims

請求の範囲

[1] 画像を入力する画像入力手段（11)と、

上記画像入力手段で入力した画像を基にして、階層管理されたテンプレートを用いて、データベース（22)力も画像を検索する手段であり、上位階層のテンプレート（ 2221)を用いたテンプレートマッチングに続いて、下位階層のテンプレート（2222) を用いたテンプレートマッチングを行って検索画像を絞り込む検索手段（13, 21)と、上記検索手段によって絞り込まれた検索結果の画像を出力する出力手段（12)と、を具備することを特徴とする検索システム。

[2] 上記階層管理されたテンプレートにおいて、上位階層のテンプレート（2221)と下位階層のテンプレート（2222)は、画像の切り出し位置が異なることを特徴とする請求項 1に記載の検索システム。

[3] 上記階層管理されたテンプレートにおいて、上位階層のテンプレート（2221)と下位階層のテンプレート（2222)は、解像度が異なることを特徴とする請求項 1に記載の検索システム。

[4] 画像をデータベース力検索する方法であり、

画像 (41)を入力し、

入力した画像を基にして、階層管理されたテンプレートの上位階層のテンプレート ( 2221)を用いてテンプレートマッチングを行って、データベース（22)力も画像を検索し、さらに、下位階層のテンプレート（2222)を用いたテンプレートマッチングを行つて検索画像を絞り込み、

上記絞り込まれた検索結果の画像を出力する、

ことを特徴とする検索方法。