JPWO2007116500A1 - 情報呈示システム、情報呈示端末及びサーバ - Google Patents

Abstract

情報呈示システム（１０）を、画像を得る撮影部（１１）と、周辺情報を取得する周辺情報取得部（１４）と、登録情報を記憶しておく記憶部（１５）と、上記周辺情報取得部（１４）で取得した周辺情報に基づいて、上記記憶部（１５）に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部（１６）と、上記撮影部（１１）から得られる画像と上記解析基礎情報構築部（１６）から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部（１２）と、上記関連情報取得部（１２）で取得した関連情報を呈示する呈示部（１３）とにより構成し、上記解析基礎情報構築部（１６）は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させるようにする。

Description

本発明は、撮像部から得られる画像に関連する情報を呈示する情報呈示システム、情報呈示端末及びサーバに関する。

特開２００３−１５９８０号公報には、撮影したロゴの画像を利用してサーバが対応するＵＲＬを見つける技術が開示されている。即ち、この技術では、まず携帯機器で、雑誌等に印刷された広告中に含まれるロゴマークを撮影する。次に、この撮影により取得したロゴマークを、インターネットを介して検索サーバに送る。検索サーバは、インターネットを介して送られてきた上記ロゴマークに最も近いロゴマークを検索する。そして、上記検索サーバは、その検索したロゴマークに対応するＵＲＬをインターネット経由で上記携帯機器に送る。上記携帯機器では、上記ＵＲＬにアクセスしてホームページを閲覧することができる。

また、特開２００４−１７９７８３号公報には、利用者がＩＤ種別を意識することなく携帯用クライアント装置でＩＤを読み取る技術が開示されている。即ち、この技術では、まず携帯用クライアント装置が、カメラやスキャナで画像を取得する。次に、携帯用クライアント装置は、上記画像が１次元バーコード、二次元バーコード、電子透かし入り画像、通常画像であっても、上記画像からＩＤを取り出す。そして、上記携帯用クライアント装置は、上記ＩＤを無線で外部にあるＩＤ情報データベースに送信する。携帯用クライアント装置は、上記ＩＤ情報データベースから情報を無線で受け取る。

ここで、上記特開２００３−１５９８０号公報に開示の技術では、ロゴとＵＲＬとが固定的に関連付けされている。しかしながら、周囲の状況、利用する機器の条件等に拘わらず、共通のコンテンツや共通の各種パラメータを利用するのでは利便性が低くなってしまう。例えば、電飾によって、同じ看板であっても、昼と夜とでは見え方がかわる。また、昼と夜とで連絡先がかわることなどもある。このように、ユーザーがロゴを撮影した環境によって実際にユーザーが求めている情報は異なる。したがって、上記特開２００３−１５９８０号公報に開示の技術では、ユーザーの要求に柔軟に対応することは困難である。

また、上記特開２００４−１７９７８３号公報に開示の技術では、ＩＤを読み取る上で必要となる各種画像処理パラメータは装置に固定的に保持されていることが暗黙の了解となっている。しかしながら、同一アプリケーションで複数の機種、複数のデータセットをサポートする場合、認識のための条件が固定では、対応できる環境が限られてしまう。即ち、実際の利用状況では、周辺の明るさや端末毎の光学性能の違いによって、パラメータを調整しなければ、安定的に画像処理を行うことは困難である。

ところで、二つの画像の一致度合いを判定する方法として、例えば「金沢靖、金谷健一“２画像間の特徴点対応の自動探索”、『画像ラボ』 ２００４年１１月号（日本工業出版）２００４、ＰＰ２０−２３」に、以下のような方法が開示されている。まず、入力画像及び比較画像における認識要素としての特徴点をそれぞれ抽出する。そして、入力画像における特徴点と比較画像における特徴点とを比較対照する。この特徴点同士の比較対照で、両画像間の類似度の値が、データの満足度として所定の値に設定されている閾値を越えるか否かを、ＲＡＮＳＡＣ法等を用いて判定する。しかしながら、この方法では、主として以下の三点の問題点が生じる。

第一の問題点は、上記の方法は画像そのものを比較する方法である為、対象物または対象物の写っている画像全体を予め登録しておき、その上で該登録した画像（比較画像）と入力画像との比較を行っていくこととなる点である。したがって、入力画像または比較画像に、想定していた対象物以外の対象物が写っている場合や、想定していた対象物と類似している対象物が写っている場合には、誤認識を生じる場合がある。

第二の問題点は、上記の方法においては対象物の認識に際し、似ている対象物が画像内に写っている場合に、以下のような不都合を起こす場合がある点である。例えば、ＯＢＪ１（特徴点群；Ａ，Ｂ，Ｃ）を自社のロゴマークとしているＳ社と、ＯＢＪ２（特徴点群；Ｅ，Ｆ，Ｇ）を自社のロゴマークとしているＭ社とを想定する。ここで、Ｓ社とＭ社とは競合している会社であるとする。このような場合には、当然、両者のロゴマークの混同は極力避けなければならない。しかしながら、上記の方法では、特徴点Ａと、特徴点Ｅ乃至Ｇの何れかと、を同一画像内から抽出した場合にも、ＯＢＪ１とＯＢＪ２との混同の忌避に配慮した特別のロジックによる判定を行わない。したがって、このような場合においては、上記の方法では不都合を生じる可能性がある。

第三の問題点は、認識できた特徴点の数がいくつの場合であっても、認識結果をユーザーに伝達する文章表現が同一である点である。この為、例えば一部の特徴点のみ認識できた場合、つまり入力画像と比較画像との一致度合いが不確定性を含む一致度合いである場合に、その旨をユーザーに伝達することができない。

本発明は、上記の点に鑑みてなされたもので、利用環境により、状況に応じた最適な情報を呈示することが可能な情報呈示システム、情報呈示端末及びサーバを提供することを目的とする。

本発明の情報呈示システムの一態様は、
画像を得る撮像部と、
周辺情報を取得する周辺情報取得部と、
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させることを特徴とする。

また、本発明の情報呈示端末の一態様は、
画像を得る撮像部と、
上記撮像部に関連する周辺情報を取得する周辺情報取得部と、
通信回線を介してサーバからダウンロードした登録情報から、上記周辺情報取得部で取得した周辺情報に基づいて解析基礎情報を構築する解析基礎情報構築部と、
上記撮像部から得られる画像と上記解析基礎情報構築部から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部と、
上記関連情報取得部で取得した関連情報を呈示する呈示部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させることを特徴とする。

また、本発明のサーバの一態様は、
情報呈示端末から通信回線を介して送信されてくる撮像部から得られる画像及び／または上記撮像部に関連する周辺情報を取得する周辺情報取得部と、
登録情報を記憶しておく記憶部と、
上記周辺情報取得部で取得した周辺情報に基づいて、上記記憶部に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部と、
を具備し、
上記解析基礎情報構築部は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させ、
上記解析基礎情報構築部で構築した上記解析基礎情報を上記情報呈示端末にダウンロードさることで、上記情報呈示端末に、その解析基礎情報と上記撮像部から得られる画像とから上記画像に関連する情報を取得させて、呈示させることを特徴とする。

すなわち、本発明の情報呈示システム、情報呈示端末及びサーバにあっては、周辺情報として、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種の少なくとも１つを利用する。このようにして、上記周辺情報に基づいて登録情報から解析基礎情報を構築する。そして、撮像部で撮像した画像に上記解析基礎情報を加味して、上記画像に関連した情報を取得して呈示する。

上記周辺情報を取得する周辺情報取得部としては、例えば以下のようなものがある。例えば上記周辺情報として時刻を採用する場合には、上記周辺情報取得部として、内蔵する時計や、通信回線を介して所定の場所の時刻情報を得る通信部がある。例えば上記周辺情報として日付を採用する場合には、上記周辺情報取得部として、内蔵するカレンダ情報や、通信回線を介して所定の場所の日付を得る通信部がある。例えば上記周辺情報として天候や気温や湿度を採用する場合には、上記周辺情報取得部として、内蔵する気温・湿度センサ及び当該センサの出力より天候を判断する電子回路や、通信回線を介して所定の場所の気温・湿度・天候情報を得る通信部がある。例えば上記周辺情報として周囲の明るさを採用する場合には、上記周辺情報取得部として、内蔵する照度センサや、撮像部で撮像した画像を解析して照度を求める解析回路がある。例えば上記周辺情報として取得画像の平均色／色分布を採用する場合には、上記周辺情報取得部として、撮像部で撮像した画像情報を解析する解析回路がある。例えば上記周辺情報として周囲の音を採用する場合には、上記周辺情報取得部として、音量センサがある。例えば上記周辺情報として機種を採用する場合には、上記周辺情報取得部として、機種情報を記録する内蔵メモリがある。

また、撮像部としては、例えば、ＣＣＤやＣＭＯＳなどの撮像素子及び上記撮像素子の受光面上に結像させる光学系などがある。

記憶部としては、例えば、内蔵又は通信回線を介してアクセス可能なメモリ素子やＨＤＤ（ハードディスクドライブ）などがある。

解析基礎情報構築部としては、例えば内蔵するＣＰＵ及び当該ＣＰＵ上で動作する解析基礎情報構築プログラムなどがある。

さらに、呈示部としては、液晶やプラズマ等のディスプレイ装置などがある。また、必要な情報を発音によって呈示する場合にはスピーカなどがある。

図１は、本発明の第１実施例に係る情報呈示システムのブロック構成図である。 図２は、解析基礎情報構築部の動作フローチャートを示す図である。 図３は、本発明の第２実施例に係る情報呈示システムのブロック構成図である。 図４は、情報呈示端末を携帯電話機として構成した場合の情報呈示システムの構成を示す図である。 図５は、サーバを複数用い、情報呈示端末を携帯電話機として構成した場合の情報呈示システムの構成を示す図である。 図６は、本発明の第３実施例に係る情報呈示システムのブロック構成図である。 図７は、本発明の第４実施例に係る情報呈示システムのブロック構成図である。 図８は、本発明の第５実施例に係る情報呈示システムのブロック構成図である。 図９は、解析基礎情報構築部と関連情報取得部及び第二関連情報取得部との関係を説明するための図である。 図１０は、本発明の第６実施例に係る検索システムの構成を示す図である。 図１１は、対象画像の一例を示す図である。 図１２は、対象画像の一例を示す図である。 図１３は、対象画像の一例を示す図である。 図１４は、対象画像の一例を示す図である。 図１５は、入力された登録を希望する対象画像と、ＴＰデータ管理ＤＢに登録された画像とを比較して登録する処理を示すフローチャートである。 図１６は、分割して登録をする際に、ＴＰデータ管理ＤＢに登録された画像と類似であると判断した部分を強調して表示する表示方法の一例を示す図である。 図１７は、ＴＰデータ管理ＤＢに登録された画像の中で、登録を希望する画像と類似な画像をリスト形式にてユーザーに表示する表示方法の一例を示す図である。 図１８は、ＴＰデータ管理ＤＢに登録された画像の中で、登録を希望する画像と類似な画像をリスト形式にてユーザーに表示する表示方法の一例を示す図である。 図１９は、登録を希望する対象画像と類似である画像がＴＰデータ管理ＤＢ内に複数存在する場合に、対象画像のうち類似部分を順次分割及び削除していき、最終的に非類似部分を新規登録部分として残す過程を示す図である。 図２０は、ＴＰデータ管理ＤＢ内に既に登録済みの画像を分割して、再登録する過程を示す図である。 図２１Ａは、登録を希望する対象画像の一部と類似する部分を有する画像がＴＰデータ管理ＤＢ内に存在する場合に、類似部分を重ね合わせるように合成する過程の一例を示す図である。 図２１Ｂは、登録を希望する対象画像の一部と類似する部分を有する画像がＴＰデータ管理ＤＢ内に存在する場合に、類似部分を重ね合わせるように合成する過程の一例を示す図である。 図２２は、動画をＴＰデータ管理ＤＢに登録する場合において、マッチングを利用する例を示す図である。 図２３は、認識要素同定処理を示すフローチャートである。 図２４は、第１２実施例に係る対象物認識方法を説明する図である。 図２５は、第１２実施例に係る対象物認識方法を説明する図である。 図２６は、第１４実施例におけるマッチング処理部及びＴＰデータ管理ＤＢのシステム構成を説明する図である。 図２７は、本発明の第１５実施例に係るカメラ付き携帯電話を用いた画像のマッチング処理の流れを示すフローチャートである。 図２８は、本発明の第１５実施例におけるマーカー画像の表示形態の一例を示す図である。 図２９は、本発明の第１５実施例におけるマーカー画像の表示形態の一例を示す図である。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施例］
本発明の第１実施例に係る情報呈示システム１０は、図１に示すように、撮影部１１、関連情報取得部１２、呈示部１３、周辺情報取得部１４、記憶部１５、解析基礎情報構築部１６を有している。上記撮影部１１は、カメラ等の撮像部である。上記関連情報取得部１２は、上記撮影部１１から得られるマーカ画像やロゴ画像といった所定の画像に関連する情報を取得する。上記呈示部１３は、その関連情報取得部１２で取得した関連情報を呈示する。上記周辺情報取得部１４は、上記撮影部１１に関連する周辺情報を取得する。上記記憶部１５は、登録情報を記憶する。上記解析基礎情報構築部１６は、上記周辺情報取得部１４で取得した周辺情報に基づいて、上記記憶部１５に記憶された登録情報から解析基礎情報を構築する。

ここで、上記周辺情報取得部１４で取得する周辺情報は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つを含む。上記解析基礎情報構築部１６は、上記周辺情報に基づいて、上記解析基礎情報を変化させる。即ち、図２に示すように、上記解析基礎情報構築部１６は、上記周辺情報取得部１４から周辺情報を取得する（ステップＳ１）。さらに、上記解析基礎情報構築部１６は、その周辺情報に応じて、各種パラメータを設定する（ステップＳ２）。このステップＳ２と同時に、上記解析基礎情報構築部１６は、上記記憶部１５から登録情報を選択的に読み込む（ステップＳ３）。そして、上記解析基礎情報構築部１６は、上記設定したパラメータと読み込んだ登録情報とを解析基礎情報として統合する（ステップＳ４）。さらに、上記解析基礎情報構築部１６は、上記関連情報取得部１２に、上記ステップＳ４で構築した解析基礎情報を与える。上記関連情報取得部１２は、上記撮影部１１から得られる画像と、この解析基礎情報構築部１６から与えられた解析基礎情報とから、上記画像に関連する情報を取得する。

このような構成の情報呈示システム１０の具体例としては、例えば、以下のようなものが考えられる。

起動時に、周辺情報取得部１４が日付・時刻情報を取得し、解析基礎情報構築部１６が、記憶部１５内にあるアドレス帳からその時刻に対応した電話番号を取得して、上記のように解析基礎情報を構築する。上記解析基礎情報構築部１６では、このように、予め用意されている情報から最適なものを選択することができる。また、上記解析基礎情報は、出力情報を含む。つまり、上記解析基礎情報構築部１６は、上記周辺情報に基づいて出力情報を変化させる。ここで、例えば撮影部１１で顔写真付きのアルバムを撮影すると、その顔を認識し、電話番号を表示するアプリケーションを想定する。この場合、平日の９：００〜１８：００であれば、オフィスの電話番号を取得して、解析基礎情報とする。しかしながら、休日や平日の１８：００以降であれば、自宅の電話番号を取得し、解析基礎情報とすることが考えられる。更に、２２：００以降であれば、同じく自宅の電話番号を取得するものであるが、「緊急時のみ」とのメッセージを追加して、解析基礎情報とするようにしても良い。

また、起動時に、周辺情報取得部１４が位置情報を取得し、上記解析基礎情報構築部１６が、記憶部１５の登録情報（看板）のうち、上記位置情報で示される位置から周囲１ｋｍ四方にある登録情報（看板）から、解析基礎情報を構築するようにしても良い。この場合、周辺情報取得部１４は、位置情報を、ＧＰＳ、通信装置がある場合は基地局間の電波強度、撮影対象のマーカや二次元コードに埋め込まれた位置情報、例えば緯度経度や住所、等から決定することができる。このような構成とすれば、複数の地域に存在する看板であっても、その場所に対応する情報を呈示することが可能となる。例えば、撮影部１１でＡ社のロゴマークを撮影すると、最寄りの修理受け付け窓口が表示されるようなアプリケーションが提供できる。また、撮影部１１でＢコンビニエンスストアの看板を撮影すると、位置情報を元に現在の天気や天気予報情報を取得して、例えば「今なら傘がＸＸＸ円、まだ在庫があります」というような、当該コンビニエンスストアの販促情報を呈示するようなアプリケーションを提供できる。このように、本第１実施例に係る情報呈示システム１０によれば、ナビゲーションや販促といった各種情報の呈示をすることが可能となる。

あるいは、起動時に、周辺情報取得部１４が、周囲の明るさまたは撮影部１１から取得した画像の明るさを取得し、解析基礎情報構築部１６が、その取得した明るさ情報をもとに、画像処理のための閾値を調整したり、コントラストフィルタのパラメータを調整するなどといった処理を行うこともできる。これにより、撮影部１１で取得した画像が薄暗い画像であっても、認識対象のマーカや顔写真、ロゴマーク等を認識可能になる。例えば、照明が暗めの部屋で撮影した場合、画像の明かるさをもとに二値化の閾値を１０％小さくする。この調整によって、ロゴや写真の周囲が若干暗くなっていても、安定的にそれらの抽出を行うことができる。そして更に、同じく解析基礎情報として与えられるテンプレートとその抽出した認識対象としてのロゴや写真とのマッチング処理を行うことで、安定的に認識ができるようになる。

また、起動時に、周辺情報取得部１４が、周囲の明るさまたは撮影部１１から取得した画像の明るさを取得し、解析基礎情報構築部１６が、暗い場合には、照明があてられた看板や光った看板を対象とした登録情報から解析基礎情報を構築する。これにより、暗いときには見え方が変わる看板であっても認識可能になる。更に、画面内のコンポーネントの色を周囲の明るさに応じた配色に調整することができるので、情報を見やすく呈示できる。

［第２実施例］
本発明の第２実施例に係る情報呈示システムは、図３に示すように、情報呈示端末１０Ａとサーバ１０Ｂとに分割される。そして、情報呈示端末１０Ａとサーバ１０Ｂとを通信回線によって接続する。この場合、上記情報呈示端末１０Ａは、上記撮影部１１と上記関連情報取得部１２と上記呈示部１３とを含む。上記サーバ１０Ｂは、上記周辺情報取得部１４と上記記憶部１５と上記解析基礎情報構築部１６とを含む。

なお、情報呈示端末１０Ａを携帯電話機として構成した場合には、本第２実施例に係る情報呈示システムは、例えば図４に示すような構成となる。ここで、サーバ１０Ｂの周辺情報取得部１４は、情報呈示端末１０Ａが備えるセンサやＧＰＳの情報を周辺情報として取得するだけでなく、基地局２１が提供する位置情報や環境情報等も、周辺情報として取得する。

あるいは、情報呈示端末１０ＡをＰＤＡ等のインターネット接続機能を備えた携帯型情報機器とした場合には、通信回線２０はインターネットを含む。この場合には、情報呈示端末１０Ａとサーバ１０Ｂが同一国内に存在するとは限らない。従って、サーバ１０Ｂの周辺情報取得部１４は、情報呈示端末１０Ａが備える時計から日時情報を周辺情報として適宜取得しても良い。

このような構成においては、情報呈示端末１０Ａの起動時、もしくは、サーバ１０Ｂから解析基礎情報をダウンロードするときに、サーバ１０Ｂ上の解析基礎情報構築部１６で最適な解析基礎情報を構築する。

例えば、情報呈示端末１０Ａとしての携帯電話機の機種に応じて、サーバ１０Ｂ上で二値化（画像処理）の閾値を調整して、解析基礎情報を構築する。さらには、情報呈示端末１０Ａとしての携帯電話機の機種に応じて、画像処理フィルタを設定して、解析基礎情報を構築する。即ち、携帯電話機は多数の機種が存在し、各機種毎に撮影部１１の光学性能が異なる。このため、適した画像処理パラメータを設定しなければ、安定した画像認識処理を行うことは困難である。例えば、携帯電話機は機種によっては、画像がボケるため、二値化の閾値を高めに設定すると効果的である。また、画像がボケる携帯電話機の機種では、画像処理フィルタとして、エッジ強調フィルタを設定することは、安定的な画像認識に効果的である。

あるいは、携帯電話機の機種に応じて、テンプレートサイズを調整するようにしても良い。また、解析基礎情報に組込まれる登録情報の数及び／または相互の類似度に応じて、テンプレートサイズを調整するようにしても良い。例えば、解析基礎情報として統合する登録情報の相互の類似度が予め設定した値以上の場合は、テンプレートマッチングを行うためのテンプレートサイズを縦横２倍とし、その値を解析基礎情報に含める。こうすることによって、誤認識しやすい環境であっても、より高精度なマッチング処理を実現することができる。また、登録情報の相互の類似度が低い場合は、登録数に応じて、テンプレートサイズを小さくする。つまり、登録数が多い場合は、マッチング処理に要する時間を短縮するために、誤認識しない範囲（相互の類似度が設定値以上にならない範囲）でテンプレートサイズを小さくするよう試みる。また、登録情報の相互の類似度が低い場合は、テンプレートのデータ階調を下げても良い。例えば、通常は２５６階調のグレイスケールだが、これを１６階調に下げても良い。また、登録情報の相互の類似度が低い場合は、誤認識を避けるために、マッチングの閾値を高く設定しても良い。

なお、上記周辺情報取得部１４、上記記憶部１５及び上記解析基礎情報構築部１６を含むサーバ１０Ｂは一つに限らず、複数用意しても良い。情報呈示端末１０Ａを携帯電話機とした場合には、本第２実施例に係る情報呈示システムは、例えば図５に示すような構成となる。すなわち、図５に示すように、複数のサーバ１０Ｂ−１、１０Ｂ−２、１０Ｂ−３…が、通信回線２０に接続される構成の情報呈示システムとなる。なお、この通信回線２０は、基地局２１とネットワーク２２とによって構成される。そして、上記サーバ１０Ｂ−１乃至１０Ｂ−３…は、上記ネットワーク２２に接続されている。このような場合、上記情報呈示端末１０Ａの関連情報取得部１２は、それら複数のサーバ１０Ｂ−１、１０Ｂ−２、１０Ｂ−３…から解析基礎情報を取得するようにしても良い。また、一つのサーバ１０Ｂ（例えばサーバ１０Ｂ−１）の解析基礎情報構築部１６は、当該サーバ１０Ｂ（例えばサーバ１０Ｂ−１）以外の少なくとも一つのサーバ１０Ｂ（例えばサーバ１０Ｂ−２、１０Ｂ−３…）から情報を取得して、それらの情報を組み合わせた上で、上記情報呈示端末１０Ａへ送信する解析基礎情報を構築するようにしても良い。

［第３実施例］
本発明の第３実施例に係る情報呈示システムは、上記第２実施例と同様に、情報呈示端末１０Ａとサーバ１０Ｂとに分割される。そして、上記情報呈示端末１０Ａと上記サーバ１０Ｂとを通信回線によって接続する。但し、本実施例においては、図６に示すように、情報呈示端末１０Ａは、上記撮影部１１、上記関連情報取得部１２、上記呈示部１３、上記周辺情報取得部１４、及び上記解析基礎情報構築部１６を含む。上記サーバ１０Ｂは上記記憶部１５のみを含むように構成する。

このような構成によれば、サーバ１０Ｂから取得した登録情報を情報呈示端末１０Ａ上で解析基礎情報として構築するので、ひとたび登録情報をダウンロードすれば、情報呈示端末１０Ａの周辺情報にこまめに対応させることが可能になる。

［第４実施例］
本発明の第４実施例に係る情報呈示システムも、上記第２及び第３実施例と同様に、情報呈示端末１０Ａとサーバ１０Ｂとに分割される。そして、上記情報呈示端末１０Ａと上記サーバ１０Ｂとを通信回線によって接続する。但し、本実施例においては、図７に示すように、情報呈示端末１０Ａは、上記撮影部１１と上記呈示部１３のみを有する。上記サーバ１０Ｂは、その他の上記関連情報取得部１２、上記周辺情報取得部１４、上記記憶部１５、及び上記解析基礎情報構築部１６を有する。ただし、図７に示すように、サーバ１０Ｂの周辺情報取得部１４は、通信回線を介して、情報呈示端末１０Ａが有するセンサ等からＧＰＳ情報や時間情報、更には明るさ等の情報を取得するための撮影部１１からの画像等の周辺情報（基地局２１から送信されてくる周辺情報も含む）を取得する。

このような構成とすれば、ユーザーは、事前に情報呈示端末１０Ａに解析基礎情報をダウンロードする必要がない。また、サーバ１０Ｂは、撮影した画像とともに送信されてくる該情報呈示端末１０Ａの周辺情報に対応した最適な解析基礎情報に基づく処理を行うことができる。

［第５実施例］
本発明の第５実施例に係る情報呈示システムは、上記第２実施例の構成において、図８に示すように、サーバ１０Ｂに更に上記関連情報取得部１２と同等の機能を持つ第二関連情報取得部１７を設けたものである。ここで、上記第二関連情報取得部１７は、上記関連情報取得部１２が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得するものである。

即ち、本実施例においては、図８に示すように、サーバ１０Ｂの周辺情報取得部１４は、通信回線を介して、情報呈示端末１０Ａが有するセンサ等からＧＰＳ情報や時間情報、更には明るさ等の情報を取得するための撮影部１１からの画像等の周辺情報（基地局２１から送信されてくる周辺情報も含む）を取得する。そして、解析基礎情報構築部１６は、図９に示すように、周辺情報取得部１４が取得した周辺情報に基づいて、優先度の高い解析基礎情報と、それよりも優先度の低い第二解析基礎情報を構築する。そして、上記解析基礎情報は、情報呈示端末１０Ａの関連情報取得部１２に通信回線を介してダウンロードされる。また、上記第二解析基礎情報は、第二関連情報取得部１７に与えられる。

このような構成とすることにより、上記情報呈示端末１０Ａの関連情報取得部１２が、関連情報を取得できなかった場合であっても、上記第二関連情報取得部１７の結果を上記呈示部１３が呈示することが可能となる。

例えば、情報呈示端末１０Ａとして携帯電話機を考えた場合、携帯電話機は機種によって記憶容量が異なる。また、ユーザーの使い方によって、利用できる記憶容量が異なる。更に、機種によって、処理速度が異なる。従って、機種毎にダウンロードする解析基礎情報の容量を変更することにより、携帯電話機上での処理に必要以上の負担をかけないようにすることが好ましい。そこで、本実施例では、ダウンロードしなかった解析基礎情報はサーバ１０Ｂ上で保持する。そして、サーバ１０Ｂの第二関連情報取得部１７が、携帯電話機から送信される画像、もしくは画像の一部を対象として該ダウンロードしなかった解析基礎情報である第二解析基礎情報から関連情報の取得処理を行う。携帯電話機上で関連情報を取得できた場合は、その情報を呈示部１３に表示する。一方、携帯電話機上では関連情報を取得できなかったが、サーバ１０Ｂ上で取得できた場合には、サーバ１０Ｂ上で取得した情報を携帯電話機の呈示部１３上で呈示する。もしくは、携帯電話機上でも処理しているが、サーバ１０Ｂ上のほうが早く情報を取得できた場合にも、サーバ１０Ｂ上で取得した情報を携帯電話機の呈示部１３上で呈示する。

例えば、携帯電話機の位置情報に基づいて周囲５００ｍのテンプレートセットを解析基礎情報として取得して、携帯電話機にダウンロードする。ユーザーは、このテンプレートセットによって周辺のお店の情報を得ながら街を散策できる。ユーザーが最初にテンプレートセットを取得した位置から５００ｍ以上離れると、携帯電話機内に取得しているテンプレートでは対応する情報を得られなくなる。しかし、本実施例では、携帯電話機で取得した画像をサーバ１０Ｂの第二関連情報取得部１７にも送信している。サーバ１０Ｂでは、最初にユーザーが周囲５００ｍのテンプレートセットをダウンロードする際に、同時に周囲４ｋｍのテンプレートセットを第二関連情報取得部１７に渡している。よって、ユーザーが携帯電話機内から情報を取得できなくても、サーバ上のこの第二関連情報取得部１７で周囲４ｋｍのテンプレートセットから情報を取得できる。サーバ１０Ｂ上で情報を取得し、携帯電話機上で情報が取得できていない場合、サーバ１０Ｂ上で取得した情報を表示する。したがって、ユーザーは携帯電話機の容量を超える領域のテンプレートデータを利用することができる。また、このとき、携帯電話機へ現在の位置に基づく周囲５００ｍのテンプレートセットが送信されても良い。こうすると、その位置から５００ｍ以内は、再び携帯電話機だけで情報を取得できるので、軽快な操作感を実現できる。

以上実施例により説明したように、環境や利用機種等、各種の情報に基づいて、システムの認識対象となるテンプレートデータや、そのテンプレートデータに関連付けする情報、また、認識処理上の各種パラメータ等、利用する情報を切り替えることで、利用環境により、状況に応じた最適な情報を呈示できるようになる。

以上実施例に基づいて本発明を説明したが、本発明は上述した実施例に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記第５実施例においては、サーバ１０Ｂは第二関連情報取得部１７を備え、解析基礎情報構築部１６が解析基礎情報と第二解析基礎情報とを構築するものとした。しかしながら、このような構成に限られず、更に第三関連情報取得部、第四関連情報取得部、…といった複数の関連情報取得部をサーバ１０Ｂに構成し、解析基礎情報構築部１６が更に第三解析基礎情報、第四解析基礎情報、…を構築するようにしても良い。

［第６実施例］
本発明の第６実施例に係る検索システムは、図１０に示すように、カメラ付携帯電話機やカメラ付ＰＤＡ等のカメラ付携帯端末２３と、検索手段と、から構成されるものである。上記カメラ付き携帯端末２３は、画像を入力する画像入力部（カメラ）１１と検索結果の画像を出力するディスプレイ２６とを含む。上記検索手段は、上記画像入力部２４で入力した画像を基にして、階層管理されたテンプレートを用いて、データベースから画像を検索する。なおここで、上記検索手段は、カメラ付携帯端末２３の携帯アプリケーションソフトウェア２５と、上記カメラ付携帯端末２３と通信可能なサーバ２７に構成されたマッチング処理部２９とによって実現される。

上記サーバ２７は、更に、複数のテンプレートが登録され、それらを階層管理するテンプレート（ＴＰ）データ管理データベース（ＤＢ）２８を有している。このＴＰデータ管理ＤＢ２８に登録されるテンプレートは、デスクトップパブリッシング（ＤＴＰ）３０で、図１０に示すように紙面４０に配置した対象画像４１から、ＴＰ作成部５０によって作成されたものである。

即ち、本第６実施例に係る検索システムでは、予め、ＤＴＰ３０によって、紙面４０に対象画像４１を印刷すると共に、ＴＰ作成部５０でその対象画像４１のテンプレートを作成する。そして、その作成したテンプレートをサーバ２７のＴＰデータ管理ＤＢ２８に登録しておく。なお、登録する対象画像４１が多数あれば、そのようなテンプレートの作成と登録を繰り返す。

そして、検索を望むユーザーが、紙面４０からカメラ付携帯端末２３の画像入力部２４を使って対象画像４１を取り込むと、携帯アプリケーションソフトウェア２５は、その入力画像から画像の特徴抽出を行う。そして、携帯アプリケーションソフトウェア２５は、抽出した特徴データをサーバ２７のマッチング処理部２９に送る。そして、該マッチング処理部２９はＴＰデータ管理ＤＢ２８に登録されているテンプレートとマッチングを行う。この場合、上位階層のテンプレートを用いたテンプレートマッチングに続いて、下位階層のテンプレートを用いたテンプレートマッチングを行って検索画像を絞り込む。そして、マッチング結果が取得されたならば、マッチング処理部２９は、該マッチング結果情報をカメラ付携帯端末２３の携帯アプリケーションソフトウェア２５に送る。携帯アプリケーションソフトウェア２５はディスプレイ２６に上記結果情報を表示する。

なお、対象画像として、図１０に示す上記対象画像４１のように登録領域つまり認識対象としての領域が明確である対象画像を用いる場合、以下のような利点がある。すなわち、上記対象画像４１を上記ＴＰデータ管理ＤＢ２８へ登録する際に、登録を希望する対象画像と、既に上記ＴＰデータ管理ＤＢ２８へ登録済みの画像との類似度評価を行い、例えばマッチングにおいて両画像間の類似度（類似している度合いを示す数値）が７５％以上であるとの評価結果を得たら当該対象画像４１の、上記ＴＢデータ管理ＤＢ２２への登録を行わないとすることで、上記ＴＰデータ管理ＤＢ２８に登録済みの画像と類似な対象画像を再度登録することを防ぐことができる。これにより、上記のマッチングにおける誤認識を安定的に回避できる。なお、ここでは便宜的に登録処理を実行するか否かの判断の閾値を７５％としたが、上記閾値は７５％に限られないことは勿論である。ここで、マッチングにおける類似度判断の閾値は、当該マッチングの使用環境において誤認識を発生させない数値の範囲内で、できるだけ高い値に設定することが望ましい。なお、上記閾値は、システムの一要素として静的に設定するだけでなく、当該マッチングの条件（例えば撮影時のカメラの傾き、照明の安定性、カメラの撮影画素数、マッチングに用いる情報の種類、マッチングの手法等）に合わせて、動的に設定しても勿論よい。

また、上記ＴＰデータ管理ＤＢ２８への上記対象画像４１の登録の際に、上記対象画像４１に適当な変形（例えばノイズ等の付加）を行った上で登録しても勿論よい。このような適当な変形を加えることで、上記対象画像４１は実際のカメラで撮影されて取得される状態に近くなる。このことは、上記類似度を評価する際に有効に作用する。すなわち、上記適当な変形を加える前の画像のみならず、上記適当な変形を加えた後の画像に関しても上記類似度の評価を実施することで、上記類似度評価の正確性が増す。

なお、上記適当な変形としては、例えば回転、三次元的なアフィン変換、拡大、縮小、色情報の劣化、ホワイトノイズの付与、各種照明条件による映り込みのシミュレーション等、各種の画像処理操作を挙げることができる。

さらに、登録を希望する画像と類似な画像が上記ＴＰデータ管理ＤＢ２８中に存在した場合の処理としては、上記のように登録を拒否する処理に限らない。すなわち、例えばユーザーに対して、登録を希望する画像と類似な画像が上記ＴＰデータ管理ＤＢ２８中に存在した旨を通知し、登録するか否かの選択をユーザー自身に行わせても勿論よい。なお、このような処理は、互いに類似する画像に対して同一の情報を付与する際における有効な処理の１つである。

また、上記のような登録を拒否する処理とユーザーによる登録の選択処理とを、個々の状況に合わせて選択的にユーザーに提示することも、実際のシステムでは効果的である。すなわち、例えば上記ＴＰデータ管理ＤＢ２８には、登録権限を持った複数のアカウントが存在するとする。このとき、一般的には、ユーザーは、自分以外のアカウントに関連する情報を見ることはできない。このようなシステムにおいて、例えばアカウントＡが画像Ｃを上記ＴＰデータ管理ＤＢに登録しようとするとき、該画像ＣはアカウントＢが既に上記ＴＰデータ管理ＤＢ２８に登録した画像と類似である場合を考える。このような場合には、上記マッチング処理部２９は、上記画像Ｃの登録を、上記ＴＰデータ管理ＤＢ２８中に類似な画像が見つかったことを理由として登録を拒否することが合理的である。また、例えばアカウントＢが、上記画像Ｃを再び上記ＴＰデータ管理ＤＢ２８に登録しようとする場合を考える。このような場合には、上記マッチング処理部２９は、アカウントＢが既に登録した画像Ｃの情報を表示し、“この画像と類似だが、登録するか？”といった登録するか否かの判断をユーザーに委ねる処理を行うことが合理的である。このように、状況に応じて最も合理的な処理を行い、当該システムのユーザーが誤認識のリスクを回避できるようにすることは実際のサービス上重要である。

なお、このようなマッチングシステムにおいて、上記対象画像４１として用いる画像は、図１０に示す上記対象画像４１のような明確な四角形の枠で領域分割されたものに限られない。上記対象画像４１としては、例えば図１１乃至図１４に示すような構成の対象画像４１としても勿論よい。すなわち、円や曲線等からなる任意の形状の枠を有する対象画像４１Ａ（図１１及び図１２参照）、枠自体を含まない対象画像４１Ｂ及び４１Ｃ（それぞれ図１３及び図１４参照）、特定の意匠の近傍に特定のシンボルマーク等を配置する対象画像４１Ｃ（図１４参照）等、様々な画像を対象画像として利用できる。

ここで、対象画像として、明確な枠により認識や登録の対象となる領域が制限されていない対象画像４１Ｂ及び４１Ｃのような画像を用いる場合には、以下のようなマッチングを行う。まず、入力画像の中から複数の特徴点を抽出する。そして、それら特徴点群を、予め対象物ごとに上記ＴＰデータ管理ＤＢ２８に登録された特徴点群と比較対照する。この比較対照によって、同一の対象画像であるか否かのマッチングを行う。

なお、実際のマッチング時においては、上記特徴点同士の特徴量の差異に基づいて、類似している度合いを示す値が予め設定した閾値を越えた値である場合に、上記マッチング処理部２９は、当該特徴点同士は類似特徴点であると判断する。例えば、上記ＴＰデータ管理ＤＢ２８に登録された対象物のうち所定数の特徴点が上記入力画像の対象物の特徴点と類似であると判断された対象物が、入力画像の対象物と同一であると、上記マッチング処理部２９によって判断される。

ここで、上記特徴点とは、ある画像中において他の画素との特徴量における差異が一定レベル以上である点を指す。例えば、上記差異としては、明暗のコントラス、色、周囲の画素の分布、微分成分値、または特徴点同士の配置等の差異を挙げることができる。なお、このような特徴点群の比較対照によるマッチングを用いる場合には、予め対象物ごとに上記特徴点を抽出し、対象物ごとに上記ＴＰデータ管理ＤＢ２８に登録しておく。

上記のように特徴点に基づくマッチングを行う場合、入力画像と類似な画像が、上記ＴＰデータ管理ＤＢ２８に登録済みの画像群の中から見つかった場合に、“登録の拒否”、または“類似を承知の上で登録”という選択肢以外に、“登録を希望する対象画像および／または登録済み画像を分割して登録する”という選択肢も考えられる。この“登録を希望する対象画像および／または登録済み画像を分割して登録する”という選択肢によれば、登録できない画像の数を最小に抑えた上で、誤認識を回避可能なデータベースを構築することができる。

上記の“登録を希望する対象画像および／または登録済み画像を分割して登録する”という選択肢を考慮に入れた場合、例えば、上記ＴＰ作成部５０は、図１５に示すフローチャートに従って、入力された登録を希望する対象画像と、ＴＰデータ管理ＤＢ２８に登録された比較画像とをマッチングする。なお、図１５に示すフローチャートは説明の便宜上、“登録を希望する対象画像および／または登録済み画像を分割して登録する”場合のみの上記ＴＰ作成部５０による動作制御を示している。

まず、ユーザーにより入力された登録を希望する画像である入力画像と、上記ＴＰデータ管理ＤＢ２８に登録された画像（以降、登録画像と称する）とを比較する（ステップＳ１０）。続いて、上記入力画像と上記登録画像とが類似な画像であるか否かを判断する（ステップＳ１１）。このステップＳ１１をＮＯに分岐する場合には、上記入力画像を上記ＴＰデータ管理ＤＢ２８に登録する（ステップＳ１２）。なお、このステップＳ１２においては、例えば図１６に示すように、当該入力画像を、上記ＴＰデータ管理ＤＢ２８に登録するか否かの選択をユーザーに委ねても勿論よい。この場合には、ユーザーによって入力画像を上記ＴＰデータ管理ＤＢ２８に登録するとの選択が行われた場合のみ登録する。

ところで、上記ステップＳ１１をＹＥＳに分岐する場合には、上記入力画像における上記登録画像と類似な部分を判定し、該類似な部分を分割及び削除する（ステップＳ１３）。換言すれば、このステップＳ１３は、上記入力画像における上記登録画像と類似する部分を削除した画像を作成するステップである。

そして、上記ステップＳ１３の処理を終えた後は、上記ステップＳ１０へ戻る。このようにして、上記ステップＳ１０、上記ステップＳ１１、及び上記ステップＳ１３の一連の処理を繰り返し行うことで、上記入力画像から、上記登録画像と類似する部分を全て分割及び削除した画像を作成する。

なお、分割及び削除によって作成した画像をユーザーに提示する際に、図１６に示すような提示方法が考えられる。すなわち、入力画像と、該入力画像と類似であると判断した登録画像との両画像を提示し、且つ両画像における類似判断に使用した部分を明示する提示方法である。このように図示することは、登録の効率を高める上で効果的である。また、例えば図１７及び図１８に示すように、入力画像と類似であると判断した登録画像を、リスト形式にして表示することで、ユーザーに提示しても勿論よい。

すなわち、図１７及び図１８に示すように、表示画面を、入力画像表示エリア２５１、リスト表示エリア２５３、選択画像表示エリア２５５に３分割する。上記リスト表示エリア２５３でハッチングして示すように登録画像を選択すると、上記選択画像表示エリア２５５にその選択画像が表示される。また、上記入力画像表示エリア２５１に表示する入力画像では、登録画像との識別表示（図１７及び図１８におけるハッチング部分）がなされる。

ところで、登録を希望する入力画像と類似である登録画像が、上記ＴＰデータ管理ＤＢ２８内に複数存在する場合には、例えば図１９に示すように、当該類似である部分を順次分割及び削除していき、最終的に残った部分を新規登録する入力画像とすることになる。

以上、登録を希望する入力画橡を、分割及び削除していく処理を説明した。しかしながら、必ずしも上記入力画像のみを分割及び削除する必要はない。すなわち、上記登録画像を分割及び削除する処理をしても勿論よい。さらには、例えば図２０に示すように、双方を分割して、以下のようにして各々の画像を登録してもよい。まず、入力画像３００Ａに含まれている“ＡＢＣＤＥＦＧＨ”というロゴが、登録画像３０１Ａに含まれている“ＡＢＣ”というロゴと類似であることから、入力画像３００Ａにおける“ＡＢＣ”を分割及び削除して入力画像３００Ｂとする。その後、入力画像３００Ｂにおける“ＤＥＦＧＨ”というロゴが、登録画像３０１Ｂに含まれている“ＧＨＩＪ”と類似であることから、登録画像３０１Ｂを、“ＧＨ”のみから成る画像３０１Ｂ１と“ＩＪ”のみから成る画像３０１Ｂ２とに分割する。そして、上記“ＧＨ”のみから成る画像３０１Ｂ、及び上記“ＩＪ”のみから成る画像３０１Ｂ２の両画像を、上記ＴＰデータ管理ＤＢ２８に再登録する。また、上記入力画像３００Ｂは、上記分割後、画像３００Ｃとして上記ＴＰデータ管理ＤＢ２８に登録する。

上記のように画像を分割して登録する方法によれば、例えば以下に示すような実際のサービス上において非常に有益な実施例が実現する。

例えば、同一メーカーによる商品または同一ブランドの商品においては、一般的には、当該商品のパッケージに、当該メーカーによる商品または当該ブランドの商品に特有のブランドロゴと、当該商品独自の商品名称またはアイコン等（以降、商品名称またはアイコン等を総称して商品名称と称する）と、が印刷される。このような場合において、本実施例によれば、上記ブランドロゴと上記商品名称とを、分割して上記ＴＰデータ管理ＤＢ２８に登録する。これにより、以下のような効果が生まれる。

例えばブランドロゴとＡという商品名称とが記述されている画像が、既に“商品Ａ”として上記ＴＰデータ管理ＤＢ２８に登録されている場合であっても、当該ブランドロゴと同一のブランドロゴと上記Ａ以外の商品名称とが記述されている画像が、上記“商品Ａ”と類似な画像であるとして登録拒否をされない。すなわち、本実施例によれば、登録画像である“商品Ａ”を、上記ブランドロゴと上記商品名称Ａとに分割する。そして、上記ブランドロゴと、上記商品名称Ａとを、それぞれ独立に再登録する。具体的には、上記ブランドロゴが記述されている画像は、“ブランドロゴ”として登録し、商品名称Ａが記述されている画像は、“商品Ａの名称”として登録する。

さらに、本第６実施例においては、“組み合わせ情報”という概念を導入する。この組み合わせ情報とは、以下のような情報である。例えば、“ブランドロゴ”と“商品Ａの名称”との組み合わせを“商品Ａ”として登録する場合を考える。この場合において、“ブランドロゴ”と“商品Ａの名称”との組み合わせが“商品Ａ”であることを示す情報が、“組み合わせ情報”である。なお、組み合わせ情報は、この場合で言えば、“ブランドロゴ”を示す画像及び“商品Ａの名称”を示す画像を、上記ＴＰデータ管理ＤＢ２８に登録する際に、同時に上記ＴＰデータ管理ＤＢ２８に登録する。

なお、登録を希望する入力画像及び／又は登録画像を分割した際、該分割で生じた画像を必ずしも登録する必要はない。例えば、中古車や商品が写された写真においては、それぞれの写真が互いに類似な背景を持っていることが多い。ここで、例えば車Ａが背景付きのままの画像で、上記ＴＰデータ管理ＤＢ２８に登録されている場合を考える。このような場合、上記車Ａが写っている写真と類似な背景を有する車Ｂが写っている写真を、上記ＴＰデータ管理ＤＢ２８に登録しようとする場合、本第６実施例によれば、当該背景を分割して抽出することができる。このような場合、ユーザーが特に登録の必要性を感じない場合には、当該背景部分を登録する対象から外すことができるようにしても勿論よい。このようにすることで、ユーザー即ち情報提供者が、マッチングさせたい部分のみを効率良く、上記ＴＰデータ管理ＤＢ２８に登録することができる。従って、入力画像と登録画像との当該背景部分における類似性に起因する誤認識が発生することを回避することができる。

なお、“画像が表現する情報”に関しても、上記のように分割された画像の組み合わせに対応させて管理しても勿論よい。ここで、画像が表現する情報としては、例えば、画像が対応するＵＲＬ、アプリケーション内部のリソースＩＤ、音楽情報、地図上の位置情報等を挙げることができる。例えば、図２０に示す例において、“ＧＨＩＪ”を含む画像３０１Ｂは、上述したように“ＧＨ”を含む画像３０１Ｂ１と“ＩＪ”を含む画像３０１Ｂ２とに分割されて登録されることになるが、画像が表現する情報に関しては、“ＧＨ”を含む画像３０１Ｂ１と“ＩＪ”を含む画像３０１Ｂ２との集合に対して付与するとしても勿論よい。同様に、図２０に示す例において、“ＡＢＣ”と“ＧＨ”と“ＤＥＦ”とを全て含む画像３００Ａに対して画像が表現する情報を付与しても勿論よい。

つまり、画像が表現する情報を、所定のロゴを含む画像の論理和として管理し、所定の論理条件を満たす画像にのみ、画像が表現する情報を付与する。このような工夫により、例えば入力画像の分割の結果、当該入力画像中に登録画像と非類似である部分が存在しなかった場合であっても、所定の登録画像の集合として、画像が表現する情報を付与した上で上記ＴＰデータ管理ＤＢ２８に登録することも可能である。

なお、論理和に限らず、より複雑な論理式を用いることも勿論可能である。例えば、図２０に示す入力画像３００の中で“ＧＨ”を必須要素（ある画像に対して、画像が表現する情報を付与する為の論理和における要素）であるとする。すると、これを管理する論理式として、“ＧＨ”ＡＮＤ（“ＡＢＣ”ＯＲ“ＤＥＦ”）といったような記述が可能である。このように、分割した画像を単位として、自由な論理式により、画像が表現する情報の管理を行うことができる。

例えば、必須要素を、撮影対象である対象画像を指し示すシンボルとして利用することによって、ユーザーに対して当該画像が対象画像であることを明示でき、且つ安定的なマッチングを実現できる。さらに、必須要素の周辺の領域の特徴点の重要度を、その他の特徴点よりも高い重要度となるよう重み付けし、マッチング処理において、この重み付けを加味して類似度を判断しても勿論よい。このようにすることで、より安定的且つ効率的なマッチング処理を実現できる。

さらに、論理式としてＮＯＴの論理式を用いても勿論よい。例えば、ロゴＡが登録画像である場合に、ロゴＢを新たに登録する人は、登録画像であるロゴＡと自分が登録するロゴＢとを、ＮＯＴの関係で記述することにより、マッチング時においてロゴＡとロゴＢとが同時に認識されないようにすることができる。このようにＮＯＴの論理式を用いることは、ロゴＡとロゴＢとがそれぞれ互いに競合関係にある会社等により使用されている場合等に有効である。なお、予めシステムにこのような競合関係情報を登録しておき、ロゴの登録時において、上記競合関係情報に基づいて、システムが自動的に所定のロゴと競合関係にある会社等が使用するロゴとをＮＯＴの関係で記述して登録するようにしても勿論よい。ここで、上記競合関係情報とは、ある分野における競合関係にある会社等が使用する各種意匠のデータベースである。

なお、このように論理和を用いる場合には、図２０に示す例における入力画像３００Ａ中の“ＤＥＦ”のように、入力画像中に登録画像に無い部分が含まれていると、マッチングの際の判断が容易になる。

以上述べたような様々な論理式による画像同士の関係は、画像の分割過程において記述して構築することが可能であることは勿論である。なお、マッチングは、本第６実施例においては、上記サーバ２０が、携帯端末２３上のアプリケーション２５と連携して行う構成になっているが、該アプリケーション２５には所謂電子メールが含まれることは勿論である。すなわち、ユーザーが入力画像を添付してサーバヘ電子メールで送信することにより、マッチングを行うことも当然可能である。この場合、マッチングの処理結果は電子メールでユーザーに配信される。

なお、登録を希望する入力画像と類似な登録画像が見つかった場合に採り得る処理は、上述したような入力画像及び／又は登録画像を分割する処理に限られない。すなわち、以下のような処理も考えられる。

例えば、図２１Ａに示すように、入力画像と登録画像とが類似であると判断した場合、当該類似な部分を重ね合わせることで、入力画像と登録画像とを合成する処理も考えられる。さらに、図２１Ｂに示すように、“Ｂ”の一部と“Ｃ”の一部とを含む画像４０２を入力画像としてマッチングを行う場合を考える。ここで、当該マッチング前に、“Ａ”と“Ｂ”とを含む入力画像４００と、“Ａ”と“Ｃ”とを含む入力画像を含む登録画像４０１とが合成処理されており且つこれらの合成画像が、上記ＴＰデータ管理ＤＢ２８に登録されていれば、当該マッチングをより正確に行うことができる。すなわち、このような工夫により、ユーザーに対して確度の高いマッチング結果を返信することができる。

なお、入力画像及び／又は登録画像を分割する際に、当該分割により生じる各々の画像要素に対して、分類要素または個別要素等といった意味付けを行うことで、当該システムを、階層的な画像認識を行うシステムとして運用することも可能である。また、分割に関する種々の情報を保持した上記ＴＰデータ管理ＤＢ２８は、それぞれの分割により生じた画像要素を単位とした、上記のような論理式によるマッチング時における判断の際に効果的に利用できる。

［第７実施例］
以下、マッチング処理に用いるテンプレート画像を作成するＴＰ作成部で作成するテンプレートとして動画を想定した場合の実施例を説明する。

動画は、例えば３０枚／秒の連続する静止画によって構成されている。よって、上記ＴＰ作成部で作成したテンプレートを記録する手段であるＴＰデータ管理ＤＢに、ＴＰとして動画を登録する場合、該動画は静止画の連続したものとして扱う。しかしながら、動画を構成する静止画のうち全てのコマの静止画を登録する必要はない。すなわち、一旦あるコマの静止画を上記ＴＰデータ管理ＤＢに登録した後は、それに続くコマの静止画が、以下に示すような一定の基準を満たした時にのみ、そのコマの静止画を上記ＴＰデータ管理ＤＢに再び追加登録すればよい。

第１に、上記一定の基準として、上記類似度を利用することが考えられる。この場合、一旦上記ＴＰデータ管理ＤＢに登録したコマの静止画と、それに続くコマの静止画との類似度を評価し、該類似度が所定値以下になった時にのみ、そのコマの静止画を上記ＴＰデータ管理ＤＢに再び追加登録すればよい。そして、上記類似度の上記所定値として、例えば類似度７５％以下として設定しても良い。

第２に、上記一定の基準として、上記特徴点の数を利用することが考えられる。すなわち、登録した静止画中で発見されている特徴点の数が、該登録した静止画に続く静止画中で、ある閾値以下にまで減少したら迫加登録するという方法である。

第３に、上記一定の基準として、上記特徴点の移動距離を利用することが考えられる。すなわち、登録した静止画中で見つかっている特徴点を、その後に続く静止画中で追跡していき、当該特徴点の移動距離が閾値以上になったら、追加登録すればよい。

以上のような方法によって、１２０枚の静止画によって構成された動画であっても、実際には６枚のみを登録するだけで、当該動画中における任意の位置のワンシーンを安定的にマッチングできることを、本願発明の発明者は確認している。

なお、動画として登録する静止画は、各々の静止画を独立に扱うだけでなく、当該動画中における各々の静止画の順序情報も含めて上記ＴＰデータ管理ＤＢに登録するとよい。このようにし、且つ上記順序情報をマッチングにおいても利用することで、より安定的なマッチングが実現し、誤認識を回避することができる。

以下、図２２に示す対象物認識システムの一構成例を参照して、具体的に説明する。カメラ付き携帯端末２３とサーバにおけるＴＰデータ管理ＤＢ２８とが、例えばテレビ電話の回線で接続されている場合には、上記カメラ付き携帯端末２３における画像入力部（不図示）から、連続的に静止画がサーバにおける上記ＴＰデータ管理ＤＢ２８へ送信される。サーバにおけるマッチング処理部（不図示）が、上記の連続的に送信される静止画中で静止画Ｂを認識した段階では、未だ当該動画に対応する登録動画（ＴＰデータ管理ＤＢ２８に登録された動画）を確定できないが、その後に認識した画像がＥ、Ｇであることから、動画４００であることを確定できる。

なお、動画を認識させる構成としては、テレビ電話のように連続的に画像を送信できる方式に限定されるものではなく、例えば、カメラ付き携帯端末２３で動画を撮影して、これをアプリケーションからサーバ２７へ送信してもよい。上記アプリケーションは、所謂電子メールでも勿論よい。この場合には、ユーザーが、動画を添付したメールを、特定のメールアドレスへ送信することで、マッチングに要するデータの送信を行う。そして、該マッチングにおける処理結果は、メールでユーザーに配信される。なお、上記第６実施例にて説明した画像を分割して登録する方法は、動画の場合においても適用可能なことは勿論である。

［第８実施例］
ところで、特徴点を利用した画像認識、例えばマッチング処理においては、画像から抽出する特徴点の数が多ければ多い程、画像の認識をしやすくなる。しかしながら、特徴点の数が多ければ多い程、マッチング処理に時間を要する。このため、マッチング処理にとって有効である特徴点のみを抽出し、該特徴点のみを登録することは、効果的なマッチング処理を実現する。

一般に、登録を希望する入力画像に対して種々の画像処理を施すことによって、特徴点を抽出することができる。この画像処理としては、画像に対してぼかしの効果を与える処理、画像のサイズを変更する処理を与える処理等を挙げることができる。このようにして抽出した特徴点は、その特徴量において、局所的には他の画素との差異が確かにある。しかしながら、同一画像内に、類似な特徴量を持った点が複数存在してしまうことを防ぐことができない。

ここで、画像Ｚ内に類似な特徴量を持った点が複数存在している場合を考える。このような場合、画像Ｚと、画像Ｚを撮影した画像とのマッチングにおいて、画像Ｚから抽出した特徴点が、画像Ｚ内の複数の点と類似であると判断されてしまう。この為、安定的なマッチングを実現することが困難となる。このように、同一画像内に含まれる類似な特徴点は、安定的なマッチングを阻害し、且つマッチングの処理速度を遅くする。

また、このような同一画像内に含まれる互いに類似な複数の特徴点は、完全にその特徴量が同一となっている場合を除いて、これらを容易に排除することができない。これは、同一画像内において、類似であると判断する為の閾値を、マッチングの有効性に基づいて設定することは困難であるからである。

以上のような事情に鑑みて、本第８実施例では、登録の際、対象画像に対して撮影のシミュレーションを施し、対象画像自身とのマッチングにおいて各特徴点の有効性を評価する。これによって、登録する特徴点を選別し、最小の数の特徴点による安定的なマッチングを効果的に実現する。

上記撮影のシミュレーションは、回転、拡大縮小を含む二次元および／または三次元のアフィン変換、撮影時のノイズ及び／又はぼかしを付与する処理、撮影サイズにおける画像圧縮のノイズを付与する処理、照明環境を反映させるようレベルの操作処理、コントラストの操作処理、ガンマ曲線の操作等の処理、色情報の劣化操作処理、色かぶせ操作の処理等、一般的な画像処理プログラムで実現できる各種の処理を含む。

マッチング処理に用いるテンプレートを作成するＴＰ作成部５０は、例えば、特徴点抽出部、シミュレーション画像群作成部、マッチング処理部、及び特徴点評価部から構成されている。これら各部の機能の詳細は、以下の通りである。

上記特徴点抽出部では、登録を希望する対象画像から特徴点を抽出する。

上記シミュレーション画像群作成部は、上記対象画像に上記シミュレーションを施し、少なくとも１つのシミュレーション画像を作成する。更に、上記シミュレーション画像群作成部は、これらシミュレーション画像群の特徴点を抽出する。

上記マッチング処理部は、上記特徴点抽出部で抽出した特徴点と、上記シミュレーション画像群作成部で抽出した特徴点とを比較する。ここで、特徴点の比較においては、上記特徴点抽出部で抽出した特徴点を、上記ＴＰデータ管理ＤＢ２８に登録されているものとして取り扱い、それぞれのシミュレーション画像から抽出した特徴点でマッチングを行ってもよい。また、上記シミュレーション画像群作成部で抽出した特徴点を、上記ＴＰデータ管理ＤＢ２８に登録されているものとして取り扱い、上記特徴点抽出部で抽出した特徴点にてマッチングを行っても勿論よい。

上記特徴点評価部では、上記マッチング処理部によるマッチングの処理結果を参照して、上記特徴点抽出部で抽出した特徴点に対して、実際のマッチングに寄与した量を関連付ける。そして、上記寄与した量を、当該特徴点の質として取り扱い、特徴点を順位付けする。さらには、ある閾値以上の質を有する特徴点及び／又は上位の一定数の特徴点のみを選別し、該特徴点を、登録を希望する対象画像の特徴点とする。

上記のように、登録対象の特徴点を選別することによって、実際のマッチング処理に有効な点を、優先的に登録することが可能となる。従って、マッチングの処理時間を短縮し、且つ精度の高い結果を得ることができる。

［第９実施例］
本第９実施例においては、入力画像の中から複数の特徴点を抽出し、それら特徴点から成る特徴点群を、予め登録してある対象物ごとの特徴点群と比較対照することにより、同一の対象物の同定を行う。

ここでいう画像の中の特徴点とは、他の画素との差異が一定レベル以上あるものを指し、その特徴量としては、例えば明暗のコントラスト、色、周囲の画素の分布、微分成分値、及び特徴点同士の配置等を挙げることができる。本第９実施例においては、上記特徴点を抽出した後、対象物毎に登録しておく。そして、実際の同定時においては、入力画像の中をサーチして特徴点を抽出し、予め登録されているデータとの比較を行う。

以下、図２３を参照して、本第９実施例におけるマッチング処理部での同定処理の動作制御の流れを説明する。まず、予め登録してある対象物Ｚの認識要素の特徴点データを、特徴点群が記録されている特徴点データ記憶部から読み出す（ステップＳ２１）。続いて、上記特徴点データを、特徴点データの比較を行う特徴点比較部へ入力する（ステップＳ２２）。そして、上記特徴点比較部にて、上記特徴点データと、入力された対象物の特徴点データとの比較対照を行う（ステップＳ２３）。

その後、対象物同士の同一性を判断する同一性判断部において、上記対象物Ｚと、入力された対象物との同定を行う（ステップＳ２４）。そして、一致する特徴点の個数が所定の値（ここではＸ個とする）以上であるか否かを判断する（ステップＳ２５）。このステップＳ２５をＮＯに分岐する場合は、上記ステップＳ２３へ戻る。一方、上記ステップＳ２５をＹＥＳに分岐する場合は、現在比較中の対象物Ｚの認識要素と、入力された対象物とが同一であるか否かを判定する（ステップＳ２７）。

その後、全ての認識要素についての比較を終了したか否かを判断する（ステップＳ２８）。このステップＳ２８をＮＯに分岐する場合は、次の認識要素の特徴点群における、特徴点データを、上記特徴点比較部へ比較データとして入力し（ステップＳ２６）、上記ステップＳ２３へ戻る。ところで、上記ステップＳ２８をＹＥＳに分岐する場合は、一致する特徴点の個数が所定の値（ここではＹ個とする）以上あるか否かを判断する（ステップＳ２９）。ここで、このステップＳ２９をＹＥＳに分岐する場合には、入力された対象物と、対象物Ｚとは一致すると判定し、その旨を表示部等に表示してユーザーに知らせる（ステップＳ３０）。他方、上記ステップＳ２９をＮＯに分岐する場合は、入力された対象物と、対象物Ｚとは一致しないと判定する（ステップＳ３１）。

なお、実際の同定時においては、類似している度合いを示す数値（特徴点同士の各成分の差異）が、予め設定した閾値を越えた場合に、当該特徴点を類似特徴点と判定する。そして、更に複数の特徴点が一致した対象物を、入力画像の対象物と同一であると判定する。この際、入力画像の中の特徴点群と、予め登録されている特徴点群とを、以下のように比較する。

第１に、対象物の中を複数の要素に分割して登録しておく。これにより、対象物同士の比較対照時に、複数の要素（例えば３個）を認識しないと当該対象物を認識したとしない、との判定ロジックで認識させる。

第２に、対象物の認識に際し、似ている対象物が画像内に写っている場合に、例えば、ＯＢＪ１（特徴点群；Ａ，Ｂ，Ｃ）を自社のロゴマークとしているＳ社と、ＯＢＪ２（特徴点群；Ｅ，Ｆ，Ｇ）を自社のロゴマークとしているＭ社とを想定する。ここで、Ｓ社とＭ社とは競合している会社であるとする。このような場合には、当然、両者のロゴマークの混同は極力避けなければならない。このような事情に鑑みて、本第９実施例においては、ＡとＥとが同一画面内から同時に検出された場合には、どちらの対象物共、認識をしない。すなわち、認識判定を厳しくする。

第３に、従来は、認識できた特徴点の数がいくつの場合であっても、認識結果をユーザーに伝達する文章表現が同一である点である。この為、例えば一部の特徴点のみ認識できた場合、つまり入力画像と比較画像との一致度合いが不確定性を含む一致度合いである場合に、その旨をユーザーに伝達することができない。一方、本第９実施例においては、認識要素数が少ない場合には、結果の表示方法（表現方法）を変え、不確定性を含む表現にする。

上記のそれぞれの工夫により、それぞれ以下の効果が得られる。

第１に、対象物の一部だけが一致することによる誤認識を起こす確率を低く抑えることができる。

第２に、対象物の誤認識を特に避けたい場合の判定基準を厳しくすることができる。

第３に、対象物の同一性判定の正確性が所定の値よりも低い場合にも、ユーザーに対して注意を喚起した上で、ユーザーに一致判定結果を知らせることができる。

ところで、対象物の中の特徴点が分割して登録されている対象物であるＯＢＪ１（特徴点群；Ａ，Ｂ，Ｃ）及びＯＢＪ２（特徴点群；Ｅ，Ｆ，Ｇ）の場合には、以下のような判定ロジックによる認識を行う。

第１に、Ａ ａｎｄ Ｂ ａｎｄ ＣでないとＯＢＪ１認識成功としない。

すなわち、認識要素であるＡ，Ｂ，ＣからなるＯＢＪ１の認識をする場合に、Ａ，Ｂ，Ｃいずれか１つまたは２つの認識の状態ではＯＢＪ１の認識が成功したという形にはしない。

またこの変形例として、Ａ，Ｂ，Ｃに評価点としての重み付けを行う。例えば、それぞれ１、０．５、０．３と重み付けする。ここで、合計評価点が１．５を超えたときに認証するとすれば、Ａ及びＢが認識要素として見つかった場合には合計評価点が１．５となるのでＯＢＪ１を認証する。一方、Ｂ及びＣが見つかった場合にはＯＢＪ１は認証しない。

これら認識要素の評価点については、認識要素の特徴点と共に管理することが可能である。

また、論理式として、各要素の優先度を変える事も可能であり、Ａ ａｎｄ Ｂ ａｎｄ Ｃ以外にも、例えばＡ ａｎｄ（Ｂ ｏｒ Ｃ）や、Ａ ｏｒ（Ｂ ａｎｄ Ｃ）といった組み合わせが可能である。これらの例は、認識成功とする為には、いずれもＡが必須要素である例である。

なお、上記の評価点及び論理式の例は、組み合わせて用いることが可能である。すなわち、論理式の優先度と各要素の重み付けとを組み合わせて用いることができる。

第２に、Ｅ ａｎｄ Ａが抽出された場合には決して、ＯＢＪ１もＯＢＪ２も共に認識したとしない。

例えばＯＢＪ１をロゴとして用いているＳ社と、ＯＢＪ２をロゴとしているＭ社とが競合関係であって、両者の混同を極力避けたい場合、Ｓ社のロゴであるＯＢＪ１とＭ社のロゴであるＯＢＪ２とが同一画面内に写っている場合には、どちらのロゴも認識したとしない。この場合には、ユーザーに対して、認識できない理由は、対象画像が検出されていないからではなく、（Ａ，Ｂ，Ｃ）及び（Ｅ，Ｆ，Ｇ）の両方から認識要素が検出されているからであるという旨の表示を行う。

このように、本第９実施例では、互いに競合関係にある会社等のロゴの同定に関しては、例えばＳ社のロゴであるＯＢＪ１のみか又はＭ社のロゴであるＯＢＪ２のみか、どちらか一方だけが画面内にある状態になったときにのみ、当該ロゴの認識をするようにする。具体的には、（Ａ，Ｂ，Ｃ）のうちのいずれかのみ、または（Ｅ，Ｆ，Ｇ）のうちのいずれかのみを、同一画面内で検出した場合にのみ、ＯＢＪ１またはＯＢＪ２の認識を行う。換言すれば、（Ａ，Ｂ，Ｃ）のうちのいずれかと、（Ｅ，Ｆ，Ｇ）のうちのいずれかとが同一画面内で検出された場合、ＯＢＪ１もＯＢＪ２も共に認識をしない。

第３に、Ａ ａｎｄ Ｂなど一部だけが抽出された場合には結果の提示方法を変える（不確定性を含む表現に守る）
例えば、ＯＢＪ１の認識に関して、認識要素のＡ，Ｂ，Ｃの全てが認識できた場合には『ＯＢＪ１が認証されました』との強い表現にて認識結果をユーザーに提示する。また、認識要素のＡ及びＢ、Ｂ及びＣ等、２つの認識要素を認識できた場合には、例えば『ＯＢＪ１だと思われます』とのやや確信を弱めた表現にて、認識結果をユーザーに提示する。更に認識できた認識要素が１つだった場合には、『ＯＢＪ１が認識された可能性があります』というように、不確定性を含んだ表現にて認識結果をユーザーに提示する。

なお、本第９実施例の変形例として、上述した重み付けの評価点を用いた場合に、その合計評価点に基づく認識結果を、ユーザーへ提示する際の表現方法における上記のような工夫も考えられる。また、ユーザーへ認識結果を提示する際の上記のような表現方法の工夫は、様々な場面において適用可能なのは勿論である。例えば、所望の認識要素単体の認識においても適用が可能である。また、例えば認識要素内における一致特徴点の数、抽出特徴点と登録済み特徴点との一致度合いによって、ユーザーへ認識結果を提示する際の上記のような表現方法を適用することができる。

なお、本第９実施例を上記第６実施例に適用する場合には、上記ＴＰ作成部５０はサーバ２０上で動作していても勿論よい。また、上記紙面４０は表示面を意味し、必ずしも紙であることに限定されない。例えば、金属、プラスチック等の別の素材であってもよいし、液晶モニタやプラズマテレビなどのような映像表示装置であってもよい。勿論、それらに表示される情報は、人間にとっての可視光領域で表示されるものへ対応しているのは当然のことである。しかしながら、画像入力部へ入力可能な情報であれば、人間にとって不可視な情報であっても勿論良い。また、画像として取得可能なもの全てが対象であるので、例えば、Ｘ線画像やサーモグラフィといった画像であってもよい。

なお、図１０において、上記画像入力部２４から入力される対象画像を捉えた画像は、カメラ付き携帯端末からサーバ２０における上記マッチング処理部２９へ送信される。このとき、上記画像入力部２４が取得した画像をそのまま画像データとして送信することは勿論のこと、画像を縮小して送信しても勿論良い。また、当該画像から、マッチングで用いる特徴データを抽出し、これを送信しても勿論良い。さらには、上記画像と上記特徴データとの両方を送信するとしても勿論良い。つまり、当該画像から導き出すことが可能な態様のデータであれば、どういった態様のデータを送信しても構わない。

［第１０実施例］
本第１０実施例は、上述した第６乃至第９実施例において、サーバが、入力画像と比較対照するための登録画像を記憶する画像記憶部を含む実施例である。

上記比較対照に用いるデータとしては、通常、予め又は画像入力時に抽出した特徴点群データを用いる。この為、比較対照に用いるデータを記憶する記憶部に記憶する情報も通常は特徴点群データである。そして、比較対照の作業においては、データの類似性等を考慮に入れて同一性の判定を行う。このような場合は、比較対照に用いるデータの中に例えば２つの非常に類似した画像があった場合、入力画像の類似度の判別が難しくなるケースがある。その場合、比較対照用の画像（特徴点群を抽出した元データ；以降、原画像と称する）が存在すれば、特徴量の抽出基準を変更することで、より精度の高い比較対照を行ったり、特徴点群の抽出結果に対してユーザーが原画像を使った目視確認を行うことができる。また、画像自体の方が、該画像から抽出した特徴点群データよりも容量が小さい場合がある。

上記のような事情に鑑みて、本第１０実施例のように、比較対照に用いるデータとして画像を想定し、該画像についての画像記憶部をサーバに持たせることは、有益であると言える。なお、画像の比較対照作業が発生する都度、比較対照に用いる画像から特徴点群を抽出しても勿論良い。

［第１１実施例］
本第１１実施例は、上述した第６乃至第９実施例において、サーバが、入力画像内の特徴点群に対する比較対照データとして、特徴点群及び該特徴点群に対応する画像が記録されている場所を示すロケーション情報を示すロケーション記憶部を有する実施例である。

例えば、入力画像内の特徴点群と比較対照する為のデータとして、画像を記録する為の画像記録部に、画像や画像から抽出した特徴点群を記録する場合を考える。このような場合、これら画像や画像から抽出した特徴点群である比較対照に用いるデータのサイズが大きく、システムとして保持する事が得策でないケースがある。このような場合、全体のパフォーマンスの向上を鑑みると、画像を記録する画像記録部を当該システム内に持たせないほうが良いと考えられる。

上記のような事情に鑑みて、マッチングにおける処理結果から、同一であるとの判断がなされた画像が必要となった場合に、該画像を検索する為のロケーション情報を記録する為のロケーション記憶部を、サーバに持たせる。ここで、上記ロケーション情報とは、例えば当該システムとは別のシステム内にある上記画像へのリンク情報、ネット上にある上記画像へのリンク情報、ネット上にある上記画像を抽出するためのキーワード等の検索情報等を挙げることができる。このようなロケーション情報を、比較対照用に登録された特徴点群との関係を示すロケーション情報として、上記ロケーション記憶部にて記録及び管理する。本第１１実施例においては、上記のようなロケーション情報記憶部を、当該システム内に持たせる。

［第１２実施例］
本第１２実施例は、上述した第６乃至第１１実施例において、入力画像と比較対照するための特徴点群が、撮影対象物中での三次元的配置情報を加味したものであることを特徴とする実施例である。

すなわち、本第１２実施例においては、撮影対象物の中における三次元的配置情報を導入する。ここで、上記三次元的配置情報とは、所謂オブジェクトローカル座標系上での各特徴点座標値のことを言う。以下、図２４及び図２５を参照して、本第１２実施例に係る対象物認識方法を説明する。ここで、図２４及び図２５において、（１）乃至（１１）を付した点は、それぞれ特徴点を示している。これら特徴点は、入力画像内で抽出された特徴点である。また、図２４に示すように、これら特徴点のうち特徴点（１）乃至（５）は左側に写る樹木の、また特徴点（６）乃至（１１）は右側に写る家屋における特徴点をそれぞれ示している。ここで、図２５は、図２４に示す特徴点のみを抜き出して示した図である。なお、これら特徴点は、予め当該撮影対象物の特徴点群として、特徴点群を登録するデータベースに登録されているとする。

ここで、樹木における特徴点としては、その登録の際に、特徴点（２）乃至（５）に関しては、特徴点（１）を原点として、それぞれの三次元配置情報である三次元的位置すなわち（Ｘ２,Ｙ２,Ｚ２）乃至(Ｘ５,Ｙ５,Ｚ５)も登録する。なお、このような特徴点の三次元位置を検出する方法としては、画像的に検出する方法、または測定器を用いて検出する方法等がある。

本第１２実施例によれば、上記のように各特徴点の三次元的配置情報を、特徴点の登録時に同時に登録しておくことで、以下のような効果を得ることができる。すなわち、マッチング等における特徴点の比較対照によって所定の認識がなされた後で、更に上記三次元的配置情報を用いて再検証を行うことができる。つまり、本第１２実施例によれば、マッチングにおける誤認識の低減を実現することができる。

なお、上記三次元的配置情報を用いて再検証の検証方法としては様々な手法が考えられる。例えば、上記三次元的配置情報に基づいて、所定の特徴点を原点として各特徴点を二次元平面に投影したした時の各特徴点の位置と、通常通り取得して登録した各特徴点の位置とを比較対照して両者のズレを求めることで、当該マッチングにおける認識の精度を求められる。

この方法によれば、例えば入力画像内で樹木の部分として認識された特徴点群の中の特徴点を順番に検証していき、各点を原点として、その他の特徴点の三次元的配置情報に基づいて二次元平面に投影した時の各特徴点（１）乃至（５）の位置が、登録した特徴点（１）乃至（５）に一致するか否かを検証する。これを特徴点（１）を原点とした時、特徴点（２）を原点とした時、…というように全ての特徴点に対して行う。そして、もっとも一致性の高い場合の検証時のものを採用する。

上記の検証方法により、当該画像入力機器（例えばカメラ等）と撮影対象物との位置関係を求めることができる。更には、当該画像入力機器のレンズパラメータ（視野角、焦点距離）を予め求めておくことで、撮影対象物における各特徴点と、当該画像入力機器との距離を求めることも可能である。

［第１３実施例］
本第１３実施例では、上述した第６乃至第１２実施例において、入力画像中に複数の特徴点群が抽出されていて、該入力画像と登録画像とのマッチングにおいて両者を比較対照する際に、特徴点群個々の認識のみならず、特徴点群同士の位置関係の情報である配置情報を加味した認識を行う実施例である。

入力画像中から特徴点群が抽出され、比較対照用の特徴点群との比較によりマッチングが行われる。本第１３実施例によれば、樹木における特徴点群に属する特徴点（１）乃至（５）と、家屋における特徴点群に属する特徴点（６）乃至（１１）との配置関係から、図２４に示す例においては、画面内において樹木が家屋の左に配置されていることを認識することができる。

本第１３実施例によれば、上記のように特徴点の配置関係を認識することにより、以下のような配置状態を判別することができる。例えば、図２４に示す例では、樹木が左、家屋が右に位置している画像は、家屋の正面に相対しているカメラ等により撮影された画像である。また、樹木と家屋とが画面上でほぼ同じ位置にある画像は、樹木と家屋とがほぼ一直線上に並ぶような方向、すなわち家屋の正面に対して斜め方向に位置しているカメラ等により撮影された画像である。

更に、特徴点群及び特徴点の配置の広がり具合に基づいて、樹木と家屋との前後関係を求めることも可能である。なお、これら対象物が可動である場合には、現在時点での配置状態を求めることが可能である。

予め上記のような特徴点群の配置関係を場面に応じて登録しておけば、同様の対象物が並んで位置しているケースにおいても、当該対象物を識別することが可能になる。具体的に言えば、例えば同一のデザインの住宅が並んでいるようなケースにおいて、樹木が左、家屋が右のケースはＡさんの家、その逆に配置されている場合はＢさんの家と認識することができる。また、同一画面内に３つ以上の特徴点群が入るようにし、且つ該特徴点群の三次元位置情報も予めそれぞれ記録しておくことにより、三角測量の原理によって、当該カメラと上記特徴点群との相対的位置関係を詳細に求めることが可能となる。

［第１４実施例］
本第１４実施例は、マッチングシステムの高速化、または大量の登録画像に対応するマッチングシステムを実現する為に、実際にマッチングを行う処理部であるマッチング処理部をクラスタリングすることを特徴とする実施例である。

従来のマッチングシステムでは、マッチングに使用する画像等を登録するデータベースを共通にしたままで、マッチング処理部を並列化する手法、もしくは、データベースとマッチング処理部を、同一の内容のまま並列化する手法が一般的である。このような手法では、確かに多数のマッチング要求を同時に受け取ったときの処理を高速化する効果は見込める。しかしながら、大量の登録画像に対するマッチング処理を高速化することができない。また、大量の登録画像を、並列化した複数のデータベースに分割して格納すれば、確かに大量の登録画像に対するマッチング処理を高速化することができる。しかしながら、分割された登録画像群のマッチング結果を最終評価する際に、当該マッチングに用いる画像が、必ずしも分割された登録画像郡全体を均一に評価した上での上位にくる画像であるとは限らない。したがって、信頼性の高いマッチング処理であるとは言い難い。

本第１４実施例では、分割されて並列化した複数のデータベース（ＴＰデータ情報ＤＢと称する）に登録されている画像群に関して、類似な画像が１つのＴＰデータ情報ＤＢに偏よって登録されることが生じないよう、以下のように調整する。

上記ＴＰデータ情報ＤＢへの画像の登録時に、登録対象である画像の特徴量を抽出する。なお、該特徴量は、一定の領域の濃淡分布であってもよいし、特徴点であってもよい。

次に、登録対象である画像と、上記の分割して並列化した複数のＴＰデータ情報ＤＢの既登録画像とをマッチング処理し、登録対象である画像と既登録画像との類似度を評価する。なお、上記マッチング処理部に関しても、上記ＴＰデータ情報ＤＢと同様に分割して並列化してもよい。

続いて、上記類似度評価を参照して、登録対象である画像との類似度が最も低いと判断したＴＰデータ情報ＤＢに、上記登録対象である画像を登録する。

なお、上述したように、分割済みの既登録画像群に対する追加という形式で登録対象である画像を登録するのではなく、登録対象を含む既登録画像群全体を再分割するようにしても勿論よい。また、一旦、分割済みの既登録画像群に対する追加という形式で登録対象である画像を登録し、その後、定期的に画像群全体を再分割処理しても勿論よい。なお、上記再分割においては、類似度を基準にして、類似な画像が最も分散して各ＴＰデータ情報ＤＢに格納するようにしてもよい。また、例えば特徴点が多次元のベクトルで表現される場合には、上記再分割においては、特徴点の多次元ベクトル空間での分散を考慮することが有効となる。

このように、登録を希望する対象画像を登録するＴＰデータ情報ＤＢを適切に選択することによって、信頼性の高いマッチングを実現することができる。

以下、図２６を参照して、本第１４実施例におけるマッチング処理部及びＴＰデータ情報ＤＢのシステム構成を説明する。

マッチング時は、まず、マッチング対象のデータを、第一マッチング処理部５００へ送信する。次に、第一マッチング処理部５００は、並列化されたＴＰデータ情報ＤＢ５２０Ａ乃至５２０Ｃに対応する第二マッチング処理部５２１Ａ乃至５２１Ｃへ、マッチング処理を並列に依頼する。

次に、第二マッチング処理部５２１Ａ乃至５２１Ｃは、各々に対応するＴＰデータ情報ＤＢ５２２Ａ乃至５２２Ｃに対して、上記マッチング対象のデータとのマッチング処理を実行する。

次に、第二マッチング処理部５２１Ａ乃至５２１Ｃは、上記マッチング処理の結果であるマッチング結果を、上記第一マッチング処理部５００へ送信する。ここで、上記マッチング結果は、類似度情報を含む。また、上記マッチング結果は、最上位のマッチング結果だけであってもよいし、予め決められた一定数の上位のマッチング結果であってもよいし、一定率以上の類似度となったマッチング結果であってもよい。ここで、上記予め決められた一定数は、システムに静的に設定された数に限らない。例えば、第一マッチング処理部５００が受け付けるマッチング対象のデータ数を、並列化したＴＰデータ情報ＤＢの数で割ったものとしても勿論よい。この場合、上記ＴＰデータ情報ＤＢの並列化の数を変更した場合に、上記予め決められた一定数は、動的に変更されることとなる。

ところで、第二マッチング処理部５２１Ａ乃至５２１Ｃは、上記マッチング処理の結果であるマッチング結果を、上記第一マッチング処理部５００へ送信した後、第一マッチング処理部５００では、第二マッチング処理部５２１Ａ乃至５２１Ｃから受信したマッチング結果を類似度順に順序付けし、最終結果を作成する。また、第一マッチング処理部５００は、第二マッチング処理部５２１Ａ乃至５２１Ｃから受信したマッチング結果に対して、再度マッチング処理を行っても勿論よい。そして、この場合、第二マッチング処理部５２１Ａ乃至５２１Ｃにて行うマッチング処理よりも、より詳細な特徴量を使うことは、信頼性を向上させる上で有効である。

例えば、第二マッチング処理部５２１Ａ乃至５２１Ｃでは、領域の分割数が少ない濃淡データや、階調が少ない濃淡データをマッチング処理に利用し、第一マッチング処理部５００では、領域の分割数が多い濃淡データや、階調が多い濃淡データをマッチング処理に利用する。また、第二マッチング処理部５２１Ａ乃至５２１Ｃでは、ＴＰデータ情報ＤＢ５２２Ａ乃至５２２Ｃが保持する一部の特徴点を利用し、第一マッチング処理部５００では、全ての特徴点を利用するとしても良い。この場合、上記一部の特徴点の選定方法としては、特徴点の信頼性及び／又は有効度に基づいて、上位の一定数、もしくは一定以上の度数のものを選択しても良いし、ランダムにピックアップしても勿論良い。なお、第一マッチング処理部５００によるマッチング結果としては、最も類似であると判断した１つをマッチング結果としても良いし、ある基準以上の複数をマッチング結果としてもよい。ここで、上記ある基準とは、例えば結果の数であっても良いし、類似度の閾値であっても良い。

また、ＴＰデータ情報ＤＢ５２２Ａ乃至５２２Ｃとして、ＴＰデータ情報ＤＢが分割され並列化されている構成において、必ずしもサーバ筐体そのものが並列化されている必要はないことは勿論である。

上記のようなマッチング処理を行うことによって、本第１４実施例における分割され並列化されたＴＰデータ情報ＤＢを有効に利用できる。

［第１５実施例］
また、例えば以下のような実施例も考えられる。本第１５実施例においては、情報呈示端末としてカメラ付き携帯電話機を想定する。そして、該カメラ付き携帯電話において、画像における例えば特徴量の抽出等の特徴量処理の一部を行う。これを実現する為に、予め画像の特徴量処理に関するアプリケーションソフトウェアを、当該カメラ付き携帯電話機にインストールする。以下、このような本第１５実施例に係るカメラ付き携帯電話機を用いた画像のマッチング処理の流れを、図２７に示すフローチャートを参照して説明する。

まず、ユーザーが、カメラ付き携帯電話機において上記アプリケーションソフトウェアを立ち上げ、カメラ機能を用いて例えば紙面上の所定の画像または意匠を撮影する（ステップＳ５１）。続いて、当該カメラ付き携帯電話における上記アプリケーションによって、一部の特徴量処理（本実施例においては画像からの特徴量の抽出）が実行される（ステップＳ５２）。そして、上記ステップＳ５２における特徴量処理結果（本実施例においては画像から抽出した特徴量；以下同様）を、サーバへ送る。

上記特徴量処理結果を受けたサーバにおけるマッチング処理部（不図示）は、該特徴量処理結果に基づいて、比較する為の画像（比較画像）の特徴量が登録されている辞書的画像データベース５０に問い合わせ、画像のマッチング処理を行う（ステップＳ５３）。そして、該マッチング処理結果を、上記カメラ付き携帯電話に送る。なお、サーバ側においては、上記辞書的画像データベース５０の他に、多段階に構成され且つ互いに並列に構成された複数のデータベースから成る多段及び並列データベース６０が設けられている。従って、上記マッチング処理に要する比較画像が上記辞書的画像データベース５０に格納されていない場合には、上記マッチング処理部（不図示）は、上記多段及び並列データベース６０を検索する。

そして、上記ステップＳ５３におけるマッチング処理の結果を取得した上記カメラ付き携帯電話機において、上記マッチング処理結果に対して予め設定されていた動作命令を実行する（ステップＳ５４）。ここで、例えば上記動作命令が携帯電話向けＷＥＢサイトのＵＲＬ表示であれば、上記マッチング処理部（不図示）は、当該カメラ付き携帯電話機のＷＥＢサイト閲覧アプリケーションに上記ＵＲＬを送り、当該カメラ付き携帯電話機は、上記ＵＲＬに対応するＷＥＢサイトの表示を実行する（ステップＳ５４）。

なお、本第１５実施例においては、画像における特徴量の抽出はカメラ付き携帯電話において実行したが、使用するカメラ付き携帯電話の演算能力によっては、サーバが画像における特徴量の抽出を行っても勿論よい。

また、上記カメラ付き携帯電話にて撮影する対象としての画像を、例えば図２８及び図２９に示すように、当該画像がマーカー画像であることをユーザーに明示する為に、角印（特定の意匠の近傍に配置する特定のシンボルマーク等）を当該画像の近傍に配置しても良い。ここで、図２８は、マーカ画像７０の近傍に、マーカ画像を指し示す矢印からなる角印７２を１つ配置した例を示している。また、図２９は、マーカ画像７０の近傍に、該マーカ画像７０を挟み込むように、角印７４を２つ配置した例を示している。

Claims (20)

1. 画像を得る撮像部（１１）と、
   周辺情報を取得する周辺情報取得部（１４）と、
   登録情報を記憶しておく記憶部（１５）と、
   上記周辺情報取得部（１４）で取得した周辺情報に基づいて、上記記憶部（１５）に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部（１６）と、
   上記撮像部（１１）から得られる画像と上記解析基礎情報構築部（１６）から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部（１２）と、
   上記関連情報取得部（１２）で取得した関連情報を呈示する呈示部（１３）と、
   を具備し、
   上記解析基礎情報構築部（１６）は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させることを特徴とする情報呈示システム。
2. 上記撮像部（１１）、上記関連情報取得部（１２）、及び上記呈示部（１３）は、情報呈示端末（１０Ａ）に構成され、
   上記周辺情報取得部（１４）、上記記憶部（１５）、及び上記解析基礎情報構築部（１６）は、サーバ（１０Ｂ）に構成され、
   上記情報呈示端末（１０Ａ）は、通信回線（２０）によって上記サーバ（１０Ｂ）と接続されていることを特徴とする請求項１に記載の情報呈示システム。
3. 上記情報呈示端末（１０Ａ）の関連情報取得部（１２）は、複数のサーバ（１０Ｂ）から解析基礎情報を取得することを特徴とする請求項２に記載の情報呈示システム。
4. 上記サーバ（１０Ｂ）の解析基礎情報構築部（１６）は、さらに当該サーバ以外の少なくとも一つのサーバ（１０Ｂ）から情報を取得し、該情報を組み合わせた上で、上記情報呈示端末（１０Ａ）へ送信する解析基礎情報を構築することを特徴とする請求項２に記載の情報呈示システム。
5. 上記撮像部（１１）、上記関連情報取得部（１２）、上記周辺情報取得部（１４）、上記解析基礎情報構築部（１６）、及び上記呈示部（１３）は、情報呈示端末（１０Ａ）に構成され、
   上記記憶部（１５）は、サーバ（１０Ｂ）に構成され、
   上記情報呈示端末（１０Ａ）は、通信回線（２０）によって上記サーバ（１０Ｂ）と接続されていることを特徴とする請求項１に記載の情報呈示システム。
6. 上記撮像部（１１）及び上記呈示部（１３）は、情報呈示端末（１０Ａ）に構成され、
   上記関連情報取得部（１２）、上記周辺情報取得部（１４）、上記解析基礎情報構築部（１６）、及び上記記憶部（１５）は、サーバに構成され、
   上記情報呈示端末（１０Ａ）は、通信回線（２０）によって上記サーバ（１０Ｂ）と接続されていることを特徴とする請求項１に記載の情報呈示システム。
7. 上記撮像部（１１）、上記関連情報取得部（１２）、及び上記呈示部（１３）は、情報呈示端末（１０Ａ）に構成され、
   上記周辺情報取得部（１４）、上記解析基礎情報構築部（１６）、及び上記記憶部（１５）は、サーバ（１０Ｂ）に構成され、
   上記情報呈示端末（１０Ａ）は、通信回線（２０）によって上記サーバ（１０Ｂ）と接続されており、
   上記サーバ（１０Ｂ）は、更に、上記関連情報取得部（１２）と同等の機能を持つ第二関連情報取得部（１７）を有し、
   上記第二関連情報取得部（１７）は、上記関連情報取得部（１２）が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得し、上記関連情報取得部（１２）で関連情報を取得できなかった場合であっても、該第二関連情報取得部（１７）の結果を上記呈示部（１３）が呈示することを特徴とする請求項１に記載の情報呈示システム。
8. 上記解析基礎情報は、画像処理フィルタ、テンプレートサイズ、テンプレート階調、二値化閾値、マッチング閾値のうち少なくとも１つを含むことを特徴とする請求項１に記載の情報呈示システム。
9. 上記解析基礎情報構築部（１６）は、解析基礎情報とする登録情報相互の類似度に基づいて、解析基礎情報に含む画像処理パラメータを設定することを特徴とする請求項１に記載の情報呈示システム。
10. 画像を得る撮像部（１１）と、
    上記撮像部（１１）に関連する周辺情報を取得する周辺情報取得部（１４）と、
    通信回線（２０）を介してサーバからダウンロードした登録情報から、上記周辺情報取得部（１４）で取得した周辺情報に基づいて解析基礎情報を構築する解析基礎情報構築部（１６）と、
    上記撮像部（１１）から得られる画像と上記解析基礎情報構築部（１６）から得られる解析基礎情報とから、上記画像に関連する情報を取得する関連情報取得部（１２）と、
    上記関連情報取得部（１２）で取得した関連情報を呈示する呈示部（１３）と、
    を具備し、
    上記解析基礎情報構築部（１６）は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させることを特徴とする情報呈示端末。
11. 情報呈示端末（１０Ａ）から通信回線（２０）を介して送信されてくる撮像部（１１）から得られる画像及び／または上記撮像部（１１）に関連する周辺情報を取得する周辺情報取得部（１４）と、
    登録情報を記憶しておく記憶部（１５）と、
    上記周辺情報取得部（１４）で取得した周辺情報に基づいて、上記記憶部（１５）に記憶された登録情報から解析基礎情報を構築する解析基礎情報構築部（１６）と、
    を具備し、
    上記解析基礎情報構築部（１６）は、時刻、日付、季節、天候、気温、湿度、場所、周囲の明るさ、取得画像の平均色／色分布、周囲の音、機種のうち少なくとも１つに基づいて上記解析基礎情報を変化させ、
    上記解析基礎情報構築部（１６）で構築した上記解析基礎情報を上記情報呈示端末（１０Ａ）にダウンロードさることで、上記情報呈示端末（１０Ａ）に、その解析基礎情報と上記撮像部（１１）から得られる画像とから上記画像に関連する情報を取得させて、呈示させることを特徴とするサーバ。
12. 上記関連情報取得部（１２）と同等の機能を持つ第二関連情報取得部（１７）を更に具備し、
    上記第二関連情報取得部（１７）は、上記関連情報取得部（１２）が取得した解析基礎情報よりも多くの解析基礎情報から関連情報を取得し、上記関連情報取得部（１２）で関連情報を取得できなかった場合であっても、該第二関連情報取得部（１７）の結果を上記情報呈示端末（１０Ａ）が呈示することを特徴とする請求項１１に記載のサーバ。
13. データベースに予め複数の対象物の特徴点を記録するステップ（ステップＳ１２）と、登録を希望する入力画像から特徴点を抽出するステップ（ステップＳ５２）と、上記抽出した特徴点を予めデータベースに記録されている複数の対象物の特徴点と比較対照するステップ（ステップＳ１０；ステップＳ２３）と、上記比較対照するステップ（ステップＳ１０；ステップＳ２３）の比較対照結果を参照して、上記入力画像における特徴点と上記データベースに記録されている上記対象物の特徴点とを同定することで対象物の認識を行うステップ（ステップＳ２４；ステップＳ５３）と、上記認識を行うステップ（ステップＳ２４；ステップＳ５３）における同定結果をユーザーに表示するステップ（ステップＳ３０）とを具備する対象物認識方法であって、
    上記データベースに予め複数の対象物の特徴点を記録するステップ（ステップＳ１２１）においては、対象物を複数の要素対象物に分割して各々の要素対象物における特徴点を上記データベースに登録し、且つ上記認識を行うステップ（ステップＳ２４；ステップＳ５３）においては、所定の要素対象物が認識されない場合には対象物の同定を行わないことを特徴とする対象物認識方法。
14. 上記認識を行うステップ（ステップＳ２４；ステップＳ５３）において、認識した複数の要素対象物の組み合わせが所定の組み合わせであった場合には、対象物の同定を行わないことを特徴とする請求項１３に記載の対象物認識方法。
15. 上記認識を行うステップ（ステップＳ２４；ステップＳ５３）において、所定の組み合わせは満たさないが、少なくとも１つ以上の上記要素対象物を認識した場合、上記表示するステップ（ステップＳ３０）において、同定結果を、不確定要素を含む表現にてユーザーに表示することを特徴とする請求項１３に記載の対象物認識方法。
16. 上記データベースに予め複数の対象物の特徴点を記録するステップ（ステップＳ１２）においては、上記対象物の画像自体も上記データベースに記録することを特徴とする請求項１３に記載の対象物認識方法。
17. 上記データベースに予め複数の対象物の特徴点を記録するステップ（ステップＳ１２１）においては、上記特徴点と共に、上記特徴点と対応する画像が記録されている場所を示すロケーション情報を、上記データベースに記録することを特徴とする請求項１３に記載の対象物認識方法。
18. 上記特徴点を抽出するステップ（ステップＳ５２）においては、上記特徴点を、対象物の二次元画像から抽出することを特徴とする請求項１３に記載の対象物認識方法。
19. 上記特徴点を抽出するステップ（ステップＳ５２）においては、上記特徴点を、対象物の三次元的な位置関係を示す三次元的配置情報に基づいて算出することを特徴とする請求項１３に記載の対象物認識方法
20. 上記特徴点を抽出するステップ（ステップＳ５２）において複数の特徴点から成る特徴点群を抽出した場合、上記比較対照するステップ（ステップＳ１０；ステップＳ２３）においては、それぞれの特徴点群の認識のみならず、特徴点群同士の位置関係である特徴点配置情報を考慮した上記比較対照を行うことを特徴とする請求項１３に記載の対象物認識方法。
    

Images