JP4413633B2 - 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム - Google Patents

Description

この発明は、ユーザが気になった情報を検索し、検索した情報に基づく商品の購入などを容易に行えるようにする情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システムに関する。

例えばポスターや雑誌掲載などの紙媒体としての広告や、テレビジョン放送やラジオ放送のコマーシャルといった電波を媒体とする広告により、ユーザが気になる商品を発見した場合を考える。このとき、その広告に当該商品を購入可能な店舗情報が示されていれば、ユーザは、店舗情報に基づき直接的に当該店舗に赴き当該商品を購入することができる。広告に当該商品を購入可能な店舗情報が掲載されていない場合には、ユーザは、当該商品から推測して店舗を探す必要がある。

また、近年では、インターネットなどのネットワーク環境が発達し、所望の物品の詳細な情報や当該物品を購入可能な店舗情報を、ネットワーク上で検索することが容易となっている。ユーザは、例えばパーソナルコンピュータなどを用いてインターネット上の検索サイトにアクセスし、所望の商品を示すと思われるキーワードにより目的の情報を検索する。検索された情報に、当該商品を購入可能な店舗情報が含まれている場合は、ユーザは、その店舗に赴き当該商品を購入することができる。

さらに、このようなインターネットの発達に伴うＥＣ(Electronic Commerce)の出現により、インターネット上の情報検索サイトの検索結果に基づき、ユーザが実際にその店舗に赴かなくても、インターネットを介して当該商品を注文し、決済することが可能になった。ユーザは、自宅にいながらにして、所望の商品を入手することができる。

さらにまた、近年では、インターネット接続機能が付加された携帯電話端末が広く普及してきていると共に、携帯電話端末にカメラ機能が付加されたカメラ機能付き携帯電話端末が急速に普及し、手軽に撮影を行い、撮影された画像データをインターネットに対して送信することが可能となった。これを背景として、カメラで撮影した画像データに基づき所望の商品を購入可能な店舗情報を入手できるようにする方法が特許文献１に提案されている。

この方法では、ユーザは、カメラ機能付きの携帯電話端末を用いて所望の商品を撮影し、撮影された撮像画像をインターネットを介してサーバに送信する。サーバでは、受信した撮像画像を解析して特徴量情報を得て、得られた特徴量情報に基づきデータベースを検索して当該商品の詳細情報や当該製品の取り扱い店舗の所在地情報などを出力し、ユーザのカメラ機能付き携帯電話端末装置に返す。ユーザは、当該商品の名称などを知らなくても、当該商品を購入するために必要な情報を得ることができる。
特開２００３−１２２７５７

また、テレビジョン放送やラジオ放送などで放送中のコンテンツに対する情報検索については、例えばディジタルＢＳ放送や地上波ディジタルテレビジョン放送の場合、インターネット接続型テレビジョン受信機を用いてテレビジョン放送を受信し、受信されたテレビジョン放送と対応してインターネットを介して送信されたデータを検索する方法が既に実用化されている。

一般のテレビジョン受像機の場合には、パーソナルコンピュータや、インターネット通信機能付きの携帯電話端末を用い、ユーザは、気になった番組やコマーシャルが放送された時刻を示す時刻情報を、インターネットなどのネットワークを介してサーバに送信し、サーバ側では、予め用意されている、放送局別の各時刻における放送内容関連情報（番組名、コマーシャル情報、出演者、楽曲名、アーティスト名など）を格納したデータベースを受信した時刻情報に基づき検索し、検索結果をユーザに返すシステムが既に実用化されている。

上述した、広告に基づき実際に店舗に赴いたり、インターネット上の検索サイトなどから所望の商品の検索を行う方法（第１の方法）では、多くの場合、ユーザは、物品の情報を当該商品の名称などの文字情報として記憶しておく必要があり、その文字情報が分からない場合、目的の商品を購入可能な情報を入手することは、非常に困難であるという問題点があった。

例えば、ユーザが、新しく封切りされる映画のポスターを見て上映する映画館と上映時間を知りたいと思ったとする。従来では、ポスターに書かれている映画のタイトルなどの文字情報を記憶若しくはメモし、この文字情報に基づき情報検索サイトで必要な情報を検索する必要があった。この場合、記憶した情報に基づく場合には、記憶違いや忘却などにより検索できなかったり、不適当な検索結果しか得られなかったりするという問題点があった。また、メモを取る場合は、筆記用具やメモ用紙を用意するなど、メモを取ること自体に手間がかかるという問題点があった。

また例えば、ユーザが、気に入った靴を履いている人物の写真を雑誌の広告から発見したとする。ユーザは、その靴が何処のメーカのどの型名かも分からない場合は、上述の情報検索サイトで検索を行うためのキーワードとして用いるべき文字情報すら得られないという問題点があった。

さらに例えば、ワインを購入する際、そのワインが果たしてどんな味なのか、どのワイナリーで作られどの葡萄が用いられているかなど、必要な情報が揃わず買うべきか否かの決断ができない場合がある。情報を知りたいワインボトルのラベルにある文字情報がフランス語の場合など、上述した従来方法による検索方法では入力欄にキーワードを入力することすら難しいという問題点があった。また、その場で直ぐに情報を得たいという要求に対応することも、従来方法では困難であった。

図３０は、この第１の方法により情報を検索して商品を購入する場合の一例の手順を示す。先ず、ユーザは、紙媒体やテレビジョン放送、ラジオ放送など、所謂プッシュメディアと称される媒体から、商品の情報を入手する（ステップＳ１００）。この段階では、ユーザは、当該商品に対して「気になる」程度の関心しか持っていないことが考えられる。次に、ユーザは、価格や仕様などの当該商品の詳細な情報を、情報誌などの紙媒体や、インターネット上の情報検索サイトといった所謂プルメディアと称される媒体を利用して調べる（ステップＳ１０１）。

ユーザは、商品に関する詳細な情報を入手すると、情報を確認し、複数の購入可能情報が入手された場合は、それらの価格を比較し（ステップＳ１０２）、購入可能な店舗の場所を調べる（ステップＳ１０３）。当該店舗が実体の店舗として存在する場合には、地図を用いて店舗の場所を確認する。また、その店舗がＥＣに対応しており、インターネット上のＷｅｂサイトとして店舗が存在する場合には、当該店舗のＵＲＬ(Uniform Resource Locator)が確認される。さらに、ユーザは、自身の予算と、自身が購入したいと思っている商品のリスト（ウィッシュリスト）における当該商品の優先順位とから、当該商品を実際に購入するか否かを決定し（ステップＳ１０４）、購入するとした場合、実際の購入に移る（ステップＳ１０５）。

第１の方法に基づく商品購入においては、このステップＳ１００〜ステップＳ１０５の各手順毎に検索や判断を要し、ユーザの負担が大きいと共に、これらの手順が非連続的なそれぞれ個別のプロセスとなっており、ユーザがある商品を「気になる」状態となってから購入するまでに、多大な手間がかかるという問題点があった。またそのため、気になった商品を購入するまでにユーザが疲弊してしまい、購入する意欲を失ってしまうおそれもあった。これは、商品を販売する側からみれば、ビジネスチャンスを失うことを意味する。

また、カメラ機能付き携帯電話端末を用いて所望の商品を撮影して撮像画像をサーバに送信して商品情報を得る、特許文献１に記載の方法（第２の方法）では、例えば、所望の商品をユーザの知人が所有していて写真を撮影させてもらえる、ショーウィンドウに所望の商品が撮影可能な状態に陳列してある、などのように、所望の商品が実際に撮影可能な状態になければいけないという問題点があった。紙媒体による広告やテレビジョン放送のコマーシャルなどの画像を用いることも当然、考えられるが、この場合でも、当該商品が単独またはそれに近い状態で表示されている必要があり、制限が多いという問題点があった。

さらに、ネットワーク接続型のテレビジョン受像機を用いて情報を得る方法（第３の方法）では、専用のテレビジョン受像機が必要となるという問題点があった。また、関連情報は、データチャンネルを用いて放送されるため、録画されたテレビジョン放送を再生する際には、録画および再生を行う機器がデータチャンネルの記録に対応している必要があるという問題点があった。さらに、放送局側で予め用意した情報しか検索できないことや、関連情報が放送時にデータチャンネルで送信されるために、放送を録画後は、記録された関連情報が更新されないため、録画された内容を再生するときには、記録された関連情報が古くなっていて有益ではない場合があるといった問題点があった。

さらにまた、一般のテレビジョン受像機で受信された放送を視聴中に、パーソナルコンピュータや携帯電話端末を用いて時刻情報を送信して情報を得る方法（第４の方法）では、パーソナルコンピュータや携帯電話端末でサーバにアクセスしている間に、目的の映像が終了してしまう場合があるという問題点があった。また、ユーザが自分の視聴する放送局の情報を、別途、予めサーバに登録しておく必要があり、手間がかかるという問題点があった。さらに、録画された放送を再生した映像から関連情報を得ようとする場合には、当該映像の放送局および放送時刻情報を予め当該映像と共に記録しておく必要があり、そのための特殊な録画機器が必要とするという問題点があった。

一方、インターネットを介しての商品関連情報の検索および購入のシステムを利用することで、例えば以下のようなサービスが実施されている。
（１）関連情報提供者が有料検索者に対して情報を提供するサービス。
（２）検索者（ユーザ）が要求する関連情報に対する関係の有無にかかわらず、特定の企業の要請に基づき当該企業が指定して情報を露出してその広告効果の対価を得るビジネス。
（３）検索に必要なシステムや関連データベースを、これらを必要とする企業に対して利用許諾し、その対価を得るビジネス。
（４）検索者が検索結果を得た後に、その検索結果に基づき購買を希望する場合、通信販売業者に対してその検索者を紹介し、紹介手数料を得るビジネス。
（５）検索者自身が売り主となって、他の検索者に物品を販売するビジネス。

しかしながら、従来では、既に述べたような様々な問題点が存在するため、これらのサービスやビジネスが円滑に実行できず、その結果、多数の企業やユーザがビジネスチャンスを逃すことになっていたという問題点があった。

したがって、この発明の目的は、ユーザがある商品を気になってからその商品を購入するまでの手順を連続化し、ユーザがストレス無く商品購入を行えるようにする情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システムを提供することにある。

上述した課題を解決するために、請求項１に記載の発明は、画像データおよび動画像データに基づき情報検索を行う情報検索システムにおいて、
画像データおよび動画像データを取得する画像データ取得手段と、
画像データ取得手段で取得された画像データおよび動画像データを通信ネットワークに向けて送信する送信手段と
を備える端末装置と、
検索される可能性がある認識用画像データが登録される第１のデータベースと、
第１のデータベースに登録された認識用画像データに対応するメタデータが登録される第２のデータベースと、
テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録部と、
端末装置から送信された画像データおよび動画像データをネットワークを介して受信する受信手段と、
受信手段で受信された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行う特徴抽出部と、
第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較する特徴比較部と、
特徴比較部の比較結果に基づき、画像データおよび動画像データをフレーム毎に分解した画像データのそれぞれが含む画像要素と一致度が高い認識用画像データを第１のデータベースから検索する検索手段と、
検索手段による検索結果に基づき第２のデータベースからメタデータを抽出するメタデータ抽出手段と
を備えるサーバ装置と
を有し、
サーバ装置は、メタデータ抽出手段で抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしたことを特徴とする情報検索システムである。

また、第２の発明は、端末装置が取得した画像データおよび動画像データに基づき、検索装置において情報検索を行う情報検索方法において、
端末装置が、画像データおよび動画像データを取得する画像データ取得のステップと、
端末装置が、画像データ取得のステップにより取得された画像データおよび動画像データを端末装置から通信ネットワークに向けて送信する送信のステップと、
検索装置が、送信のステップにより送信された画像データおよび動画像データをネットワークを介して受信する受信のステップと、
検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録のステップと、
検索装置が、受信のステップにより受信された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データそれぞれの特徴と認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データが含む画像要素と一致度が高い認識用画像データを検索する検索のステップと、
検索装置が、検索のステップによる検索結果に基づき、第１のデータベースに登録された認識用画像データに対応するメタデータが登録される第２のデータベースからメタデータを抽出するメタデータ抽出のステップと
を有し、
検索装置によってメタデータ抽出のステップで抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしたことを特徴とする情報検索方法である。

また、第３の発明は、画像データに基づき情報検索を行う情報検索装置において、
検索される可能性がある認識用画像データが登録される第１のデータベースと、
第１のデータベースに登録された認識用画像データに対応するメタデータが登録される第２のデータベースと、
テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録部と、
端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信手段と、
受信手段で受信された画像データおよび動画像データをフレーム毎に分解した画像データそれぞれの特徴の抽出を行う特徴抽出部と、
第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較する特徴比較部と、
特徴比較部の比較結果に基づき、画像データおよび動画像データをフレーム毎に分解した画像データのそれぞれが含む画像要素と一致度が高い認識用画像データを第１のデータベースから検索する検索手段と、
検索手段による検索結果に基づき第２のデータベースからメタデータを抽出するメタデータ抽出手段と
を有し、
メタデータ抽出手段で抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしたことを特徴とする情報検索装置である。

また、第４の発明は、画像データに基づき検索装置において情報検索を行う情報検索方法において、
検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録のステップと、
検索装置が、端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信のステップと、
検索装置が、受信のステップにより受信された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データおよび動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い認識用画像データを検索する検索のステップと、
検索装置が、検索のステップによる検索結果に基づき、第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースからメタデータを抽出するメタデータ抽出のステップと
を有し、
検索装置が、メタデータ抽出のステップにより抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしたことを特徴とする情報検索方法である。

また、第５の発明は、画像データに基づき情報検索を行う情報検索方法をコンピュータ装置に実行させる情報検索プログラムにおいて、
情報検索方法は、
検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録のステップと、
検索装置が、端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信のステップと、
検索装置が、受信のステップにより受信された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データおよび動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い認識用画像データを検索する検索のステップと、
検索装置が、検索のステップによる検索結果に基づき、第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースからメタデータを抽出するメタデータ抽出のステップと
を有し、
検索装置が、メタデータ抽出のステップにより抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしたことを特徴とする情報検索プログラムである。

また、第６の発明は、画像データから特定の形状を認識する画像認識装置において、
検索される可能性がある認識用画像データが登録される第１のデータベースと、
第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースと、
テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録部と、
入力された画像データおよび入力された動画像データをフレーム毎に分解した画像データの特徴の抽出を行う特徴抽出部と、
第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較する特徴比較部と、
特徴比較部の比較結果に基づき、画像データおよび動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い認識用画像データを第１のデータベースから検索する検索手段と、
検索手段による検索結果に基づき第２のデータベースからメタデータを抽出するメタデータ抽出手段と
を有することを特徴とする画像認識装置である。

また、第７の発明は、画像データから特定の形状を認識する画像認識方法において、
検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録のステップと、
検索装置が、入力された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データおよび動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い認識用画像データを検索する検索のステップと、
検索装置が、検索のステップによる検索結果に基づき、第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースからメタデータを抽出するメタデータ抽出のステップと
を有することを特徴とする画像認識方法である。

また、第８の発明は、画像データから特定の形状を認識する画像認識方法をコンピュータ装置に実行させる画像認識プログラムにおいて、
画像認識方法は、
検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録する登録のステップと、
検索装置が、入力された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、第１のデータベースに登録された認識用画像データの特徴の抽出を行い、画像データおよび動画像データをフレーム毎に分解した画像データの特徴と認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データが含む画像要素と一致度が高い認識用画像データを検索する検索のステップと、
検索装置が、検索のステップによる検索結果に基づき、第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースからメタデータを抽出するメタデータ抽出のステップと
を有することを特徴とする画像認識プログラムである。

上述したように、第１ないし第５の発明は、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録し、端末装置で取得され通信ネットワークを介して送信された画像データに対し、画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データが含む画像要素と一致度が高い認識用画像データを検索し、検索結果に基づき、第１のデータベースに登録された認識用画像データに対応するメタデータが登録される第２のデータベースからメタデータを抽出し、抽出されたメタデータを通信ネットワークを介して端末装置で閲覧可能なようにしているため、端末装置から画像データを送信するだけで、送信された画像データに対応するメタデータを端末装置上で閲覧することができ、ユーザは、対象物に対する知識が無くても、必要な情報をその場で迅速に得ることができる。

また、第６ないし第８の発明は、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、情報を検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、第１のデータベースに登録された認識用画像データに対応するメタデータを収集してメタデータを第２のデータベースに登録し、入力された画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、画像データが含む画像要素と一致度が高い認識用画像データを検索し、検索結果に基づき、第１のデータベースに登録された認識用画像データのメタデータが登録される第２のデータベースからメタデータを抽出するようにしているため、画像データを入力すると、入力された画像データに対応するメタデータを得ることができ、画像データの対象に対する知識が無くてもその画像データに関連する情報を得ることができる。

この発明では、サーバは、画像認識機能を有すると共に、予め画像データおよび画像データに対応する関連情報をデータベースに登録している。そして、ユーザから送られてきた画像データに対して画像認識処理を行ってデータベースに登録された画像データと比較し、一致度が高いとされた画像データに対応する関連情報をユーザに送信するようにしている。

そのため、ユーザは、撮影した画像データをサーバに送信するだけで、撮影した内容に応じた様々なサービスを受けることができる効果がある。また、サーバは、画像認識処理結果に基づき関連情報を抽出してサービスの内容を判断するので、ユーザは、撮影の対象に関する知識を持っていなくても適切なサービスを受けることができる効果がある。それにより、サービスの提供側においても、サービスに関する知識を持たないユーザを新たな顧客として得ることができる効果がある。

また、サーバは、ユーザから送信された画像データに対する画像認識処理において、画像データに含まれる複数の画像要素について認識し、それぞれ関連情報を抽出するようにしている。そのため、ユーザは、撮影した画像中の自分が狙った以外の部分についても、サービスを受けることができる効果がある。また、ユーザは、撮影の対象となる画像（ポスターやテレビジョン放送のコマーシャル映像、雑誌の表示など）の本来の目的以外の画像要素に対しても、サービスを受けることができる効果がある。

さらに、この発明の実施の一形態によれば、画像データを撮影してサーバに送信するだけで、撮影対象に関する関連情報を得ることができるので、ユーザは、欲しい情報を入手する際に文字入力の手間が省けるだけでなく、記憶違いや忘却などにより検索不能となることも、防がれる効果がある。

さらにまた、画像データに対する画像認識処理結果に基づき関連情報が得られるため、ユーザは、対象物の製造メーカや型名が分からなくても、対象物を撮影して画像データをサーバに送信するだけで、欲しい情報を入手できる効果がある。対象物がラベルなどの場合に、そのラベルに記載されている文字がユーザの読めない外国語などであっても、問題なく情報の検索を行うことができるという効果がある。

また、テレビジョン放送による画像データにこの発明を適用した場合、テレビジョン受像機に映出された映像を撮影しサーバに送信するだけで必要な情報が得られるため、サービスを受けるに当たって、ネットワーク接続型のテレビジョン受像機のような専用のテレビジョン受像機を用意する必要が無い効果がある。画像そのものから関連情報が得られるため、録画された画像に対してサービスを受けようとする場合でも、通常の録画装置を用いることでき、例えばテレビジョン放送と共にデータチャンネルを録画するような特殊な録画装置が必要ないという効果がある。

さらに、ネットワーク接続型のテレビジョン受像機を利用したサービスでは、ユーザは、テレビジョン放送局が予め用意したサービスしか受けることができない。一方、この発明が適用されたサービスでは、映像から抽出された関連情報に基づき情報が提供されるため、様々な情報検索が可能であるという効果がある。

さらにまた、ネットワーク接続型のテレビジョン受像機を利用したサービスでは、データは、放送時にデータチャンネルによって送信されるため、放送時から時間が経過しても関連情報の更新が行われず、例えば放送を録画して後に録画した放送を再生したときなど、その放送に関連して放送時に送信された情報が既に古くなって有益ではなくなっている場合がある。一方、この発明が適用されたサービスでは、関連情報が常に更新されるため、過去の映像からでも、最新情報の検索が可能であるという効果がある。

また、この発明が適用されたサービスでは、テレビジョン放送を視聴中に気になる情報を発見した場合でも、その画面を撮影してサーバに送信するだけで必要な情報が得られるので、例えばパーソナルコンピュータを用いてインターネットの情報検索サイトなどで情報を検索する場合のように、放送局情報を一々入力する必要が無いと共に、アクセス中にその放送が終了してしまい情報を逃してしまうことが無いという効果がある。さらに、録画されたテレビジョン放送からも、同様にして再生画面を撮影してサーバに送信するだけで必要な情報が得られるので、放送時刻や放送局情報をテレビジョン放送と共に記録するような特殊な録画装置を用いる必要が無いという効果がある。

また、以上のような効果により、ユーザは、欲しい情報を高い確率で入することができるようになると共に、情報の入手から商品の購入までをストレス無く誘導され、それに伴い、情報提供側も、ビジネスチャンスを逃すことがなくなるという効果がある。

以下、この発明の実施の一形態について説明する。先ず、この発明の説明に先んじて、この発明の出願人により既に実施されているサービスについて、概略的に説明する。

このサービスでは、テレビジョン放送やラジオ放送などで放送される楽曲やコマーシャルの関連情報を、放送される時刻情報と対応付けてサーバ側で予め登録しておく。ユーザが街角や自宅などで視聴中のテレビジョン放送やラジオ放送で気になる楽曲やコマーシャルなどが放送されたら、例えばインターネット通信機能付きの携帯電話端末を用いてサーバに対して時刻情報を送信する。サーバでは、受信した時刻情報に基づき当該時刻に放送されていた楽曲やコマーシャルの関連情報を検索し、検索結果をユーザに返す。これにより、ユーザは、気になった楽曲やコマーシャルなどの関連情報を容易に入手することができる。それと共に、サーバ側では、ユーザに提供した楽曲やコマーシャル情報に関連するビジネスを展開することができる。

この発明では、既に実施されている上述のサービスを画像データに対して発展的に適応し、ユーザに対して連続的な購入プロセスを提供することを目的とする。すなわち、背景技術で述べた第１の方法では、ユーザが情報を入手してから購入までのステップＳ１００〜ステップＳ１０５までの各手順が図３０の如く非連続的であった。この発明では、図１に模式的に示されるように、情報入手（ステップＳ１）、情報検索（ステップＳ２）、情報確認および価格比較（ステップＳ３）、購入可能店舗またはサイト検索（ステップＳ４）、予算確認（ステップＳ５）、購入またはダウンロード（ステップＳ６）までの各手順を、連続的なプロセスとすることを目的とする。

図２は、この発明の実施の一形態によるシステムの一例の構成を示す。ユーザは、気になった情報を発見すると、例えばカメラ機能付き携帯電話端末１を用いてその情報を撮影する。一例として、ユーザの気になる商品の写真がある雑誌「ＡＢＣＤ誌」の表紙に掲載されているのをユーザが発見したものとする。ユーザは、カメラ機能付き携帯電話端末１を用いてこの雑誌ＡＢＣＤ誌の表紙を撮影し、得られた画像データ７をインターネット２を介してサーバ３に送信する。

サーバ３は、例えば一般的なコンピュータ装置と同様の構成により実現可能な装置であり、画像データの解析機能を有する。サーバ３は、画像データベース４および関連情報データベース５を有する。画像データベース４は、各種商品の画像、人物の画像、ロゴマーク画像、文字情報を示す画像など、様々な画像データが登録される。以下、画像データベース４に既に登録されている画像を、登録済み画像と呼ぶ。関連情報データベース５は、画像データベース４に登録される画像に関連する情報が当該画像のメタデータとして登録される。

なお、サーバ３は、単独のコンピュータ装置で構成されるのに限らず、ネットワークで接続された複数のコンピュータで構成することもできる。また、サーバ３の機能は、サーバ３に搭載されるプログラムにより実行される。プログラムは、ＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)などの記録媒体や、ネットワークを介して供給される。

サーバ３は、画像データ７を受信すると、受信された画像データ７に対して画像認識処理を行う。この画像認識処理において、画像データ７に含まれている画像要素と一致または極めて類似する画像が画像データベース４に登録されているか否かを調べる。登録されていれば、サーバ３は、画像データベース４の当該登録済み画像に対応する関連情報を、関連情報データベース５から検索する。サーバ３は、検索の結果得られた関連情報に基づく情報を、インターネット２を介してカメラ機能付き携帯電話端末１に対して送信する。

なお、画像要素は、一つの画像を構成する意味のある画像のそれぞれをいう。例えば、画像が帽子を被った人物と、ロゴマーク画像とから成り立っていれば、帽子の画像、人物の画像およびロゴマーク画像のそれぞれが当該画像の画像要素である。

関連情報データベース５に登録される関連情報には、インターネット２上に存在する関連サイト６のＵＲＬ(Uniform Resource Locator)を含ませることができる。ユーザは、サーバ３から送信された関連情報に含まれるＵＲＬを用いて、関連サイト６にアクセスすることができる。関連サイト６がＥＣに対応し、インターネット２を介しての商品の購入が可能にされていれば、ユーザは、サーバ３から送信された関連情報に含まれるＵＲＬに基づき関連サイト６にアクセスし、関連サイト６上で商品の購入を行うことが可能となる。

次に、この発明の実施の一形態によるシステム構成をより詳細に説明する。図３は、ユーザ側およびサーバ側システムの構成の例を示す。ユーザ側において、カメラ機能付き携帯電話端末１は、カメラ部１０、表示部１１およびインターフェイス（Ｉ／Ｆ）部１２を有する。カメラ部１０は、例えばＣＣＤ(Charge Coupled Device)を撮像素子として用い、撮像素子で撮像された撮像信号を所定に画像データに変換して出力する。画像データは、例えばＬＣＤ(Liquid Crystal Display)を表示素子として用いた表示部１１に供給され表示される。

それと共に、カメラ部１０から出力された画像データをグレイスケール化した画像データがインターフェイス部１２に供給される。画像データのグレイスケール化は、例えば画像データの輝度成分だけを取り出すことで可能である。

インターフェイス部１２は、カメラ機能付き携帯電話端末１とインターネット２との間の通信を、所定のプロトコルを用いて制御する。インターフェイス部１２に供給された画像データは、画像データ７として、インターネット２を介してサーバ３に対して送信される。このとき、ユーザを特定するためのＩＤ情報などを画像データと共に送信するとよい。

なお、図中に点線のブロックで示されるように、特徴抽出処理部１３を設け、カメラ部１０から出力された画像データから所定に特徴抽出を行い、抽出された特徴データのみをインターフェイス部１２に供給するようにしてもよい。この場合には、特徴データのみがインターネット２に対して送信されることになる。

ユーザ側の画像データ取得および送信手段は、カメラ機能付き携帯電話端末１に限られず、情報提供側から提供される画像を取得可能な手段であれば、他の手段を用いることができる。

例えば、ディジタルカメラ１Ｂで撮影された画像データをパーソナルコンピュータ（ＰＣ）１５に転送し、パーソナルコンピュータ１５でインターネット２と通信を行うことにより、画像データ７としてサーバ３に送信することが考えられる。この場合でも、ディジタルカメラ１Ｂで撮影された画像データに対して、特徴抽出部１６で予め特徴抽出を行い、抽出された特徴データのみを画像データ７として送信することができる。特徴抽出部１６は、パーソナルコンピュータ１５上のソフトウェアで構成するとよい。

また例えば、ディジタルテレビジョン受像機１Ｃで受信されたディジタルテレビジョン放送による画像データを、画像データ７としてサーバ３に送信するようにできる。アンテナ２０で受信されたディジタルテレビジョン放送信号は、受信部２１で所定の信号処理をされてディジタルビデオ信号とされ、表示部２２で表示される。それと共に、ディジタルビデオ信号は、例えば図示されない操作部に対するユーザの操作に応じてある期間のフレームあるいはある１フレームが抽出される。抽出されたフレームは、画像データ７として、インターフェイス部２３によりインターネット２を介してサーバ３に送信される。

なお、このディジタルテレビジョン受像機１Ｃにおいても、上述のカメラ機能付き携帯電話端末１と同様に、図中に点線のブロックで示されるように、特徴抽出処理部２４を設け、受信部２１から出力された画像データの特徴を予め抽出して、特徴データのみを画像データ７として送信するようにしてもよい。

さらに例えば、ディジタルテレビジョン受像機２５で受信されビデオレコーダ２６で録画されたディジタルビデオ信号も、同様にして、画像データ７としてサーバ３に送信することができる。ビデオレコーダ２６により、ディジタルビデオ信号のある期間のフレームあるいはある１フレームが再生される。ビデオレコーダ２６から再生されたフレームを、例えばパーソナルコンピュータ２７に転送し、パーソナルコンピュータ２７でインターネット２と通信を行うことにより、当該フレームを画像データ７としてサーバ３に送信することが考えられる。

この場合でも、ビデオレコーダ２６から出力されたフレームに対して特徴抽出部２８で予め特徴抽出を行い、抽出された特徴データのみを、画像データ７として送信することができる。特徴抽出部２８は、パーソナルコンピュータ２７上のソフトウェアで構成するとよい。

ユーザ側の画像データ取得および送信手段は、上述の例以外にも、例えば画像認識機能付きの家庭用ロボットを用いることもできる。

なお、上述した何れの例においても、サーバ３には、グレイスケール化された画像データが画像データ７として送信される。ユーザ側で特徴抽出がなされる場合には、グレイスケール化された画像データに対して特徴抽出を行う。

また、上述では、テレビジョン放送をディジタルテレビジョン放送としてディジタルテレビジョン受像機１Ｃで受信するように説明したが、勿論、テレビジョン放送をアナログテレビジョン放送とし、アナログテレビジョン受像機で受信されたアナログテレビジョン放送信号をディジタル変換して用いてもよい。

サーバ側システムについて説明する。サーバ側システムは、サーバ３、画像データベース４、関連情報データベース５およびデータ登録部を有する。サーバ３とインターネット２との間の通信は、インターフェイス部４０および４１により所定のプロトコルを用いて所定に制御される。ユーザ側からインターネット２を介して送信された画像データがインターフェイス部４０により受信され、サーバ３に供給される。

データ登録部では、ＣＭ（コマーシャル）自動抽出システム５１が各チャンネルのテレビジョン放送から抽出したコマーシャルや、インターネット２上に公開されている一般のＷｅｂサイト５２に掲載されている情報などを収集し、データ登録ツール５０を用いて、画像データベース４に画像を登録する。登録の際に、画像に対してユニークな画像ＩＤが付与される。データ登録ツール５０は、画像データベース４や関連情報データベース５に対して効率的にデータ登録を行うように構成されたソフトウェアである。

画像データベース４は、ユーザに検索される可能性がある画像が予め登録される。画像データベース４には、例えばロゴマーク画像、物品や建造物の一部または全体の画像、人物の画像などが登録される。文字情報も画像データベース４に登録され、文字列の解析も可能なようにされる。

また、データ登録部では、画像データベース４に登録された登録済み画像に関連する関連情報をＣＭ自動抽出システム５１や一般Ｗｅｂサイト５２から収集する。収集された関連情報は、データ登録ツール５０を用いて、当該画像と画像ＩＤにより対応付けられて関連情報データベース５に登録される。

サーバ３は、画像特徴抽出部３０、画像特徴比較部３１、関連情報検索部３２および関連情報出力部３３を有する。ユーザ側で特徴抽出されていない画像データ７は、インターフェイス部４０で受信されると、画像特徴抽出部３０に供給される。なお、ユーザ側で予め特徴抽出された画像データ７は、インターフェイス部４０で受信されると、後述する画像特徴比較部３１に供給される。また、上述した、ユーザ側の特徴抽出部１３、１６、２４および２８は、このサーバ側の画像特徴抽出部３０で行われるのと同様の特徴抽出処理を行うものとする。

画像特徴抽出部３０は、供給された画像データ７に対して特徴抽出を行い、その結果得られた特徴データを出力する。画像特徴抽出部３０で行われる特徴抽出処理としては、様々な方法が考えられる。一例として、画像データに対してエッジ検出処理を施し、エッジがより顕著な部分を特徴点として抽出し、抽出された特徴点の位置関係を特徴データとして用いることが考えられる。

特徴データは、画像特徴比較部３１に供給される。画像特徴比較部３１は、画像データベース４の登録済み画像に対して特徴抽出を行い、抽出の結果得られた特徴データと、画像特徴抽出部３０から供給された特徴データとを比較する。比較結果に基づき、画像データベース４の登録済み画像から、画像特徴抽出部３０から供給された特徴データの全体または一部と一致度の高い画像を検索する。このとき、一致度の高い登録済み画像が複数、検索された場合は、これら複数の登録済み画像の画像ＩＤを出力する。

画像特徴比較部３１から出力された画像ＩＤは、関連情報検索部３２に供給される。関連情報検索部３２では、供給された画像ＩＤに基づき関連情報データベース５を検索する。検索結果の、当該画像ＩＤが示す画像に対応する関連情報は、関連情報出力部３３に供給される。

関連情報出力部３３では、関連情報検索部３２から供給された関連情報を、ユーザが閲覧可能なデータに変換する。変換されたメタデータは、インターフェイス部４１に供給され、インターネット２を介してユーザに対して返される。例えば、カメラ機能付き携帯電話端末１から発せられた画像データ７に対する関連情報であれば、当該関連情報は、インターネット２を介してカメラ機能付き携帯電話端末１に送信される。

なお、上述では、関連情報出力部３３が関連情報をユーザに対して送信するように説明したが、これはこの例に限定されない。一例として、関連情報出力部３３は、関連情報検索部３２から供給された関連情報を表示するようなＷｅｂサイトを作成し、インターネット２上でユーザに対して提示するようにできる。サーバ３は、作成された当該ＷｅｂサイトのＵＲＬをユーザ（カメラ機能付き携帯電話端末１）に対して通知し、当該Ｗｅｂサイトをユーザに対して提示する。この通知を受けたユーザは、通知内に記述されるＵＲＬにアクセスすることで、最初に送信した画像データ７に対応する関連情報を閲覧することができる。

また、上述では、画像特徴抽出部３０は、グレイスケール化された画像データに対して特徴抽出処理を行うように説明しているが、これはこの例に限られない。例えば、画像特徴抽出部３０は、色情報を含む画像データに対して特徴抽出処理を行うようにできる。この場合、ユーザ側から、グレイスケール化を行わない画像データをサーバ３に対して送信する。さらに、特徴抽出部１３、１６、２４、２８などによりユーザ側で予め特徴抽出処理を行う場合にも、色情報を含む画像データに対して特徴抽出処理を行うようにできる。これに限らず、ユーザ側では予め特徴抽出処理を行う場合には、グレイスケール化したデータに対して特徴抽出処理を行い、サーバ３側で特徴抽出処理を行う場合には、色情報を含む画像データに対して特徴抽出処理を行うようにもできる。

次に、画像データベース４および関連情報データベース５に対するデータ登録について説明する。先ず、テレビジョン放送のコマーシャルに基づき画像データおよび関連情報を収集する方法を、図４を用いて説明する。ＣＭ自動抽出システム５１は、テレビジョン放送の各チャンネルにそれぞれ対応した複数のチューナ５１１、５１１、・・・と、ＣＭ検出器５１２とを有する。チューナ５１１、５１１、・・・で受信されたテレビジョン放送は、ＣＭ検出器５１２に供給される。ＣＭ検出器５１２は、供給されたテレビジョン放送から自動的にコマーシャルを検出して抽出する。テレビジョン放送中のコマーシャルは、例えばコマーシャル以外の放送番組とコマーシャルとの音声データの差異やシーンチェンジ、番組表などから検出することができる。

ＣＭ自動検出システム５１では、検出されたコマーシャルに基づき、その日に放送された新規コマーシャルのリストを作成する。新規コマーシャルのリストは、ＣＭ自動検出システム５１でその日に検出された新規コマーシャルの画像データ（ビデオデータ）と共に、データセンタ６０に供給される。なお、ＣＭ自動検出システム５１は、コマーシャルの他にも、放送局の番組宣伝番組やイベント告知番組なども抽出し、データセンタ６０に供給する。

データセンタ６０では、ＣＭ自動検出システム５１から供給された新規コマーシャルリストおよび新規コマーシャルのビデオデータに基づき、それぞれのコマーシャルについて、関連情報を調査する。例えば、コマーシャルのそれぞれについて、広告主、代理店、制作会社、コマーシャル中に用いられた楽曲の版権を持つ音楽プロダクション、関連するＷｅｂサイトや関連情報が掲載された一般のＷｅｂサイトなどを調査する。調査結果は、コマーシャルの関連情報として、コマーシャルのビデオデータと共に、コマーシャル（ＣＭ）情報データベース６１に登録される。

図４の例では、ＣＭ情報データベース６１は、放送に関連する情報（メタデータ）として、初回放送時刻、放送局、コマーシャル長およびバージョン情報が登録される。広告主に関する情報として、企業名、企業カテゴリ、企業のＷｅｂサイトのＵＲＬが登録される。商品に関する情報として、商品名、商品カテゴリおよび商品情報（または、商品情報が掲載される関連ＷｅｂサイトのＵＲＬ）が登録される。出演者に関する情報として、出演者名およびその出演者によるセリフが登録される。映像等演出に関する情報として、キャッチコピー、場面、映像の特徴などが登録される。また、楽曲に関する情報として、楽曲名、演奏者や作詞者、作曲者、当該楽曲がＣＤに収録されて発売されている場合には、そのＣＤのＣＤ番号が登録される。

ＣＭ情報データベース６１には、さらに、一致検索用ファイルが登録される。データセンタ６０から供給されたビデオデータについて、映像（画像）および音声のそれぞれに対して特徴抽出が行われ、特徴データファイルが得られる。これら映像（画像）や音声の特徴データファイルが、コマーシャルに関連付けられて、一致検索用ファイルとして登録される。

このＣＭ情報データベース６１に登録された各情報が関連情報データベース５に登録される。また、コマーシャルを収録したビデオデータが画像データベース４に登録される。上述した画像データに関する特徴データファイルを、画像データベース４に登録すると、画像データの検索が容易になり好ましい。

テレビジョン放送以外のメディアから画像データおよび関連情報を収集する方法を、図５を用いて説明する。ここでは、情報源としてインターネット上のＷｅｂサイトを想定する。例えば、各種広報文が掲載されたＷｅｂサイト、各種ニュースサイト、各種情報サイト、新聞社によるＷｅｂサイト、出版社によるＷｅｂサイト（特に、その出版社で出版している雑誌に関連するＷｅｂサイト）、関連Ｗｅｂサイト、一般Ｗｅｂサイトなどが情報源として考えられる。これに限らず、各種雑誌や新聞といった、紙メディアを情報源としてもよい。

データセンタ６０では、これらのＷｅｂサイトを例えば毎日監視し、その日に新規に発表された新商品や話題商品、イベントなどを発見したら、発見された情報のリストを作成する。このリストに基づき、情報の発表主、商品の販売店などに詳細情報を問い合わせたり、さらに関連Ｗｅｂサイトや関連する情報が掲載される一般Ｗｅｂサイトを調査する。問い合わせ結果や調査結果に基づき、商品（コンテンツ）情報データベース６２に情報が登録される。

図５の例では、商品（コンテンツ）情報データベース６２は、販売元に関連する情報（メタデータ）として、販売元企業、当該企業のカテゴリ、当該企業のロゴマーク画像が登録される。販売期間や地区に関する情報として、販売開始日、販売地域が登録される。販売店に関する情報として、販売店名、当該販売店のカテゴリ、当該販売店のＷｅｂサイトのＵＲＬが登録される。商品（コンテンツ）に関する情報として、商品名、当該商品のカテゴリ、商品番号、ＪＡＮコード、当該商品に関連する商品の情報、当該商品に関連するＷｅｂサイトのＵＲＬが登録される。価格に関する情報として、販売価格が登録される。

また、商品（コンテンツ）情報データベース６２は、企業のロゴマーク画像や商品が表示される画像データ、商品に関連する画像データが登録される。

この商品（コンテンツ）情報データベース６２に登録された各情報が関連情報データベース５に登録される。また、この商品（コンテンツ）情報データベース６２に登録された各画像データは、画像データベース４に登録される。各画像の特徴抽出を行った結果得られた特徴データファイルを画像データベース４に登録すると、画像データの検索が容易になり好ましい。

なお、上述したＣＭ情報データベース６１および商品（コンテンツ）情報データベース６２の構成は、一例であって、登録される項目は上述の例に限られない。さらに、上述では、ＣＭ情報データベース６１、商品（コンテンツ）情報データベース６２、画像データベース４および関連情報データベース５をそれぞれ独立したデータベースのように説明したが、データベースの構成はこの例に限定されるものではない。例えば、これら４つのデータベースを１つのデータベースに統合させて構成することも可能である。

次に、ユーザから送られた画像データを認識し、メタデータを抽出する処理について、図６を用いて概略的に説明する。図６において、画像認識アプリケーション７１およびメタデータ抽出アプリケーション７３は、サーバ３上で実行可能なアプリケーションプログラムである。

サーバ３に対して、ユーザから画像データ７０、７０、・・・が送られる。サーバ３では、画像認識アプリケーション７１により、ユーザから送られてきた画像データ７０、７０、・・・に対して特徴抽出処理を施し、特徴データを抽出する。画像認識アプリケーション７１は、画像データマスタ７２（画像データベース４に対応する）に対し、特徴データが画像データ７０から抽出された特徴データと一致または極めて類似した登録済み画像を検索し、検索結果として画像ＩＤを出力する。文字情報は、テキストデータとして出力してもよい。１つの画像データ７０に、例えば人物と商品というように、複数の画像要素が含まれている場合、それら複数の画像要素のそれぞれに対して一致または極めて類似する画像の画像ＩＤが出力される。画像ＩＤは、画像認識アプリケーション７１からメタデータ抽出アプリケーション７３に渡される。

メタデータ抽出アプリケーション７３は、受け取った画像ＩＤに対応するメタデータをメタデータマスタ７４から検索し、一致画像のメタデータ７５を出力する。複数の画像ＩＤを受け取った場合には、それら複数の画像ＩＤのそれぞれに対応するメタデータを検索し、各一致画像のメタデータ７５、７５、・・・を出力する。なお、メタデータマスタ７４は、関連情報データベース５に対応し、メタデータは、関連情報に対応する。

図７を用いて、画像認識処理およびメタデータ抽出処理について、より詳細に説明する。なお、ユーザから複数フレームからなる動画像データ７０’が送られてきた場合には、フレーム毎の画像データ７０、７０、・・・として処理される。このとき、必要であれば、動画像データ７０’から所定にフレームを間引いてフレーム毎の画像データ７０、７０、・・・を得るようにしてもよい。

ここで、画像データ７０に含まれる画像要素は、一般的な物体の形状、人物（人相）および文字の、それぞれ性質の異なる３種類に分類することができる。画像認識アプリケーション７１は、これら性質の異なる３種類の画像要素に対する認識処理をそれぞれ行うために、パターン認識エンジン７１Ａ、人物認識エンジン７１Ｂおよび文字認識エンジン７１Ｃを有する。また、画像データマスタ７２も、３種類のデータにそれぞれ対応し、一般画像マスタ７２Ａ、人物画像マスタ７２Ｂおよび文字列マスタ７２Ｃを有する。画像データ７０、７０、・・・は、パターン認識エンジン７１Ａ、人物認識エンジン７１Ｂおよび文字認識エンジン７１Ｃにそれぞれ入力される。

パターン認識エンジン７１Ａは、一般的な物体の形状に対する画像認識処理を行う。パターン認識エンジン７１Ａは、一般画像マスタ７２Ａに登録済みの画像の特徴点のパターンと、ユーザから送られてきた画像データ７０の特徴点のパターンとを比較し、一致あるいは類似度が高い、すなわち一致度が所定以上高い登録済み画像を抽出する。例えば、登録済み画像とユーザからの画像データ７０の特徴点同士などで比較して、一致度のスコアを算出し、スコアが所定値以上の登録済み画像を一致度の高い登録済み画像として抽出する。１つの画像データ７０から一致度が所定値以上の登録済み画像が複数、得られた場合には、得られた複数の登録済み画像をそれぞれ抽出する。

このようにして抽出された登録済み画像の画像ＩＤ７６、７６、・・・がパターン認識エンジン７１Ａから出力される。これら画像ＩＤ７６、７６、・・・に基づき、画像データ７０に含まれる一般的な物体の候補の名称を得ることができる。

また、ユーザから送られてきた画像データ７０は、被写体が常に適正な角度で撮影されているとは限らない。そのため、パターン認識エンジン７１Ａによるパターン比較の際に、複数の特徴点について位置関係の演算を行うことにより、ユーザの撮影時の角度が登録済み画像の角度からある程度、例えば４５°程度までの差があっても、一致検索することが可能となっている。

さらに、上述したように、ユーザから送られてきた画像データ７は、ユーザ側においてグレイスケール化されているため、撮影時のカメラ装置による色の違いや、照明光の色の影響を受けず、より正確に認識を行うことができる。

さらにまた、ユーザから送られてきた画像データ７０と登録済み画像とを比較して一致度のスコアを算出し、スコアに基づき特徴点の一致度を判断しているため、画像データ７の一部が登録済み画像と異なっていたり、異なっていても、一致度が高い画像として抽出することができる。例えば、ユーザが建造物の一部を撮影した際に画像データ７０に、対応する登録済み画像には無かった看板などが写っていても、一致度が高い画像として抽出可能である。また、ユーザから送られてきた画像データ７０と、登録済み画像とで、実物に対する撮像画像の範囲が異なっていても、一致度が高い画像として抽出できる。

人物認識エンジン７１Ｂは、画像データ７０に対して人物認識処理を行い、顔らしきイメージが認識されたら、人相の認識を行う。この、画像データ７０から顔らしきイメージを認識する技術は、既に幾つかが実用化されている。人相の認識では、顔として認識された部分に複数の特徴点を設け、これら複数の特徴点の位置関係に基づき、人物画像マスタ７２Ｂに登録済みの人相画像に対するスコアを算出し、スコアが所定値以上の登録済み画像を一致度が高い人相画像として抽出する。１つの画像データ７０から一致度が所定値以上の人相画像が複数、得られた場合は、得られた複数の登録済み画像をそれぞれ抽出する。

このようにして抽出された登録済み画像の画像ＩＤ７７、７７、・・・が人物認識エンジン７１Ｂから出力される。これら画像ＩＤ７７、７７、・・・に基づき、画像データ７０にに含まれる人物の候補の名前を得ることができる。

このような人相画像の抽出技術としては、例えば、既に実用化されている、ガボールウェーブレット変換およびグラフマッチングを併用した顔認証技術や、摂動空間法および適用的領域混合マッチング法を併用した顔認証技術などを用いることができる。

上述と同様に、ユーザから送られてきた画像データ７０は、ユーザ側においてグレイスケール化されているため、撮影時のカメラ装置による色の違いや、照明光の色の影響を受けず、より正確に認識を行うことができる。

また、ユーザから送られてきた画像データ７０と登録済み画像とを比較して一致度のスコアを算出し、スコアに基づき一致度を判断しているため、画像データ７０の一部が登録済み画像と異なっていたり、異なっていても、一致度が高い画像として抽出することができる。例えば、画像データ７０に写っている人物が帽子やメガネなどを装着しており、同一人物についての登録済み画像と異なっていても、一致度が高いとして抽出することが可能である。

文字認識エンジン７１Ｃは、画像データ７０に対して文字認識処理を行い、文字情報を抽出する。文字情報の抽出は、一般的に行われているＯＣＲ(Optical Charactar Reader)の技術を用いることができる。文字列マスタ７２Ｃは、例えば単語辞書を構成し、検出された文字に基づき単語を検出することができる。認識結果に基づき文字列マスタ７２Ｃが参照され、所定値以上の一致度の文字列があるか否かが検索される。一致する文字列があれば、その文字列データ７８が出力される。１つの画像データ７０から一致度が所定値以上の文字列が複数、得られた場合には、得られた複数の文字列データ７８、７８、・・・が候補としてそれぞれ出力される。

パターン認識エンジン７１Ａから出力された画像ＩＤ７６、７６、・・・、人物認識エンジン７１Ｂから出力された画像ＩＤ７７、７７、・・・および文字認識エンジン７１Ｃから出力された候補の文字列７８、７８、・・・は、それぞれ１つの画像に対して複数の候補が得られている可能性があり、曖昧な結果であるといえる。メタデータ抽出エンジン７３Ａは、これらエンジン７１Ａ、７１Ｂおよび７１Ｃにより認識された複数の曖昧な結果に基づきメタデータマスタ７４を検索し、対応するメタデータ７５、７５、・・・を抽出する。そして、それらメタデータ７５、７５、・・・同士で共通部分があるものを、実際に画像データ７０に含まれている画像に対応していると判断する。

なお、ユーザから動画像データ７０’が送られ、それをフレーム毎の画像データ７０、７０、・・・に分解したときは、フレーム毎の画像データ７０、７０、・・・に共通して多く含まれる認識結果を実際に動画像データ７０’に含まれている画像に対応していると判断することができる。例えば、フレーム毎の画像データ７０、７０、・・・の所定値以上の割合に対して共通して含まれる認識結果を、実際に動画像データ７０’に含まれている画像に対応していると判断する。

図８は、各エンジン７１Ａ、７１Ｂおよび７１Ｃにより、画像データ７０から得られる情報の例を概略的に示す。図８Ａは、画像データ７０が画像要素としてロゴマーク画像とテキスト画像とを含む例である。パターン認識エンジン７１Ａによりロゴマーク画像が認識される。物としての形状は、不明とされる。画像データ７０は、顔らしき画像を含まないので、人物認識エンジン７１Ｂは、認識結果を出力しない。文字認識エンジン７１Ｃにより、ロゴマーク画像の下部に配置された文字列が認識される。

図８Ｂは、画像データ７０が画像要素として物（靴）の画像を含み、物に対してロゴマーク画像が付随している例である。パターン認識エンジン７１Ａにより、物の形状が靴であることが認識され、さらに、靴であると認識された物の表面に付随するロゴマーク画像が認識される。画像データ７０は、文字を含まないので、文字認識エンジン７１Ｃにより認識結果として「無し」が得られる。図８Ｃは、画像データ７０が画像要素として建造物の一部を含み、建造物の付属物にロゴマーク画像が記されている例である。パターン認識エンジン７１Ａにより、画像データ７０の画像要素が建造物であることが認識され、さらに、建造物に対してロゴマーク画像が記されていることが認識される。認識された建造物の画像要素から建造物自体を特定することも可能である。図８Ｂおよび図８Ｃの何れにおいても、画像データ７０は、顔らしき画像を含まないので、人物認識エンジン７１Ｂによる認識はなされない。なお、図８Ｂおよび図８Ｃの例において、パターン認識エンジン７１Ａによる認識の順序は逆でもよい。

図８Ｄは、画像データ７０が画像要素として人物の画像を含む例である。人物認識エンジン７１Ｂは、画像データ７０に含まれる顔らしき画像を認識し、さらに、人相を認識する。画像データ７０は、文字を含まないので、文字認識エンジン７１Ｃによる意味のある認識結果は出力されない。画像データ７０は、人物および人物の装着物以外の画像要素を含まないので、パターン認識エンジン７１Ａによる意味のある認識結果は出力されない。なお、この図８Ｄの例において、人物の装着物に対してパターン認識エンジン７１Ａによる認識結果を出力することも可能である。

図８Ｅは、画像データ７０が画像要素として物の画像と文字列とを含む例である。物の表面には、ロゴマーク画像が記されている。文字列は、手書きまたは手書き風の書体が用いられている。パターン認識エンジン７１Ａにより、画像データ７０の画像要素に含まれている物が○○社製ゲーム機器であることが認識されると共に、認識された物の表面に記されるロゴマーク画像が認識される。文字認識エンジン７１Ｃにより、画像データ７０に含まれる文字列が認識される。このように、文字列が手書きまたは手書き風の不均一な表示で、文字列中の文字認識に欠損が生じても、文字列マスタ７２Ｃが有する単語辞書により、正しい文字列を推測することが可能である。画像データ７０は、顔らしき画像を含まないので、人物認識エンジン７１Ｂによる認識はなされない。

図９は、上述した図７の画像認識処理およびメタデータ抽出処理を、より具体的な例を用いて示す。ユーザから送られてきた画像データ７０は、１つの画像データ７０に対して、複数の人物画像、ロゴマーク画像および製品そのものの画像が画像要素として含むものとする。この画像データ７０を、パターン認識エンジン７１Ａ、人物認識エンジン７１Ｂおよび文字認識エンジン７１Ｃにそれぞれ供給する。

パターン認識エンジン７１Ａは、画像データ７０の特徴データに基づき一般画像マスタ７２Ａを検索する。一般画像マスタ７２Ａには、図９に模式的に示されるように、様々な製品の画像や、各種のロゴマーク画像、建造物の一部または全体の画像（図示しない）などが登録済み画像として登録されている。パターン認識エンジン７１Ａは、画像データ７０の特徴データと一般画像マスタ７２Ａの登録済み画像の特徴データとを比較し、画像データ７０の一部または全体に一致または極めて類似する登録済み画像を検索する。図９の例では、ロゴマーク画像「ＡＢＣ」およびＺＺＺ社製ＤＶＤレコーダの画像が、画像データ７０中に含まれるとして、一般画像マスタ７２Ａから検索されている。検索された画像の画像ＩＤ７６、７６、・・・がメタデータ抽出エンジン７３に供給される。

なお、図９では、便宜上、画像データＩＤ７６、７６、・・・として、対応する物（ＺＺＺ社製ＤＶＤレコーダ）やロゴマーク（「ＡＢＣ」）の名称が記されている。

人物認識エンジン７１Ｂは、画像データ７０の特徴データに基づき人物認識を行い、顔らしき画像について人物マスタ７２Ｂを検索して人相認識を行う。人物マスタ７２Ｂには、図９に模式的に示されるように、様々な人物の人相画像が登録されている。人物認識エンジン７１Ｂは、人物認識により顔らしいとされた画像と人物マスタ７２Ｂの登録済みの人相画像とを比較し、顔らしいとされた画像に対して一致または極めて類似する登録済み人相画像を検索する。図９の例では、画像データ７０に２人の人物画像が含まれるとして、人物マスタ７２Ｂから検索されている。検索された画像の画像ＩＤ７７、７７、・・・がメタデータ抽出エンジン７３に供給される。

なお、図９では、便宜上、画像データＩＤ７７、７７、・・・として、対応する人物の名前（「ＸＸ正和」、「ＹＹ美紀」）として記されている。

文字認識エンジン７１Ｃは、画像データ７０に対して文字認識処理を施し、画像データ７０に含まれる文字を検出する。図９の例では、画像データ７０に含まれる文字列として「ＤＶＤ」および「レコーダ」がそれぞれ検索されている。検索されたこれらの文字列７８、７８、・・・がメタデータ抽出エンジン７３に供給される。

メタデータ抽出エンジン７３は、パターン認識エンジン７１Ａおよび人物認識エンジン７１Ｂからそれぞれ供給された画像ＩＤ７６、７６、・・・および画像ＩＤ７７、７７、・・・、ならびに、文字認識エンジン７１Ｃから供給された文字列に基づき、画像データ７０の内容を特定する。

図９の例では、メタデータ抽出エンジン７３は、パターン認識エンジン７１Ａの認識結果に基づく２個の画像ＩＤ７６、７６、人物認識エンジン７１Ｂの認識結果に基づく２個の画像ＩＤ７７、７７および文字認識エンジン７１Ｃの認識結果に基づく２個の文字列７８、７８の６個のデータをキーワードとして、メタデータマスタ７４を検索する。

メタデータ抽出エンジン７３は、これら６個のキーワード全てに共通する（または全てを含む）メタデータがメタデータマスタ７４に登録されていたら、当該メタデータをユーザから送られてきた画像データ７０に対応するメタデータとして出力する。図９の例では、ロゴマーク画像「ＡＢＣ」、ＺＺＺ社製ＤＶＤレコーダの画像、人物「ＸＸ正和」および「ＹＹ美紀」、ならびに、文字列「ＤＶＤ」および「レコーダ」を全て含んだメタデータが画像データ７０に対応するメタデータとされる。

また、ロゴマーク画像「ＡＢＣ」、ＺＺＺ社製ＤＶＤレコーダの画像、人物「ＸＸ正和」および「ＹＹ美紀」、ならびに、文字列「ＤＶＤ」および「レコーダ」それぞれのメタデータ７５、７５、・・・を、個別に出力することもできる。

図９の例では、画像データ７０に対応するメタデータは、当該画像データ７０に画像要素として含まれるＺＺＺ社製ＤＶＤレコーダについては、型番、価格、紹介文、情報が公開されるＷｅｂサイトのＵＲＬおよびこの製品が販売されるＷｅｂサイトのＵＲＬが含まれる。この画像データ７０がテレビジョン放送のコマーシャルに基づく画像の場合、出演者名や用いられた楽曲名、その楽曲の演奏者情報などがさらに含まれる。画像要素それぞれのメタデータ７５、７５、・・・は、例えば商品画像に対応するメタデータに対して、商品の型番、価格、紹介文、情報が公開されるＷｅｂサイトや商品が販売されるＷｅｂサイトのＵＲＬが含まれる。また、人物に対応するメタデータに対して、その人物の名前やプロフィールが含まれる。

この発明の実施の一形態では、さらに、メタデータ抽出エンジン７３は、入力される６個のキーワードのうち数個、例えば１個あるいは２乃至３個が認識できなくても、画像データ７０に含まれる、各エンジン７１Ａ、７１Ｂおよび７１Ｃでは認識できなかった画像要素を推定して出力することができる。

例えば、画像データ７０において、各エンジン７１Ａ、７１Ｂおよび７１Ｃにより検索した結果得られた上述の６個のキーワードのうち、ロゴマーク画像「ＡＢＣ」、人物「ＸＸ正和」および人物「ＹＹ美紀」が高い一致度で認識され、他の３個は、一致度が低く、認識できなかったものとする。この場合、メタデータ抽出エンジン７３は、認識できた３個のキーワードを用いてメタデータマスタ７４をＡＮＤ検索する。この検索により、当該画像データ７０に対応するメタデータとして、ＺＺＺ社製ＤＶＤレコーダの宣伝のための画像に対応するメタデータが、高い確率で得られることが期待される。メタデータ抽出エンジン７３は、こうして得られた画像データ７０全体のメタデータの、認識できた画像要素に対応する情報以外の部分を参照することで、各エンジン７１Ａ、７１Ｂおよび７１Ｃで認識できなかった画像要素のメタデータを得ることができる。

次に、上述したこの発明の実施の一形態により提供可能なサービスについて説明する。この発明では、上述したように、サーバ３は、予め画像データおよび当該画像データのメタデータをデータベースに登録し、ユーザから送信された画像データに対して画像認識処理を行いデータベースを参照してメタデータを抽出する。この発明では、このメタデータを用いて、ユーザに対して様々なサービスを提供することができる。

図１０を参照しながら、より具体的な例を用いて説明する。ユーザは、例えば雑誌や新聞に掲載されている、気になる写真や記事をカメラ機能付き携帯電話端末１やディジタルカメラ装置２などで撮影して画像データ７Ａとしてサーバ３に送信する。サーバ３は、受信した画像データ７Ａに対して画像認識処理を行い画像データ７Ａに画像要素として含まれる文字情報、ロゴマーク画像、物品の画像などをそれぞれ認識し、それぞれの画像要素に対応するメタデータを抽出する。これにより、サーバ３は、撮影された記事に対する速報の入手、撮影された雑誌などに掲載された商品情報の入手や当該商品の購入のサービスを、ユーザに対して提供することが可能である。撮影された雑誌や新聞に他の情報、例えば観光地情報やチケット販売に関する情報が掲載されていれば、それらの情報を提供することも可能である。

同様にして、ユーザにより撮影されサーバに送信された画像データ７Ｂがレストランなどの建造物の一部であれば、サーバ３は、画像データ７Ｂに画像要素として含まれる建造物の形状やロゴマーク画像などを認識して例えばレストラン名を特定し、レストラン名と共にそのレストランに関する他の情報、例えばメニュー情報、営業時間、店内映像、予約情報（電話番号）などを提供する。

また、ユーザにより撮影されサーバ３に送信された画像データ７Ｃが画像要素としてワインなど飲料物や食料品などのラベルを含む場合は、サーバ３は、画像データ７Ｃのラベル画像上のロゴマーク画像や文字情報などを認識して例えばワイン名を特定し、そのワインの味に関する情報、販売店や価格情報などを提供する。当該ワインの購入サービスをユーザに提供することも可能である。

さらに、ユーザにより撮影されサーバ３に送信された画像データ７Ｄが画像要素として人物を含む場合は、サーバ３は、画像データ７Ｄに含まれる人相を認識して当該人物の名前を特定する。当該人物が例えばスポーツ選手である場合には、サーバ３は、当該選手自身の情報の他に、所属するチーム情報、当該チームによるゲームの速報などをユーザに提供することができる。当該選手や当該選手の所属チームなどの関連商品がある場合には、関連商品の購入サービスをユーザに提供することも可能である。

さらにまた、ユーザにより撮影されサーバ３に送信された画像データ７Ｅが画像要素としてＣＤ(Compact Disc)の発売や上映映画の広告画像を含んでいる場合には、サーバ３は、画像データ７Ｅに含まれる広告画像に基づき、発売されるＣＤのタイトル、アーチスト名や、映画のタイトルを特定する。例えば画像データ７Ｅが上映映画の広告画像であれば、サーバは、タイトル名と共に、その映画のストーリー、出演者情報、監督情報、上映情報などをユーザに提供することができる。当該映画のチケット購入サービスや、当該映画がＤＶＤ(Digital Versatile Disc)などに収録され発売された際の購入サービスをユーザに提供することも可能である。

さらに、ユーザにより撮影されサーバ３に送信された画像データ７Ｆが画像要素としてポスターやテレビジョン放送のコマーシャルなどによる商品広告の画像を含んでいる場合には、サーバ３は、画像データ７Ｆに含まれる商品画像を認識して商品名を特定し、商品情報や商品の購入サービスをユーザに提供する。当該広告画像が広告対象の商品の他に、例えば人物画像を画像要素として含んでいる場合には、サーバは、当該人物を認識して当該人物に関する情報をユーザに提供することができる。また、当該広告画像がテレビジョン放送のコマーシャルによるものである場合には、当該コマーシャルで用いられている楽曲情報をユーザに提供することもできる。

図１１〜図２４を用いて、図１０で示したそれぞれの例におけるユーザ側のインターフェイスの例について、説明する。なお、以下では、ユーザは、カメラ機能付き携帯電話端末１で撮影した画像データ１０をインターネット２を介してサーバ３に送り、サーバ３は、送られた画像データ１０に応じたサービスを、画像データ１０を送信したカメラ機能付き携帯電話端末１に対して提供するものとする。また、図１１〜図２４において、符号Ａ〜Ｉは、それぞれ対応する符号に移行することを示す。

例えば、既に述べたように、サーバ３は、ユーザから送信された画像データ７に応じたサービスを提供するようなＷｅｂサイトを作成し、当該Ｗｅｂサイトに対してインターネット２を介してアクセス可能な状態とする。サーバ３は、当該ＷｅｂサイトのＵＲＬを、画像データ７を送信したカメラ機能付き携帯電話端末１に対して例えば電子メール機能などを利用して送信する。

一方、カメラ機能付き携帯電話端末１は、インターネット２を介しての電子メール送受信機能と、インターネット２上のＷｅｂサイトへのアクセス機能を有する。カメラ機能付き携帯電話端末１は、Ｗｅｂサイトを閲覧するためのブラウザソフトウェアを有し、ＷｅｂサイトのＵＲＬを指定することで、当該Ｗｅｂサイトにアクセスすることができる。その際、カメラ機能付き携帯電話端末１に所定に配置されたキーを用いて項目の選択やデータの入力、データの送信などを行うことができるようにされている。ユーザは、カメラ機能付き携帯電話端末１により受信されたＵＲＬに対してアクセスすることで、サーバ３によるサービスを受けることができる。なお、ユーザ側のインターフェイスとしては、カメラ機能付き携帯電話端末１に限らず、インターネット２に通信可能なパーソナルコンピュータを用いることも可能である。この場合、画像データ７をパーソナルコンピュータからサーバ３に送信してもよいし、画像データ７をカメラ機能付き携帯電話端末１で送信し、サービスをパーソナルコンピュータで受けるようにもできる。

図１１〜図１３は、上述した画像データ７Ａの例に対応し、雑誌や新聞に掲載の気になる写真や記事を撮影してサーバ３に送信し、サービスを受ける例である。図１１において、ユーザは、気になった写真や記事が掲載された雑誌の表紙をカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ａを電子メールに添付してサーバ３に送信する。なお、画像データ７Ａは、その雑誌を実際に撮影したものでなくてもよく、例えばその雑誌が写っている写真を撮影したものや、テレビジョン放送の映像による画像データなどでもよい。画面１０１は、このときのカメラ機能付き携帯電話端末１の表示部の表示例である。以下、画面表示例は、カメラ機能付き携帯電話端末１の表示部に対する表示例である。画像データ７Ａの送信の際には、サブジェクトには何も記述する必要はない。送信ボタンを押す操作を行うことで、画像データ７Ａがサーバ３に送信される。

サーバ３は、画像データ７Ａを受信し、画像データ７Ａに対して画像認識処理を行って画像データ７Ａに含まれる画像要素を特定し、特定された画像要素に対応するメタデータの抽出を行う。そして、抽出されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。この返信の電子メールは、画面１０２のように、サービス提供のためのＷｅｂサイトのＵＲＬ１０２Ａが記述されている。このＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１０３の表示となる。

画面１０３は、画像データ７Ａによる雑誌の画像７Ａ’と、ボタン１０３Ａおよび１０３Ｂが表示される。この雑誌１００を撮影した例では、サーバ３により、雑誌名「ＡＢＣＤ」を示すロゴマーク画像と、雑誌１００の表紙に写真が掲載される携帯電話端末とが認識され、雑誌「ＡＢＣＤ」に関するサービスと、携帯電話端末に関するサービスとが提供される。

なお、画面に表示されたボタンは、カメラ機能付き携帯電話端末１に対する所定の操作により選択することができ、さらに所定の操作で選択を決定することで、選択したボタンに応じた選択情報がサーバ３に送信されるようになっている。以下では、所定の操作により画面に表示されたボタンを選択して決定する操作を、適宜、「ボタンを押す」などと表現する。サーバ３は、受信された選択情報に応じたデータをカメラ機能付き携帯電話端末１に送信する。カメラ機能付き携帯電話端末１では、受信されたデータに基づく画面の表示がなされる。

ユーザが雑誌「ＡＢＣＤ」に関するサービスを受けたいとしてボタン１０３Ａを選択すると、その旨がサーバ３に送信され、表示が図１２に示す画面１０４に切り替わる。画面１０４は、雑誌「ＡＢＣＤ」のメタデータに基づき、雑誌「ＡＢＣＤ」に関して概略的に説明が表示されると共に、ボタン１０４Ａ、１０４Ｂ、１０４Ｃおよび１０４Ｄが表示される。ボタン１０４Ａを選択すると、画面１０５が表示され、雑誌「ＡＢＣＤ」に関してより詳細な情報を知ることができる。

画面１０４において、ボタン１０４Ｂを押すと、表示が画面１０６に切り替わり、雑誌「ＡＢＣＤ」の通信販売での購入申し込みを設定することができる。画面１０６において必要な情報を入力してボタン１０６Ａを押すと、表示が入力した情報を確認するための画面１０７に切り替わり、さらにボタン１０７Ａを押すことで、通信販売の決済が実行される。なお、画面１０４において、ボタン１０４Ｃを押すと、表示が類似情報を探す画面に切り替わる。

一方、図１１の画面１０３において、ボタン１０３Ｂを押すと、雑誌１００を撮影した画像データ７Ａから認識された携帯電話端末に関するサービスを提供する画面１０８（図１３参照）に表示が切り替わる。画面１０８は、メタデータに基づき雑誌に掲載されていた携帯電話端末の情報が概略的に表示されると共に、ボタン１０８Ａ、１０８Ｂおよび１０８Ｃが表示される。ボタン１０８Ａを押すと、この携帯電話端末に関するより詳細な情報を閲覧できる画面（図示しない）が表示される。

ボタン１０８Ｂを押すと、表示が類似情報を探す画面１０９に切り替わる。例えば、サーバ３において「携帯電話端末」をキーワードとしてメタデータが検索され、類似情報の候補が抽出される。この類似情報の候補が画面１０９に表示される。表示された候補を選択してボタン１０９Ａを押すことで、選択された候補に関する画面（図示しない）に表示が切り替わる。この候補に関する画面は、例えば、画面１０８と同一の構成で異なる機種の携帯電話端末が表示され、所定のボタンを押すことで、詳細情報を見る画面や類似情報を探す画面に切り替わる。

上述において、例えば画面１０４以降で表示される情報や通信販売画面などは、サーバ３が用意してもよいし、当該商品の発売元などで、インターネット２上のＷｅｂサイトとして用意してもよい。一例として、画面１０３のボタン１０３Ａを雑誌「ＡＢＣＤ」の出版社が用意する雑誌「ＡＢＣＤ」に関するＷｅｂサイトにリンクさせておき、ボタン１０３Ａが押されたら、その雑誌「ＡＢＣＤ」に関するＷｅｂサイトがアクセスされるようにする。

なお、画面１０４のボタン１０４Ｄ、画面１０６のボタン１０６Ｂ、画面１０７のボタン１０７Ｂ、画面１０８のボタン１０８Ｃおよび画面１０９のボタン１０９Ｂは、それぞれ一つ前の画面に戻るためのボタンである。

図１４および図１５は、上述した画像データ７Ｂの例に対応し、建造物の全体または一部を撮影してサーバ３に送信し、サービスを受ける例である。図１４において、ユーザは、気になったレストラン「×××」の入り口付近をカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ｂを画面１０１により電子メールに添付してサーバ３に送信する。なお、画像データ７Ｂは、レストラン「×××」を実際に撮影したものでなくてもよく、例えば雑誌の写真を撮影したものや、テレビジョン放送の映像による画像データなどでもよい。

サーバ３では、受信された画像データ７Ｂに対して画像認識処理およびメタデータ抽出処理を行い、画像データ７Ｂに含まれる画像要素を特定し、画像要素に対応するメタデータを検索する。そして、抽出されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。返信の電子メールの画面１０２に表示されたＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１１１の表示となる。

画面１１１は、画像データ７Ｂに基づくレストラン「×××」の画像７Ｂ’と、ボタン１１１Ａとが表示される。ボタン１１１Ａを押すと、表示が図１５の画面１１２に切り替わり、レストラン「×××」の概略的な説明と、ボタン１１２Ａ、１１２Ｂ、１１２Ｃおよび１１２Ｄとが表示される。ボタン１１２Ａを押すと、表示が画面１１３に切り替わり、レストラン「×××」の詳細情報が表示される。

また、ボタン１１２Ｂを押すと、表示が画面１１４に切り替わり、レストラン「×××」の場所を示す地図が表示される。画面１１４においてボタン１１４Ａを押すと、このカメラ機能付き携帯電話端末１の電話機能を用いてレストラン「×××」が呼び出され、ユーザとレストラン「×××」との間で、例えば予約などの相談を行うことができる。なお、上述の画面１１２において電話番号部分を所定に指定することでも、カメラ機能付き携帯電話端末１の電話機能を用いてレストラン「×××」を呼び出すことができる。

画面１１２においてボタン１１２Ｃを押すと、表示が類似情報を探す画面に切り替わる。例えば、サーバ３においてレストラン「×××」のメタデータに基づき抽出される、このレストラン「×××」が属するカテゴリ（例えば「日本料理店」）に基づきメタデータを検索し、類似のカテゴリに属する他のレストランの一覧を画面に表示させる。

上述において、例えば画面１１２以降で表示される情報は、サーバ３が用意してもよいし、レストラン「×××」側がインターネット２上のＷｅｂサイトとして用意し、画面１１１のボタン１１１Ａによりリンクするようにしてもよい。

なお、画面１１２のボタン１１２Ｄおよび画面１１４のボタン１１４Ｂは、それぞれ一つ前の画面に戻るためのボタンである。

図１６および図１７は、上述した画像データ７Ｃの例に対応し、ワインボトルなどに貼付されているラベルを撮影してサーバ３に送信し、サービスを受ける例である。図１６において、ユーザは、気になったワインのボトルに貼付されたラベルをカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ｃを画面１０１により電子メールに添付してサーバ３に送信する。なお、画像データ７Ｃは、ラベルを実際に撮影したものでなくてもよく、例えば雑誌の写真を撮影したものや、テレビジョン放送の映像による画像データなどでもよい。

サーバ３では、受信された画像データ７Ｃに対して画像認識処理およびメタデータ抽出処理を行い、画像データ７Ｃに含まれる画像要素を特定し、画像要素に対応するメタデータを検索する。そして、検索されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。返信の電子メールの画面１０２に表示されたＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１２０の表示となる。

画面１２０は、画像データ７Ｃによるラベルの画像７Ｃ’と、ボタン１２０Ａが表示される。ボタン１２０Ａを押すと、表示が図１７の画面１２１に切り替わり、当該ワインの概略的な説明と、ボタン１２１Ａ、１２１Ｂ、１２１Ｃおよび１２１Ｄとが表示される。ボタン１２１Ａを押すと、表示が画面１２２に切り替わり、当該ワインの詳細情報が表示される。

画面１２１において、ボタン１２１Ｂを押すと、表示が画面１２３に切り替わり、当該ワインの通信販売での購入申し込みを設定することができる。画面１２３において必要な情報を入力してボタン１２３Ａを押すと、表示が入力した情報を確認するための画面１２４に切り替わり、さらにボタン１２４Ａを押すことで、通信販売の決済が実行される。

画面１２１においてボタン１２１Ｃを押すと、表示が類似情報を示す画面に切り替わる。例えば、サーバ３において当該ワインのメタデータに基づき、所定の項目で他のワインのメタデータを検索し、当該ワインと類似するワインの一覧を画面に表示させる。

上述において、例えば画面１２１以降で表示される情報は、サーバ３が用意してもよいし、このワインの販売元、輸入元などがインターネット２上のＷｅｂサイトとして用意し、画面１２０のボタン１２０Ａによりリンクするようにしてもよい。

なお、画面１２１のボタン１２１Ｄ、画面１２３のボタン１２３Ｂおよび画面１２４のボタン１２４Ｂは、それぞれ一つ前の画面に戻るためのボタンである。

図１８および図１９は、上述した画像データ７Ｄの例に対応し、人物（プロスポーツ選手とする）を撮影してサーバ３に送信し、サービスを受ける例である。図１８において、ユーザは、気になったスポーツ選手をカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ｄを画面１０１により電子メールに添付してサーバ３に送信する。なお、画像データ７Ｄは、人物を実際に撮影したものでなくてもよく、例えば、テレビジョン放送の映像による画像データや、雑誌の写真を撮影したものなどでもよい。

サーバ３では、受信された画像データ７Ｄに対して画像認識処理、人相認識およびメタデータ抽出処理を行い、画像データ７Ｄに含まれる画像要素が示す人物を特定し、当該人物に対応するメタデータを検索する。そして、検索されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。返信の電子メールの画面１０２に表示されたＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１３０の表示となる。

画面１３０は、画像データ７Ｄによる画像７Ｄ’と、ボタン１３０Ａおよび１３０Ｂとが表示される。このスポーツ選手を撮影した例では、サーバ３により、スポーツ選手の画像と、スポーツ選手が着ているユニフォームのロゴマーク画像とが認識され、当該スポーツ選手に関するサービスと、当該スポーツ選手が着ているユニフォームに関するサービスとが提供される。

ユーザがスポーツ選手に関するサービスを受けたいとしてボタン１３０Ａを押すと、表示が画面１３１（図１９）に切り替わり、当該スポーツ選手に関して概略的に説明が表示されると共に、ボタン１３１Ａ、１３１Ｂ、１３１Ｃおよび１３１Ｄが表示される。ボタン１３１Ａを押すと、表示が画面１３２に切り替わり、当該スポーツ選手に関してより詳細な情報が表示される。

ボタン１３１Ｃを押すと、表示が類似情報を探す画面１３３に切り替わる。例えば、サーバ３において、当該スポーツ選手の名前をキーワードとしてメタデータが検索され、類似情報の候補が画面１３３に表示される。対象がスポーツ選手のこの例では、当該スポーツ選手が所属するチームの試合に関する情報や、チームの他の選手に関する情報が類似情報として表示される。所望の類似情報を選択してボタン１３３Ａを押すと、選択した情報が表示される画面に切り替わる。

また、当該スポーツ選手を撮影した画像データを用いた壁紙画像データ（表示部の背景として用いるための画像データ）や、当該スポーツ選手の音声による着信音声データを類似情報としてもよい。この場合には、ボタン１３３Ａを押すと、表示が、壁紙画像データや着信音声データをインターネット２を介してダウンロードするような画面（図示しない）に切り替わる。

画面１３１において、ボタン１３１Ｂを押すと、通信販売での購入申し込みを設定するための画面１３４に表示が切り替わる。これに限らず、上述の画面１３０において、ユニフォームに関するサービスを受けたいとしてボタン１３０Ｂを押しても、表示がこの画面１３４に切り替わる。

上述したように、この図１８および図１９の例では、画像データ７Ｄからスポーツ選手の人物の画像と共に、スポーツ選手が着ているユニフォームのロゴマーク画像が認識されている。そこで、この画面１３４では、認識されたロゴマーク画像に関連するスポーツウェアの通信販売による購入申し込みが可能となっている。この例では、注文可能なユニフォームを示す画像１３４Ａおよび１３４Ｂがそれぞれボタンを兼ねており、所望のスポーツウェアが表示される画像をボタン表示の如く押すことで、選択されたスポーツウェアの購入申し込み画面１３５に表示が切り替わる。

画面１３５において必要な情報を入力してボタン１３５Ａを押すと、入力した情報を確認するための画面（図示しない）に表示が切り替わり、その画面において例えば決済ボタンを押すことで、通信販売の決済が実行される。

上述において、例えば画面１３１以降で表示される情報は、サーバ３が用意してもよいし、当該スポーツ選手の契約元やロゴマーク画像で認識されるスポーツウェアの販売元などがインターネット２上のＷｅｂサイトとして用意し、画面１３０のボタン１３０Ａやボタン１３０Ｂによりリンクするようにしてもよい。

なお、画面１３１のボタン１３１Ｄ、画面１３３のボタン１３３Ｂおよび画面１３５のボタン１３５Ｂは、それぞれ一つ前の画面に戻るためのボタンである。

図２０および図２１は、上述した画像データ７Ｅの例に対応し、ＣＤの発売や上映映画の広告画像を撮影してサーバ３に送信し、サービスを受ける例である。ここでは、画像データ７Ｅは、上映映画の広告ポスターを撮影したデータであるとする。図２０において、ユーザは、気になった上映映画を広告しているポスターをカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ｅを画面１０１により電子メールに添付してサーバ３に送信する。なお、画像データ７Ｅは、テレビジョン放送のコマーシャルなどによる画像データでもよい。

サーバ３では、受信された画像データ７Ｅに対して画像認識処理およびメタデータ抽出処理を行い、画像データ７Ｅに含まれる画像要素を特定し、画像要素に対応するメタデータを検索する。そして、検索されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。返信の電子メールの画面１０２に表示されたＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１４０の表示となる。

画面１４０は、画像データ７Ｅによるポスター画像７Ｅ’と、ボタン１４０Ａとが表示される。ボタン１４０Ａを押すと、表示が画面１４１（図２１）に切り替わり、ポスターにより広告される上映映画の概略的な説明と、ボタン１４１Ａ、１４１Ｂ、１４１Ｃおよび１４１Ｄとが表示される。ボタン１４１Ａを押すと、表示が１４２に切り替わり、当該映画の詳細情報が表示される。ここでは、当該映画の上映館や上映時間など、上映に関する情報が詳細情報として表示されている。

ボタン１４２Ａを押すことで、表示が画面１４４に切り替わり、当該映画のチケットの通信販売での購入申し込みを設定することができる。なお、画面１４１においてボタン１４１Ｂを押すことでも、表示が画面１４４に切り替わり通信販売によるチケット購入申し込みの設定ができるようになる。画面１４４において必要な情報を入力してボタン１４４Ａを押すと、入力した情報を確認するための画面１４５に表示が切り替わり、さらにボタン１４５Ａを押すことで、通信販売の決済が実行される。

画面１４１において、ボタン１４１Ｃを押すと、表示が類似情報を示す画面１４３に切り替わる。当該映画のメタデータに基づき、当該映画が収録されたＤＶＤの購入情報や、ストーリー、キャストなど当該映画の関連情報、映画の映像を利用した壁紙データのダウンロード、当該映画に関するニュースなどが類似情報として表示される。所望の類似情報を選択してボタン１４３Ａを押すと、選択した情報が表示される画面に切り替わる。例えば、ＤＶＤの購入情報を選択した場合は、ボタン１４３Ａを押すと、ＤＶＤの通信販売による購入申し込みを設定する画面（図示しない）に表示が切り替わる。また、壁紙データを選択した場合は、ボタン１４３Ａを押すと、壁紙画像データをインターネット２を介してダウンロードするような画面（図示しない）に切り替わる。

上述において、例えば画面１４１以降で表示される情報は、サーバ３が用意してもよいし、この映画の配給元などがインターネット２上のＷｅｂサイトとして用意し、画面１４０のボタン１４０Ａによりリンクするようにしてもよい。

なお、画面１４１のボタン１４１Ｄ、画面１４２のボタン１４２Ｂ、画面１４３のボタン１４３Ｂ、画面１４４のボタン１４４Ｂおよび画面１４５のボタン１４５Ｂは、それぞれ一つ前の画面に戻るためのボタンである。

図２２〜図２４は、上述した画像データ７Ｆの例に対応し、ポスターなど商品広告の画像を撮影してサーバ３に送信し、サービスを受ける例である。図２２において、ユーザは、気になった商品を宣伝しているポスターをカメラ機能付き携帯電話端末１で撮影し、撮影された画像データ７Ｆを画面１０１により電子メールに添付してサーバ３に送信する。なお、画像データ７Ｆは、テレビジョン放送のコマーシャル映像による画像データなどでもよい。

サーバ３では、受信された画像データ７Ｆに対して画像認識処理およびメタデータ抽出処理を行い、画像データ７Ｆに含まれる画像要素を特定し、画像要素に対応するメタデータを検索する。そして、検索されたメタデータに基づくサービスを提供するＷｅｂサイトを作成し、当該ＷｅｂサイトのＵＲＬが記述された電子メールを、カメラ機能付き携帯電話端末１に対して返信する。返信の電子メールの画面１０２に表示されたＵＲＬ１０２Ａを所定に指定すると、当該Ｗｅｂサイトにアクセスされ、画面１５０の表示となる。

画面１５０は、画像データ７Ｆによる画像７Ｆ’と、ボタン１５０Ａおよびボタン１５０Ｂとが表示される。商品広告のポスターを撮影したこの例では、サーバ３により、広告されている商品の画像および当該商品のロゴマーク画像と、広告に起用されているモデルの画像とが認識され、当該商品に関するサービスと、当該モデルに関するサービスとが提供される。

画面１５０において、ボタン１５０Ａを押すと、表示が画面１５１（図２３）に切り替わり、ポスターにより広告される商品の概略的な説明と、ボタン１５１Ａ、１５１Ｂ、１５１Ｃおよび１５１Ｄとが表示される。ボタン１５１Ａを押すと、表示が画面１５２に切り替わり、当該商品の詳細情報が表示される。

画面１５２において、ボタン１５２Ａを押すことで、表示が画面１５４に切り替わり、当該商品の通信販売での購入申し込みを設定することができる。なお、画面１５１においてボタン１５１Ｂを押すことでも、表示が画面１５４に切り替わり、通信販売による商品購入申し込みの設定ができるようになる。画面１５４において必要な情報を入力してボタン１５４Ａを押すと、入力した情報を確認する確認画面（図示しない）に表示が切り替わり、入力情報の確認および設定された購入申し込みに対する決済の実行を行うことができる。

画面１５１においてボタン１５１Ｃを押すと、表示が類似情報を示す画面１５３に切り替わる。当該商品のメタデータに基づき、当該商品のシリーズの他の商品や、当該商品を宣伝するコマーシャルに関する情報、当該商品に関連するニュースなどが類似情報として表示される。所望の類似情報を選択してボタン１５３Ａを押すと、選択した情報が表示される画面に切り替わる。

画面１５０において、ボタン１５０Ｂを押すと、表示が画面１５５（図２４）に切り替わり、当該ポスターに起用されているモデルに関する情報が概略的に表示される。ボタン１５５Ａを押すことで、当該モデルに関する詳細情報を表示する画面（図示しない）に切り替わる。ボタン１５５Ｂを押すことで、当該モデルに関する商品の通信販売による購入を申し込む画面（図示しない）に表示が切り替わる。ボタン１５５Ｃを押すことで、当該モデルに対する類似情報を表示する画面（図示しない）に切り替わる。すなわち、このモデルの詳細情報の表示画面１５５以降は、上述したスポーツ選手の詳細情報の表示画面１３１以降と、同様の構成を持つことができる。

上述において、例えば画面１５１以降で表示される情報は、サーバ３が用意してもよいし、商品の宣伝元やモデルの所属プロダクションなどがインターネット２上のＷｅｂサイトとして用意し、画面１５０のボタン１５０Ａおよび１５０Ｂによりリンクするようにしてもよい。

なお、画面１５１のボタン１５１Ｄ、画面１５２のボタン１５２Ｂ、画面１５３のボタン１５３Ｂ、画面１５４のボタン１５４Ｂおよび画面１５５のボタン１４５Ｄは、それぞれ一つ前の画面に戻るためのボタンである。

このように、この発明の実施の一形態によるシステムによれば、ユーザは、撮影した画像データ７をサーバ３に送信するだけで、撮影した内容に応じた様々なサービスを受けることができる。サーバ３は、画像認識処理結果に基づきメタデータを抽出してサービスの内容を判断する。そのため、ユーザは、撮影の対象に関する知識を持っていなくても適切なサービスを受けることができる。

また、サーバ３は、ユーザから送信された画像データ７に対する画像認識処理において、画像データ７に含まれる複数の画像要素について認識し、それぞれメタデータを抽出するようにしている。そのため、ユーザは、撮影した画像中の自分が狙った以外の部分についても、サービスを受けることができる。また、撮影の対象となる画像（ポスターやテレビジョン放送のコマーシャル映像、雑誌の表示など）の本来の目的以外の画像要素に対しても、サービスを受けることができる。

以上のことから、この発明の実施の一形態によるシステムを用いることで、次のようなことが実現可能である。

（１）例えば、ユーザが、新しく封切りされる映画のポスターを見て、その映画の上映館と上映時間とを知りたいと思ったとする。ユーザは、手元のカメラ機能付き携帯電話端末１を用いて当該ポスターを撮影し、撮影された画像データ７をサーバ３に送信するだけで、欲しい情報がその場で入手可能となる。ユーザは、欲しい情報を入手する際に、文字入力の手間が省けるだけでなく、記憶違いや忘却などにより検索不能となることも、防がれる。

（２）例えば、雑誌の広告に掲載されている写真の人物が履いている靴を、ユーザが気に入ったとする。ユーザは、その靴の製造メーカや型名が分からなくても、その写真をカメラ機能付き携帯電話端末１で撮影してサーバ３に送信するだけで、欲しい情報を入手できる。

（３）例えば、ユーザが店舗でワインを購入する際に、購入しようとするワインが果たしてどんな味なのか、どのワイナリーで作られ、どの葡萄が原料として使われているかなど、必要な情報が分からず買うべきか否かの決断ができない場合がある。このような場合でも、ユーザは、手元のカメラ機能付き携帯電話端末１を用いてそのワインのラベル部分を撮影してサーバ３に送信するだけで、必要な情報を入手することができる。また、撮影された画像を送信するだけなので、ラベルの文字が例えばフランス語やイタリア語で記述されておりユーザが読めない場合でも、問題なく情報の検索を行うことができると共に、その場ですぐに情報を入手することができる。

テレビジョン放送の内容に対してこの発明の実施の一形態を適用した場合について考える。既に実用化されているネットワーク接続型のテレビジョン受像機では、テレビジョン放送に応じた情報をネットワークを介して入手することができる。この発明の実施の一形態は、このようなネットワーク接続型のテレビジョン受像機に対して、次のような優位性がある。

（１）ネットワーク接続型のテレビジョン受像機を利用したサービスでは、専用のテレビジョン受像機が必要となる。一方、この発明の実施の一形態によるサービスでは、テレビジョン受像機に映出された映像をカメラ機能付き携帯電話端末１で撮影しサーバ３に送信するだけでよいので、サービスを受けるに当たって、専用のテレビジョン受像機を用意する必要が無い。

（２）ネットワーク接続型のテレビジョン受像機を利用したサービスでは、ユーザは、テレビジョン放送局が予め用意したサービスしか受けることができない。一方、この発明の実施の一形態によるサービスでは、映像から抽出されたメタデータに基づき情報が提供されるため、様々な情報検索が可能である。

（３）ネットワーク接続型のテレビジョン受像機を利用したサービスでは、データは、放送時にデータチャンネルによって送信されるため、放送時から時間が経過しても関連情報の更新が行われない。そのため、例えば放送を録画して後に録画した放送を再生したときなど、その放送に関連して放送時に送信された情報が既に古くなって有益ではなくなっている場合がある。一方、この発明の実施の一形態によるサービスでは、関連情報が常に更新されるため、過去の映像からでも、最新情報の検索が可能である。

（４）ネットワーク接続型のテレビジョン受像機を利用したサービスでは、録画された放送を再生中に、その放送に関するサービスを受けようとする場合、その放送に対応するデータチャンネルも記録可能な、特殊な録画機器を必要とする。一方、この発明の実施の一形態によるサービスでは、映像に基づき情報が検索されるため、録画装置は通常のものでよい。

テレビジョン放送局の多くは、インターネット２上にＷｅｂサイトを持っている。また、インターネット２上には、テレビジョン放送による番組やコマーシャルに関するＷｅｂサイトが多数、存在する。ユーザは、ネットワーク接続機能の無い一般のテレビジョン受像機でテレビジョン放送を視聴中に、気になる情報を発見したら、パーソナルコンピュータやインターネット接続機能を有する携帯電話端末などを用いてインターネット２に接続し、その情報を検索することができる。この発明の実施の一形態は、このようなテレビジョン放送に基づく情報検索に対して、次のような優位性がある。

（１）ユーザがテレビジョン放送を視聴中に気になる情報を発見し、パーソナルコンピュータなどで特定のシステム（インターネット上の情報検索サイトなど）にアクセスしている間に、目的の映像が終わってしまう場合がある。一方、この発明の実施の一形態によるサービスでは、気になる映像が映出されたら、その場でカメラ機能付き携帯電話端末１などでその画面を撮影してサーバ３に送信するだけで、情報が得られる。画面を撮影してからパーソナルコンピュータなどで特定のシステムにアクセスしてもよく、アクセス中に目的の映像が終了してしまっても、後から、撮影された画像データ７をサーバ３に送信することで、その特定のシステムにアクセスすることが可能である。

（２）パーソナルコンピュータなどで特定のシステムにアクセスして情報を検索する場合、ユーザは、テレビジョン放送に基づく情報を検索する際に、別途、放送局情報を入力する必要がある。一方、この発明の実施の一形態によるサービスでは、テレビジョン放送の映像を撮影してサーバ３に送信するだけで情報が得られるため、放送局を意識する必要が無い。

（３）パーソナルコンピュータなどで特定のシステムにアクセスして情報を検索する場合、録画されたテレビジョン放送により情報を検索しようとした場合、そのテレビジョン放送の放送局情報や放送された時刻情報をテレビジョン放送の映像と共に録画しなければならず、特殊な録画装置が必要でとされる。一方、この発明の実施の一形態によるサービスでは、録画装置から再生されたテレビジョン放送の映像を撮影してサーバ３に送信するだけで情報が得られるため、通常の録画装置を用いることができる。

このように、この発明の実施の一形態によるサービスでは、既存の情報検索方法に対して優位性が高いため、様々なビジネスを展開することができる。次に、この発明の実施の一形態によるサービスを利用したビジネスモデルについて説明する。

図２５は、この発明の実施の一形態によるサービス（以下、画像マーカサービスと呼ぶ）と、ユーザおよび各企業との関係を概念的に示す。画像マーカサービス２００は、例えば図３を用いて説明したサーバ側システムに対応し、ロゴマーク画像マスタ２１４、一般画像マスタ２１５および人物画像マスタなどの各画像マスタ（例えば図３の画像データベース４に対応）と、コンテンツメタデータ２１１、商品メタデータ２１２およびその他のメタデータ２１３などの、画像マスタに登録された各画像と対応付けられた各メタデータ（例えば図３の関連情報データベース５に対応）と、画像認識エンジン２１０とからなる画像マーカサービスエンジンを有する。

画像認識エンジン２１０は、例えば図３を用いて説明した画像特徴抽出部３０、画像特徴比較部３１および関連情報検索部３２に対応し、入力された画像データに対して画像認識処理を行い、各画像マスタに登録されている画像のうち、一致度の高い画像を検索する。そして、一致度が高いとされた画像に対応するメタデータを入力された画像データの関連情報として抽出する。

各画像マスタおよび各メタデータは、上述したＣＭ自動抽出システム５１によるテレビジョン放送からのコマーシャルの自動抽出や、一般Ｗｅｂサイト５２を検索することで集められ、登録ツールを用いてデータ登録センタ５０により登録される。

ユーザ２０１は、気になる商品や広告などを撮影し、インターネットを介して画像マーカサービス２００に送信する。画像マーカサービス２００は、画像マーカサービスエンジンを用いて、ユーザ２０１から送信された画像データの関連情報を検索する。検索された関連情報は、ユーザ２０１に送信される。

ユーザ２０１は、画像マーカサービス２００から送信された関連情報により基づき、撮影した商品などをインターネットを介して購入することができる。このとき、購入の手続などは、他の企業２０２が行うことが可能である。

企業２０２は、例えば、商品の閲覧および購入が可能なＷｅｂサイトを用いてインターネット上で電子商取引を行う、ＥＣ企業である。以下、企業２０２をＥＣ企業２０２と呼ぶ。一例として、画像マーカサービス２００は、画像マーカサービスエンジンをＥＣ企業２０２に貸し出す。換言すれば、画像マーカサービス２００は、この画像マーカサービスエンジンの部分をＥＣ企業２０２に貸し出すＡＳＰ(Application Service Provider)となる。

従来、ユーザ２０１は、ＥＣ企業２０２のＷｅｂサイトにアクセスして多数の商品の中から購入したい商品を検索および選択し、その後、購入していた。ＥＣ企業２０２が画像マーカサービスエンジンを用いることで、ユーザ２０１は、ＥＣ企業２０２のＷｅｂサイトにアクセスして商品を選択するという行為無しに、直接的に商品を指定して、ＥＣ企業２０２からその商品を購入することになる。画像マーカサービスエンジンを介してＥＣ企業２０２から商品を購入するユーザ２０１は、ＥＣ企業２０２の潜在的な顧客であって、将来的にＥＣ企業２０２のＷｅｂサイトなどに誘導できる期待がある。

一方、画像マーカサービスエンジンを介して購入可能な商品の製造メーカなどの一般企業２０３は、積極的に画像マーカサービスエンジンに対して商品情報やＵＲＬなどの情報を登録することで、結果的に売り上げを伸ばすことが可能となる。画像マーカサービス２００は、一般企業２０３が画像マーカサービスエンジンに対して情報の登録を行うことが可能なように、データセンタ５０で用いられる登録ツールを一般企業２０３に対して貸し出しまたは販売する。

図２６〜図２９を用いて、画像マーカサービス２００によるビジネスモデルについて説明する。以下において、ユーザ２０１は例えばカメラ機能付き携帯電話端末１であると共にカメラ機能付き携帯電話端末１を使用するユーザであり、画像マーカサービス２００は例えばサーバ３であり、販売業者等２０４は、図２５のＥＣ企業２０２や一般企業２０３に相当する。ユーザ２０１および画像マーカサービス２００は、互いにインターネット２を介して通信可能とされる。例えばインターネット２に接続されるサーバ装置とし、販売業者等２０４と、ユーザ２０１および画像マーカサービス２００とをインターネット２を介して互いに通信可能としてもよい。

図２６は、ユーザに対して課金を行う会員制の有料サービスの例である。この図２６の例を、画像マーカサービス２００によるビジネスモデルの第１段階とする。画像マーカサービス２００は、ユーザ２０１に対して課金することで、情報提供サービスをユーザ２０１に対して提供する。すなわち、ユーザ２０１は、画像マーカサービス２００と会員契約し、画像マーカサービス２００に対してサービス利用料金を支払い、有料で情報提供サービスを受ける。この情報提供サービスにより提供された情報に基づきユーザ２０１が購入したい商品があった場合、画像マーカサービス２００から販売業者等２０４に対して、商品購入を希望した顧客（ユーザ２０１）を紹介する。販売業者等２０４は、紹介されたユーザ２０１に対して商品情報を提供し、ユーザが購入のために代金を支払うと、商品や情報をユーザに対して配送する。

図２７は、画像マーカサービス２００が販売業者等２０４による商品の販売や課金の代行を行う例である。この図２７の例を、画像マーカサービス２００によるビジネスモデルの第２段階とする。画像マーカサービス２００は、ユーザ２０１に対して商品情報などを提供する情報提供サービスを行う。ユーザは、提供された情報に基づき商品を購入する。このとき、ユーザ２０１は、商品代金を画像マーカサービス２００に対して支払う。画像マーカサービス２００は、商品代金から手数料を差し引いた金額を販売業者等２０４に渡す。この手数料が画像マーカサービス２００の収益となる。販売業者等２０４は、手数料を差し引かれた商品代金を受け取ると、ユーザ２０１に対して商品を発送する。

図２８は、画像マーカサービス２００が画像マーカサービスエンジンの機能を販売業者等２０４に提供する機能ＡＳＰとなる例である。この図２８の例を、画像マーカサービス２００によるビジネスモデルの第３段階とする。画像マーカサービス２００は、画像マーカサービスエンジンの機能を販売業者等２０４に提供する。販売業者等２０４は、画像マーカサービス２００に対して、画像マーカサービスエンジンの機能利用料を支払う。これで、販売業者等２０４は、ユーザから送信された画像データに対する画像認識機能や、メタデータ抽出機能を利用することができる。メタデータそのものは、販売業者等２０４側で収集する必要がある。

ユーザ２０１は、気に入った商品などを撮影した画像データを販売業者等２０４に対して送信する。販売業者等２０４は、画像マーカサービスエンジンの機能を用いて、送信された画像データの関連情報をユーザ２０１に対し送信する。この関連情報に基づき、ユーザ２０１が商品の購入のために販売業者等２０４に代金を支払うと、販売業者等２０４からユーザ２０１に対して商品が発送される。

図２９は、画像マーカサービス２００が販売業者等２０４に対して、画像マーカサービスエンジンのライセンスを供与する例である。この図２９の例を、画像マーカサービス２００によるビジネスモデルの第４段階とする。画像マーカサービス２００は、販売業者等２０４に対して画像マーカサービスエンジンの技術に対する使用許諾を行うと共に、メタデータを提供する。販売業者等２０４は、画像マーカサービス２００に対して、技術利用とメタデータの利用に対する利用料金を支払う。これで、販売業者等２０４は、ユーザから送信された画像データに対する画像認識機能やメタデータ抽出機能を、使用許諾の範囲内で自由に利用することができる。また、メタデータそのものも、使用許諾の範囲内で自由に利用することができ、販売業者等２０４側でメタデータを収集する必要が無い。

ユーザ２０１は、気に入った商品などを撮影した画像データを販売業者等２０４に対して送信する。販売業者等２０４は、画像マーカサービスエンジンの機能を用いて、送信された画像データの関連情報をユーザ２０１に対し送信する。この関連情報に基づき、ユーザ２０１が商品の購入のために販売業者等２０４に代金を支払うと、販売業者等２０４からユーザ２０１に対して商品が発送される。

上述の４つのビジネスモデルにおいて、第１段階、第２段階と段階が進むにつれ、画像マーカサービス２００の収益が大きくなることが期待されると共に、販売業者等２０４側でも、画像マーカサービスエンジン機能をより自由に利用できるようになる。また、段階が進むにつれ、情報や金銭の流れが単純化され、画像マーカサービス２００、ユーザ２０１および販売業者等２０４の関係がより整理されたものになる。このことは、画像マーカサービス２００、ユーザ２０１および販売業者等２０４の間でのビジネスがより効率的に行われることを意味する。

この発明による購入プロセスを模式的に示す略線図である。 この発明の実施の一形態によるシステムの一例の構成を示す略線図である。 ユーザ側およびサーバ側システムの構成の例を示すブロック図である。 テレビジョン放送のコマーシャルに基づき画像データおよび関連情報を収集する方法を説明するための図である。 テレビジョン放送以外のメディアから画像データおよび関連情報を収集する方法を説明するための図である。 ユーザから送られた画像データを認識し、メタデータを抽出する処理を説明するための略線図である。 画像認識処理およびメタデータ抽出処理についてより詳細に説明するための略線図である。 画像データから得られる情報の例を概略的に示す略線図である。 画像認識処理およびメタデータ抽出処理をより具体的な例を用いて示す略線図である。 この発明の実施の一形態による、メタデータを用いて提供される様々なサービスの例を説明するための図である。 雑誌や新聞に掲載の気になる写真や記事の画像データに基づきサービスを受ける例を説明するための略線図である。 雑誌や新聞に掲載の気になる写真や記事の画像データに基づきサービスを受ける例を説明するための略線図である。 雑誌や新聞に掲載の気になる写真や記事の画像データに基づきサービスを受ける例を説明するための略線図である。 建造物の全体または一部の画像データに基づきサービスを受ける例を説明するための略線図である。 建造物の全体または一部の画像データに基づきサービスを受ける例を説明するための略線図である。 ワインボトルなどのラベルの画像データに基づきサービスを受ける例を説明するための略線図である。 ワインボトルなどのラベルの画像データに基づきサービスを受ける例を説明するための略線図である。 人物の画像データに基づきサービスを受ける例を説明するための略線図である。 人物の画像データに基づきサービスを受ける例を説明するための略線図である。 広告画像の画像データに基づきサービスを受ける例を説明するための略線図である。 広告画像の画像データに基づきサービスを受ける例を説明するための略線図である。 広告画像の画像データに基づきサービスを受ける例を説明するための略線図である。 広告画像の画像データに基づきサービスを受ける例を説明するための略線図である。 広告画像の画像データに基づきサービスを受ける例を説明するための略線図である。 この発明の実施の一形態によるサービスと、ユーザおよび各企業との関係を概念的に示す略線図である。 ユーザに対して課金を行う会員制の有料サービスの例を示す略線図である。 画像マーカサービスが販売業者等による商品の販売や課金の代行を行う例を示す略線図である。 画像マーカサービが画像マーカサービスエンジンの機能を販売業者等に提供する機能ＡＳＰとなる例を示す略線図である。 画像マーカサービスが販売業者等に対して、画像マーカサービスエンジンのライセンスを供与する例を示す略線図である。 従来の第１の方法により情報を検索して商品を購入する場合の一例の手順を示す略線図である。

符号の説明

１ カメラ機能付き携帯電話端末
２ インターネット
３ サーバ
４ 画像データベース
５ 関連情報データベース
６ 関連サイト
７，７０ 画像データ
３０ 画像特徴抽出部
３１ 画像特徴比較部
３２ 関連情報検索部
３３ 関連情報出力部
５０ データ登録ツール
５１ ＣＭ自動検出システム
７１ 画像認識アプリケーション
７２ 画像データマスタ
７３ メタデータ抽出アプリケーション
７４ メタデータマスタ
２００ 画像マーカサービス
２０１ ユーザ
２０４ 販売業者等

Claims (23)

1. 画像データおよび動画像データに基づき情報検索を行う情報検索システムにおいて、
   画像データおよび動画像データを取得する画像データ取得手段と、
   上記画像データ取得手段で取得された上記画像データおよび上記動画像データを通信ネットワークに向けて送信する送信手段と
   を備える端末装置と、
   検索される可能性がある認識用画像データが登録される第１のデータベースと、
   上記第１のデータベースに登録された上記認識用画像データに対応するメタデータが登録される第２のデータベースと、
   テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして上記第１のデータベースに登録するとともに、上記第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを上記第２のデータベースに登録する登録部と、
   上記端末装置から送信された上記画像データおよび上記動画像データを上記ネットワークを介して受信する受信手段と、
   上記受信手段で受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴の抽出を行う特徴抽出部と、
   上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較する特徴比較部と、
   上記特徴比較部の比較結果に基づき、該画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれが含む画像要素と一致度が高い上記認識用画像データを上記第１のデータベースから検索する検索手段と、
   上記検索手段による検索結果に基づき上記第２のデータベースから上記メタデータを抽出するメタデータ抽出手段と
   を備えるサーバ装置と
   を有し、
   上記サーバ装置は、上記メタデータ抽出手段で抽出された上記メタデータを上記通信ネットワークを介して上記端末装置で閲覧可能なようにしたことを特徴とする情報検索システム。
2. 請求項１に記載の情報検索システムにおいて、
   上記検索手段は、上記端末装置から送信された上記画像データの特徴データに基づき上記認識用画像データとの一致度のスコアを算出し、該スコアが所定値以上の上記認識用画像データを上記一致度の高い画像データとして検索し、
   上記動画像データをフレーム毎に分解した画像データそれぞれの所定以上の割合に対して共通に含まれる上記認識用画像データを上記一致度の高い画像データとして検索する
   ことを特徴とする情報検索システム。
3. 請求項２に記載の情報検索システムにおいて、
   上記特徴データは、上記サーバ装置側で求めることを特徴とする情報検索システム。
4. 請求項２に記載の情報検索システムにおいて、
   上記端末装置は、上記画像データ取得手段で取得した画像データおよび上記動画像データをフレーム毎に分解した画像データそれぞれの上記特徴データを予め求めて上記画像データとして上記送信手段で送信するようにしたことを特徴とする情報検索システム。
5. 請求項１に記載の情報検索システムにおいて、
   上記検索手段は、上記画像データ取得手段で取得された上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれをグレイスケール化したデータ、もしくは、上記画像データ取得手段で取得された上記画像データおよび上記動画像データをフレーム毎に分解した画像データそれぞれの色情報を含むデータに基づき上記検索を行うことを特徴とする情報検索システム。
6. 請求項１に記載の情報検索システムにおいて、
   上記検索手段は、上記受信手段で受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに含まれる複数の画像要素に対する検索結果をそれぞれ出力し、
   上記画像要素のうち一部の画像要素に対する検索結果に基づき上記第２のデータベースから上記メタデータを抽出し、抽出された該メタデータに基づき上記複数の画像要素のうち他の画像要素を上記第１のデータベースから検索するようにしたことを特徴とする情報検索システム。
7. 請求項６に記載の情報検索システムにおいて、
   上記検索手段は、人物を認識する第１の認識手段と、文字を認識する第２の認識手段と、上記人物および上記文字以外の形状を認識する第３の認識手段とを有し、
   上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに対して上記第１、第２および第３の認識手段でそれぞれ認識処理を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに画像要素として含まれる上記人物、上記文字、ならびに、上記人物および文字以外の形状を上記認識用画像データからそれぞれ検索することを特徴とする情報検索システム。
8. 請求項１に記載の情報検索システムにおいて、
   上記サーバ装置は、上記メタデータ抽出手段で抽出された上記メタデータの上記通信ネットワーク上のアドレスを上記端末装置に送信し、該メタデータを上記通信ネットワーク上で上記端末装置に向けて提示するようにしたことを特徴とする情報検索システム。
9. 請求項１に記載の情報検索システムにおいて、
   上記サーバ装置は、上記メタデータ抽出手段で抽出された上記メタデータを上記通信ネットワークを介して上記端末装置に送信するようにしたことを特徴とする情報検索システム。
10. 請求項１に記載の情報検索システムにおいて、
    上記メタデータを上記端末装置で上記閲覧する際に、該メタデータに基づき該メタデータに関連する上記通信ネットワーク上のアドレスに、上記端末装置からアクセス可能としたことを特徴とする情報検索システム。
11. 請求項１に記載の情報検索システムにおいて、
    上記端末装置は、カメラ機能付き携帯電話端末であることを特徴とする情報検索システム。
12. 端末装置が取得した画像データおよび動画像データに基づき、検索装置において情報検索を行う情報検索方法において、
    上記端末装置が、画像データおよび動画像データを取得する画像データ取得のステップと、
    上記端末装置が、上記画像データ取得のステップにより取得された上記画像データおよび上記動画像データを上記端末装置から通信ネットワークに向けて送信する送信のステップと、
    上記検索装置が、上記送信のステップにより送信された上記画像データおよび上記動画像データを上記ネットワークを介して受信する受信のステップと、
    上記検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、該第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを第２のデータベースに登録する登録のステップと、
    上記検索装置が、上記受信のステップにより受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データそれぞれの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される上記第１のデータベースから、該画像データが含む画像要素と一致度が高い上記認識用画像データを検索する検索のステップと、
    上記検索装置が、上記検索のステップによる検索結果に基づき、上記第１のデータベースに登録された上記認識用画像データに対応するメタデータが登録される第２のデータベースから上記メタデータを抽出するメタデータ抽出のステップと
    を有し、
    上記検索装置によって上記メタデータ抽出のステップで抽出された上記メタデータを上記通信ネットワークを介して上記端末装置で閲覧可能なようにしたことを特徴とする情報検索方法。
13. 画像データに基づき情報検索を行う情報検索装置において、
    検索される可能性がある認識用画像データが登録される第１のデータベースと、
    上記第１のデータベースに登録された上記認識用画像データに対応するメタデータが登録される第２のデータベースと、
    テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして上記第１のデータベースに登録するとともに、上記第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを上記第２のデータベースに登録する登録部と、
    端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信手段と、
    上記受信手段で受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データそれぞれの特徴の抽出を行う特徴抽出部と、
    上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較する特徴比較部と、
    上記特徴比較部の比較結果に基づき、該画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれが含む画像要素と一致度が高い上記認識用画像データを上記第１のデータベースから検索する検索手段と、
    上記検索手段による検索結果に基づき上記第２のデータベースから上記メタデータを抽出するメタデータ抽出手段と
    を有し、
    上記メタデータ抽出手段で抽出された上記メタデータを上記通信ネットワークを介して上記端末装置で閲覧可能なようにしたことを特徴とする情報検索装置。
14. 画像データに基づき検索装置において情報検索を行う情報検索方法において、
    上記検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、該第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを第２のデータベースに登録する登録のステップと、
    上記検索装置が、端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信のステップと、
    上記検索装置が、上記受信のステップにより受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、上記画像データおよび上記動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い上記認識用画像データを検索する検索のステップと、
    上記検索装置が、上記検索のステップによる検索結果に基づき、上記第１のデータベースに登録された上記認識用画像データのメタデータが登録される第２のデータベースから上記メタデータを抽出するメタデータ抽出のステップと
    を有し、
    上記検索装置が、上記メタデータ抽出のステップにより抽出された上記メタデータを上記通信ネットワークを介して上記端末装置で閲覧可能なようにしたことを特徴とする情報検索方法。
15. 画像データに基づき情報検索を行う情報検索方法をコンピュータ装置に実行させる情報検索プログラムにおいて、
    上記情報検索方法は、
    上記検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、該第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを第２のデータベースに登録する登録のステップと、
    上記検索装置が、端末装置から送信された画像データおよび動画像データを通信ネットワークを介して受信する受信のステップと、
    上記検索装置が、上記受信のステップにより受信された上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、上記画像データおよび上記動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い上記認識用画像データを検索する検索のステップと、
    上記検索装置が、上記検索のステップによる検索結果に基づき、上記第１のデータベースに登録された上記認識用画像データのメタデータが登録される第２のデータベースから上記メタデータを抽出するメタデータ抽出のステップと
    を有し、
    上記検索装置が、上記メタデータ抽出のステップにより抽出された上記メタデータを上記通信ネットワークを介して上記端末装置で閲覧可能なようにしたことを特徴とする情報検索プログラム。
16. 画像データから特定の形状を認識する画像認識装置において、
    検索される可能性がある認識用画像データが登録される第１のデータベースと、
    上記第１のデータベースに登録された上記認識用画像データのメタデータが登録される第２のデータベースと、
    テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして上記第１のデータベースに登録するとともに、上記第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを上記第２のデータベースに登録する登録部と、
    入力された画像データおよび入力された動画像データをフレーム毎に分解した画像データの特徴の抽出を行う特徴抽出部と、
    上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較する特徴比較部と、
    上記特徴比較部の比較結果に基づき、上記画像データおよび上記動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い上記認識用画像データを上記第１のデータベースから検索する検索手段と、
    上記検索手段による検索結果に基づき上記第２のデータベースから上記メタデータを抽出するメタデータ抽出手段と
    を有することを特徴とする画像認識装置。
17. 請求項１６に記載の画像認識装置において、
    上記検索手段は、上記入力された画像データの特徴データに基づき上記認識用画像データとの一致度のスコアを算出し、該スコアが所定値以上の上記認識用画像データを上記一致度の高い画像データとして検索し、
    上記動画像データをフレーム毎に分解した画像データそれぞれの所定以上の割合に対して共通に含まれる上記認識用画像データを上記動画像データに対する検索結果とする
    ことを特徴とする画像認識装置。
18. 請求項１６に記載の画像認識装置において、
    上記検索手段は、上記入力された画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれをグレイスケール化したデータ、もしくは、上記入力された上記画像データおよび上記動画像データをフレーム毎に分解した画像データそれぞれの色情報を含むデータに基づき上記検索を行うことを特徴とする画像認識装置。
19. 請求項１６に記載の画像認識装置において、
    上記検索手段は、上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに含まれる複数の画像要素に対する検索結果をそれぞれ出力し、
    上記画像要素のうち一部の画像要素に対する検索結果に基づき上記第２のデータベースから上記メタデータを抽出し、抽出された該メタデータに基づき上記複数の画像要素のうち他の画像要素を上記第１のデータベースから検索するようにした
    ことを特徴とする画像認識装置。
20. 請求項１９に記載の画像認識装置において、
    上記検索手段は、人物を認識する第１の認識手段と、文字を認識する第２の認識手段と、上記人物および上記文字以外の形状を認識する第３の認識手段とを有し、
    上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに対して上記第１、第２および第３の認識手段でそれぞれ認識処理を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに画像要素として含まれる上記人物、上記文字、ならびに、上記人物および文字以外の形状を上記認識用画像データからそれぞれ検索することを特徴とする画像認識装置。
21. 請求項１９に記載の画像認識装置において、
    上記画像データおよび上記動画像データをフレーム毎に分解した画像データのそれぞれに含まれる上記複数の画像要素のうち一部の画像要素に対する検索結果に基づき上記第２のデータベースから上記メタデータを抽出し、抽出された該メタデータに基づき上記複数の画像要素のうち他の画像要素を上記第１のデータベースから検索するようにしたことを特徴とする画像認識装置。
22. 画像データから特定の形状を認識する画像認識方法において、
    検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、該第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを第２のデータベースに登録する登録のステップと、
    検索装置が、入力された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、上記画像データおよび上記動画像データをフレーム毎に分解した画像データが含む画像要素と一致度が高い上記認識用画像データを検索する検索のステップと、
    上記検索装置が、上記検索のステップによる検索結果に基づき、上記第１のデータベースに登録された上記認識用画像データのメタデータが登録される第２のデータベースから上記メタデータを抽出するメタデータ抽出のステップと
    を有することを特徴とする画像認識方法。
23. 画像データから特定の形状を認識する画像認識方法をコンピュータ装置に実行させる画像認識プログラムにおいて、
    上記画像認識方法は、
    検索装置が、テレビジョン放送において放送された情報およびウェブサイトに掲載された情報を収集し、該情報を上記検索される可能性がある認識用画像データとして第１のデータベースに登録するとともに、該第１のデータベースに登録された上記認識用画像データに対応するメタデータを収集して該メタデータを第２のデータベースに登録する登録のステップと、
    検索装置が、入力された画像データおよび動画像データをフレーム毎に分解した画像データの特徴の抽出を行い、上記第１のデータベースに登録された上記認識用画像データの特徴の抽出を行い、上記画像データおよび上記動画像データをフレーム毎に分解した画像データの特徴と上記認識用画像データの特徴とを比較した比較結果に基づき、検索される可能性がある認識用画像データが登録される第１のデータベースから、上記画像データが含む画像要素と一致度が高い上記認識用画像データを検索する検索のステップと、
    上記検索装置が、上記検索のステップによる検索結果に基づき、上記第１のデータベースに登録された上記認識用画像データのメタデータが登録される第２のデータベースから上記メタデータを抽出するメタデータ抽出のステップと
    を有することを特徴とする画像認識プログラム。

Images