JP5651231B2 - コンテンツを決定し検索するためのメディアフィンガープリント - Google Patents

Description

本願は米国特許出願第１２／７５２，９７９号（２０１０年４月１日出願）の継続出願であり、該出願は本明細書に参考のために組み込まれている。また、本願は発明の名称を「Media Fingerprinting for Social Networking」とする、係属中の米国特許出願第１２／７５３，００１号（２０１０年４月１日出願）に関連し、該出願は本明細書に参考のために組み込まれている。

現代の消費者は増えつつあるソースからの、ますます多くの様々な情報にさらされている。
消費者はテレビをつけたまま、あるいはその他の情報源を再生した状態で、電子書籍を読んだり、友人とチャットしたり、携帯端末でゲームをしたり、といった別のことをすることが多い。
また、ユーザは音声コンテンツや映像コンテンツが流れている部屋を単に行き来するだけの場合もある。

ユーザは再生されているメディアに意識を集中していないので、ユーザがメディアに意識を向けるのは、何か興味のあるものが示されたとき（例えば、コマーシャルや激しいアクションシーン、興味のある音楽）に限られてしまう。ユーザがメディアに意識を向けていなければ、ユーザは何が起きているのかを正確に理解することはできない。例えばコマーシャルの場合、ユーザはコマーシャルの終わり頃に意識をコマーシャルに向けることがある。この場合は遅すぎて宣伝されている商品やサービスを決定するには間に合わない。

別の場合では、ユーザは音声や映像表示に意識を集中させているが、そのような表示に関連する情報を欲しいと思う場合もある。例えば、ある商品のコマーシャルが画面に表示されると、ユーザはその商品の販売場所や値段といった、その商品に関する他の情報を得たいと思うことがある。ユーザがある映画を見ている場合、ユーザは現在流れているシーンに出ている俳優の名前やそのシーンの舞台、あるいは主役が着ているシャツの種類などを知りたいと思うことがある。ユーザはインターネット検索やその他これに類似するアプローチにより情報の検索を試みることができるが、消費者は必要なメモを取るための紙と筆記用具とを持ち合わせていないことが多く、あるいは、書き留めるほどの詳細な情報でもない場合もある。消費者がすぐにメモを取ることができなければ、その表示に関する詳細を忘れてしまうことがあり、あるいは、そもそもその表示に興味を持ったことさえも忘れてしまうことがある。

各種実施形態に従うシステム及び方法は、上記のうちの少なくとも一部、及びメディア表示に関連する補足コンテンツや関連情報を識別、検出、及び／またはこれらへアクセスするための従来のアプローチの問題点に取り組むものである。具体的には、ユーザは各種実施形態によりメディア表示に関する情報を得ることができ、例えば、適切なユーザデバイスを使用して表示の音声セグメント及び／または映像セグメントを記録することによりそのような情報をキャプチャすることができる。この映像表示は、生放送のテレビ番組、オンデマンド映画、物理的媒体からレンダリングしたビデオコンテンツなど、適切な表示であればどのようなものであってもよい。ユーザは、その映像表示の少なくとも１つの形態の識別を試みるために、あるいは該映像表示の少なくとも１つの形態に関する追加情報の取得を試みるために、遠隔システムや遠隔サービスにリクエストを送信することができる。

例えば、ユーザは特定の製品についてのコマーシャルに関する情報をキャプチャすることができる。これを受けて、該コマーシャルを識別するシステムは、製品情報、仕様、価格などの情報のほかに、メーカのウェブサイトやユーザがその製品を購入できる場所のリンクをユーザに送信しうる。別の例では、ユーザはある映画のあるシーンに関する情報をキャプチャすることができる。これを受けて、該映画を識別するシステムは、映画のタイトルや製作年、俳優情報、そのシーンで使用されている製品についての情報などの情報、あるいはその他これに類似する情報をユーザに送信しうる。さらに該システムは、ユーザに映画へのリンクを提供する、あるいは、映画版を特定のデバイスに配信するなど、ユーザが映画のコピーを入手することができるようにする。以下に、各種の実施形態との関連で各種のその他の例を記載する。

補足コンテンツを提供する１つのアプローチでは、ユーザからのリクエストが受信され、これには、ユーザデバイスにより映像表示から記録された音声及び／または映像データを含まれる。このキャプチャされたメディアファイルあるいは該ファイルに対応する情報は、キャプチャされたメディアファイルに対するマッチングの検出を試みるために、記憶されたメディアデータのインスタンスと比較される。この記憶されたメディアデータのインスタンスの少なくとも一部はそれぞれ、特定の映画、番組、コマーシャルなどの識別された映像コンテンツに対応する。マッチングが検出されれば、識別された映像コンテンツに対応する補足情報が決定あるいは検索されうる。次いでこの補足コンテンツは、ユーザデバイスあるいは別の指定されたデバイスのいずれかを介してユーザに提供されうる。この補足コンテンツとしては、広告情報、製品情報、雑学的な情報、購入情報、ダウンロード情報、メディアファイル、検索結果、あるいは関連コンテンツのアドレスやリンクなど、いずれの適切なコンテンツが挙げられうる。

このマッチングプロセスではコンテンツをマッチングさせるためにいずれの適切な技術が利用されうる。一実施形態では、オーディオフィンガープリントプロセスを利用して、映像表示から記録された音声とデータベースに記憶された情報とがマッチングされる。その他の適切な技術も同様に利用することができる。このメディアファイルには、ユーザがキャプチャオプションを行う直前に記録されたコンテンツを含みうる。従って、このメディアファイルは複数のコンテンツ部分を含みうる。このマッチングプロセスはこれらのセグメントを分割し、各セグメントのマッチングを試みることができる。次いで、それぞれのマッチングがユーザに提供されうる。あるいはユーザに、これらのマッチングのうちの１つを選択するためのオプションが与えられうる。各種のその他の種類の情報も同様にこのマッチングプロセスに利用することができ、そのようなものとしては例えば、リクエストが送信された適切な地理的位置、リクエストと共に受信したタイムスタンプ、あるいは映像コンテンツのソース、などが挙げられる。

マッチングに有用なコンテンツ（「マッチングコンテンツ」）のデータベースは、識別情報及び補足コンテンツを様々なプロバイダあるいはその他のコンテンツソースから受信し、この情報を特定のスキーマに従うデータベースに記憶することによりある程度生成されうる。マッチングコンテンツも同様に、放送、ストリーム、あるいはその他のメディアコンテンツのソースを受信し、さらに、識別情報の決定を試みるために該コンテンツを自動的に分析することにより生成されうる。例えば、関連するコンテンツのセグメント（例えば、番組やコマーシャル）に放送ストリームが分割されうる。

これらのセグメントの各々（あるいは少なくとも１つの基準を満たす少なくとも選択されたセグメント）は情報の識別のために分析されうる。該コンテンツは、オーディオフィンガープリント、画像認識、光学的文字認識、音声認識、クローズドキャプション情報検出などのプロセスを利用して分析されうる。該システムは識別されたコンテンツに対して、関連するメディアを見る、コンテンツの検索を行う、などにより補足コンテンツの検出を試みうる。該データベースはセグメント間の関係も同様に記憶できる。つまり、特定のイベントの間に放送されたコマーシャルなど、互いに隣接して放送されたものの記憶が可能である。従って、ユーザは、所望のコンテンツを含みうる、あるいは含みえない期間にわたっての情報をキャプチャすることができたとしても、ユーザがメディア情報をキャプチャした時のコンテンツを識別することができる。

本明細書に記載された教示や示唆に照らして、その他の様々な態様やアプローチが当業者にとって明らかである。

各種実施形態に従い利用可能な様々なユーザデバイスを示した説明図。 各種実施形態を実現することができる環境を示した説明図。 一実施形態に従う、ユーザがキャプチャしたコンテンツに対応する補足コンテンツを決定するためのプロセスの一例を示す図。 一実施形態に従う、補足コンテンツを示した第１の例示的画面の図。 一実施形態に従う、補足コンテンツを示した第２の例示的画面の図。 一実施形態に従う、ユーザが目的とするコンテンツを選択することができる例示的画面を示す図。 各種の実施形態により利用されうる、データベースにマッチング情報及び補足コンテンツを追加するためのプロセスを示す図。 各種の実施形態により利用されうる、データベースにマッチング情報及び補足コンテンツを追加するためのプロセスを示す図。 各種実施形態の態様を実施するために利用されうる例示的デバイスの構成要素を示す図。

各種実施形態に従うシステム及び方法は、メディア表示に関連する補足コンテンツを識別するステップ、検出するステップ、及び／または該コンテンツにアクセスするステップを提供する。具体的には、各種実施形態に従うアプローチの各々は、ビデオ及び／またはオーディオフィンガープリントなどの処理を利用して、少なくとも１つの電子装置を介して示されるコンテンツを識別するものである。ユーザは音声、画像及び／または映像情報を記録、キャプチャ、あるいはこれ以外の別の方法で記憶し、これを利用して特定のメディアの一部の少なくともアイデンティティを決定することができる。各種実施形態では、メディア表示におけるメディアのバージョンやタイムマーカのバージョンなど、その他の形態も同様に識別が可能である。この情報に少なくともある程度基づいて、メディアコンテンツの特定のインスタンスに「タグをつける」消費者は、そのメディアに関連する様々な情報あるいはコンテンツをいくつでも受信することができる。

消費者にも同様に各種その他のオプション、例えば、そのメディアのあるバージョンやそのメディアに関連する１以上の商品を購入あるいはダウンロードするオプションが示されうる。各種実施形態の範囲内で各種のその他の態様が可能である。

図１は消費者がテレビやパソコンモニタ、特にビデオスクリーンなどの表示装置１０２に表示されるビデオプログラムを見ている例示的環境１００を示す。典型的に、この表示装置１０２はビデオ画像だけでなく、これに対応する音声信号も提供する。しかし、静止画像、音声、あるいはビデオコンテンツだけを利用するその他の装置が利用可能である。消費者は表示装置１０２の視聴範囲内にいずれのその他の電子装置を複数有することができ、例えば、ビデオプレーヤやゲームシステム、あるいはセットトップボックスなどの表示装置に接続された少なくとも１つの固定された構成要素１０４を有することができる。さらに、消費者は携帯電話１０６、携帯ゲーム装置１０８、携帯用情報端末（ＰＤＡ）１１０、あるいはいずれのその他これに類似するコンピューティングデバイスや電子装置を複数有することができる。

これらの電子装置の少なくとも１つは、表示装置１０２を介して示されるメディアについての情報をキャプチャすることができる。例えば、ある電子装置は表示装置に表示されるコンテンツのビデオセグメント、あるいは少なくとも１か２のフレームをキャプチャすることができるビデオカメラを備えうる。別のデバイスは、少なくとも最短の時間周期（例えば、少なくとも２秒、５秒、あるいは１０秒）の間示されたメディアに対応する音声情報をキャプチャすることができるように、デジタル記録回路を備えうる。直接接続されたデバイスの各々に対しては、このオーディオフィードは（アナログ・デジタル変換（Ａ２Ｄ）やピュアデジタルを介して）デバイスのモジュールやアプリケーションにより直接監視されうる。携帯デバイスの各々に対しては、マイクロホンやその他これに類似するメディアキャプチャリング要素により、周期的に、継続的に、あるいは選択された時間で、放送中の音声（及び／または映像または画像）がサンプリングあるいはキャプチャされうる。さらに、電子装置は少なくとも１つの出力機構、例えばネットワーク接続や出力ポートを含みうる。これにより、キャプチャされたコンテンツに関する情報が電子装置により外部システムやサービスへ送信できるようになる。

例えば、図２の環境２００を検討する。この例では、ユーザデバイスは少なくとも１つのネットワークへの接続を介して遠隔サーバ２０８（あるいはその他これに類似のシステム、サービス、あるいは装置）に接続することができる。このネットワークは、セルラーネットワーク、ブロードバンドネットワーク、イントラネット、インターネット、プライベートピアツーピアネットワークなど、いずれの適切なネットワークあるいはネットワークの組合せであってよい。ユーザデバイス２０４は、セルラー接続やＷｉ−Ｆｉ接続などのダイレクトネットワーク接続によりネットワークに接続されてもよい。あるいは、ドッキングステーションやホームコンピュータなどの１以上の媒介装置を介してネットワークに接続されてもよい。ユーザデバイス２０４は、キャプチャされたコンテンツに関する情報を遠隔サーバにアップデートさせることが可能であり、該サーバにおいて、該情報と、少なくとも１つのデータレポジトリ１０に、あるいはこれに類似する記憶先に記憶された情報とのマッチングが試みられうる。

当然のことであるが、コンテンツ及び／または消費者についての情報を取得するために、１以上のデータソースに接続している１以上のサーバ（ウェブサーバやアプリケーションサーバなど）が様々なレベルで存在してもよいし、及び／または、少なくとも１つのデータベースに接続している検索サーバが存在してもよい。少なくとも１つのサーバ２０８及び少なくとも１つのデータベース２１０の他に、補足コンテンツプロバイダ、メディアマッチングサービス、あるいはその他これに類似のエンティティは、いずれの付加的構成要素及び周知のアプリケーションあるいはそのような目的のために後に構築されたアプリケーションをいくつでも利用することができる。例えば、マッチングサービスはウェブサービスリクエストを受信するように構成されうる。リクエストの各々は少なくとも１つのルータ及び／またはウェブサーバにより受信される。各リクエストはアプリケーションサーバやその他これに類似する構成要素に送られ、各リクエストが処理される。少なくとも１つのアプリケーションサーバは、広告などのコンテンツを識別し、追加の広告情報あるいは製品情報など、対応の補足コンテンツを選択するために、認識モジュールあるいはその他これに類似の構成要素など、少なくとも１つのモジュールを提供するための命令を実行することができる。

各種実施形態では、放送局２１２や広告主２１４などのコンテンツプロバイダはコンテンツの特定のインスタンスに関する情報の提供が可能である。該情報は解析、分析、あるいは本明細書の他の箇所に記載しているようにそれ以外の方法で処理され、さらにこの後のコンテンツマッチングで利用するために、あるいはその他これに類似の目的で利用するためにデータベース２１０に記憶される。同様に、広告主２１４（及びいずれの他の適切なコンテンツプロバイダ）も各種の放送システム２１２、あるいはその他これに類似の放送エンティティへ情報の提供が可能である。これにより、コンテンツを（コマーシャルとして、あるいは番組／プログラムに埋め込んだ、あるいは番組／プログラムにオーバーレイしたプロダクトプレースメントとして）放送させることができ、あるいはそれ以外の方法で放送受信装置及び／または再生装置２０２によりコンテンツを送受信させることができる。

当技術分野で周知のように、あるいは当技術分野で後に構築されているように、放送信号を送信及び／または受信する目的でいずれの適切な構成要素あるいはシステムを利用することができる。放送受信装置及び／または再生装置は、放送信号の受信及びデコードだけでなく、コンテンツの表示あるいはそれ以外の方法で伝達が可能な１以上の構成要素を含みうる。そのようなデバイスは、セットトップボックス、テレビ、衛星放送受信機、アナログあるいはデジタル音声受信機、ラジオ、テレビゲーム機、メディアプレーヤ、あるいはその他これらに類似の構成要素などを少なくとも１つ含みうる。さらに、無線放送の例が示されているが、いずれのその他の放送手段、例えば、デジタルケーブル、電波、衛星通信なども各種実施形態の範囲内で利用できることを理解されたい。各種実施形態に従い、いずれの種類のコンテンツの放送（ビデオ放送、テレビ放送、ラジオ放送など）が利用されうる。

マッチングが検出されると、このマッチングに対応する情報がユーザに送信される。ユーザがスマートフォンなどのコンピューティングデバイスで情報をキャプチャする実施形態の各々では、コンテンツのアイデンティティなどの情報がデバイス自体に送信されうる。従ってユーザはコンテンツのキャプチャに使用したデバイスと同一のデバイスに情報を得ることができる。その他の実施形態の各々では、情報はユーザにより別のデバイスに送信されることもある。このデバイスはユーザにより特定されるか、その他の方法で決定されうる。例えば、ユーザは、コンテンツを携帯電話でキャプチャし、その結果をＥメールまたは別の適切なメカニズムを介して、結果を関連のウェブサイト、製品のページ等の情報にアクセスできる自宅のパソコンに受信したい場合がある。別の実施形態の各々では、ユーザが番組の次回の放送を予約録画するために、情報がケーブルテレビ用チューナー（ケーブルボックス）あるいはデジタルビデオレコーダ（ＤＶＲ）に送信されうる。

さらに別の実施形態の各々では、ユーザは情報をゲーム機、ポータブルメディアプレーヤ、あるいは、識別されたメディアに対応する特定コンテンツのダウンロードが可能であるか、それ以外の方法で該特定コンテンツにアクセス可能なその他これらに類似の電子装置に送信させることができる。ある実施形態では、情報がキャプチャされ、及び／またはアップロードされて分析される時点でユーザはコンテンツを受信するための装置を選択することができる。例えば、表示されている番組に興味のあるユーザはその結果をＤＶＲに送信させることができる。該ＤＶＲはその番組の次回の放送を自動録画することができる。一方で、番組中で俳優が着用しているシャツに興味のあるユーザはホームコンピュータにその情報を送信させることができ、ユーザはこのホームコンピュータにおいてそのコンテンツに関する特定の情報をフォローするか選択することができる。さらに、ある実施形態では、ユーザは検索される情報の種類、例えば、コンテンツのコピー、表示されている製品に関する情報、俳優、あるいはその他番組固有情報、を特定することができる。本明細書に記載された教示や提案に照らして、当業者にとっては明らかであろうこのような情報を選択するためのいずれの適切なインタフェースを使用することができる。

図３は、各種実施形態に従い利用されうる、ユーザによりキャプチャされたコンテンツをマッチングするためのプロセス３００の一例を示す。この例では、キャプチャされたメディアファイル（例えば、音声、映像及び／または１以上の画像）はユーザデバイス３０２から受信される。ある実施形態では、キャプチャされたメディアファイルはある程度ユーザデバイスで分析されうる。従って、マッチング情報あるいは他の識別データが代わりにユーザデバイスから受信されうる。受信したメディアファイルは分析され、ハッシュ値あるいはその他これに類似の識別特徴が抽出あるいは生成される（３０４）。分析したメディアファイルに関する情報（例えば、ハッシュ情報）は少なくとも１つのデータベースあるいはその他これに類似の場所に記憶された類似する情報と比較される（３０６）。

ある実施形態では、オーディオフィンガープリントプロセスを利用して、ユーザがキャプチャした音声情報とデータベースに記憶された音声情報とが比較される。ユーザがキャプチャしたのが、例えば、音声コンテンツ及び映像コンテンツあるいは画像コンテンツであっても、音声コンテンツだけであっても、ユーザによりキャプチャされたコンテンツの決定を試みるために音声部分が分析されうる。オーディオフィンガープリントについてのアプローチは、例えば、発明の名称を「Generating and Matching Hashes of Multimedia Content」とする米国特許第７，５４９，０５２号（２００９年６月１６日交付）に記載されており、該特許は本明細書に参考のために組み込まれている。

データベースを利用してマッチングが検出されれば（３０８）、そのマッチングコンテンツに対応するコンテンツ（本明細書中では「補足コンテンツ」と称する）が決定及び／または検出されうる（３１０）。例えば、キャプチャされたコンテンツがある製品のコマーシャルであると判断されれば、補足コンテンツとしては、その製品名及び／または製造メーカ名などの情報、該コマーシャルのデジタルコピー、リンク、あるいはその広告についての情報を検出するためのその他のナビゲーション要素（例えば、その製品のウェブサイト）、あるいはその他これらに類似するコンテンツなどの情報が挙げられうる。

キャプチャされたコンテンツがあるテレビ番組に対応するものであれば、補足コンテンツとしては、その番組に出演していた俳優やその番組の撮影地のアイデンティティなどの情報、その番組にアクセスできる、あるいはその番組をダウンロードできる場所などの情報が挙げられうる。各種のその他の補足コンテンツに加えて本明細書の他の部分で検討あるいは提案した補足コンテンツが提供されうる。次いで、検出された補足コンテンツはいずれも、リクエストのあったユーザデバイスに情報を送信する、識別されたメディアプレーヤあるいはその他これに類似するデバイスに番組を送信する、情報のページを集め、ユーザがアクセス可能なリンクを提供する、などにより、少なくとも１つの指定されたデバイスあるいは場所に提供されうる。ある実施形態では、ユーザは受信する補足コンテンツの種類、コンテンツを送信する場所、及びその他これに類似する情報を識別するか、それ以外の別の方法で選択することができる。

データベースでマッチングの検出がなければ、少なくとも閾値信頼レベルの範囲内で、あるいは他のこれに類似するマッチング精度基準の範囲内で、有用情報の検出を試みるために、キャプチャされたメディアファイルの情報がさらに処理されうる（３１４）。例えば、キャプチャされたコンテンツの有益な形態を決定するために、キャプチャされたコンテンツは音声認識や画像認識、光学式文字認識（OCR;Optical Character Recognition）により、あるいは本明細書の他の部分で検討したいずれの他の適切なアプローチにより分析されうる。例えば、ＯＣＲプロセスはコマーシャルにおけるウェブアドレス（ＵＲＬなど）の存在を自動検出しうる。さらに、システムが別の方法でコンテンツをマッチングできようができまいが、少なくともウェブアドレスやリンクをユーザに提供しうる。有益情報が検出されれば（３１６）、上述したいずれの方法（例えば、コンテンツに関する情報をユーザに送信するための方法）により該情報がユーザに提供されうる（３１２）。

例えば、システムは、正確にコマーシャルをマッチングできないものの、クローズドキャプションに基づき、コンテンツ及び画像認識により、該コンテンツが特定の種類の靴であったことが判断できる場合があり、少なくともその情報をユーザに提供することはできる。ある実施形態では、少なくとも１つの結果についての信頼スコアを高めるべく、この情報を画像マッチングアルゴリズムにフィードバックしてもよい。例えば、同一コマーシャルで長いバージョンと短いバージョンのものがあるとする。これらは当初、所与の信頼レベルの範囲においてマッチングしないことがある。しかし少なくともある程度を付加的に判断された情報に基づき、信頼スコアが増加することがあり、その結果、同様のマッチングを判断できるようになる。

有用情報と判断され得るものがなければ、あるいは、有用情報であっても少なくとも１つのマッチングを検出しなければ、キャプチャされたコンテンツに対する情報は、例えば、放送局が別のコンテンツを提供後、あるいは、システムが一定期間にデータベースに情報を構築した後など、その後の分析のために記憶される（３１８）。ある例では、ユーザはスポーツイベントなどの生放送やその他のリアルタイムでのパフォーマンスに対応するコンテンツを記録することができる。そのような場合、少なくともある程度はキャプチャされた情報に与えられたタイムスタンプ及び／またはチャネルに基づき決定されうるように、マッチングサービスは、システムが放送を分析し、適切なマッチング情報及び／または補足コンテンツを提供できるようになるまで、特定のキューに、あるいはその他の場所に該情報を記憶しうる。該システムはさらに、あるエリア（例えば、地元のスポーツチーム）での放送に関する検索ウインドウの制限を試みるためにその他の情報、例えば、ＩＰアドレス、あるいはその他の場所に関連する情報を利用することができる。

図４はキャプチャしたメディア情報をユーザがアップロードしたことを受けてユーザに提供されうる補足コンテンツ４０２を表示した第１の例示的画面４００を示す図である。この例では、ユーザがキャプチャしたのは車の広告に対応するメディアコンテンツであった。該メディアをキャプチャしたことを受けて、ユーザは、該メディアがあるコマーシャルに対応したものであったことを示す情報、及びコマーシャル４０４で宣伝されていたもの（この場合は特定の車）を識別する情報を受信することができる。この補足コンテンツには、いずれの適切な種類の情報を含むことができる。一例としては、宣伝される車の１以上の画像、その車に関する仕様、その広告あるいは関連の広告にアクセスするためのインストラクションあるいはリンク、その車の製造メーカのウェブサイトへのリンク、地元のディーラの連絡先などが挙げられる。

ある実施形態では、ユーザはコンテンツの最初の画面（４０２）を受信することになる。これには基本的識別情報が含まれうる。さらにユーザは追加情報を得るために、あるいは更なるコンテンツにアクセスするために、少なくとも１つのオプション４０６を受信することができ、あるいはそれ以外の方法で少なくとも１つのオプションがユーザに与えられうる。ある実施形態では、これは更なる詳細情報へアクセスするためのハイパーリンクあるいはその他のナビゲーション要素であってもよい。一方で別の実施形態では、これは、コンテンツに関して入手可能な更なる情報を得るために、マッチングサーバあるいはサービスなどに送り返されたリクエストであってもよい。本明細書に記載された教示や示唆に照らして、各種のその他のオプションも同様に提供される。このことは当業者にとっては明らかである。

図５は、各種実施形態に従う、ユーザに提供されうる補足コンテンツの別の画面５０２の一例５００を示す図である。この例では、ユーザがキャプチャしたのは特定の映画に対応するコンテンツであった。これを受けて、ユーザは該映画に対応する情報５０４を受信することができ、例えば、俳優や監督に関する情報、製作年、映画会社についての情報、該映画からのシーンの画像などを受信することができる。ユーザはまた、映画版をダウンロードする、購入する、あるいはその他の方法で入手するために、少なくとも１つの選択可能オプション５０６を受信することができる。上述のように、ある実施形態では、コンピュータやメディアレコーダなどの別の装置に該映画を手動あるいは自動でダウンロードすることができる。別の実施形態では、ユーザはハイパーリンクを選択して、ウェブページあるいはその他の場所に移動することができる。この移動先でコンテンツがストリーミング、ダウンロード、あるいはその他の方法でアクセスされうる。

上述のように、ある場合では、ユーザは１以上のコンテンツのインスタンスを含んだコンテンツをキャプチャした可能性がある。あるいは、前のコンテンツのインスタンスが完了した直後にコンテンツをキャプチャした可能性がある。

図６はそのような状況においてユーザに示され得た画面６００の一例を示す図である。例えば、ユーザは映画のラストシーンのほか、その映画中に表示されたコマーシャルの始まりの部分を含んだメディアをキャプチャした可能性がある。この場合、ユーザにはオプション６０２が示される。これは、キャプチャされたメディアファイルの一部に対して決定されたマッチングの各々を識別するものであり、さらにユーザは、ユーザが興味のあったコンテンツを選択することができる。ある実施形態では、この選択により、別のリクエストがマッチングシステムあるいはサービスに送信されうる。該システムやサービスではユーザの選択に対応した、より詳細な情報やコンテンツが提供されうる。本明細書に記載された教示や提案に照らして、当業者にとっては明らかであろう各種のスクリーンや入力、コンテンツが各種実施形態の範囲において提供あるいは利用されうる。

コンテンツにマッチングした情報の他に、そのメディアに対応する補足コンテンツを取得するために各種のプロセスを利用することができる。上述のように、マッチングのために記憶されたメディアとして、音声コンテンツ、画像コンテンツ、映像コンテンツ、テキストコンテンツ、値の範囲、ハッシュ値など、いずれの適切な情報を挙げることができる。このコンテンツは、コンテンツのプロバイダ、コンテンツの放送局あるいは広告主、マッチングコンテンツを提供するサービスなど、いずれの適切なソースからもたらされるものであってよい。他の実施形態、つまり特定のメディアコンテンツに対する情報が提供されない場合では、各種のメディアコンテンツに対する情報を決定し、コンテンツマッチングに有用な１以上のデータベースを構築するために、システム及びサービスの各々が放送やその他の送信（トランスミッション）あるいはパフォーマンスを分析しうる。

例えば、図７（ａ）は、各種実施形態に従い利用されうるコンテンツプロバイダあるいはその他これに類似のソースから受信した情報を利用してデータベースを構築するための第１の例示的プロセス７００を示す図である。当然のことであるが、特に規定のない限り各種の実施形態の範囲内で本明細書において検討した各種のプロセスを実行することができ、プロセスにおいてそのステップを追加、減少させてもよく、あるいは代替のステップで、順番を変えて、あるいは並列に実行することができる。この特定の例では、メディアコンテンツに関する情報が、放送局あるいは広告主７０２などのコンテンツプロバイダから受信される。例えば、放送局はコンテンツマッチングサービスに番組の音声部分あるいは映像部分のコピーを提供する場合がある。

ある実施形態では、該コピーはフル解像度の、あるいはその他これと同じような解像度の番組のコピーである。一方で別の実施形態では、該コピーは解像度が低く圧縮した番組のコピーである場合がある。他の実施形態では、番組に関する情報は実際の音声あるいは映像ファイルではないが、その番組に関連しうるデータ、例えば、番組の一部のハッシュ値、含む。別の例では、放送局は番組に関する周波数あるいはフーリエ変換データ、番組の特徴的部分を分析したデータあるいはこれにマッチングするデータ、あるいはユーザがキャプチャしたコンテンツに番組をマッチングするために利用されうるいずれのその他の適切な情報を提供しうる。同様に、広告主などのエンティティは、音声及び／または映像広告などの情報を提供しうる。

アプリケーションサーバやその他の適切なコンピューティングあるいはプロセッシングデバイス、システムあるいはサービスは、プロバイダからの受信がまだであれば、プロバイダからメディアコンテンツを受信し、これを分析してハッシュ値やオーディオフィンガープリント値などの「マッチング」情報を決定しうる。ある実施形態では、プロバイダがハッシュ値を含んでいたとしても、精度あるいはその他これに類似の特徴を保証するために、システムはメディアコンテンツを分析しうる。十分なマッチング情報が決定されると、該マッチング情報は適切なデータベースに、あるいはその他これに類似の記憶先に記憶されうる（７０６）。マッチング情報が決定されると、あるいはプロセスにおけるいずれの適切な時期に、システムはメディアコンテンツに対応するプロバイダ（あるいはその他のソース）から受信した補足コンテンツを抽出する、解析する、あるいはそれ以外の方法で決定することができる（７０８）。

ある実施形態では、これには特定のタグに従いＸＭＬドキュメントあるいは類似のファイルを解析し、コンテンツに関する特定の情報を抽出することを含む。ある場合では、受信した情報をデータベースに手入力することが求められることもある。補足コンテンツあるいは補足コンテンツを識別する、あるいは示す情報は例えば適切なデータベースに記憶され、ユーザがキャプチャした情報が対応のメディアコンテンツにマッチングする場合に該データベースにアクセスされる。当然のことながら、このマッチング情報と補足コンテンツとは同一の、類似の、あるいは異なるデータベースに、あるいは各種実施形態の範囲内の記憶先に記憶されうる。

上述のように、マッチングシステムあるいはサービスも同様に、放送局あるいはその他これに類似のソースにより特に提供されなかったコンテンツのマッチングを要求することができる。上述のように、各種実施形態では、マッチングサービスあるいはその他これに類似のエンティティは、無線（ＯＴＡ；Ｏｖｅｒ−ｔｈｅ−Ａｉｒ）信号、ケーブルあるいはブロードバンド信号、あるいはいずれのその他の適切な放送信号や送信を複数利用して、いずれの複数の異なる放送局からの放送を監視することができる。図７（ｂ）は、図７（ａ）のプロセスを組合せて、あるいはこれとは別に利用されうるコンテンツマッチングデータベースを構築するための第２プロセス７５０を示す図である。この例では、ブロードキャストストリームあるいはその他のメディアコンテンツの送信はマッチングサービスあるいはマッチングサービスが利用するデータベースと通信している少なくとも１つの構成要素により受信される（７０２）。このメディアコンテンツは、固有の、あるいは少なくとも関連のない放送あるいは送信のセグメントの決定を試みるために分析される（７０４）。ある実施形態では、各放送を別々のセグメントに、例えば、ある番組のシーンに、番組のセグメント間の広告などに分割するために１以上のアルゴリズムが利用されうる。

コンテンツのセグメントの各々は識別情報の決定を試みるために、いずれの各種様々なアプローチを利用して分析されうる（７０６）。例えば、システムは、同一あるいは略同様のセグメントが既に識別されているかどうかを決定するために、まずあるセグメントを適切なデータベース中の情報と比較しうる。まだ識別されていなければ、システムは適切な技術を利用してメディアセグメントのコンテンツの分析を試みうる。適切な技術としては、映像部分に存在する言葉や文字を分析するための光学式文字認識（ＯＣＲ）、音声部分の音声あるいは言語情報の分析を試みるための音声認識、メディア部分のキャラクタのアイデンティティの決定を試みるための顔認識、メディアセグメントで示されたアイテムの識別を試みるための画像認識、あるいは、そのコンテンツセグメントに関連づけられるその他いずれの情報のキャプチャ及び／または解釈を試みるためのクローズドキャプションあるいはこれに代わるチャネル解析、などが挙げられる。

メディアセグメントから取得した適切な情報はいずれも、該コンテンツの少なくともある程度の形態の識別を試みるために利用されうる。例えば、コマーシャルには製品の名前を含みうる。あるいは広告会社の名前が少なくとも含まれうる。これをＯＣＲあるいは同様の技術により識別することができる。他の実施形態の各々では、ロゴやその他の図が表示され、これを認識あるいはその他の方法で識別することができる。さらに別の実施形態では、特定の会社に関連づけられるＣＭソングあるいは音声クリップが識別されうる。そのような情報はいずれも、メディアクリップの少なくとも１つの形態を識別するために利用されうる。さらに、マッチングシステムは、放送局あるいは第三者のいずれかから各種の放送に対する番組情報を受信でき、及び／またはこれらにアクセスすることができる。次いでシステムは、特定の時間において放送ストリームから抽出された番組のセグメントの決定を試みることができ、及び／または番組情報と該番組のセグメントとの関連づけを試みることができる（７０８）。

システムが識別情報あるいはそれ以外の有用情報を検出することができたなら（７１０）、メディアコンテンツ及び／または識別されたメディアコンテンツに対するマッチング情報はその後のマッチング、分析及び／または検索のために少なくとも１つのデータベースに記憶されうる（７１２）。さらに該システムは、識別されたメディアコンテンツに対応する補足コンテンツの検出及び／または記憶を試みうる。ある実施形態では、システムはインターネット検索エンジンなどのいずれの適切なソースを利用してコンテンツに関連する情報を検索することができる。ある実施形態では、システムは、製品名あるいはその他の検出されたワードなど、コンテンツから抽出されたいずれの潜在的なキーワードを利用して検索を少なくとも一度実行することができる。例えば、広告が薬に対するものであり、コマーシャルにおいて症状がリストアップされ、ユーザは「医師に相談」すべきであると示されれば、システムはその症状に関することや、用語「医師」などを検索しうる。

ある実施形態では、システムは最終的に選択される、あるいは見られる結果を監視することができ、これらをその識別されたメディアコンテンツに対する補足情報として記憶しうる。可能であれば、システムは、該システムにより分析された関連メディアへメディア情報をリンクするように試みうる。補足コンテンツを検索する各種のその他のアプローチも同様に利用することができる。有用な情報が取得できない（あるいは有用情報が非常に少ない）場合、ある実施形態では、コンテンツは、更なる情報が利用可能になった後など、その後の分析のために記憶される（７１６）。ある実施形態では、識別されなかったコンテンツは、単に一定期間記憶されるか、及び／または何度か分析され、その後、破棄されるかそれ以外の方法で検討の対象から除外される。

そのようなアプローチの多くに付加された恩恵は、ユーザに提供することが望ましい更なる情報も同様に取得することができるということである。放送局あるいは製作会社により提供された映画のコピーは、俳優に関する情報、特定のシーンのロケ地、映画に関する雑学的情報、あるいは本明細書で開示あるいは示唆された様々なその他の種類の情報等を含みうる。情報が提供されていないが、代わりにキャプチャされた、あるいはそれ以外の方法で取得されたメディアに対しては、そのような情報は通常はメディアに提供されない。そのような状況では、画像認識、音声認識などのプロセスの各々は、消費者に提供されうる追加情報を取得するうえで有用である。例えば、広告に示された製品を識別するだけではなく、バックで流れている音楽やコマーシャルに出ている俳優を識別することもできる。各種実施形態の範囲内で各種のその他の種類の情報も同様に決定されうる。

しかし、消費者がメディアコンテンツをキャプチャする場合は、興味のあるコンテンツを実際にはキャプチャしなかった可能性がある。例えば、消費者は興味のあるコマーシャルを見るが、消費者が電子装置を見つけ、あるいは操作してキャプチャ装置を起動するまでにはそのコマーシャルあるいはその他の興味のあるコンテンツの表示が終わっていることもある。各種実施形態に従うシステム及び方法により、これに対して種々の手法で対処することができる。例えば、放送を記録するサービスは少なくとも一定期間、該放送に含まれるコンテンツをトラッキングしうる。特定のコマーシャルの間にユーザがコンテンツをキャプチャすれば、該コンテンツ及びコンテンツがキャプチャされたおおよその時間により決定されうるように、システムはキャプチャされたセグメントの前に放送された１以上のセグメントを決定しうる。次いでシステムはユーザに、ユーザがキャプチャしようとした興味のあるメディアコンテンツ（例えば、図６に関連して記載したようなもの）を選択するオプションを提供する。

ある場合では、メディアセグメントをキャプチャするデバイスは、該デバイス周辺の信号（音声及び／または映像）、あるいは直接接続されたデバイスの放送に含まれた信号を継続的にキャプチャする、サンプリングする、あるいは記録するように構成されうる。該デバイスは、直前最近記録された情報、例えば、最後の１０〜２０秒間にわたって、あるいはその他の適切な期間にわたってキャプチャされた情報のループをキャッシュに格納するか記憶することができる。その期間の経過後、データは破棄される。よって、該デバイスには直前の期間（例えば、常に最新１０秒のデータ）に対するデータだけが記憶されることになる。データキャッシュは時間に対して「スライドウインドウ」のような役割を果たす。この場合、ウインドウは最新の期間のデータを表示するように構成され、さらに該ウインドウに対応するデータは継続的にアップデートされ（ウインドウは時間に対して前に「スライド」する）、最新のデータを表示するようにする。ユーザは興味のあるものが放送された後は、ほとんどの場合にキャプチャをアクティブにすることから、キャプチャをアクティブにする直前の期間にわたってコンテンツをキャッシュに格納するか、それ以外の方法で一時的に記憶する場合、ユーザが興味を持ったコンテンツの少なくとも一部が含まれる可能性がある。

一実施形態では、ユーザはボタンを押すか、あるいはその他の方法でメディアへの関心を示すことができる。これにより、原則的に、ボタンを押すなどにより、今現在スライドウインドウにより表示され、対応のバッファあるいはキャッシュに記憶されたデータのスナップショットがデバイスによりキャプチャされる。ある場合では、ユーザがボタンを押した（あるいはそれ以外の方法で関心を示した）後のある期間に対するデータも同様にキャプチャされる。従って、スライドウインドウ毎に、ボタンを押す前のバッファに格納されたデータ及びユーザがボタンを押した数秒後のデータを含む、興味全体を示したトータルウインドウが生成される。

従って、この興味全体を示したトータルウインドウは、ユーザのアクション（例えば、ボタンを押す）の時間を取り囲み、該アクションの前後のデータを含むようにしたものである。このトータルウインドウ中のデータは、ユーザのアクションの時間に対応する少なくとも１つのタイムスタンプと組合せることができる。次に、このデータは本明細書の別の箇所に記載したようにサーバに送信され、分析されうる。ユーザがある広告に興味を示した場合、あるいは放送ストリームのプロダクトプレースメントに興味を示した場合、少なくともある程度をタイムスタンプに基づき、ユーザデバイスの適切なモジュールにより、記録された音声に対する情報の他に、対応するタイムスタンプがマッチングサービスに送信されうる。

ゲームコンソールなど、接続されたデバイスを使用する実施形態では、ゲームコンソールは１以上のステーション、例えば、現在見られているステーションを通じて放送される情報を継続的に記録することができ、さらに、常時更新している、直近に放送された期間の情報を前もってバッファリングするかそれ以外の方法で記憶することができる。ユーザは、ゲームコントローラのボタンを押す、あるいはリモコンの入力を選択するなど、選択またはそれ以外の方法で入力動作を行うことによりキャプチャあるいはマッチングプロセスをアクティブにすることができる。ゲームコンソールは、インターネットなどのネットワークに接続され、ハッシュ（あるいはその他の記録を表すもの）をマッチングサービスに送信しうる。上述のように、一般にマッチングサービスには特定のプログラミング、広告、及びプロダクトプレースメントなどに対する音声のフィンガープリントがすでに提供されており、さらにマッチングの検出を試みうる。上述のように、マッチングサービスが各種の放送フィードあるいはブロードキャストフィードにアクセスでき、ある放送フィードからメディアがキャプチャされた場合に、タイムスタンプを利用することでコンテンツのマッチングが支援される。キャプチャされた期間内に複数のメディアセグメントが含まれていれば、ユーザは各々に対する情報を受信することができる。あるいはユーザはこれらのセグメントのうちの少なくとも１つに対する情報を受信するために選択するためのオプションを受信することができる。ゲームコンソールがネットワークに接続されている本例では、今現在表示するために、あるいは後の検索用などに、補足コンテンツがある実施形態のコンソールに配信されうる。

ある実施形態では、ユーザはスマートフォンや携帯メディアプレーヤなどのコンピューティングデバイスにアプリケーション（例えば、「アプリ」）を記憶させることができる。これは音声及び／または映像情報のキャプチャを指示しうるものであり、あるいは、キャプチャされたメディア情報への少なくともアクセスを可能にするものであり、さらに、該メディア情報の少なくとも一部の分析を可能にするものである。従ってユーザデバイスは大量のデータをセントラルサーバやその他これに類似する場所にアップデートする必要がない。さらに、そのようなアプリケーションを使用することで、ユーザは好みを設定でき、あるいは、その他これに類似する情報であって、検索する情報の種類や、補足コンテンツあるいはその他これに類似する形態を受信するデバイスの種類などの情報を決定するために利用されうる情報を特定することができる。

図８は一実施形態に従うデバイスを実装するのに適したハードウェアシステムの一例を示す説明図である。本ブロック図において、コンピュータシステム８００が例示されており、これは、パソコン、テレビゲーム用コンソール、携帯端末、あるいはその他のデジタルデバイスなどの、本発明の実施形態を実行するのに適したものである。コンピュータシステム８００はソフトウェアアプリケーション及び任意にオペレーションシステムを実行するための中央処理装置（ＣＰＵ）８０２を含む。ＣＰＵ８０２は、１以上の同種または異種の処理コアで構成されうる。メモリ８０４は、ＣＰＵ８０２により使用されるアプリケーション及びデータを記憶する。ストレージ８０６は、アプリケーション及びデータに対して不揮発性記憶装置及びその他のコンピュータ可読媒体を提供する。また、ストレージ１００６は固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ、ＨＤ−ＤＶＤまたはその他の光学式記憶装置を含み、これらに加えて信号伝送及び記憶媒体を含みうる。ユーザ入力装置８０８は、１名以上のユーザからの入力をコンピュータシステム８００に知らせる。

入力装置の例としては、キーボード、マウス、ジョイスティック、タッチバッド、タッチスクリーン、静止カメラまたはビデオカメラ、及び／またはマイクロフォンなどが挙げられる。ネットワークインタフェース８１０により、コンピュータシステム８００は電子通信ネットワーク経由でその他のコンピュータシステムと通信することができ、ローカルエリアネットワーク及びインターネットなどの広域ネットワークを介した有線または無線通信を含みうる。音声プロセッサ８１２は、ＣＰＵ８０２、メモリ８０４、及び／またはストレージ８０６により提供される命令及び／またはデータからアナログ音声出力またはデジタル音声出力を生成するように構成される。ＣＰＵ８０２、メモリ８０４、データストレージ８０６、ユーザ入力装置８０８、ネットワークインタフェース８１０、及び音声プロセッサ１０１２を含むコンピュータシステム８００の構成要素は、１以上のデータバス８２２経由で接続される。

グラフィックサブシステム８１４は、データバス８２２及びコンピュータシステム８００の構成要素に接続される。グラフィックサブシステム８１４は、グラフィック処理ユニット（ＧＰＵ）８１８及びグラフィックメモリ８２０を含む。グラフィックメモリ８２０は、出力画像の各ピクセルに対するピクセルデータを記憶するために使用されるディスプレイメモリ（例えば、フレームバッファ）を含む。グラフィックメモリ８２０は、ＧＰＵ８１８と同一の装置に内蔵されてもよいし、別の装置としてＧＰＵ８１８と接続されてもよいし、及び／またはメモリ８０４内に実装されてもよい。ピクセルデータはＣＰＵ８０２から直接グラフィックメモリ８２０に提供されてもよい。

他の形態では、ＣＰＵ８０２はＧＰＵ８１８に所望の出力画像を定義するデータ及び／または命令を提供し、ＧＰＵ８１８はこのデータ及び／または命令から１以上の出力画像のピクセルデータを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ８０４及び／またはグラフィックメモリ８２０に記憶されうる。一実施形態では、ＧＰＵ８１８は、形状、ライティング、シェーディング、テクスチャリング、運動、及び／またはカメラパラメータを場面に対して定義する命令及びデータから出力画像に対するピクセルデータを生成するための３Ｄレンダリング機能を含む。ＧＰＵ８１８は、シェーダプログラムを実行可能な１以上のプログラム可能実行ユニットをさらに含みうる。

グラフィックサブシステム８１４は、グラフィックメモリ８２０から画像に対するピクセルデータを周期的に出力し、表示装置８２２に表示されるようにする。表示装置８２０は、コンピュータシステム８００からの信号を受けて視覚情報を表示することができる装置であり、これにはブラウン管（ＣＲＴ）、液晶表示装置（ＬＣＤ）、プラズマ、及び誘起発光ダイオードディスプレイを含む。コンピュータシステム８００は、表示装置８２０にアナログ信号またはデジタル信号を送信することができる。

各種の実施形態によれば、ＣＰＵ８０２は、１以上の処理コアを有する１以上の汎用マイクロプロセッサである。さらに各実施形態は、メディアアプリケーションやインタラクティブエンターテインメントアプリケーションなど、並列性が高くコンピュータ処理の多いアプリケーションに適したマイクロプロセッサのアーキテクチャを備えた１以上のＣＰＵを使用して実装されうる。

さらなる実施形態の各々は、明細書及び図面から当技術分野の当業者により予測されうる。別の実施形態では、上述したような発明を有利に組合せる、あるいは補助的に組合せることができる。理解しやすくするために、アーキテクチャのブロック図とフロー図とはグループ化されている。しかし、ブロックの組合せ、新たなブロックの追加、ブロックの再配置、などは本発明の別の実施形態において検討される。

従って、明細書及び図面は限定的ではなく例示的であると解釈される。しかし、特許請求の範囲に記載されているように、より広い本発明の精神及び範囲から逸脱することなく、様々な変形及び変更が可能であることは明らかであろう。

Claims (14)

1. コンピュータが実行する、ユーザに補足コンテンツを提供する方法であって、
   ユーザデバイスにより映像表示から記録された音声データ及び映像データの少なくとも１つを含むキャプチャされたメディアファイルに対応する情報を含むリクエストを受信するステップと、
   前記キャプチャされたメディアファイル情報に対する第１マッチングの検出を試みるために、少なくとも１つの処理装置を利用して、前記キャプチャされたメディアファイル情報を、記憶されたメディアデータのインスタンスと比較し、前記記憶されたメディアデータのインスタンスの少なくとも一部は、それぞれ識別された映像コンテンツに対応するものであるステップと、
   第１マッチングが検出されなかった場合には、少なくとも1つの処理装置を利用して、ユーザに送られる情報を検出するために、キャプチャされたメディアファイルにテキストコンテンツが存在するか否かを音声認識又は光学式文字認識（ＯＣＲ）を用いて検出し、かつ、
   前記テキストコンテンツと、記憶されたテキストコンテンツのインスタンスと、を比較して前記キャプチャされたメディアファイル情報に対する第２マッチングを行い、前記記憶されたメディアデータのインスタンスの１つとの第１マッチング又は第２マッチングが検出されるか、又はテキストコンテンツの存在が検出されると、少なくとも１つの処理装置を利用して、前記第１マッチング又は前記第２マッチングを用いて、前記対応する識別された映像コンテンツに対する補足情報を決定するステップと、
   前記受信したリクエストを受けて、前記決定された補足情報を提供するステップと、を含む方法。
2. 前記比較はオーディオフィンガープリントプロセスあるいは画像認識プロセスのうちの少なくとも一方を利用して実行される、請求項１記載のコンピュータが実行する方法。
3. キャプチャされたメディアファイルに対応する前記リクエストに含まれる前記情報は、ユーザアクションがトリガーとなって前記リクエストが生成される前の第１期間にキャプチャされた音声データ及び映像データのうちの少なくとも１つを含む、請求項１記載のコンピュータが実行する方法。
4. 前記リクエストに含まれる、キャプチャされたメディアファイルに対応する前記情報は、ユーザアクションがトリガーとなって前記リクエストが生成された後の第２期間にキャプチャされた音声データ及び映像データのうちの少なくとも１つを含む、請求項３記載のコンピュータが実行する方法。
5. 前記決定された補足情報は、前記キャプチャされたメディアファイルを記録した前記ユーザデバイス以外のデバイスに提供される、請求項１記載のコンピュータが実行する方法。
6. 前記決定された補足情報は、広告情報、製品情報、雑学的な情報、購入情報、ダウンロード情報、メディアファイル、あるいは関連コンテンツのアドレスやリンクの少なくとも１つを含む、請求項１記載のコンピュータが実行する方法。
7. １以上の潜在的なマッチングが決定されたときにユーザデバイスに通知するステップをさらに含む、請求項１記載のコンピュータが実行する方法。
8. 前記比較ステップは、前記リクエストが送信された地理的位置、前記リクエストとともに受信したタイムスタンプの少なくとも一方を決定するステップと、実質的にその位置あるいは時間に放送された映像コンテンツを決定するステップと、を含む、請求項１記載のコンピュータが実行する方法。
9. ユーザに補足コンテンツを提供するためのシステムであって、
   少なくとも１つのプロセッサと、
   前記プロセッサにより実行されたときに前記システムを動作させる命令を含んだメモリであって、前記動作には、
   ユーザデバイスにより映像表示から記録された音声及び映像データの少なくとも１つを含むキャプチャされたメディアファイルに対応する情報を含むリクエストを受信し、
   前記キャプチャされたメディアファイル情報に対する第１マッチングの検出を試みるために、前記キャプチャされたメディアファイル情報を、少なくとも一部がそれぞれ識別された映像コンテンツに対応する記憶されたメディアデータのインスタンスと比較し、
   第１マッチングが検出されなかった場合には、少なくとも1つの処理装置を利用して、ユーザに送られる情報を検出するために、キャプチャされたメディアファイルにテキストコンテンツが存在するか否かを音声認識又は光学式文字認識（ＯＣＲ）を用いて検出し、
   前記テキストコンテンツと、記憶されたテキストコンテンツのインスタンスと、を比較して前記キャプチャされたメディアファイル情報に対する第２マッチングを行い、前記記憶されたメディアデータのインスタンスの１つとの第１マッチング又は第２マッチングが検出されるか、又はテキストコンテンツの存在が検出されると、前記対応する識別された映像コンテンツに対する補足情報を前記第１マッチング又は前記第２マッチングを用いて決定し、
   前記受信したリクエストを受けて、前記決定された補足情報を提供させる、ことが含まれる、システム。
10. 前記キャプチャされたメディアファイル情報は、オーディオフィンガープリントプロセスあるいは画像認識プロセスの少なくとも一方を利用して、記憶されたメディアデータのインスタンスと比較される、請求項９記載のシステム。
11. 前記決定された補足情報は、広告情報、製品情報、雑学的な情報、購入情報、ダウンロード情報、検索結果、メディアファイル、あるいは関連コンテンツのアドレスやリンクの少なくとも１つを含む、請求項９記載のシステム。
12. 前記キャプチャされたメディアファイルは、約５〜約２０秒間にわたって記録された音声データ及び映像データの少なくとも１つを含む、請求項９記載のシステム。
13. ２回目のマッチングでマッチングが検出されなかったときは、前記２回目のマッチングでキャプチャされたコンテンツの解析により得られた情報が、その後の解析で用いられる、請求項１に記載の方法。
14. ２回目のマッチングでマッチングが検出されなかったときは、前記２回目のマッチングでキャプチャされたコンテンツの解析により得られた情報が、その後の解析で用いられる、請求項９に記載のシステム。

Images