JP5969560B2 - メディアコンテンツのフィンガプリントの抽出 - Google Patents

Description

本発明はメディアコンテンツのフィンガプリントの抽出に関する。

本節に記載された手法は追求可能な手法であるが、必ずしも以前に着想されたか追求された手法とは限らない。したがって、本明細書に別途示されない限り、本節に記載された手法のいかなる部分も、本節に含まれることのみを理由として従来技術とみなされると考えるべきではない。

マルチメディアコンテンツストリームはユーザへの表示のためのマルチメディアプレーヤによって受信されることができる。さらに、マルチメディアコンテンツに関する一般的な情報が、ユーザへの表示のためのマルチメディアプレーヤによって受信されることができる。マルチメディアコンテンツは一般的に、固定されており編集可能でないフォーマットで提示される。ユーザは制作者によって作成された選択画面によってメディアコンテンツ内の特定の位置に飛ぶことができる。したがって、メディアコンテンツの視聴は一般的に受動的でありユーザの対話は最小限である。

本発明は、例として、しかし限定としてではなく、添付の図面において図示され、同一の参照符号は同一の要素に言及する。

本発明の一実施形態による例示のシステムを示すブロック図である。 本発明の一実施形態による例示のメディア装置を示すブロック図である。 本発明の一実施形態による追加のコンテンツを提示するフロー図である。 本発明の一実施形態によるメディアコンテンツの再生における位置を決定するフロー図である。 本発明の一実施形態による広告の再生を検出するフロー図である。 本発明の一実施形態によるメディアコンテンツからフィンガプリント（ｆｉｎｇｅｒｐｒｉｎｔ）を抽出するフロー図である。 メディア装置から抽出されるフィンガプリントの収集および記憶のための例示的なアーキテクチャを示す図である。 本発明の一実施形態によるメッセージを提示するフロー図である。 本発明の一実施形態による音声によるコマンドを解釈するフロー図である。 本発明の一実施形態によるメディアコンテンツの注釈（ａｎｎｏｔａｔｉｏｎ）を相関させるフロー図である。 本発明の一つ以上の実施形態による環境を構成する例示のシステムを示す図である。 本発明の一実施形態が実装されることができるシステムの例を示すブロック図である。

以下の記載において、説明の目的で、本発明の完全な理解を提供するために多くの特定の詳細部が記載される。しかしながら、本発明がこれらの特定の詳細部なしに実施可能であることは明らかである。本発明を不必要に不明瞭にすることを避けるように、他の例、周知の構造および装置が、ブロック図の書式に示される。

互いに独立して、あるいは他の特徴との任意の組み合わせでそれぞれ使用されることができる、いくつかの特徴が以下に示される。しかしながら、任意の個別の特徴は、上記の問題のいずれに対処するものでもないかもしれないし、上記の問題の１つのみに対処するものかもしれない。上記の問題のいくつかは本明細書で記載された特徴のいずれによっても十分に対処されないかもしれない。見出しがつけられているが、特定の見出しに関するが、その見出しを有するセクションには見出されない情報が、明細書の他のところに見出されるかもしれない。

実施例の特徴は以下の概要に従って記述される。
１．０ 機能的な概観
２．０ システムアーキテクチャ
３．０ メディアコンテンツフィンガプリントに基づく追加のコンテンツの提示
４．０ メディアコンテンツフィンガプリントに基づく再生位置の決定
５．０ 記録情報または視聴情報の発表
６．０ メディアコンテンツからのフィンガプリントの抽出
７．０ 更新の提示
８．０ コマンドの解釈
９．０ 入力とメディアコンテンツの相関化
１０．０ パーソナルメディア装置による注釈の取り出し
１１．０ メディアコンテンツのマーキング
１２．０ メディアコンテンツ注釈の発表
１３．０ 自動的に生成された注釈
１４．０ 環境構成
１５．０ ハードウェアの概観
１６．０ 拡張例および代替例

１．０ 機能的な概観
一実施形態において、メディアコンテンツが受信されてユーザに提示される。メディアコンテンツから抽出されたフィンガプリントは、メディアコンテンツを識別するようにサーバに問いかけるために使用される。フィンガプリントに基づいて識別されたメディアコンテンツに基づいて、追加のコンテンツが得られてユーザに提示される。

一実施形態において、追加のコンテンツは（例えば製品、サービス、その他のメディアコンテンツの）広告を含んでもよく、該広告は識別されたメディアコンテンツに基づいて選択される。

一実施形態において、フィンガプリントはメディアコンテンツを提示するコマンドを受信した後に該メディアコンテンツから動的に抽出される。一実施形態では、フィンガプリントは提示されるメディアコンテンツに関連する追加のコンテンツを提示するコマンドを受信した後に該メディアコンテンツから動的に抽出される。

一実施形態において、メディアコンテンツから抽出されたフィンガプリントに基づいて、メディアコンテンツ内に顔が検出される。顔に関連する人物の名前が決定され、追加のコンテンツ内に提示される。顔の検出と該顔に関連する人物の名前の決定は、ユーザコマンドの受信に応じて動的に実行されてもよい。

一実施形態において、メディアコンテンツフレーム内の特徴（例えば物体、構造、風景、位置など）がメディアコンテンツから抽出されたフィンガプリントに基づいて検出されてもよい。特徴は識別されてもよく、識別子は提示されてもよい。特徴は識別されてもよく、および／または、識別子はユーザコマンドに応じて提示されてもよい。

一実施形態において、フィンガプリントはメディアコンテンツの再生と並行して動的に抽出されてもよい。それから、メディアコンテンツの再生の位置は、フィンガプリントに基づいて決定されてもよい。

一実施形態において、メディアコンテンツの再生の位置に基づく追加のコンテンツが提示されてもよい。一実施形態において、メディアコンテンツの再生の位置に基づく追加のコンテンツはユーザコマンドに応じて提示されてもよい。

一実施形態において、メディアコンテンツの再生は、メディアコンテンツの再生の位置に基づいて、複数の装置で同期されてもよい。一実施形態において、複数の装置における同期は、装置上のメディアコンテンツの任意の位置を探すか、装置上のメディアコンテンツの再生を遅らせるかして、同時に複数の装置上でメディアコンテンツの再生を開始することによって実施されてもよい。複数の装置上のメディアコンテンツの同期された再生の間、１つの装置上での早送り、巻き戻し、一時停止、停止、頭出し、または再生のコマンドが、すべての同期された装置上で実施されてもよい。一実施形態において、メディアコンテンツの再生の位置に基づいて、広告の再生の決定が行われてもよい。広告は、メディアコンテンツの再生の位置に基づいてスキップされるか早送りされてもよい。一実施形態において、広告が再生される通知または広告が再生される速さが提供されてもよい。一実施形態において、広告はメディアコンテンツの再生の位置に基づいて選択されてもよい。

一実施形態において、再生されるメディアコンテンツの１つ以上のフィンガプリントがメディアコンテンツの広告部分と関連する旨を決定することによって、広告の再生が検出されてもよい。一実施形態において、メディアコンテンツの広告部分内の顔に関連する人物を識別し、識別された人物がメディアコンテンツに出演する俳優ではない旨を決定することによって、広告が検出されてもよい。一実施形態において、広告される製品またはサービスに関する追加のコンテンツによって、広告は拡張されてもよい。一実施形態において、広告は自動的に早送りされ、消音され、または代替の広告と置き換えられてもよい。一実施形態において、メディアコンテンツの検出された広告部分をスキップすることによって、メディアコンテンツの広告でない部分のみが記録されてもよい。

一実施形態において、第１のユーザに関連づけられた第１の装置上に特定のメディアコンテンツを記録するコマンドが受信され、特定のメディアコンテンツが第１の装置上に記録されるようにスケジューリングされる。第１の装置上に特定のメディアコンテンツを記録するスケジューリングの通知が、第２のユーザに関連づけられた第２の装置に提供される。それから、第２の装置は特定のメディアコンテンツの記録をスケジューリングすることができる。第２の装置は、通知に応じて特定のメディアコンテンツを記録するユーザコマンドを受信することなく、またはユーザによる確認を受信した後で、特定のメディアコンテンツの記録をスケジューリングしてもよい。

一実施形態において、第１の装置上に、複数の特定の装置のうち任意の１つの装置上に、または複数の特定のユーザのうちだれかに関連づけられた装置上に、記録するようにスケジューリングされたすべてのメディアコンテンツを記録するコマンドが、第２の装置によって第２のユーザから受信されてもよい。

一実施形態において、複数の装置上の特定のメディアコンテンツの記録がスケジューリングされた旨が検出されてもよい。複数の装置上で特定のメディアコンテンツの記録がスケジューリングされた旨の検出に応じて、複数の装置上の特定のメディアコンテンツの記録がスケジューリングされた旨の通知が、複数の装置の少なくとも１つに提供されてもよい。特定のメディアコンテンツは複数の装置上に同時に表示されてもよい。装置のそれぞれを介してアクセス可能なユーザの利用可能性（ｕｓｅｒ ａｖａｉｌａｂｉｌｉｔｙ）カレンダーに基づいて、複数の装置上で特定のメディアコンテンツを同時に再生する時刻が、該装置の１つによって選択されてもよい。提示された時刻に関するユーザによる確認を受信する時刻もまた、提示されてもよい。

一実施形態において、ユーザに関連づけられた装置上で特定のメディアコンテンツを記録または再生するコマンドが受信されてもよい。コマンドに応じて、特定のメディアコンテンツが記録または再生されてもよく、ユーザが特定のメディアコンテンツを記録または再生している旨を示す情報が、ユーザに関連づけられて発表（ｐｕｂｌｉｓｈ）されてもよい。さらなる動作のための情報がウェブサービス、例えばウェブページ上の表示などに自動的に発表されてもよい。コマンドに応じて、特定のメディアコンテンツに関連づけられた情報が得られてユーザに提示されてもよい。一実施形態では、特定のメディアコンテンツを再生または記録する装置に関連づけられたユーザのために、グループ（例えばソーシャルネットワークウェブサイト）が自動的に生成されてもよい。

一実施形態において、アイドル基準（ｉｄｌｅｎｅｓｓ ｃｒｉｔｅｒｉａ）に達したメディア装置が検出されてもよい。アイドル基準の検出に応じて、メディアコンテンツがメディア装置に送信されてもよい。メディア装置は、メディアコンテンツを含みインターネットを介してアクセス可能な特定のコンテンツストリームを受信するように構成されてもよい。メディア装置は、メディアコンテンツからのフィンガプリントを抽出してもよく、メディアに関する追加のデータ（例えば題名、あらすじ、字幕テキストなど）と共に、フィンガプリントをフィンガプリントデータベースに送信してもよい。メディア装置がアイドル基準に達したことの検出は、メディア装置からの信号を受信することを伴ってもよく、メディア装置がユーザコマンドを受信することなくある連続した時間が経過することを伴ってもよく、フィンガプリントを抽出するリソース有用性をメディアコンテンツが有する旨を決定することを伴ってもよい。

一実施形態では、音声／映像（ＡＶ）コンテンツの再生と共に、メッセージが受信される。メッセージはユーザに関連づけられたメッセージの好み（ｍｅｓｓａｇｅ ｐｒｅｆｅｒｅｎｃｅ）に基づいて解釈され、ユーザはメッセージの好みに基づいてメッセージを提示される。一実施形態では、１つ以上のメッセージがメッセージの好みに基づいて取り除かれてもよい。

一実施形態では、メッセージの提示は、ユーザに再生されるＡＶコンテンツの１つ以上の映像フレーム上にメッセージに関連づけられたオーバレイ情報を含む。メッセージの提示は、メッセージに関連づけられた音声情報の再生を含んでもよい。一実施形態では、メッセージが提示されるとき、ＡＶコンテンツは一時停止や消音される。

一実施形態では、メッセージが音声入力、テキスト入力または画像入力として、別のユーザによって送信される。音声入力は、メッセージの送信者、メッセージの受信者、特定の架空のキャラクタ、または実在のキャラクタ、またはそれらの組み合わせに関連づけられたボイスを含んでもよい。メッセージはメッセージの受信者にのみ独占的に再生されてもよい。

一実施形態では、メッセージの好みによって特定された時間の最中にメッセージが提示されてもよい。メッセージは、ＡＶコンテンツの再生の最中にはコマーシャル時間まで抑止され、コマーシャル時間の最中に提示されてもよい。一実施形態では、メッセージはソーシャルネットワーキングウェブサイトに関連づけられたメッセージサービスから受信されてもよい。

一実施形態では、ユーザ定義のアラート条件がユーザから受信される。ユーザ定義のアラート条件の発生の監視と共にＡＶコンテンツが再生され、ユーザ定義のアラート条件の発生が検出される。ユーザ定義のアラート条件の検出に応じてアラートが提示される。

一実施形態では、アラート条件の検出は、ユーザが関心を示すものと決定されたメディアコンテンツがコンテンツストリーム上で利用可能である旨の決定を含む。一実施形態では、アラート条件の検出は、ユーザが要求した情報に関連づけられたメディアコンテンツがコンテンツストリーム上で利用可能である旨の決定を含む。アラート条件の検出は、アラート条件の発生を示す通知の受信を含んでもよい。一実施形態では、アラート条件の発生の検出は、光学的文字認識（ＯＣＴ）を用いた情報の取得および該情報に基づくアラート条件の発生の検出を含んでもよい。

一実施形態では、ボイスコマンドがユーザから受信され、ユーザはボイスコマンドに基づいて識別される。そして、ボイスコマンドは、識別されたユーザに関連づけられた好みに基づいて解釈され、複数の動作の中から１つの動作を決定する。そして該動作が実行される。

一実施形態では、ボイスコマンドを適用可能な多数のユーザが決定される。該多数のユーザはボイス入力に基づくユーザ認識によって決定されてもよい。

一実施形態では、ユーザの好みに基づく動作は、マルチメディア装置または環境の構成、メッセージの提示、購入、または他の適切な動作の実行を含んでもよい。一実施形態では、動作の実行に先がけたユーザによる確認のために、または動作の実行に関するユーザによる許可が確かなものかチェックするために、動作が提示されてもよい。一実施形態では、受信されたボイスコマンドの言語に基づいてボイスコマンドが解釈されてもよい。

一実施形態では、マルチメディア装置上のメディアコンテンツの再生と同時に、通知がユーザから受信される。通知はメディアコンテンツに関連づけられて記憶される。一実施形態では、通知は入力音声、入力テキスト、および／または入力画像を含んでもよい。一実施形態では、メディアコンテンツは二度目にはユーザから受信された入力音声と同時に再生されてもよい。メディアコンテンツの二度目の再生は、メディアコンテンツの映像部分のみの再生と、ユーザから受信された入力音声を含んでもよい。

一実施形態では、複数の版の通知が、メディアコンテンツの異なる再生の最中に受信されてもよく、各通知がメディアコンテンツに関連づけられて記憶されてもよい。通知はメディアコンテンツの音声部分の本来の言語とは異なる言語で提供されてもよい。通知は、意図された再生に関連づけられた指示を提供してもよい。通知は、光学的文字認識を用いて得られた情報に基づいて自動的に生成された音声を含んでもよい。一実施形態では、通知はメディアコンテンツに関連づけられた通知パターンを抽出するように分析されてもよい。通知はユーザから得たものでもよく、メディアコンテンツのレビューを含んでもよい。一実施形態では、ユーザプロファイルが通知に基づいて生成されてもよい。通知はメディアコンテンツの再生におけるインターバルまたは特定の時点に印をつけてもよく、それはメディアコンテンツの再生を再開するブックマークとして用いられる。通知によって印をつけられたインターバルは、メディアコンテンツの次の再生の最中にスキップされてもよく、再生シーケンスを生成するように用いられてもよい。

方法ステップを実行する際に本明細書では特定の構成要素について述べるが、他の実施形態では、該特定の構成要素の代わりとなる手段または機構が該方法ステップを実行してもよい。さらに、本発明のいくつかの態様がシステムの構成要素に関して述べられるが、本発明は複数のシステムに分散された構成要素によって実施されてもよい。本発明の実施形態はまた、本明細書に記載された方法ステップを実施するための方法を含む任意のシステムを含んでもよい。本発明の実施形態はまた、指示を含むコンピュータ読み取り可能な媒体を含んでもよく、該指示は、実行されたときに、本明細書に記載された方法ステップを実施させる。

２．０ システムアーキテクチャ
特定のコンピュータアーキテクチャが本明細書で記載されるが、本発明の他の実施形態は、本明細書で記載された機能を実施するために用いられうる任意のアーキテクチャに当てはまる。

図１はメディア装置Ａ（１００）、メディア送信元（１１０）、メディア装置Ｎ（１２０）、フィンガプリントサーバ（１３０）、ネットワーク装置（１４０）、およびウェブサーバ（１５０）を示す。これらの構成要素のそれぞれは本明細書に記載された機能を明らかにするために提示されるが、本発明を実施するために必要なものとは限らない。さらに、図１に示されない構成要素が、本明細書に記載された機能を実施するために用いられてもよい。ある構成要素によって実行されるものとして記載された機能が、代わりに別の構成要素によって実行されてもよい。

一実施形態では、メディア送信元（１１０）は一般的に、メディア装置Ａ（１００）がメディアコンテンツを受信可能な任意のコンテンツ送信元を表す。メディア送信元（１１０）は、メディア装置Ａ（１００）にメディアコンテンツをストリーミングするブロードキャスタ（ブロードキャスト企業／サービスを含む）であってもよい。メディア送信元（１１０）は、メディア装置Ａ（１００）がメディアコンテンツをダウンロードするメディアコンテンツサーバであってもよい。メディア送信元（１００）は、再生されているメディアコンテンツをメディア装置Ａ（１００）が受信する音声および／または映像プレイヤであってもよい。メディア送信元（１００）は、メディア装置Ａ（１００）がメディアコンテンツを得るために読み取るコンピュータ読み取り可能な記憶媒体または入力媒体（物理メモリ、コンパクトディスク、またはデジタルビデオディスク）であってもよい。装置へのストリーミング、ブロードキャスト、またはダウンロードという用語は、本明細書では区別せずに用いられてよく、装置がデータを得る１つの特定の方法に限定されるものと解釈されるべきではない。メディア装置Ａ（１００）は、ブロードキャストサービス、ウェブサーバ、別のメディア装置、またはメディア装置によってアクセス可能なデータまたはコンテンツを含む任意の適切なシステムから、ストリーミング、ブロードキャスト、ダウンロードなどによってデータを受信してもよい。異なる送信元が以下に示される異なる例として言及されてもよい。実施例では特定の発信元を記載するが、その発信元に限定されると解釈すべきではない。

一実施形態では、フィンガプリントサーバ（１３０）は概して、メディアコンテンツから抽出されたフィンガプリントを記憶する任意のサーバを表す。フィンガプリントサーバ（１３０）は、メディアコンテンツから抽出されたフィンガプリントをダウンロードおよび／またはアップロードするメディア装置Ａ（１００）によってアクセスされてもよい。フィンガプリントサーバ（１３０）は、メディアコンテンツから抽出されたフィンガプリントのデータベースを記憶するためにコンテンツ送信元（例えば、ブロードキャスト装置、ウェブサービス、または任意の他のコンテンツ送信元）によって管理されてもよい。コンテンツ送信元はフィンガプリントを抽出すべきメディアコンテンツを選択してもよい。メディア装置Ａ（１００）は、選択されたメディアコンテンツからフィンガプリントを抽出してもよく、フィンガプリントサーバ（１３０）にフィンガプリントを提供してもよい。一実施形態では、フィンガプリントサーバ（１３０）は、メディアコンテンツから抽出されたフィンガプリントに基づいて、そのメディアコンテンツまたはそのメディアコンテンツに関連づけられたメタデータを識別するためのデータベースとして作用してもよい。一実施形態では、フィンガプリントサーバ（１３０）の少なくとも一部分が１つ以上のメディア装置上で実施される。メディア装置は連続的に、定期的に、またはフィンガプリントサーバ（１３０）が更新される適切な別のスケジュールに応じて更新されてもよい。

一実施形態では、ネットワーク装置（１４０）はメディア装置Ａ（１００）の一部である任意の構成要素、または、ネットワーク（例えばインターネット、イントラネット、ワールドワイドウェブなど）を介して通信する機能を全体として有する個々の装置を一般的に表す。例えば、ネットワーク装置（１４０）はメディア装置Ａ（１００）またはメディア装置Ａ（１００）内のネットワークカードと通信可能に結合されたコンピュータであってもよい。ネットワーク装置（１４０）はメディア装置Ａ（１００）と関連づけられた情報（例えば、メディア装置Ａ（１００）に記録する予定のメディアコンテンツ、メディア装置Ａ（１００）に記録されたメディアコンテンツ、メディア装置Ａ（１００）上で再生されるメディアコンテンツ、メディア装置Ａ（１００）上で以前に再生されたメディアコンテンツ、メディア装置Ａ（１００）上で表示されたメディアコンテンツ、メディア装置Ａ（１００）によって集められたユーザの好み／統計値、メディア装置Ａ（１００）上のユーザ設定、など）を発表する機能を含んでもよい。ネットワーク装置（１４０）は、ウェブサイト上に情報を掲載してもよく、電子メッセージまたはテキストメッセージで情報を提供してもよく、ネットワークプリンタ上に情報をプリントしてもよく、任意の他の適切な方法で情報を発表してもよい。ネットワーク装置（１４０）は、別のメディア装置（例えばメディア装置Ｎ（１２０））に情報を直接提供する機能を有してもよい。ネットワーク装置（１４０）はネットワークから情報を得る機能を有してもよい。例えば、ネットワーク装置（１４０）はメタデータまたは、メディアコンテンツに関連づけられた任意の他の追加のデータの検索を実行し、メディア装置Ａ（１００）に検索結果を提供してもよい。別の実施例は、メディア装置Ｎ（１２０）上でスケジューリング、記録、および／または再生されるメディアコンテンツに関連づけられた情報を得るネットワーク装置（１４０）を含んでもよい。

一実施形態では、メディア装置Ａ（１００）（またはメディア装置Ｎ（１２０））は、プロセッサを有しメディアコンテンツを示すように構成された任意のメディア装置を一般的に表す。メディア装置Ａ（１００）は、メディアコンテンツを示すように構成されてもよい単一の装置または装置の任意の組み合わせ（例えば受信器とテレビジョンのセット）を参照してもよい。メディア装置Ａ（１００）の例は、受信器、デジタルビデオレコーダ、デジタルビデオプレーヤ、テレビジョン、モニタ、ブルーレイプレイヤ、音声コンテンツプレーヤ、映像コンテンツプレーヤ、デジタルピクチャフレーム、ハンドヘルド携帯装置、コンピュータ、プリンタなどのうち１つ以上からなる。メディア装置Ａ（１００）は、メディアコンテンツ（例えば音声および／または映像メディアコンテンツ）を再生すること、メディアコンテンツ（例えば静止画像）を表示すること、メディアコンテンツ（例えばクーポン）をプリントすること、メディアコンテンツ（例えば電子メール）を電子的に送信すること、メディアコンテンツを（例えばウェブサイト上に）発表すること、または任意の他の適切な手段によって、メディアコンテンツを提示してもよい。一実施形態では、メディア装置Ａ（１００）は、システム内の１つ以上の他のメディア装置と通信する管理装置であってもよい。例えば、メディア装置Ａ（１００）はメディア装置（例えばＤＶＤプレーヤ、リモートコントローラ、ジョイスティックなど）からの命令を受信し、該命令を他のメディア装置（例えばモニタ、受信器など）に送信してもよい。一実施形態では、メディア装置Ａ（１００）は、本明細書で記載された機能を実行するように構成された１つ以上のサブシステムを有する任意の装置を示してもよい。

一実施形態では、メディア装置Ａ（１００）はメディアコンテンツからフィンガプリントを抽出する機能を含んでもよい。例えば、メディア装置Ａ（１００）は、関連のメモリに記録された、または任意の他のアクセス可能な位置（例えば、外部ハードドライブ、ＤＶＤなど）に記憶されたメディアコンテンツからフィンガプリントを抽出してもよい。メディア装置Ａ（１００）はコンテンツストリーム上で利用可能なメディアコンテンツからフィンガプリントを抽出してもよい。コンテンツストリーム上で利用可能なメディアコンテンツは、メディア装置Ａ（１００）によってアクセス可能な任意のメディアコンテンツを含む。例えば、コンテンツストリーム上で利用可能なコンテンツは、ブロードキャストサービスによってブロードキャストされているコンテンツ、ウェブサーバ、ピア装置、または他のシステムからのダウンロードに関して利用可能なコンテンツ、または別の方法でメディア装置Ａ（１００）によってアクセス可能なコンテンツを含んでもよい。一実施形態では、メディア装置Ａ（１００）は、表示されているメディアコンテンツを得る機能、および、表示されているメディアコンテンツまたはメディア装置上で記憶されたメディアコンテンツからフィンガプリントを動的に抽出する機能を含んでもよい。一実施形態では、メディア装置Ａ（１００）は、メディアコンテンツ（例えばビデオフレーム）を展開し、メディアコンテンツを修正および／または編集し、メディアコンテンツを圧縮する、処理および記憶能力を含んでもよい。

一実施形態では、メディア装置Ａ（１００）は、別のメディア装置と同じメディアコンテンツを記録または再生することによって、別のメディア装置（例えばメディア装置Ｎ（１２０））を模倣する（ｍｉｍｉｃ）機能を含んでもよい。例えば、メディア装置Ａ（１００）はメディア装置Ｎ（１２０）上で記録されているメディアコンテンツの通知を受信し、コンテンツ送信元から同一のメディアコンテンツを得る機能を含んでもよい。メディア装置Ａは、メディアコンテンツを自動的に記録するか、または、ユーザに通知を提供してユーザの命令に応じてメディアコンテンツを記録してもよい。

図１Ｂは１つ以上の実施形態によるメディア装置の例示的なブロック図を示す。図１Ｂに示されるように、メディア装置（１００）は、例えばメモリシステム（１５５）、ディスク（１６０）、中央演算処理装置（ＣＰＵ）（１６５）、表示サブシステム（１７０）、音声／映像入力（１７５）、チューナ（１８０）、ネットワークモジュール（１９０）、周辺装置（１９５）、テキスト／音声コンバータ（１６７）、および／または本明細書で記載される機能を実行するために必要な他の構成要素などの複数の構成要素を含んでもよい。

一実施形態では、音声／映像入力（１７５）は、外部送信元からの音声および／または映像入力（例えばＨＤＭＩ１７６、ＤＶＩ１７７、アナログ１７８）を受信する機能を含む任意の構成要素に対応してもよい。例えば、音声／映像入力（１７５）は、異なる装置からの入力を受信することが可能なディスプレイポートまたは高精細度マルチメディアインターフェイス（ＨＤＭＩ）であってもよい。音声／映像入力（１７５）はセットトップボックス、ブルーレイディスクプレーヤ、パーソナルコンピュータ、ビデオゲームコンソール、音声／映像受信器、コンパクトディスクプレーヤ、拡張多用途ディスクプレーヤ、高精細度光ディスク、ホログラフィック他用途ディスク、レーザーディスク、ミニディスク、ディスクフィルム、ＲＡＭディスク、ビニール盤レコード、フロッピーディスク、ハードドライブディスクなどからの入力を受信してもよい。メディア装置（１００）は音声／映像入力（１７５）を含んでもよい。

一実施形態では、チューナ（１８０）は一般的に、コンテンツストリームを（例えば、ケーブル、衛星、インターネット、ネットワーク、または地上アンテナを介して）受信することができる任意の入力構成要素を提示する。チューナ（１８０）は、他の周波数を（例えば電気的共振で）フィルタリングしながら、１つ以上の受信された周波数を受け入れてもよい。テレビジョンチューナはＲＦテレビジョン送信信号を音声および映像信号に変換し、それらは音声および／または映像を生成するようにさらに処理される。

一実施形態では、入力はネットワークモジュール（１９０）から受信されることもできる。ネットワークモジュール（１９０）は一般的に、ネットワーク（例えば、インターネット、イントラネット、ワールドワイドウェブなど）を介して情報を受信することができる任意の入力構成要素を表す。ネットワークモジュール（１９０）の例にはネットワークカード、ネットワークアダプタ、ネットワークインターフェイスコントローラ（ＮＩＣ）、ネットワークインターフェイスカード、ローカルエリアネットワークアダプタ、イーサネットネットワークカード、および／または、ネットワークを介して情報を受信可能な任意のその他の構成要素が挙げられる。ネットワークモジュール（１９０）は別の装置（例えばメディア装置、コンピュータ、二次記憶装置など）と直接接続するように用いられてもよい。

一実施形態では、入力は、有線および／または無線の通信区間を介して任意の通信可能に結合された装置からメディア装置（１００）によって受信されてもよい。メディア装置（１００）によって受信された入力はメモリシステム（１５５）またはディスク（１６０）に記憶されてもよい。メモリシステム（１５５）は、データを記憶する１つ以上の異なるタイプの物理メモリを含んでもよい。例えば、メモリシステム（１５５）内の１つ以上のメモリバッファ（例えばＨＤフレームバッファ）は、編集および／またはフィンガプリント生成のために１つ以上の非圧縮高精細度（ＨＤ）ビデオフレームをロードするための記憶容量を含んでもよい。メモリシステム（１５５）は圧縮された形式（例えばＭＰＥＧ２、ＭＰＥＧ４、または任意のその他の適切なフォーマット）でフレームを記憶してもよく、該フレームは変更、フィンガプリント生成、置換、および／または表示のためにフレームバッファに圧縮復元される。メモリシステム（１５５）はフラッシュメモリ、ＤＲＡＭメモリ、ＥＥＰＲＯＭ、従来の回転式ディスクドライブなどを含んでもよい。ディスク（１６０）はメディア装置（１００）によってアクセス可能な二次記憶装置を一般的に意味する。

一実施形態では、中央処理装置（１６５）はメディア装置（１００）によって受信された任意の入力を用いて本明細書に記載された機能を実行する機能を含んでもよい。例えば、中央処理装置（１６５）は、メモリシステム（１５５）内に記憶されたメディアコンテンツフレームからフィンガプリントを動的に抽出するために用いられてもよい。中央処理装置（１６５）は、メディアコンテンツに関連づけられたタグ、ハッシュ値、フィンガプリント、タイムスタンプ、またはその他の適切な情報に基づいてメディアコンテンツまたはメディアコンテンツの部分をマークまたは識別するように構成されてもよい。中央処理装置（１６５）は、メディアコンテンツを変更する（例えばビデオフレームをスケーリングする）、メディアコンテンツを分析する、メディアコンテンツを圧縮復元する、メディアコンテンツを圧縮する、などのために用いられてもよい。フレームバッファに記憶されたビデオフレーム（例えばＨＤビデオフレーム）は、ビデオフレームのトップに追加のコンテンツ（例えば、フレームに関する情報、番組情報、チャットメッセージ、システムメッセージ、ウェブコンテンツ、画像、電子番組ガイド、または任意のその他の適切なコンテンツ）をオーバレイ（ｏｖｅｒｌａｙ）する、ビデオフレームを操作する（例えば引き延ばす、回転させる、縮めるなど）、またはビデオフレームをリアルタイムで置換するように、中央処理装置（１６５）によって動的に変更されてもよい。したがって、電子番組ガイド、動的に選択された広告情報、メディアコンテンツ情報、または任意の他のテキスト／画像が、フレームバッファ内に記憶されたビデオフレーム上に書き込まれ、記憶されたビデオフレームのトップに追加のコンテンツを重ねる（ｓｕｐｅｒｉｍｐｏｓｅ）ことができる。中央処理装置（１６５）は、メディア装置（１００）に関連づけられた任意の入力装置および／または出力装置との通信を処理するために用いられることができる。例えば、リアルタイムで動的に変更されるビデオフレームが表示のために送信されてもよい。中央演算装置（１６５）は、データの同期、または発表に関する機能を実行するために他のメディア装置と通信するように用いられてもよい。

一実施形態では、テキスト／音声変換器（１６７）は一般的に、テキストを音声に、および／または音声をテキストに変換する任意のソフトウェアおよび／またはハードウェアを表す。例えば、テキスト／音声変換器はクローズドな字幕データに対応するテキストを音声ファイルに変換する機能を含んでもよい。音声ファイルはコンピュータ化された声に基づいてもよく、または、ユーザ、架空のキャラクタ、あるいは実在のキャラクタなどの声を用いるように調整されてもよい。一実施形態では、特定のメッセージのために用いられる、自動的に生成された音声は、メッセージを生成するユーザの声であってもよい。テキスト／音声変換器は、音声からテキストに、またはテキストから音声に変換されるときに言語を切り換える機能を含んでもよい。例えば、フランス語による音声入力を英語によるテキストメッセージに変換してもよい。

一実施形態では、周辺ユニット（１９５）は一般的に、メディア装置（１００）と（例えばＵＳＢ、外部シリアルＡＴＡ（ｅＳＡＴＡ）、パラレルＡＴＡ、シリアルＡＴＡ、ブルートゥース、赤外線などを介して）通信可能に結合された任意の周辺機器のために、入力および／または出力を提示する。周辺機器の例は、リモートコントロール装置、ＵＳＢドライブ、キーボード、マウス、マイクロフォン、およびメディア装置（１００）を操作するように用いられることができる音声認識装置を含んでもよい。一実施形態では、複数のマイクロフォンが音声を検出する、ユーザ位置を識別する、などのために用いられてもよい。一実施形態では、マイクロフォンはメディア装置（１００）またはメディア装置（１００）と通信可能に結合された他の装置（例えばリモートコントロール）の一部であってもよい。一実施形態では、メディア装置（１００）は、ユーザからの音声入力が（例えばマイクロフォンを介して）受信されたときに、再生されているメディアコンテンツ（例えば、特定の番組、または特定の番組内の位置）を識別する機能を含んでもよい。

一実施形態では、表示サブシステム（１７０）は一般的に、１つ以上の画像を出力する機能（例えばディスプレイ１７１のビデオ出力）、および／または実際に表示する機能を含む任意のソフトウェアおよび／または装置を表す。ディスプレイ装置の例にはキオスク（ｋｉｏｓｋ）、ハンドヘルドデバイス、コンピュータ画面、モニタ、テレビジョンなどが挙げられる。ディスプレイ装置は、液晶ディスプレイ、陰極線管、プロジェクタ、プラズマ画面、などの異なるタイプの画面を用いてもよい。メディア装置（１００）からの出力は、用いられるディスプレイ装置のタイプ、ディスプレイ装置の寸法、解像度（例えば７２０ｉ、７２０ｐ、１０８０ｉ、１０８０ｐ、またはその他の適切な解像度）、などに応じて特別にフォーマットされてもよい。

３．０ メディアコンテンツフィンガプリントに基づく追加のコンテンツの提示
図２は一実施形態に応じた、追加のコンテンツを提示するフロー図を示す。以下に記載のステップの１つ以上は省かれたり、反復されたり、および／または異なる順番で実行されたりしてもよい。したがって、図２に示されたステップの特定の配置は、本発明の範囲を限定するものと解釈されるべきではない。

はじめに、実施形態に応じて、メディアコンテンツを提示するコマンドを受信する（ステップ２０２）。受信されたコマンドはキーボードまたはリモートコントロール装置を介してユーザによって入力されてもよい。コマンドは、メディアコンテンツの記録および／または再生のためのユーザによる電子番組ガイド（ＥＰＧ）内における選択であってもよい。コマンドはユーザによって入力されたチャネル選択であってもよい。コマンドは写真のスライドショーを表示する要求であってもよい。コマンドは音声ファイルを再生するものであってもよい。コマンドはムービーを再生する要求であってもよい（例えばブルーレイプレイヤのための要求）。一実施形態では、メディアコンテンツを提示するコマンドの受信は、ユーザインターフェイス上の検索フィールド内でメディアコンテンツの題名をユーザが入力することを含んでもよい。一実施形態では、メディアコンテンツが提示される（ステップ２０４）。メディアコンテンツを提示することは、音声および／または視覚メディアコンテンツ（例えば、映像コンテンツ）の再生、画像を表示または印刷することなどを含んでもよい。メディアコンテンツを提示することは、該メディアコンテンツを、これまた提示されている他のメディアコンテンツ上にオーバレイすることを含んでもよい。

一実施形態では、フィンガプリントはメディアコンテンツから抽出される（ステップ２０６）。メディアコンテンツからフィンガプリントを抽出する例は、１つ以上のビデオフレームの強度値を射影ベクトルの組に射影し、射影された値の組を得ることを含む。そして、フィンガプリントのビットが、射影された値のそれぞれに基づいて計算され、メディアコンテンツのためのフィンガプリントを計算するように連結される。別の例として、数学的関数を音声ファイルのスペクトログラムに適用することが挙げられてもよい。他のフィンガプリント抽出技法が、１つ以上の実施形態に応じてメディアコンテンツからフィンガプリントを抽出するために用いられてもよい。一実施形態では、メディアコンテンツが再生されているときにフィンガプリントが動的に該メディアコンテンツから抽出される。例えば、コンテンツ送信元から受信されているメディアコンテンツは、再生およびフィンガプリント抽出を同時に行われてもよい。フィンガプリントはメディアコンテンツ認識、例えば、特定の番組、映画などを識別することのために抽出されてもよい。３次元ビデオを含むメディアストリームもまたフィンガプリント抽出されることができる。一実施形態では、３次元ビデオをフィンガプリント抽出することは、３次元ビデオのフィンガプリント部分を選択することを含んでもよい。例えば、３次元ビデオストリームにおける近いオブジェクト（例えば、３次元ビデオを視聴しているときにより近くに現れるオブジェクト）がフィンガプリント抽出のために選択され、顔または構造体を認識してもよい。近いオブジェクトは、オブジェクトに関連づけられた被写界深度のタグに基づいて、または、他のオブジェクトと比較した相対的なオブジェクトの寸法によって選択されてもよい。

一実施形態では、提示されているメディアコンテンツに関連づけられた追加のコンテンツを提示するコマンドが、受信される（ステップ２０８）。包括的な追加のコンテンツ（例えば、メディアコンテンツの任意の特徴）を識別するコマンドが受信されてもよい。再生されているメディアコンテンツの情報には、例えば、映画のあらすじの概要、映画に出演する俳優、映画の制作された年、特定のメディアコンテンツに関する収録時間、映画の監督またはプロデューサ、映画のジャンル、などがある。一実施形態では、特定の情報が要求されてもよい。例えば、現在上映されているシーンの世界の地理的位置を要求するコマンドがある。他の例では、現在表示されているシーンにおける人物を識別するものを要求するコマンドを含んでもよい。他の例では、映画のあるシーンにおける自動車の年代および形式の要求を含んでもよい。他の例では、タイムスタンプなどの、コンテンツに関する情報を保存または発表する要求、冒頭からのずれの要求、後に使用または参照するための他の文脈的資料の要求、などを含んでもよい。したがって、特定の情報の要求はメディアコンテンツのシーンにおける場所、物、または人物を識別するものを含んでもよい。

ユーザによって要求された追加のコンテンツは、該追加のコンテンツに関するコマンドが受信されるときには有効ではないかもしれない。したがって、追加の情報は、コマンドを受信した後で、メディアコンテンツのフィンガプリントに基づいて、動的に識別される（ステップ２１０）。例えば、メディアコンテンツから抽出されたフィンガプリントはウェブサーバに問い合わせて、フィンガプリントに合致するシーンにおける物、場所、または人物を識別するものを受信するために用いられてもよい。また、フィンガプリントが、再生されているメディアコンテンツを識別するために用いられて、メディアコンテンツにすでに関連づけられたメタデータを得てもよい。一実施形態では、追加情報を提示するコマンドを受信した後で、フィンガプリントはメディアコンテンツから動的に抽出されてもよい。

一実施形態では、追加のコンテンツが提示される（ステップ２１２）。追加のコンテンツの提示は、ユーザに提示されるメディアコンテンツのトップに該追加のコンテンツをオーバレイすることからなってもよい。追加のコンテンツの提示は、本来のコンテンツを寸法変更、切り取り、そうでなければ変更することによって置き換えたフレームの部分に該追加のコンテンツをオーバレイすることを含んでもよい。本来の、または変更されたメディアコンテンツのトップに追加のコンテンツをオーバレイするために、圧縮されていないＨＤフレームがフレームバッファにロードされ、追加のデータが同一のフレームバッファに書き込まれ、それによって本来のフレーム情報に追加のデータがオーバレイする。追加の情報は、再生されているメディアコンテンツ、ＥＰＧ表示データ、出願人によって所有され参考によって本明細書に組み込まれる米国特許第６６４２９３９号明細書に記載されたバナー表示フォーマットのチャネル標識、番組のあらすじ、などに関連してもよい。例えば、映画において、シーンの場所の地理的位置が、該シーンと同時に画面に表示されてもよい。別の例では、任意の所与の時間に、シーンの現在の出演者の名前をフィールドに表示してもよい。物、場所、人物などの名前を、画面上の該物、場所、人物と結びつける視覚的標識が表示されてもよい。例えば、シーンにおける自動車と、該自動車に関する識別情報の間の直線などである。追加のコンテンツが、表示された映像に関する広告主、企業などへのリンクを提供してもよい。例えば、画面に表示された自動車に関する追加の情報は、該自動車に関する識別情報、該自動車を販売する自動車販売店の名前、該自動車を販売する自動車販売店へのリンク、該自動車に関する価格情報、該自動車に関する安全情報、または識別された自動車に直接的にまたは間接的に関連する任意の他の情報が挙げられる。別の例は、（例えばブロードキャストサービスから受信された、あるいはウェブサーバから受信された）コンテンツストリーム上で有効なコンテンツに関する情報を提示することを含んでもよい。コンテンツ自身がフレームにオーバレイされてもよく、記載つきのリンクがフレームにオーバレイされてもよく、その場合はリンクはユーザ入力を介して選択されることができる。追加のコンテンツは字幕データとして提示されてもよい。別の実施形態では、ユーザに選択された言語によるサブタイトルが、例えば映画またはテレビショーのようなコンテンツのトップにオーバレイされてもよい。サブタイトルは、サブタイトルファイルの実在するデータベースからのダウンロードを含む様々な方法によって抽出されてもよく、本来のコンテンツからの字幕テキストのリアルタイム機械翻訳によって抽出されてもよい。別の例は、ミュージックビデオまたはコンサートのトップに、同期した歌詞をオーバレイすることを含んでもよい。システムはこの動作を、いくつかのフレームの間だけ行ってもよく、ユーザがオーバレイを取り除く指示を出すまで行ってもよい。この点において、システムはフレームバッファに追加の情報を書き込むことを中断してもよい。一実施形態において、オーディオコンテンツは本来のコンテンツからの音声を置き換えてもよく、オーバレイしてもよい。一例は、ナショナルフットボール試合の全国ブロードキャストの音声ストリームを地方のラジオアナウンサーの音声ストリームで置き換えることを含んでもよい。一例は、追加の音声、例えばシーンにおける俳優のコメンタリーを、本来のメディアからの音声とリアルタイムでミックスすることを含んでもよい。この例は、本来の音声と追加の音声、例えば増幅音声の切り換えを含んでもよい。

４．０ メディアコンテンツフィンガプリントに基づく再生位置の決定
図３は、一実施形態によるメディアコンテンツの再生の位置を決定するフロー図を示す。以下に記載のステップの１つ以上が省かれたり、反復されたり、および／または異なる順序で実行されてもよい。したがって、図３に示されるステップの特定の配置は、本発明の範囲を限定するものとして解釈されるべきではない。

最初に、メディアコンテンツを提示するコマンドが受信され（ステップ３０２）、一実施形態により該メディアコンテンツが提示される（ステップ３０４）。ステップ３０２およびステップ３０４は本質的に上記のステップ２０２およびステップ２０４と同一である。

一実施形態では、フィンガプリントは再生されているメディアコンテンツから抽出され（ステップ３０６）、第１の装置上のメディアコンテンツの再生の位置を決定する（ステップ３０８）。例えば、メディア装置はコンテンツストリーム内の（または任意の他の送信元からの）メディアコンテンツを受信するため、メディア装置はメディアコンテンツを表示して、表示されている特定のフレームからのフィンガプリントを抽出してもよい。メディア装置はフレームからｎフレームごとにフィンガプリントを抽出してもよく、ｉＦｒａｍｅからフィンガプリントを抽出してもよく、任意の他のフレーム選択機構に基づいてフィンガプリントを抽出してもよい。１つ以上のフレームから抽出されたコンテンツのフィンガプリントは、次いでフィンガプリントのデータベースと比較され、フレームのフィンガプリントと合致するデータベースのフィンガプリントを識別してもよい。フィンガプリントのデータベースは、メディア装置自身上でローカルに実施されてもよく、メディア装置に通信的に結合されるサーバ上で実施されてもよい。コンテンツのフィンガプリントとデータベースのフィンガプリントの合致は、完全一致であってもよく、該２つのフィンガプリントが共通性の閾値（例えば、少なくともフィンガプリント合致のシグナチャビットの閾値）を超えたことであってもよい。ひとたび合致がデータベース内で識別されると、データベースのフィンガプリントに関連づけられて記憶されたメタデータが得られる。メタデータはメディアコンテンツの位置を含んでもよい。例えば、メタデータは、フィンガプリントがメディアコンテンツのｎ個の全フレームのうちｋ番目のフレームに対応する旨を示してもよい。この位置情報および／または秒あたりのフレームの数に基づいて、メディアコンテンツの再生の位置が決定されてもよい。メタデータは位置を明示的に示してもよい。例えば、メタデータは、フィンガプリントがメディアコンテンツの開始から３５分３秒の再生の位置に対応する旨を示してもよい。

第１の装置上のメディアコンテンツの再生の位置に基づいて、１つ以上の実施形態に基づいて第２の装置上で同時に同一のメディアコンテンツを再生することによって、第２の装置が第１の装置と同期されてもよい（ステップ３１０）。ひとたびメディアコンテンツの再生の位置が第１の装置に関して決定されると、第２の装置上のメディアコンテンツの再生がこの位置で開始されてもよい。メディアコンテンツが第２の装置上ですでに再生中の場合、第２の装置上でのメディアコンテンツの再生は停止されてこの位置から再開されてもよい。代替として、第２の装置上のメディアコンテンツの再生はこの位置まで早送りまたは巻き戻しされてもよい。

一実施形態では、生のブロードキャストまたは記憶された番組の視聴が、メディア装置内に組み込まれたバッファを用いて同期されてもよい。例えば、コンテンツストリームにおいて受信されるコンテンツは、受信された時に複数の装置上に記憶されてもよい。その後、装置は、メディアコンテンツの再生、メディアコンテンツの一時停止、メディアコンテンツの早送り、およびメディアコンテンツの巻き戻しを同期的に開始するように通信してもよい。メディアコンテンツ全体を記憶することができる大容量バッファが一実施形態において用いられてもよい。代替として、より小容量のバッファが用いられることができ、ビデオフレームは表示されたときに削除され、コンテンツストリームにおいて受信された新しいビデオフレームと置き換えられてもよい。生のブロードキャストまたは記憶された番組の同期された再生は、フレームレベルでの同期を得るために特定の時刻においてメモリバッファに記憶された特定のフレームを再生することを含んでもよい。例えば、２つの装置は、メモリ内に記憶される特定のフレームがどの秒に再生されるか、および将来のフレームが再生されるべき速度を示す情報を交換してもよい。したがって、同一の開始時刻に基づいて、正確に同時に、またはほぼ同時に異なるメディア装置上でフレームが表示されてもよい。さらに、同期が維持されることを確実にするように、追加のフレーム／時間の組み合わせが決定されてもよい。メディア装置が異なる時間帯で用いられる場合、時間は時間差を考えに入れるように調整されてもよい。例えば、グリニッジ標準時（ＧＭＴ）がメディアコンテンツの同期された再生においてすべてのメディア装置にわたって用いられてもよい。

一実施形態では、同一のメディアコンテンツを再生する複数の装置の同期の後で、同期が維持されてもよい。同期を維持するために、１つの装置上で受信された任意の再生機能（例えば、停止、早送り、巻き戻し、再生、一時停止、など）が両方の装置上で実行されてもよい（ステップ３１２）。

一実施形態では、広告の再生はメディアコンテンツの再生の位置に基づいて検出されてもよい（ステップ３１４）。例えば、コンテンツストリーム上で利用可能なメディアコンテンツは、テレビショー、およびテレビショーの最中に何度も散りばめられた広告を含んでもよい。メディアコンテンツの構成情報は、テレビショーが２５分間にわたって再生されると、その後に５分の広告が入り、その後にまたテレビショーが２５分間あり、さらにその後に５分の広告が入る、ということを示してもよい。したがって、メディアコンテンツの再生の位置が開始から２０分であると判定された場合、テレビショーが再生される。しかしながら、メディアコンテンツの再生の位置が開始から２７分であると判定された場合、広告が再生される。

一実施形態では、広告の再生は、メディアコンテンツの再生の位置の決定なしで検出されてもよい。例えば、メディアコンテンツがテレビショーおよびテレビショーの間に散りばめられた広告を含む場合、広告は、現在再生されているメディアコンテンツから抽出されたフィンガプリントに基づいて検出されてもよい。現在再生されているメディアコンテンツから抽出されたフィンガプリントは、テレビショーからのみ抽出されたフィンガプリントまたは広告からのみ抽出されたフィンガプリントと比較されてもよい。比較に基づいて、現在再生されているメディアコンテンツがテレビショーの一部であるか広告の一部であるか判定されてもよい。

一実施形態では、広告の再生は、メディアコンテンツ内に存在する要素に基づいて検出されてもよい。例えば、再生されているメディアコンテンツから抽出されたフィンガプリントに基づいて、メディアコンテンツ内の俳優の顔が認識されてもよい。そして、俳優の名前は、テレビショーに出演の俳優としてリストに載った俳優の名前と比較されてもよい。再生されているメディアコンテンツ内で検出された俳優が、テレビショーに出演の俳優としてリストに載った俳優と合致する場合には、テレビショーが再生されている。あるいは、再生されているメディアコンテンツ内で検出された俳優がテレビショーに出演の俳優としてリストに載った俳優と合致しない場合は、広告が再生されている。一実施形態では、時間ウインドウが、テレビショー内で知られている俳優の検出のために用いられてもよく、テレビショーが再生されていると結論づけるためには、テレビショーに出演の俳優としてリストに載った少なくとも１人の俳優が時間ウインドウ内で検出されなければならない。

広告が再生されている旨の判定に応じて、１つ以上の実施形態による多くの異なる動作が行われてもよい。一実施形態では、広告は自動早送りされてもよい。例えば、広告の再生が検出されると同時に、広告の再生が完了する（例えば、テレビ番組の再生がフィンガプリントに基づいて再び検出されるとき）まで自動早送り機能がメディアコンテンツの再生に適用されてもよい。同様に、広告は自動的に消音されてもよく、広告の終了の検出に応じて消音解除機能が選択される。

一実施形態では、メディアコンテンツが記録されている場合、広告は自動的に記録からスキップされてもよい。例えば、コンテンツ送信元から受信されている映画の記録において、メディアコンテンツの非広告部分（例えば映画の部分）が記録され、メディアコンテンツの広告部分は記録からスキップされてもよい。

一実施形態では、代替の広告が表示されてもよい。コンテンツストリームを受信および表示した場合、コンテンツストリームの検出された広告部分は代替の広告に置き換えられてもよい。例えば、スポーツバーのメディア装置は、コンテンツストリームにおいて受信される広告の代わりに特別な飲み物を表示するようにプログラミングされてもよい。代替として、メモリに記憶された、またはサーバからストリーミングされた、ローカルな販売者からの広告が、コンテンツストリームに受信された広告の代わりに受信されてもよい。メディアコンテンツに基づいて広告が選択されてもよい。例えば、スポーツイベントの再生の最中の場合、人に向けられた広告が選択されてもよい。

一実施形態では、広告には該広告に関する追加のコンテンツが追加されてもよい。コンテンツストリームを受信するとき、該コンテンツストリームの検出された広告部分は寸法変更、切り取り、そうでなければ変更されてもよく、置き換えられた空きスペースに追加のコンテンツがプログラムによって追加されてもよい。例えば、劇場映画がまもなく上映開始される旨の広告に、装置から１５マイルの近さにある劇場での興行の件が追加されてもよい。ユーザは、追加のコンテンツに関連づけられた１つ以上の対話的機能、例えば、選択されたローカルな劇場および興行を含む、将来の提示、参照、券の購入、または他の関連する行動のために利用するための、広告された映画に関する情報を記憶する選択肢などを提示されてもよい。別の例では、広告には、該広告に関するゲーム、クイズ、投票、映像、および音声が追加されてもよい。一実施形態では、広告には、該広告に関するユーザのソーシャルネットワークコネクションによって選択された行動に関する情報が追加されてもよい。デジタルカメラの広告には、同一のデジタルカメラでユーザの友人が撮った写真が追加されてもよい。別の例では、ＤＶＤで最近発売された映画の広告には、その映画の友人による評価およびレビューが追加されてもよい。

一実施形態では、広告には該広告に関連しない追加のコンテンツが追加されてもよい。コンテンツストリームを受信するとき、該コンテンツストリームの検出された広告部分は寸法変更、切り取り、そうでなければ変更されてもよく、置き換えられた空きスペースに追加のコンテンツがプログラムによって追加されてもよい。一実施形態では、ユーザは、広告の最中の表示の一部を用いて自分好みにされたコンテンツを表示するように、システムに指示することができる。一実施形態では、自分好みにされたコンテンツは、ユーザの好みのスポーツチームの最新の得点および統計を含んでもよい。別の実施形態では、コンテンツはｅメール、ＳＭＳ、インスタントメッセージ、ソーシャルネットワークの通知、およびボイスメールなど、ユーザの最新の受信メッセージのすべてまたはいくつかを含んでもよい。別の実施形態では、ユーザは、広告に割り込まれたコンテンツに関する追加のコンテンツに関する情報を提示されてもよい。別の例では、ユーザは以前に始めたゲームにおいて交代で自分の順番がくるチャンスを提示されてもよい。一実施形態では、ユーザは、例えば将来の提示、参照、または他の関連する行動において用いられるためのコンテンツに関する情報を記憶する選択肢など、追加のコンテンツに関連する１つ以上の対話的な機能を提示されてもよい。一例では、ユーザはキーボードまたはマイクロフォンを用いて、ＳＭＳ、ｅメール、ボイスメール、またはインスタントメッセージに応答することを選んでもよい。

一実施形態では、メディア装置による広告の表示の通知が、関心のある者（例えば販売者またはブロードキャスト業者）に提供されてもよい。例えば、販売者の広告がメディア装置で再生される場合、販売者の広告が実際に再生された旨がコンテンツ送信元に通知されてもよい。さらに、販売者の広告が早送りされた場合、販売者の広告が早送りされた旨がコンテンツ送信元に通知されてもよい。この情報は、販売者が広告の効果を判定するために、販売者に提供されてもよい。広告が以前に記憶された記録の一部として再生されたのか、コンテンツ送信元から受信した際に直接再生されたのかを含む追加の情報が、関心のある者に提供されてもよい。

一実施形態では、広告検出に基づいてユーザの累積統計が集められてもよい。例えば、特定のタイプの広告またはユーザによって見られたメディアコンテンツが、ユーザの関心を決定するように記録されてもよい。これらのユーザの関心は、販売者に提供され、サーバ上に記憶され、ユーザに関連づけられた対話的なウェブページ上に発表され、またはその他の方法で提示される。複数のユーザの匿名情報が、ユーザの閲覧または入力に基づいて、報告を作成するために収集されてもよい。出願人によって所有され本明細書に参照により組み込まれる、米国特許出願第１０／１８９９８９号明細書はそのような手法を記載する。

５．０ 記録情報または視聴情報の発表
図４は、一実施形態による広告の再生を検出するフロー図を示す。以下の１つ以上のステップが省かれたり、反復されたり、および／または異なる順番で実行されてもよい。したがって、図４に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。

一実施形態では、第１のユーザに関連づけられた第１の装置上でメディアコンテンツを視聴するか記録するコマンドが受信される（ステップ４０２）。メディアコンテンツを視聴するか記録するコマンドは、電子番組ガイド（ＥＰＧ）における選択によって受信されてもよい。コマンドはメディアコンテンツ（例えば映画、スポーツイベント、または特定のテレビショー）の単一の記録のためのものでもよく、またはメディアコンテンツの一連の記録（例えば複数のエピソードからなるテレビショー）のためのものでもよい。メモリ上にローカルに記憶されたメディアコンテンツファイルを再生するコマンドが受信されてもよい（例えば、ＤＶＤプレーヤはＤＶＤを再生するコマンドを受信してもよく、デジタルビデオレコーダは記憶された記録を再生するコマンドを受信してもよい）。一実施形態では、単一のメディア装置がそのようなすべてのコマンドを受信して、それに応じてその他の装置（例えばＤＶＤプレーヤ、ブルーレイプレーヤ）に指示してもよい。

第１の装置上のメディアコンテンツの視聴または記録が、一実施形態によって発表される（ステップ４０４）。メディアコンテンツの視聴または記録の発表は、ユーザ固有であってもよい。例えば、メディアコンテンツの視聴または記録はユーザに関連づけられたウェブページ（例えば、ＭｙＳｐａｃｅ（Ｒ）またはＦａｃｅｂｏｏｋ（Ｒ）などのネットワークウェブサイト上のユーザウェブページ）（ＭｙＳｐａｃｅ（Ｒ）はカリフォルニア州Ｂｅｖｅｒｌｙ ＨｉｌｌｓのＭｙＳｐａｃｅ，Ｉｎｃ．の登録商標であり、Ｆａｃｅｂｏｏｋ（Ｒ）はカリフォルニア州Ｐａｌｏ ＡｌｔｏのＦａｃｅｂｏｏｋ，Ｉｎｃ．の登録商標である）上に投稿されてもよく、グループページ（例えば、グループのために指定されたウェブページ）上の投稿は、他のユーザにｅメールで送信されてもよく、テキストメッセージ内で提供されてもよく、任意の他の方法で発表されてもよい。一実施形態では、ユーザによる視聴または記録のすべては、ユーザからのメッセージ（例えばＴｗｉｔｔｅｒ（Ｒ）を用いて。Ｔｗｉｔｔｅｒ（Ｒ）はカリフォルニア州Ｓａｎ ＦｒａｎｃｉｓｃｏのＴｗｉｔｔｅｒ，Ｉｎｃ．の登録商標である）を受信するように選択された他のユーザのリストに自動的にｅメールで送信されてもよい。メディアコンテンツの視聴または記録の発表には、メディアコンテンツに応じた料金がかかってもよい。例えば、ユーザがペイパービュー映画を選択する場合、映画の料金が発表されてもよい。一実施形態では、メディアコンテンツの視聴または記録の発表は、メディアコンテンツに関連づけられた発表に関するユーザの名前（またはユーザに関連づけられたユーザネーム）の発表を含んでもよい。例えば、特定のメディアコンテンツを視聴したすべてのユーザが、ソーシャルネットワーキングウェブサイトに関連づけられた単一のウェブページ上で発表されてもよい。特定のメディアコンテンツに関する、ユーザが該特定のメディアコンテンツを視聴した旨を示す投稿に返答した（例えば「好き」「同意」「シェア」など）任意のユーザが、単一のウェブページ上で発表されてもよい。

一実施形態では、第１のユーザに関連づけられた第１の装置上のメディアコンテンツを記録するコマンドの受信に応じて、メディアコンテンツは該第１の装置および第２のユーザに関連づけられた第２の装置上に記録される（ステップ５０６）。例えば、第１の装置はメディアコンテンツの記録の予定を第２の装置に通知し、第２の装置は該メディアコンテンツを自動的に記録してもよい。別の例では、第１の装置からの通知に応じて、第２の装置がメディアコンテンツの記録のために第２のユーザにプロンプトを示してもよい。第２の装置はしたがって、メディアコンテンツを記録する旨のユーザのコマンドの受信に続いて、メディアコンテンツを記録してもよい。一実施形態では、第２の装置上でのメディアコンテンツの記録は、上記のような、第１の装置上での記録の発表（例えばウェブサイト上）に続いて行われてもよい。例えば、第２のユーザは第１のデバイス上へのメディアコンテンツの記録の発表に関連づけられたウェブサイト上のリンクを選択し、第２のユーザに関連づけられた第２の装置上に該メディアコンテンツを記録する。一実施形態では、メディア装置は別のメディア装置によって記録されたすべての番組を記録することによって該別のメディア装置を模倣するように構成されてもよい。

複数の装置上への同一のメディアコンテンツの記録が、一実施形態によって検出されてもよい（ステップ４０８）。例えば、ユーザグループ内の異なるユーザが、彼らそれぞれのメディア装置上に同一のメディアコンテンツの記録をそれぞれスケジューリングしてもよい。グループ内のユーザに関連付けられた各メディア装置の記録スケジュールは収集され、任意の重なる記録スケジュールを検出するように（例えばサーバ、サービス業者、またはメディア装置の１つによって）比較されてもよい。一実施形態では、メディア装置上にすでに記録されたメディアコンテンツが、別のメディアコンテンツ上にすでに記録されたメディアコンテンツと比較されてもよく、別のメディアコンテンツ上への記録スケジュールと比較されてもよい。

一実施形態では、メディア装置が、別の特定のメディア装置による記録の予定が入っている任意のメディアコンテンツの記録を自動的にスケジューリングするように構成されてもよい。したがって、メディア装置は装置識別番号によって識別される別のメディア装置を模倣するように構成されてもよい。メディア装置は特定のユーザに関連づけられた任意の装置を模倣するように構成されてもよい。例えば、第１のユーザは、ソーシャルネットワーキングウェブサイト上の第２のユーザの投稿に基づいて、該第２のユーザが新しいショーまたは番組のすばらしい選択をしたと決定してもよい。そして第１のユーザは、第２のユーザに関連づけられたメディア装置の識別番号または第２のユーザの名前を用いて模倣要求を発信することによって、第２のユーザのテレビジョン視聴習慣を模倣することを選択してもよい。代わりに、第１のユーザはソーシャルネットワーキングウェブサイト上の好みを示してもよい。そしてソーシャルネットワーキングウェブサイトは第１のユーザおよび第２のユーザの識別子をコンテンツ送信元に送信してもよく、それは、第１のユーザに関連づけられたメディア装置を、第２のユーザに関連づけられたメディア装置によって記録されたショーと同じものを記録するように構成する。

一実施形態では、各メディア装置はメディア装置記録予定のデータベース（例えばサーバ上、第３者のサービスによって提供されるなど）にアクセスするように構成されてもよい。ユーザは自分自身のメディア装置を用いてこのデータベースにアクセスしてもよく、特定のユーザの名前または識別子によって参照される別のメディア装置の記録を模倣してもよい。例えば、ユーザは、別のユーザによっても記録されている特定のショーを選択してもよい。一実施形態では、ユーザは視聴または記録のためのショーを選択するために他の記録関連統計にアクセスすることができてもよい。例えば、メディア装置記録データベースは将来の記録スケジュールに基づいて、あるいはすでに終了した記録に基づいて、あるいはコンテンツストリーム上で利用可能にされたときにショーを視聴したユーザの数に基づいて、最も人気のあるショーを表示してもよい。

複数の装置上で同時にメディアコンテンツを再生する時刻が、実施形態に応じてスケジューリングされてもよい（ステップ４１０）。メディアコンテンツを再生する時刻は自動的に選択されてもよく、１人以上のユーザからの入力に基づいて選択されてもよい。例えば、特定のメディアコンテンツを記録する（またはすでに記録された）ようにスケジューリングされたメディア装置に関連づけられたすべてのユーザは、重複する選択を通知されてもよく、それぞれのメディア装置を用いるすべてのユーザによってメディアコンテンツを同時に視聴する時刻を、１人のユーザが選択してもよい。別の例では、各メディア装置はそれぞれのユーザにとって利用可能な視聴時刻を決定するようにユーザアベイラビリティカレンダー（ｕｓｅｒ ａｖａｉｌａｂｉｌｉｔｙ ｃａｌｅｎｄａｒ）にアクセスしてもよい。その後、すべてのユーザ（またはユーザの大半）が利用可能となるように、ショーの同期的な視聴がカレンダーにおいてスケジューリングされてもよい。

同一のメディアコンテンツの視聴者／記録者が、一実施形態によってメディアコンテンツに関連づけられたグループに自動的に登録されてもよい（ステップ４１２）。例えば、特定の映画のすべての視聴者および／または記録者は、映画の各記録／視聴に応じて、映画に関連づけられたソーシャルネットワーキンググループに自動的に登録されてもよい。メディアコンテンツを議論し、同一の視聴の好みを有する他のユーザを探し、同一の記録のための視聴時刻をスケジューリングし、または他の任意の適切な目的のためのフォーラムとして、自動登録グループがユーザによって用いられてもよい。メディアコンテンツを同期して再生している複数の装置に関連づけられた２人以上のユーザのために議論フォーラムが開始されてもよい。議論フォーラムはユーザを招待してインスタントメッセージングチャット（例えば、Ｙａｈｏｏ（Ｒ）インスタントメッセージング、Ｇｏｏｇｌｅ（Ｒ）チャット、ＡＩＭ（Ｒ）、Ｔｗｉｔｔｅｒ（Ｒ）など（Ｙａｈｏｏ（Ｒ）はカリフォルニア州ＳｕｎｎｙｖａｌｅのＹａｈｏｏ！，Ｉｎｃ．の登録商標である。Ｇｏｏｇｌｅ（Ｒ）はカリフォルニア州Ｍｏｕｎｔａｉｎ ＶｉｅｗのＧｏｏｇｌｅ，Ｉｎｃ．の登録商標である。ＡＩＭ（Ｒ）はバージニア州ＤｕｌｌｅｓのＡＯＬ ＬＬＣの登録商標である。Ｔｗｉｔｔｅｒ（Ｒ）はカリフォルニア州Ｓａｎ ＦｒａｎｃｉｓｃｏのＴｗｉｔｔｅｒ，Ｉｎｃ．の登録商標である））、ビデオチャット（例えばＳｋｙｐｅ（Ｒ）。Ｓｋｙｐｅ（Ｒ）はアイルランド国ＤｕｂｌｉｎのＳｋｙｐｅ Ｌｉｍｉｔｅｄ Ｃｏｒｐ．の登録商標である）、ウェブサイトスレッド、または電子メッセージ（ｅメール）スレッドに参加させるメディア装置によって開始されてもよい。議論フォーラムは２人のユーザを含んでもよく、任意の数のユーザを含んでもよい。議論フォーラムは知り合いであることがすでに知られているユーザのために開始されてもよい。例えば、ユーザどうしがソーシャルネットワーキングウェブサイト上で友人である場合に議論フォーラムが開始されてもよい。一実施形態では、議論フォーラムは販売者を可能性のある顧客に紹介するために生成されてもよい。例えば、フットボール試合の再生の最中に、フットボール試合入場券の販売者とのチャットへの招待案内が提示されてもよい。一実施形態では、議論フォーラムはデーティングポータル（ｄａｔｉｎｇ ｐｏｒｔａｌ）として実施されてもよい。例えば、デーティングサーバに加入しており同じショーを見ており同じ地理的領域にいる男性および女性が、メディア装置によるチャットに招待されてもよい。別の例はアクティビティポータルを含む。例えば、メディア装置は、料理チャンネルショーの視聴者に一緒に料理をするよう誘うように構成されてもよく、旅行チャンネルの視聴者を特徴のある行き先に一緒に旅行させるよう誘うように構成されてもよい。メディア装置は上記のように、任意の他のコンピュータ装置（例えば他のメディア装置またはパーソナルコンピュータ）と通信するように構成されてもよい。

６．０ メディアコンテンツからのフィンガプリントの抽出
図５は一実施形態によるメディアコンテンツからのフィンガプリントの抽出のためのフロー図を示す。以下に記載のステップの１つ以上が省かれたり、反復されたり、および／または異なる順序で実行されてもよい。したがって、図５に示されるステップの特定の配置は、本発明の範囲を限定するものとして解釈されるべきではない。

一実施形態では、メディア装置がアイドル基準を満たしているかを判定するように、メディア装置は監視される（ステップ５０２）。アイドル基準はメディア装置または構成要素の不使用、または使用パーセンテージ（例えば、全周波数帯の中の有効周波数帯に関するパーセンテージ、または全処理出力の中の有効処理出力に関するパーセンテージ）に基づいてもよい。メディア装置は自己監視されてもよく、サーバによって監視されてもよい。アイドル基準のためにメディア装置を監視することは、ユーザコマンドを受信することのない期間の満了を検出することを含んでもよい。アイドル基準のためにメディア装置を監視することは、メディアコンテンツを受信する、および／またはメディアコンテンツからフィンガプリントを抽出するために必要とされるリソースの利用可能性を検出することを含んでもよい。メディア装置を監視することは、メディア装置の異なる構成要素を別々に監視することを含んでもよい。例えば、ユーザがメディア装置上に記憶された記録を視聴し、メディア装置にストリーミングされた任意の追加のコンテンツを記録しない場合、チューナはアイドルであるかもしれない。この情報に基づいて、チューナがアイドル基準を満たしている旨の判定が行われてもよい。したがって、メディア装置の異なる構成要素が別々のアイドル基準に関連づけられてもよい。別の例では、メディアコンテンツからのフィンガプリントの抽出に必要な構成要素はアイドル基準を満たすかもしれない。

一実施形態では、メディア装置はメディアコンテンツからフィンガプリントを抽出する目的でコンテンツ送信元からメディアコンテンツを受信する（ステップ５０４）。メディア装置（またはメディア装置内の構成要素）がアイドル基準を満たす旨のコンテンツ送信元への告知に応じて、メディア装置はメディアコンテンツを受信してもよい。一実施形態では、コンテンツ送信元は、メディア装置がアイドル基準を満たすかどうかを自動的に検出してもよい。例えば、コンテンツ送信元は、メディア装置が任意の特定のメディアコンテンツ（例えば、ブロードキャストコンテンツ、ウェブコンテンツなど）を視聴することを要求していない旨を判定してもよい。したがって、チューナは大抵、メディアコンテンツをダウンロードする周波数帯を有する。一実施形態では、メディア装置は複数のコンテンツストリームを受信する機能を含んでもよい。この実施形態では、コンテンツ送信元は、いくつのコンテンツストリームがメディア装置によって受信されているか判定してもよい。メディア装置の知られている構成および／または機能に基づいて、コンテンツ送信元は追加のメディアコンテンツを受信するためのチューナの有効帯域幅を決定してもよい。ひとたびアイドル基準が満たされれば、コンテンツ発信元はフィンガプリントを生成するメディア装置のために特定のメディアコンテンツをダウンロードしてもよい。

一実施形態では、コンテンツ送信元は、アイドル基準を満たす複数のメディア装置にブロードキャストされるメディアコンテンツを分配することによって、メディアコンテンツのためのフィンガプリントのデータベースを構築してもよい。例えば、５０００個の装置がアイドル基準を満たし、２０００個のユニークなメディアコンテンツファイルがフィンガプリント抽出される場合、メディア装置からそれぞれのフィンガプリントを生成するために、コンテンツ送信元は５０００個のメディア装置のそれぞれに４つのユニークなメディアコンテンツファイルを送信するかもしれない。一実施形態では、メディア装置から抽出されたフィンガプリントにエラーがある場合、またはメディア装置がフィンガプリントの抽出中に中断された場合に備えて、コンテンツ送信元は各ユニークなメディアコンテンツファイルを２つ以上のメディア装置に送信してもよい。コンテンツ送信元は、メディア装置にすでにダウンロードされたコンテンツをフィンガプリント抽出するようにメディア装置に指示してもよい（例えば、ユーザのコマンドに基づいて）。一実施形態では、ユーザがメディア装置の使用を再開し、それによってメディア装置によるフィンガプリントの抽出を阻止または中止してもよい。一実施形態では、メディア装置上にメディアコンテンツをダウンロードする前に、アイドル基準が満たされるときにコンテンツ送信元がメディア装置の使用許可を要求するプロンプトをユーザに示してもよい。特定の機能（例えばフィンガプリントの抽出）を実施および／または遂行するためにユーザがコンテンツ送信元にメディア装置を使用させる場合、コンテンツ送信元は、ペイパービュー映画を見るためのクレジットなどのインセンティブを提供してもよい。

一実施形態では、フィンガプリントはメディア装置によってメディアコンテンツから抽出される（ステップ５０６）。任意の技法がメディアコンテンツからフィンガプリントを抽出するために使用されてもよい。１つの例はビデオフレーム内の画素の強度値に基づいてビデオフレームからフィンガプリントを抽出することである。（例えば、メディア装置上にダウンロードされる）機能が強度値のそれぞれに適用されてもよく、その結果に基づいて、シグナチャビット（例えば「０」または「１」）が強度値に割り当てられてもよい。同様の技法は、音声データから生成されたスペクトログラムの方法を適用することによる音声フィンガプリント抽出のために用いられてもよい。

フィンガプリントはコンテンツ送信元からの特定の指示に基づいてメディア装置によって抽出されてもよい。例えば、フィンガプリントは特定のメディアコンテンツファイルのすべてのビデオフレームから抽出されてもよい。変わりに、フィンガプリントはメディア装置によって受信されるｎ番目のフレームごとに、またはｉＦｒａｍｅごとに抽出されてもよい。一実施形態では、フィンガプリントされるための特定のフレームがタグ付けされてもよい。タグ付け技法は、すべて出願人によって所有され、参照によって本明細書に組み込まれる、米国特許出願第０９／６６５９２１号明細書、米国特許出願第１１／４７３９９０号明細書、および米国特許出願第１１／４７３５４３号明細書に記載されている。ひとたびメディア装置がタグ付けされたフレームを受信すると、メディア装置はフレームを圧縮から解凍してもよく、フレームを分析してもよく、フレームからフィンガプリントを抽出してもよい。ビデオフレームフィンガプリントはメディアコンテンツ（例えば、メディアコンテンツの名前、エピソードの番号など）に基づいてメディア装置によってカテゴリー分けされてもよい。

一実施形態では、メディア装置はユーザによって視聴されているメディアコンテンツに関するフィンガプリントを抽出してもよい。例えば、ユーザはメディア装置によって表示される電子番組ガイド上で特定のショーを選択してもよい。そしてメディア装置は、コンテンツソースから、特定のショーを含むコンテンツストリームを要求してもよい。任意のステップとして、フィンガプリントがメディア装置によって要求される特定のショーのために必要とされるかどうかを、送信元が表示してもよい。表示はメディア装置によって受信されたデータにおけるフラグであってもよい。特定のショーが、フラグによって表示されたとおりフィンガプリント抽出が必要な場合、メディア装置は、対応するビデオフレームを圧縮から解凍し、圧縮から解凍されたビデオフレームをメモリにロードし、ビデオフレームを分析してビデオフレームからフィンガプリントを抽出してもよい。一実施形態では、ユーザは、フィンガプリント抽出されているメディアコンテンツの再生の途中でチャンネルを変更してもよい。結果として、チューナは異なるコンテンツストリームを受信せざるを得なくなってもよい。この場合、メディア装置はメディアコンテンツの一部のみのために抽出されたフィンガプリントを有してもよい。メディア装置は、フィンガプリントが抽出されたメディアコンテンツの再生の開始部分および終了部分を示すメタデータを生成してもよい。

一実施形態では、メディア装置はメディアコンテンツ（またはメディアコンテンツの一部）から抽出されたフィンガプリントを、フィンガプリントサーバに実施形態に基づいてアップロードする（ステップ５０８）。したがって、フィンガプリントデータベースは、メディアコンテンツに関するフィンガプリントをそれぞれアップロードする複数のメディア装置によって構築されてもよい。メディアコンテンツの一部のみに関して受信されたフィンガプリントは、同一のメディアコンテンツからの他のフィンガプリントと組み合わされて完全なフィンガプリントを生成してもよい。例えば、１つのメディア装置が番組の前半のビデオフレームに対するフィンガプリントを生成してアップロードし、第２のメディア装置が同一の番組の後半に対するフィンガプリントを生成してアップロードする場合、２つの装置から受信された２つのフィンガプリントを組み合わせて、番組のすべてのビデオフレームに関するフィンガプリントを得てもよい。

１つ以上の実施形態による、メディア装置から抽出されたフィンガプリントの収集および記憶のための例示的なアーキテクチャが、図６に示される。フィンガプリント管理エンジン（６０４）は一般的に、メディア装置によって抽出されたフィンガプリントを得るために構成されることができる任意のハードウェアおよび／またはソフトウェアを表す（メディア装置Ａ（６０６）、メディア装置Ｂ（６０８）、メディア装置Ｃ（６１０）、メディア装置Ｎ（６２０）など）。フィンガプリント管理エンジン（６００）は、メディア装置によって抽出されたフィンガプリントを得るための機能を含むコンテンツ送信元または他のシステム／サービスによって実施されてもよい。フィンガプリント管理エンジン（６０４）は（例えばメディアコンテンツ、あるいはメディアコンテンツを含むコンテンツストリームからのユーザによる選択に応じて）メディア装置によってすでに受信されたメディアコンテンツに関するフィンガプリントを得てもよい。フィンガプリント管理エンジン（６０４）は、特にフィンガプリントの抽出の目的で、メディア装置にメディアコンテンツを送信してもよい。フィンガプリント管理エンジン（６０４）は、メディア装置がアイドルである旨の検出に応じて、フィンガプリント抽出のためにメディア装置にメディアコンテンツを送信してもよい。一実施形態では、フィンガプリント管理エンジン（６０４）は、メディア装置によって抽出されたフィンガプリントの記憶および問い合わせのためにフィンガプリントデータベース（６０２）を維持する。

７．０ メッセージの提示
図７は、一実施形態によるメッセージの提示のためのフロー図を示す。以下の１つ以上のステップが省かれたり、反復されたり、および／または異なる順番で実行されてもよい。したがって、図７に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。

はじめに、ユーザに関連づけられたメッセージの好みが受信される（ステップ７０２）。メッセージの好みは一般的に、メッセージのタイミング、メッセージのフィルタリング、メッセージの優先度、メッセージの表示、または任意の他のメッセージに関連づけられた特徴など、メッセージコンテンツに関連づけられた任意の好みを表す。例えば、メッセージの好みは、メッセージが受信されるとすぐに提示されるものか、特定の時間（例えば、コマーシャルが表示されているとき）まで保持されるものかを示してもよい。メッセージの好みは、メッセージ送信元またはメッセージ受信者に基づいて異なる好みを表示してもよい。例えば、特定のウェブサイト、リアリーシンプリーシンジケーション（ＲＳＳ）フィード、または特定のユーザからのメッセージが、最初に提示されるべき、または受信されるとすぐに提示されるべき高い優先度のメッセージとして分類される。低い優先度のメッセージは特定の時間の間保持されてもよい。メッセージの好みは、メッセージが受信されたままで提示されるもの、テキストに変換されるもの、音声に変換されるもの、特定の方法／フォーマット／スタイルにおいて提示されるもの、などであるかどうかを示してもよい。メッセージの好みは自動化された動作にしたがってもよく、特定のメッセージを受信すると自動的に特定の動作を行うことにつながる。１つ以上の好み（例えばメッセージの好み）、履歴の閲覧、および／またはユーザに関連づけられた他の情報が、ユーザのプロファイルをつくりあげる。

一実施形態では、メッセージの好みはユーザ定義のアラート条件を含んでもよい。例えば、アラート条件には、特定の条件を満たすｅメール、ボイスメール、テキストメッセージ、インスタントメッセージ、ツイッターのツイートなどを受信したことを含んでもよい。アラート条件は、ユーザの特定のリストによって実行される特定のユーザの動作を含んでもよい。例えば、アラート条件はウェブページ上にハイキング行事への誘いを投稿する特定のユーザであってもよい。アラート条件は通信における特定のキーワード、通信に関連づけられた主題、などに基づいてもよい。例えば、「緊急」または「至急」という単語が通信内に見出される場合に、アラート条件が満たされてもよい。アラート条件はセキュリティ（例えば家の警報または自動車の警報が作動している）に関してもよい。アラート条件は台所設備に関してもよい。例えば、アラート条件はオーブンのタイマーの作動とリンクされてもよい。アラート条件はユーザ指定のエンティティのステータスの変化を含んでもよい。例えば、アラート条件はソーシャルネットワーキングウェブサイトのユーザがステータスを「交際中」から「ひとり身」に変更する場合に関してもよい。アラート条件は、ユーザプロファイルに基づいて選択された、コンテンツストリーム内の特定のメディアコンテンツの利用可能性を含んでもよい。例えば、ユーザプロファイルは視聴履歴、俳優の名前、メディアコンテンツのジャンル、メディアコンテンツに関連づけられた言語を含んでもよい。メディアコンテンツがユーザプロファイルのどこかの部分と合致した場合、アラート条件が満たされてそれに応じてアラートが示されてもよい。

一実施形態では、メッセージの好みはユーザからの直接の入力で受信されてもよく、ユーザファイルに基づいて決定されてもよく、（例えばウェブページまたはユーザに関連づけられたその他のファイルから、あるいはデータベースに問い合わせる、など）インターネットから得られてもよい。メッセージの好みはメディア装置上で利用パターンを監視することによって得られてもよい。例えば、利用パターンが、ユーザがメッセージの通知を受信するとすぐにメッセージをチェックする旨を示す場合、メッセージの好みは、メッセージはすぐに表示あるいは再生するべきものとする旨を示してもよい。ユーザに関するメッセージの好みは、送信者に基づいてもよい。例えば、メッセージの送信者が配信方法および／または配信の好みを示してもよい。メッセージの好みはランダムに（例えばユーザの入力で）、定期的に、または継続的に変更されてもよい。

一実施形態では、メディアコンテンツを再生するコマンドが受信される（ステップ７０４）。受信されたコマンドはキーボード、リモートコントロール、マウス、ジョイスティック、マイクロフォン、または任意のその他の適切な入力装置を介してユーザによって送信されてもよい。コマンドは、コンテンツの再生のためのユーザによる電子番組ガイド（ＥＰＧ）内での選択であってもよい。コマンドはユーザによって入力されるチャンネル選択であってもよい。コマンドは画像のスライドショーを表示する要求であってもよい。コマンドは音声ファイルを再生する旨であってもよい。コマンドは映画を再生する要求であってもよい（例えばブルーレイプレーヤのための要求）。一実施形態では、メディアコンテンツを提示するコマンドの受信は、ユーザインターフェイス上の検索フィールド内にメディアコンテンツの題名をユーザが入力することを含んでもよい。メディアコンテンツを再生するコマンドは、メモリ内に記憶された特定のメディアコンテンツのユーザによる選択であってもよい。

一実施形態では、メディアコンテンツが再生される（ステップ７０６）。一実施形態では、メディアコンテンツはコマンドに応じて再生されてもよく、コマンドを受信せずに再生されてもよい。例えば、ユーザは、最後に選択されたチャンネルまたはデフォルトのチャンネル上のコンテンツストリームを受信するように自動的に構成されたメディア装置をオンにすることができる。一実施形態では、メディア装置は、ユーザの好みに基づいて、または別のメディア装置上のメディアコンテンツの再生または記録に応じて、再生するためにメディアコンテンツを自動的に選択してもよい。

一実施形態では、メッセージはメディアコンテンツを再生している間に受信されてもよい（ステップ７０８）。メッセージはネットワーク（例えばインターネット、イントラネット、ブロードキャストサービス）を介してローカルまたはリモートの送信元から受信されてもよい。メッセージはインターネット接続を介してウェブサービスから受信されてもよい。例えば、ソーシャルネットワーキングウェブサイトに関連づけられた友人メッセージまたはステータスの変化がウェブサービスから受信されてもよい。ウェブサービスはソーシャルネットワーキングウェブサイトに関連づけられたすべてのメッセージ、または特定の好みに関連してフィルタリングされて選ばれたメッセージを提供するように構成されてもよい。別の例は、ニュース、スポーツ、エンターテインメント、天気、株価、または任意の他の適切なカテゴリに関連づけられたウェブサービスから受信されるリアリーシンプリーシンジケーション（ＲＳＳ）フィードを含んでもよい。一実施形態では、メッセージはコンテンツ送信元によって提供されるサービスに関するコンテンツ送信元から受信されてもよい。例えば、メッセージは自動車購入サービスの利用可能性を示してもよく、売りに出ている特定の自動車の利用可能性を示してもよい。

メッセージはユーザまたはユーザのグループにメッセージ（例えばボイスメール、テキストメッセージ、ｅメールなど）を向けてもよい。メッセージは生成されたときの形態とは異なる形態で受信されてもよい。例えば、テキストメッセージは音声ファイルとして受信されてもよく、テキストメッセージはテキストメッセージの受信後にメディア装置によって音声ファイルに変換されてもよい。逆に、音声ファイルがテキストメッセージとして受信されたり、テキストメッセージに変換されたりしてもよい。一実施形態では、記号、略語、画像などがメッセージを表すために用いられてもよい。一実施形態では、ある言語で受信されたメッセージが異なる言語に翻訳されてもよい。

一実施形態では、メッセージの受信はユーザ定義のアラート条件の成立を検出することを含んでもよい。例えば、すべてのメッセージが監視されてユーザ定義のアラート条件と比較されてもよい。一実施形態では、ＥＰＧデータ、ＲＳＳフィード、ウェブページ、イベントログ、ＯＣＲを用いて得られた表示情報、または任意のほかの情報源が、アラート条件の成立のために監視されてもよい。受信されたメッセージのいずれかがアラート条件と合致する場合、アラート条件の成立が識別されてもよい。そしてアラートが直ちに提示されてアラート条件の成立を示してもよい。アラート条件の成立を示すメッセージはユーザの好みに基づいて解釈されてもよい。

メッセージを直ちに提示すべきか、後の時刻に提示すべきか、あるいはまったく提示しないかの判定が行われてもよい（ステップ７１０）。ユーザの好みに基づいて、受信されたメッセージは受信してすぐに表示されてもよく、後の時刻まで保持されて表示されてもよい（ステップ７１７）。メッセージはコマーシャルブレークの最中に、特定のスケジュールに基づいて、または別の適切な時刻に、ユーザが視聴するためにメッセージを選択したときに提示されてもよい。メッセージはユーザの好みに基づいてフィルタリングされてもよい。例えば、各受信されたメッセージはユーザ定義のアラート条件と比較されて、該メッセージがユーザ定義のアラート条件と合致するかどうか決定してもよい。ユーザ定義のアラート条件と合致するメッセージが表示され、ユーザ定義のアラート条件と合致しないメッセージはフィルタリングされてもよい。

一実施形態では、メッセージの表示は、視覚的なフォーマットでメッセージを提示すること、および／または音声フォーマットでメッセージを提示することを含んでもよい。例えば、メッセージはフレームバッファ内にメディアコンテンツフレームをロードし、フレームバッファ内のメッセージコンテンツをオーバレイしてメディアコンテンツフレームの一部を上書きすることによって提示されてもよい。フレームバッファのコンテンツは表示画面上に提示されてもよい。別の例示的な実施形態では、メディアコンテンツとメッセージコンテンツで異なるバッファが用いられてもよく、表示画面のコンテンツは両方のバッファから得られる。一実施形態では、メッセージの提示はメッセージ情報を表示すること、および、メッセージ情報を含む音声ファイルを同時に再生することを含んでもよい。画面上で再生されるメッセージ情報と音声ファイル内で再生されるメッセージ情報は同一でもよく異なっていてもよい。例えば、表示画面はメッセージに関連付けられた、またはメッセージを読み上げている人物の顔を表示してもよく、そのとき音声ファイルは実際のメッセージを含んでいてもよい。位置実施形態では、音声メッセージの再生は、再生されるメディアコンテンツに関連づけられた音量を消すか小さくすることを含んでもよい。

８．０ コマンドの解釈
図８は一実施形態による音声コマンドを解釈するためのフロー図を示す。以下の１つ以上のステップが省かれたり、反復されたり、および／または異なる順番で実行されてもよい。したがって、図８に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。

最初に、マルチメディア装置の近くにいる１人以上のユーザが識別される（ステップ８０２）。１人以上のユーザが、マルチメディア装置またはマルチメディア装置に関連づけられた入力装置（例えばマイクロフォン、リモートコントローラ）によって受信された音声入力に基づいて識別されてもよい。例えば、マルチメディア装置（または関連する入力装置）は、検出可能な音声入力を定期的にサンプリングして、該音声入力を、知られているユーザを識別するユーザの音声を表すデータと比較するように構成されてもよい。ユーザ音声を表すデータは、ユーザによって実行された音声訓練エクササイズに基づいて、マルチメディア装置がユーザに関連づけられた音声サンプルを受信するように生成されてもよい。ユーザは能動的または受動的モードで識別されてもよい。例えば、ユーザのコマンドが受信されてユーザを認識したときに、ユーザは識別されてよく、または、特定のユーザコマンドなしに自動的にユーザが識別されてもよい。例として音声認識が用いられるが、ユーザを認識するほかの手段が用いられてもよい。例えば、ユーザの名前が入力装置（例えば、キーボード、マウス、リモートコントローラ、ジョイスティックなど）を介して入力されてもよい。世帯に関連づけられたメタデータに基づいてユーザが識別されてもよい。メディア装置上の指紋検出または別の通信可能に結合された装置（例えばリモートコントローラ）上での指紋検出を用いてユーザが識別されてもよい。

一実施形態では、音声コマンドがユーザから受信される（ステップ８０４）。音声コマンドは、音声コマンドが与えられるべき旨を最初に示すユーザによって受信されてもよい。例えば、ユーザは、「コマンド」などのキーワードを言ってもよく、ユーザが音声コマンドを送信する予定である旨を示すリモートコントローラなどの装置上に入力してもよい。すべての音声入力を連続して処理し、該音声入力を知られているコマンドと比較して、音声コマンドが送信されたか判定することによって、音声コマンドが受信されてもよい。例えば、現在の時刻から直近のｎ秒における音声入力が、分析のために連続的に送信され、音声コマンドが直近のｎ秒に受信されたか判定してもよい。一実施形態では、音声コマンドの異なる部分が、異なるユーザから受信されてもよい。例えば、コマンド「記録する」が第１のユーザから受信され、様々なタイトルの番組／ショーが複数のユーザから受信されてもよい。他のコマンドの例は「ピザを注文する」、「このゲームはすばらしいとツイート（ｔｗｅｅｔ）する」「エミーズ（ｅｍｍｙｓ）を見に来たい人のウォールポスト（ｗａｌｌ ｐｏｓｔ）」などである。音声コマンドがこの例で用いられたが、任意のタイプの入力（例えば、マウスを用いる、キーボードを用いる、ジョイスティックを用いる）が許容されてもよい。

コマンドは、１人以上の識別されたユーザに関連づけられた好み（例えばユーザのプロファイル）に基づいて解釈され（ステップ８０６）、実行すべき行動を判定してもよい（ステップ８０８）。コマンドを解釈することは、コマンドが１人のユーザ（例えば、コマンドを与えたユーザ）に適用されるか、複数のユーザ（例えばステップ８０２で識別された複数のユーザ）に適用されるかを判定することを含んでもよい。特定のコマンドの語句は、単一のユーザコマンドを示してもよく、複数のユーザコマンドを示してもよい。例えば、ツイートコマンドは、デフォルトでは単一のユーザ、例えば、該コマンドを送信したユーザに適用されるコマンドとして解釈されてもよい。さらに、コマンドはユーザの好み／設定に基づいて解釈されてもよい。コマンド「このゲームはすばらしい」を送信したユーザがツイッター（ｔｗｉｔｔｅｒ）のアカウントに関連づけられている場合、実行されるべき動作は、ユーザのツイッターアカウントに「このゲームはすばらしい」との語句を含むツイートを生成することである。単一のユーザに適用されるコマンドの別の例には、「エミーズを見に来たい人は壁に書き込む」が含まれる。この場合、ユーザによるコマンドはフェイスブック（Ｆａｃｅｂｏｏｋ）ウォールポストとして認識されてもよく、メッセージ「エミーズを見に来たい人」がユーザのフェイスブックのプロファイル上に投稿されてもよい。マルチメディア装置は、あるタイプのコマンドを複数のユーザコマンドに関連づけるように構成されてもよい。例えば、食べ物の注文が、識別されたユーザすべてに関連づけられてもよい。コマンド「ピザを注文する」はすべての識別されたユーザの好みに合致するトッピングを有するピザの注文と解釈されてもよい。コマンド「チケットを買う」は現在テレビジョンで宣伝されているフットボール試合のチケットをすべての識別されたユーザの分だけ購入する注文と解釈されてもよい。コマンドは、識別されたユーザに基づく完全な解釈のために、意図的に曖昧にされてもよい。例えば、コマンド「記録されたショーを再生する」は、何人の識別されたユーザがユーザの好みに基づいて記録されたショーを好むかを決定するように、メディア装置上に記録されたショーのそれぞれを評価するという結果となってもよい。その後で、識別されたユーザの中で最も多くの人数の好みと合致する記録されたショーが、再生のために選択される。

一実施形態では、コマンド解釈のすべてまたは一部が実行の前にユーザに確認されてもよい。例えば、ピザを注文する場合、ユーザの好みに基づいて選択されたピザのトッピングが、確認のために提示されてもよい。コマンドの確認を含む別の例は、金銭または閾値以上の額の金銭を必要とする任意の注文を含んでもよい。

一実施形態では、コマンドはユーザに関連づけられた許可に基づいて解釈されてもよく、コマンドは、コマンドを与えるユーザがコマンドを与える許可を有する場合にのみ実行されてもよい。例えば、Ｒ指定の映画の記録および／または再生は１７歳を超えるユーザに限定されてもよい。ユーザの年齢を含むプロファイルが、各ユーザに対してセットアップされてもよい。１７歳を超える識別されたユーザがＲ指定の映画の記録／再生のコマンドを与えた場合は、該コマンドは実行される。しかしながら、１７歳を下回るユーザがＲ指定の映画の記録／再生のコマンドを与えた場合は、コマンドは拒否される。一実施形態では、コマンドはユーザの宗教的および／または政治的な信条に基づいて解釈されてもよい。一実施形態では、民主党員のユーザが選挙報道を記録するコマンドを送信した場合は民主党によって提供される選挙報道番組が記録され、共和党員がコマンドを入力した場合は共和党によって提供される選挙報道番組が記録されてもよい。

一実施形態では、コマンドを入力するために用いられる言語が、コマンドを解釈するために用いられてもよい。例えば、ショーを記録するコマンドがフランス語で入力された場合、利用可能なサブタイトルのストリームの組からフランス語のサブタイトルが選択されてショーが記録されてもよい。別の例では、複数の音声ストリームが異なる言語で有効な場合、選択された音声ストリームはコマンドの言語に基づいてもよい。

９．０ 入力とメディアコンテンツの相関化
図９は一実施形態による注釈（ａｎｎｏｔａｔｉｏｎ）とメディアコンテンツを相関させるフロー図を示す。以下の１つ以上のステップが省かれたり、反復されたり、および／または異なる順番で実行されてもよい。したがって、図９に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。さらに、特定のタイプの注釈（例えば、音声、テキスト、画像など）が以下の例で論じられるが、発明の実施形態は任意のタイプの注釈に適用可能である。

一実施形態では、メディアコンテンツが再生される（ステップ９０２）。メディアコンテンツは音声と映像両方のコンテンツを含んでもよく、メディアコンテンツは映像のコンテンツのみを含んでもよい。メディアコンテンツの再生と同時に、ユーザから受信された音声入力が記録されてもよい（ステップ９０４）。ユーザから受信された音声入力はメディアコンテンツへの一般的な反応であってもよい。例えば、音声入力は笑い、興奮（例えば、あえぎ声、「ワオ（ｗｏｗ）」など）、コメンタリー、批評、賞賛、またはメディアコンテンツへの任意のその他の反応である。一実施形態では、コメンタリーはメディアコンテンツの後の再生を意図された音声入力を含んでもよい。例えば、旅行の目的地に関するドキュメンタリー映画において、ユーザは、取り上げられている旅行の目的地に関連づけられた物語または思い出を含む音声を発信してもよい。別の例では、メディアコンテンツのある部分に関連する記録のために、メディアコンテンツの該部分の最中にバンドが歌詞を提供してもよい。別の実施形態では、ユーザは本来の言語におけるメディアコンテンツの再生の最中に、コメンタリー、あらすじ、登場人物の紹介、または、メディアコンテンツに関する任意のその他の情報を、異なる言語で提供してもよい。音声入力の別の形態（例えば、同一のユーザによる、または異なるユーザによる）が、特定のメディアコンテンツに関連づけられて記録されてもよい。一実施形態では、音声入力は意図された再生情報のための指示と共に提供されてもよい。例えば、再生情報は、送信された音声が本来の音声全体を置き換えるものであるか、本来の音声と同時に再生されるものである旨を示してもよい。一実施形態では、音声入力は、メディアコンテンツに関連づけられたテキストに基づいて会話を生成する、テキストから会話への翻訳装置によって自動的に生成されてもよい。例えば、代替の言語による会話が、代替の言語による字幕テキストに基づいて生成されてもよい。一実施形態では、光学的な文字認識が、画面に表示された建物の名前、文字、チームの名前などを識別し、視覚を損なった聴衆または情報を読むことができない聴衆（例えば言語の障壁または年齢のために）のための音声に変換するために用いられてもよい。一実施形態では、音声入力はメディアコンテンツの特定の一部の再生と同時に受信され、メディアコンテンツの該特定の一部に関連づけられて記憶されてもよい。

一実施形態では、メディアコンテンツはメディアコンテンツの前回の再生の最中に受信された音声入力の後に再生される（ステップ９０６）。メディアコンテンツの前回の再生の間に受信された追加の音声入力の再生は、本来の音声ストリームを完全に置き換えることを含んでもよく、本来の音声ストリームと同時に再生することを含んでもよい。一実施形態では、追加の音声入力は、対応するメディアコンテンツの再生の最中にオンまたはオフに切り換えられることができる特徴を有してもよい。一実施形態では、追加の音声入力の複数のバージョンが提供されてもよく、そこではユーザは、メディアコンテンツの再生中に再生するための特定の追加音声入力を選択する。例えば、異なる映画と共に再生されるべきコメンタリーを入力およびダウンロードするために、オンラインコミュニティが設置されてもよい。異なるメディア装置を伴う異なるユーザは、特定の映画（または他のコンテンツ）に関連して音声入力を記録し、その後で該映画に関連する音声入力をアップロードしてもよい。映画の購入者が映画をダウンロードしたとき、別のユーザによる、映画と共にダウンロード／再生されるべきコメンタリー（例えば音声入力）を、購入者が選択することができるようにしてもよい。購入者が、特定のユーザによるコメンタリーを面白いと思った場合、購入者は該特定のユーザをデフォルトのコメンテータに設定し、映画（またはその他のメディアコンテンツ）をダウンロードするときに、該特定のユーザによるすべてのコメンタリーをダウンロードしてもよい。

音声入力がメディアコンテンツの注釈の例として用いられるが、任意のタイプの注釈が本発明の実施形態によって用いられてもよい。例えば、メディアコンテンツの再生の最中に、１人以上のユーザによってテキストが入力されるか画像が送信されてもよい。一実施形態では、注釈の一部または部分、または注釈の集合体が、新しいコンテンツを抽出するように処理または分析されてもよい。一実施形態では、同一のメディアコンテンツに関連づけられた注釈を集めたものが、注釈パターンを識別するように比較されてもよい。例えば、注釈を集めたものが分析されて、メディアコンテンツ内の最も注目すべき点を決定してもよい。したがって、ユーザの興奮（またはほかの感情）が最大になるシーンまたは俳優が、シーンの最中の注釈から識別されてもよい。別の例では、テキストまたは音声の覚え書きなどの、注釈を集めたものに含まれるユーザのコンテンツが分析されて、集合的なユーザの感情（例えば、映画における最も笑えるシーン、または２００９年に公開された最も笑える映画）を決定することができる。

１０．０ パーソナルメディア装置による注釈の取り出し
一実施形態では、任意の注釈（音声入力、テキスト入力、画像入力などを含む）が、ユーザに関連づけられた個人メディア装置によって、メディアコンテンツの提示の前、最中、または後に取り出されてもよい。注釈の取り出しは、広告主、コンテンツ制作者、コンテンツ監督などによる選択に基づいてもよい。例えば、メディア装置によって受信されて表示されたコンテンツストリームにおけるメディアコンテンツ内のタレントコンテストの表示において、各パフォーマンスの終了時に、レビュー（例えば、投票、格付け、批評、賞賛）のためにメディア装置がユーザにプロンプトを示してもよい。一実施形態では、取り出された注釈（または他の注釈）は、音声入力が送信されたときなどのメディアコンテンツの特定の時点ではなく、全体としてメディアコンテンツに関連づけられてもよい。１つ以上のユーザの注釈が、メディアコンテンツのために（投票を数える、点数をつけるなど）処理されてもよい。

一実施形態では、音声入力はユーザプロファイルを構築するようにメディア装置によってユーザから取り出されてもよい。例えば、異なるメディア装置の反応がユーザから取り出されてもよい。反応に基づいて、ユーザの関心、好み、嫌悪、価値観、政治心情などを含んでもよいユーザプロファイルが自動的に生成されてもよい。自動生成プロファイルは出会い系サービス、ソーシャルネットワーキングウェブサイトなどに用いられてもよい。自動生成プロファイルは（例えばソーシャルネットワーキングウェブサイトの）ウェブページ上で発表されてもよい。

一実施形態では、システムはメディアコンテンツに関連づけられた情報を識別するためにユーザの注釈を取り出すことができる。例えば、すでに検出されているが自動的には識別されることができない顔の識別のために、注釈が取り出されてもよい。システムは、メディアコンテンツが再生された後で、メディアコンテンツが子どもに適切であるかどうかを含む、親からの注釈を取り出すように構成されてもよい。

１１．０ メディアコンテンツのマーキング
一実施形態では、メディアコンテンツの再生の位置をマークするためにユーザによって注釈が使用されてもよい。例えば、ユーザは、メディアコンテンツの再生における現在の位置をマークするようにシステムに指示する、「マーク」「覚え書き」「記録」などの特定のキーワードを含む音声入力または文字入力を、メディアコンテンツの再生の最中に送信してもよい。システムは、ユーザの反応に基づいて特定の位置を自動的にマークしてもよい。例えば、ある周波数またはあるデシベルレベルを超えたユーザ入力は、ユーザが興奮している旨を示すかもしれない。この興奮点は自動的に記憶されてもよい。一実施形態では、マークされた点は開始点および／または終結点を含んでもよい。例えば、スポーツ試合の興奮する部分と相関してもよい高いユーザアクティビティの期間が、開始点および終結点によってマークされてもよい。親は子どもに適切でないメディアコンテンツの開始点と終結点をマークしてもよく、マークされた部分はパスワードが入力されない限り再生のときにスキップされてもよい。ユーザはホームビデオにおいておもしろい部分にマークしてもよい。ユーザが点をマークするか、ユーザのリアクションに基づく自動的なマークの結果として、点に関連づけられた注釈が記憶されてもよい。注釈は、本来のコンテンツ、時間、または本来のコンテンツの開始からずれたフレーム、およびユーザが点をマークしたＵＴＣを参照して具体化されてもよい。音声入力が例として用いられてもよいが、入力はリモートコントローラ上のキーを押す、マウスをクリックする、キーワードに関するコマンドを入力する、または任意の他の入力方法を用いて送信されてもよい。

一実施形態では、メディアコンテンツの特定の点をマークする（または識別する）ことは、メディアフレームをマークすることを含んでもよい。例えば、参照によって本明細書に組み込まれる、２０００年９月２０日に出願されて出願人が所有する特許出願第０９／６６５９２１号に記載されるように、メディアフレームはタグを用いてマークされてもよい。別の例は、参照によって本明細書に組み込まれる、２００６年６月２２日に出願されて出願人が所有する特許出願第１１／４７３５４３号に記載されるように、ハッシュ値を用いてメディアフレームをマークすることを含んでもよい。一実施形態では、メディアコンテンツにおける特定の点をマーキングすることは、メディアコンテンツにおける１つ以上のフレームからフィンガプリントを抽出して、該フィンガプリントを用いてメディアコンテンツの特定の点を認識することを含んでもよい。一実施形態では、メディアコンテンツの再生における開始点からの時間間隔を記憶することによって特定の点がマークされてもよい。

一実施形態では、ユーザにマークされた位置は、特定の時刻にユーザによって選択されてもよい。例えば、ユーザはメディアコンテンツの再生の間に「次」または「スキャン」を押すことによって、ユーザにマークされた異なる位置によってスキャンすることができてもよい。マークされた点のそれぞれからの情報はユーザに提示されてもよく、ユーザは特定の画像を選択し、ユーザにマークされた対応する点からメディアコンテンツの再生を開始／再開することができる。ユーザの注釈を用いて、メディアコンテンツを異なる部分に動的に分割してもよい。ユーザの注釈を用いて、メディアコンテンツのある部分（例えば注釈／興奮のない期間）をフィルタリングし、メディアコンテンツの以後の再生においてメディアコンテンツの残りの部分を再生してもよい。

１２．０ メディアコンテンツ注釈の発表
一実施形態では、注釈のすべてまたは一部が（例えばウェブサイトまたはウェブサービス上で参照されるか提示されるなど）発表されてもよい。一実施形態では、注釈のすべてまたは一部が別のシステム上のユーザに自動的に提示されてもよい。一例では、ユーザはｅメールまたはＳＭＳアドレスに注釈の全部または一部を送信するようにシステムに要求することができる。別の例では、オンラインショッピングカートに映画を自動的に追加するか、別のユーザ（例えば映画評論家または友人）が映画に肯定的な注釈をしているときにキュー（ｑｕｅｕｅ）に入れるように、ユーザはシステムに要求してもよい。一実施形態では、メディアコンテンツの注釈は、メディアコンテンツの注釈の売買または取引のためのオンラインコミュニティにおいてユーザによって売られてもよい。一実施形態では、注釈（例えば、埋め込まれた注釈を有するメディアコンテンツ）は、あるメディア装置から別のメディア装置に向けられて送信されてもよい（例えば、ｅメール、イントラネット、インターネット、または任意の他の利用可能な通信手段によって）。

１３．０ 自動的に生成された注釈
一実施形態では、システムはメディアコンテンツの字幕をつけられた部分からメディアコンテンツの注釈のコンテンツを抽出してもよい。一例では、システムは自然言語処理システムおよび／または意味解析システムによって認識された正しい名前を含む注釈を生成することができ、したがって正しい名前が字幕に現れて、映像コンテンツに注釈を関連づけることができる。別の実施例では、システムは、語句「これらの言葉の後で戻ってきます」または同様の語句が字幕に認識されたとき、コマーシャルブレークの開始を示す注釈を生成することができる。別の例は、明示的な字幕の言語を含むメディアコンテンツの地域に関連づけられた注釈を生成するシステムを含む。そしてシステムは、明示的な字幕の言語に関連づけられたメディアコンテンツの音声部分を自動的に消音する選択肢を提供してもよい。

一実施形態では、システムは光学文字認識システムを利用して音声入力を生成することができる。一例では、システムは宣伝中の映画の題名を含む注釈を生成することができる。例えば、映画の題名が識別されるとすぐに、または映画の予告編の最後に、注釈は（例えば画面の下部に）映画の題名を表示してもよい。別の例では、システムはクレジットに対応するビデオコンテンツから、キャストメンバーの名前を含む音声注釈を生成してもよい。別の例は、スポーツイベントのブロードキャストのテロップ領域内のデータをＯＣＲで抽出して分析することによってスポーツ試合の最中の得点の変動を示す注釈を生成するシステムを含んでもよい。

一例では、システムは、ユーザがＯＣＲからショーおよび映画の題名の集まりを認識することによって電子番組ガイド（ＥＰＧ）をナビゲートしている旨を検出してもよい。そしてシステムは、ＥＰＧに載っている中で最も視聴率が高いショーを推薦する視覚的な注釈をＥＰＧに生成してもよい。一実施形態では、注釈は推薦をさらに適切にするように用いられることができる他の文脈上の情報を含んでもよい。例えば、注釈はユーザによって最近視聴されたコンテンツに基づいてもよく、該注釈は同一のジャンルの、または同一の俳優が出演しているコンテンツをＥＰＧから推薦するように用いられることができる。

一実施形態では、システムは会話テキスト変換システムを利用して注釈コンテンツを抽出してもよい。例えば、システムはメディアコンテンツのダイアログの複写を生成し、将来、音声が消音されたときまたは聴覚が損なわれた人に要求されたときの提示において用いることができる。一実施形態では、抽出された複製は関心のあるトピックまたは人物の存在を監視する別々のシステムによって処理され、そして関心のあるトピックまたは人物に関連づけられた注釈を自動的に生成することができる。

１４．０ 環境構成
図１０は１つ以上の実施形態による環境を構成する例示的なシステムを示す。一実施形態では、環境構成エンジン（１０１５）が、環境配置（１０２５）を決定するように構成された任意のソフトウェアおよび／またはハードウェアを一般的に表す。環境構成エンジン（１０１５）は、図１Ｂに示されたメディア装置内で実施されてもよく、個々の構成要素として実施されてもよい。環境構成エンジン（１０１５）は、環境構成エンジン（１０１５）の近くにいる１人以上のユーザ（例えばユーザＡ（１００５）、ユーザＮ（１０１０）など）を識別してもよく、識別されたユーザに関連づけられたユーザの好み（１０２０）を識別してもよい。ユーザは音声認識に基づいて識別されてもよく、ユーザを識別する他の入力に基づいて識別されてもよい。ユーザの好み（１０２０）に基づいて、環境構成エンジンはユーザインターフェイス、音声システム構成、部屋の照明、ゲーム画面、音楽再生リスト、着席配置、または任意の他の適切な環境構成（１０２５）を構成することができる。例えば、ユーザの好みのグループに関連づけられた５人の友人が識別された場合、スポーツ試合をストリーミングするチャンネルが自動的に選択され、該スポーツ試合に関連づけられた音声ストリームに関する環境音が選択されてもよい。別の例は、カップルを識別して、ロマンティックな喜劇の再生を自動的に開始することを含んでもよい。

１５．０ ハードウェアの概観
一実施形態によれば、本明細書に記載された技法は１つ以上の特定用途のコンピュータ装置によって実施される。特定用途のコンピュータ装置は該技法を実行するためにハードワイヤード（ｈａｒｄ−ｗｉｒｅｄ）されていてもよく、技法を実行するために永続的にプログラミングされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのデジタル電子装置を含んでもよく、またはファームウェア、メモリ、他の記憶装置、または組み合わせにおいてプログラム命令に従って技法を実行するようにプログラミングされた１つ以上の汎用ハードウェアプロセッサを含んでもよい。そのような特定目的コンピュータ装置は、カスタムハードワイヤードされたロジック、ＡＳＩＣ、またはカスタムプログラミングされたＦＰＧＡを組み合わせて該技法を実現させてもよい。特定目的コンピュータ装置は、デスクトップコンピュータシステム、持ち運び可能コンピュータシステム、ハンドヘルド装置、ネットワーク装置、または該技法を実施するためのハードワイヤードおよび／またはプログラミングロジックを組み込んだ任意の他の装置であってもよい。

図１１は、本発明の実施形態が実装されてもよいシステム１１００を示すブロック図である。システム１１００はバス１１０２または情報を通信するための他の通信機構と、バス１１０２と結合されており情報を処理するためのハードウェアプロセッサ１１０４と、を含む。ハードウェアプロセッサ１１０４は、例えば、汎用マイクロプロセッサであってもよい。

システム１１００はまた、バス１１０２に結合された、ランダムアクセスメモリ（ＲＡＭ）または他の動的記憶装置などの、情報およびプロセッサ１１０４によって実行される命令を記憶するためのメインメモリ１１０６を含む。メインメモリ１１０６はまた、プロセッサ１１０４によって実行される命令の実行の間、一時的な変数または他の中間情報を記憶するために用いられてもよい。そのような命令は、プロセッサ１１０４にアクセス可能な記憶媒体に記憶された場合、システム１１００を、該命令に特化した動作を実行するようにカスタマイズされた特定用途の機械にする。

システム１１００はさらに、バス１１０２に結合された、プロセッサ１１０４のために静的情報および命令を記憶するためのリードオンリーメモリ（ＲＯＭ）１１０８または他の静的記憶装置を含む。情報および命令を記憶するための磁気ディスクまたは光ディスクなどの記憶装置１１１０が提供され、バス１１０２に結合される。

システム１１００はバス１１０２を介して、例えば陰極線管（ＣＲＴ）などの、コンピュータユーザに情報を示すためのディスプレイ１１１２に結合されてもよい。情報およびコマンド選択をプロセッサ１１０４に通信するための、英数字および他のキーを含む入力装置１１１４が、バス１１０２に結合される。他のタイプのユーザ入力装置は、方向情報およびコマンド選択をプロセッサ１１０４に通信し、ディスプレイ１１１２上でカーソルの移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御１１１１１である。この入力装置は典型的には、第１の軸（例えばｘ軸）および第２の軸（例えばｙ軸）である２つの軸において２つの自由度を有し、それは装置が平面上での位置を特定することを可能にする。

システム１１００は、システムと組み合わせて、システム１１００を特定用途の機械にするか特定用途の機械へとプログラミングする、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェアおよび／またはプログラムロジックを用いて、本明細書に記載された技法を実施してもよい。一実施形態によれば、本明細書に記載された技法は、メインメモリ１１０６に記載された１つ以上の命令の１つ以上の配列を実行するプロセッサ１１０４に応じてシステム１１００によって実行される。そのような命令は、別の記憶媒体、例えば記憶装置１１００などからメインメモリ１１０６へと読み取られてもよい。メインメモリ１１０６に含まれる命令の配列の実行は、プロセッサ１１０４に本明細書に記載された処理のステップを実行させる。代替の実施形態では、ソフトウェア命令の代わりに、または組み合わせて、ハードワイヤードの回路が用いられてもよい。

本明細書で用いられる用語「記憶媒体」は、特定の態様で機械を動作させるデータおよび／または命令を記憶する任意の媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含む。不揮発性媒体には、例えば、光または磁気ディスク、例えば記憶装置１１１０などが挙げられる。揮発性媒体にはダイナミックメモリ、例えばメインメモリ１１０６などが挙げられる。記憶媒体の共通の形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ−ＲＯＭ、他の任意の光学データ記憶媒体、穴のパターンを有する任意の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップまたはカートリッジが挙げられる。

記憶媒体は送信媒体とは別のものであるが送信媒体と組み合わせて用いられてもよい。送信媒体は記憶媒体の間での情報の転送に関与する。例えば、送信媒体にはバス１１０２を含む配線などの、同軸ケーブル、銅線および光ファイバが挙げられる。送信媒体はまた、音波または、無線通信波または赤外線データ通信の際に生成されるような光波の形態をとってもよい。

様々な形態のコンピュータ読み取り可能媒体が、実施のためにプロセッサ１１０４への１つ以上の命令の１つ以上の配列を実行することに関与してもよい。例えば、命令はリモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で最初に実行されてもよい。リモートコンピュータはそのダイナミックメモリに命令をロードして、モデムを用いて電話線で命令を送信することができる。システム１１００にローカルなモデムが電話線上のデータを受信して、赤外線送信器を用いてデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号に搬送されたデータを受信して、適切な回路がバス１１０２上にデータを流すことができる。バス１１０２はメインメモリ１１０６にデータを搬送し、メインメモリ１１０６からプロセッサ１１０４は命令を取り出して実施する。メインメモリ１１０６によって受信された命令は、プロセッサ１１０４による実施の前または後のいずれかに、記憶装置１１１０上に、任意で記憶されてもよい。

システム１１００はバス１１０２に結合された通信インターフェイス１１１８も含む。通信インターフェイス１１１８はローカルネットワーク１１２２に接続されたネットワークリンク１１２０に、双方向データ通信結合を提供する。例えば、通信インターフェイス１１１８は、総合デジタル通信網（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話線にデータ通信接続を提供するモデムであってもよい。他の例として、通信インターフェイス１１１８は、互換可能なローカルエリアネットワーク（ＬＡＮ）にデータ通信接続を提供するＬＡＮカードであってもよい。無線リンクが実装されてもよい。そのような任意の実装において、通信インターフェイス１１１８は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気的、電磁気的、または光信号を送信および受信する。

ネットワークリンク１１２０は一般的に１つ以上のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク１１２０はローカルネットワーク１１２２を介して、ホストコンピュータ１１２４またはインターネットサービスプロバイダ（ＩＳＰ）１１２１１によって操作されるデータ装置への接続を提供してもよい。同様に、ＩＳＰ１１２１１は、「インターネット」１１２８と一般的に呼ばれている世界的パケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク１１２２およびインターネット１１２８は共に、デジタルデータストリームを搬送する電気的、電磁気的、または光信号を用いる。デジタルデータをシステム１１００へ、またはシステム１１００から搬送する、様々なネットワークを介した信号およびネットワークリンク１１２０上にあって通信インターフェイス１１１８を介した信号は、情報を運ぶ搬送波の例示的な形態をとる。

システム１１００は、ネットワーク、ネットワークリンク１１２０、および通信インターフェイス１１１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ１１３０はアプリケーションプログラムのために要求されたコードを、インターネット１１２８、ＩＳＰ１１２１１、ローカルネットワーク１１２２および通信インターフェイス１１１８を介して送信してもよい。

受信されたコードは受信されたときにプロセッサ１１０４によって実行されてもよく、および／または後の実行のために記憶装置１１１０、または他の不揮発性記憶装置に記憶されてもよい。一実施形態では、装置は、本明細書に記載される１つ以上のハードウェアおよび／またはソフトウェア構成要素の組み合わせである。一実施形態では、ステップを実行するためのサブシステムは、ステップを実行するために構成されてもよい１つ以上のハードウェアおよび／またはソフトウェア構成要素の組み合わせである。

１６．０ 拡張例および代替例
前記の特定において、本発明の実施液体は、実施ごとに変化してもよい数多くの特定の詳細点を参照して記載された。したがって、何が発明であるか、および、何が出願人によって発明と意図されるのかを示す唯一かつ排他的なものは、請求項に由来する特定の形態の、本出願に由来する請求項の組であり、任意のその後の訂正を含む。そのような請求項に含まれる用語に関して本明細書に明示的に記載された任意の定義は、請求項において用いられたような用語の意味を支配するであろうしたがって、請求項に明示的に記載されないいかなる限定、要素、特性、特徴、利点または属性も、そのような請求項の範囲を一切限定すべきではない。明細書および図面は、したがって、限定的な意味ではなく例示的な意味とみなされるべきである。

Claims (9)

1. メディア装置が、コンテンツソースからメディアコンテンツを受信するステップであって、前記メディアコンテンツが、フィンガプリントを前記メディアコンテンツから抽出すべきことを前記メディア装置に示す値を含む、ステップと、
   前記メディアコンテンツに含まれている前記値を検出することに応じて、前記メディア装置が、前記メディアコンテンツから１つ以上のフィンガプリントを抽出するステップと、
   前記メディア装置が、前記メディアコンテンツから抽出された前記１つ以上のフィンガプリントをサーバに送信するステップと
   を備える方法。
2. 前記１つ以上のフィンガプリントを抽出するステップが、さらに、前記メディア装置がアイドル基準を満たす旨を前記メディア装置が検出するステップに応じて行われ、前記メディア装置がアイドル基準を満たす旨を検出するステップが、前記メディア装置が前記アイドル基準を満たす旨を示す信号を前記サーバに送信することを備える、請求項１に記載の方法。
3. 前記１つ以上のフィンガプリントを抽出するステップが、さらに、前記メディア装置がアイドル基準を満たす旨を前記メディア装置が検出するステップに応じて行われ、前記メディア装置がアイドル基準を満たす旨を検出するステップが、前記メディア装置が特定の継続時間の間ユーザコマンドを未だ受信していない旨を検出するステップを備える、請求項１に記載の方法。
4. 前記１つ以上のフィンガプリントを抽出するステップが、さらに、前記メディア装置がアイドル基準を満たす旨を前記メディア装置が検出するステップに応じて行われ、前記メディア装置がアイドル基準を満たす旨を検出するステップが、前記メディア装置がフィンガプリントを抽出するリソース利用可能性を有する旨を決定するステップを備える、請求項１に記載の方法。
5. 前記メディアコンテンツからフィンガプリントを抽出すべきことを前記メディア装置に示す前記値が、フィンガプリントを導出すべき特有フレームを示す、請求項１に記載の方法。
6. 前記メディア装置が、フィンガプリントデータベースに格納されるべき前記メディア装置によって抽出された複数のフィンガプリントを送信するステップを、さらに、備える、請求項１に記載の方法。
7. 前記１つ以上のフィンガプリントが、前記メディアコンテンツの１つ以上のフレームから抽出される、請求項１に記載の方法。
8. 命令の配列を含むコンピュータ読み取り可能な記憶媒体であって、前記命令は、１つ以上のプロセッサによって実行される場合、請求項１から７のいずれか一項以上に記載の方法を実行させる、記憶媒体。
9. １つ以上のプロセッサを含み、かつ請求項１から７のいずれか一項に記載の方法を実行するように構成される、装置。

Images