JP5844274B2 - 多機能マルチメディア装置 - Google Patents

多機能マルチメディア装置 Download PDF

Info

Publication number
JP5844274B2
JP5844274B2 JP2012542214A JP2012542214A JP5844274B2 JP 5844274 B2 JP5844274 B2 JP 5844274B2 JP 2012542214 A JP2012542214 A JP 2012542214A JP 2012542214 A JP2012542214 A JP 2012542214A JP 5844274 B2 JP5844274 B2 JP 5844274B2
Authority
JP
Japan
Prior art keywords
media content
content
media
user
fingerprint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012542214A
Other languages
English (en)
Other versions
JP2013513315A (ja
Inventor
ポニャトフスキ、ボブ
マシューズ、リチャード
Original Assignee
ティヴォ インク
ティヴォ インク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/631,786 external-priority patent/US20110137976A1/en
Priority claimed from US12/631,790 external-priority patent/US8682145B2/en
Application filed by ティヴォ インク, ティヴォ インク filed Critical ティヴォ インク
Publication of JP2013513315A publication Critical patent/JP2013513315A/ja
Application granted granted Critical
Publication of JP5844274B2 publication Critical patent/JP5844274B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/812Monomedia components thereof involving advertisement data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal

Description

本発明は多機能マルチメディア装置に関する。
本節に記載された手法は追求可能な手法であるが、必ずしも以前に着想されたか追求された手法とは限らない。したがって、本明細書に別途示されない限り、本節に記載された手法のいかなる部分も、本節に含まれることのみを理由として従来技術とみなされると考えるべきではない。
マルチメディアコンテンツストリームはユーザへの表示のためのマルチメディアプレーヤによって受信されることができる。さらに、マルチメディアコンテンツに関する一般的な情報が、ユーザへの表示のためのマルチメディアプレーヤによって受信されることができる。マルチメディアコンテンツは一般的に、固定されており編集可能でないフォーマットで提示される。ユーザは制作者によって作成された選択画面によってメディアコンテンツ内の特定の位置に飛ぶことができる。したがって、メディアコンテンツの視聴は一般的に受動的でありユーザの対話は最小限である。
本発明は、例として、しかし限定としてではなく、添付の図面において図示され、同一の参照符号は同一の要素に言及する。
本発明の一実施形態による例示のシステムを示すブロック図である。 本発明の一実施形態による例示のメディア装置を示すブロック図である。 本発明の一実施形態による追加のコンテンツを提示するフロー図である。 本発明の一実施形態によるメディアコンテンツの再生における位置を決定するフロー図である。 本発明の一実施形態による広告の再生を検出するフロー図である。 本発明の一実施形態によるメディアコンテンツからフィンガプリント(fingerprint)を抽出するフロー図である。 メディア装置から抽出されるフィンガプリントの収集および記憶のための例示的なアーキテクチャを示す図である。 本発明の一実施形態によるメッセージを提示するフロー図である。 本発明の一実施形態による音声によるコマンドを解釈するフロー図である。 本発明の一実施形態によるメディアコンテンツの注釈(annotation)を相関させるフロー図である。 本発明の1つ以上の実施形態による環境を構成する例示のシステムを示す図である。 本発明の1つ以上の実施形態による、メディアコンテンツから抽出された1つ以上のフィンガプリントに基づいて記録するためのメディアコンテンツを選択するフロー図である。 本発明の1つ以上の実施形態による、メディアコンテンツの不完全なコピーをメディアコンテンツの完全なコピーで置き換えるフロー図である。 本発明の1つ以上の実施形態による、メディアコンテンツから抽出された1つ以上のフィンガプリントに基づいてコンテンツストリーム内のメディアコンテンツの記録を開始するフロー図である。 本発明の1つ以上の実施形態による、メディアコンテンツから抽出された1つ以上のフィンガプリントに基づいてコンテンツストリーム内のメディアコンテンツの記録を中断するフロー図である。 本発明の一実施形態が実装されることができるシステムの例を示すブロック図である。
以下の記載において、説明の目的で、本発明の完全な理解を提供するために多くの特定の詳細部が記載される。しかしながら、本発明がこれらの特定の詳細部なしに実施可能であることは明らかである。本発明を不必要に不明瞭にすることを避けるように、他の例、周知の構造および装置が、ブロック図の書式に示される。
互いに独立して、あるいは他の特徴との任意の組み合わせでそれぞれ使用されることができる、いくつかの特徴が以下に示される。しかしながら、任意の個別の特徴は、上記の問題のいずれに対処するものでもないかもしれないし、上記の問題の1つのみに対処するものかもしれない。上記の問題のいくつかは本明細書で記載された特徴のいずれによっても十分に対処されないかもしれない。見出しがつけられている。しかしながら、特定の見出しに関するが、その見出しを有するセクションには見出されない情報が、明細書の他のところに見出されるかもしれない。
実施例の特徴は以下の概要に従って記述される。
1.0 機能的な概観
2.0 システムアーキテクチャ
3.0 メディアコンテンツフィンガプリントに基づく追加のコンテンツの提示
4.0 メディアコンテンツフィンガプリントに基づく再生位置の決定
5.0 メディアコンテンツフィンガプリントに基づく記録
6.0 記録情報または視聴情報の発表
7.0 メディアコンテンツからのフィンガプリントの抽出
8.0 更新の提示
9.0 コマンドの解釈
10.0 入力とメディアコンテンツの相関化
11.0 パーソナルメディア装置による注釈の取り出し
12.0 メディアコンテンツのマーキング
13.0 メディアコンテンツ注釈の発表
14.0 自動的に生成された注釈
15.0 環境構成
16.0 ハードウェアの概観
17.0 拡張例および代替例
1.0 機能的な概観
一実施形態において、メディアコンテンツが受信されてユーザに提示される。メディアコンテンツから抽出されたフィンガプリントは、メディアコンテンツを識別するようにサーバに問いかけるために使用される。フィンガプリントに基づいて識別されたメディアコンテンツに基づいて、追加のコンテンツが得られてユーザに提示される。
一実施形態において、追加のコンテンツは(例えば製品、サービス、その他のメディアコンテンツの)広告を含んでもよく、該広告は識別されたメディアコンテンツに基づいて選択される。
一実施形態において、フィンガプリントはメディアコンテンツを提示するコマンドを受信した後に該メディアコンテンツから動的に抽出される。一実施形態では、フィンガプリントは提示されるメディアコンテンツに関連する追加のコンテンツを提示するコマンドを受信した後に該メディアコンテンツから動的に抽出される。
一実施形態において、メディアコンテンツから抽出されたフィンガプリントに基づいて、メディアコンテンツ内に顔が検出される。顔に関連する人物の名前が決定され、追加のコンテンツ内に提示される。顔の検出および/または該顔に関連する人物の名前の決定は、ユーザコマンドの受信に応じて動的に実行されてもよい。
一実施形態において、メディアコンテンツフレーム内の特徴(例えば物体、構造、風景、位置など)がメディアコンテンツから抽出されたフィンガプリントに基づいて検出されてもよい。特徴は識別されてもよく、識別子は提示されてもよい。特徴は識別されてもよく、および/または、識別子はユーザコマンドに応じて提示されてもよい。
一実施形態において、フィンガプリントはメディアコンテンツの再生と並行して動的に抽出されてもよい。それから、メディアコンテンツの再生の位置は、フィンガプリントに基づいて決定されてもよい。
一実施形態において、メディアコンテンツの再生の位置に基づく追加のコンテンツが提示されてもよい。一実施形態において、メディアコンテンツの再生の位置に基づく追加のコンテンツはユーザコマンドに応じて提示されてもよい。
一実施形態において、メディアコンテンツの再生は、メディアコンテンツの再生の位置に基づいて、複数の装置で同期されてもよい。一実施形態において、複数の装置における同期は、装置上のメディアコンテンツの任意の位置を探すか、装置上のメディアコンテンツの再生を遅らせるかして、同時に複数の装置上でメディアコンテンツの再生を開始することによって実施されてもよい。複数の装置上のメディアコンテンツの同期された再生の間、1つの装置上での早送り、巻き戻し、一時停止、停止、頭出し、または再生のコマンドが、すべての同期された装置上で実施されてもよい。一実施形態において、メディアコンテンツの再生の位置に基づいて、広告の再生の決定が行われてもよい。広告は、メディアコンテンツの再生の位置に基づいてスキップされるか早送りされてもよい。一実施形態において、広告が再生される通知または広告が再生される速さが提供されてもよい。一実施形態において、広告はメディアコンテンツの再生の位置に基づいて選択されてもよい。
一実施形態において、再生されるメディアコンテンツの1つ以上のフィンガプリントがメディアコンテンツの広告部分と関連する旨を決定することによって、広告の再生が検出されてもよい。一実施形態において、メディアコンテンツの広告部分内の顔に関連する人物を識別し、識別された人物がメディアコンテンツに出演する俳優ではない旨を決定することによって、広告が検出されてもよい。一実施形態において、広告される製品またはサービスに関する追加のコンテンツによって、広告は拡張されてもよい。一実施形態において、広告は自動的に早送りされ、消音され、または代替の広告と置き換えられてもよい。一実施形態において、メディアコンテンツの検出された広告部分をスキップすることによって、メディアコンテンツの広告でない部分のみが記録されてもよい。
一実施形態において、第1のユーザに関連づけられた第1の装置上に特定のメディアコンテンツを記録するコマンドが受信され、特定のメディアコンテンツが第1の装置上に記録されるようにスケジューリングされる。第1の装置上に特定のメディアコンテンツを記録するスケジューリングの通知が、第2のユーザに関連づけられた第2の装置に提供される。それから、第2の装置は特定のメディアコンテンツの記録をスケジューリングすることができる。第2の装置は、通知に応じて特定のメディアコンテンツを記録するユーザコマンドを受信することなく、またはユーザによる確認を受信した後で、特定のメディアコンテンツの記録をスケジューリングしてもよい。
一実施形態において、第1の装置上に、複数の特定の装置のうち任意の1つの装置上に、または複数の特定のユーザのうちだれかに関連づけられた装置上に、記録するようにスケジューリングされたすべてのメディアコンテンツを記録するコマンドが、第2の装置によって第2のユーザから受信されてもよい。
一実施形態において、複数の装置上の特定のメディアコンテンツの記録がスケジューリングされた旨が検出されてもよい。複数の装置上で特定のメディアコンテンツの記録がスケジューリングされた旨の検出に応じて、複数の装置上の特定のメディアコンテンツの記録がスケジューリングされた旨の通知が、複数の装置の少なくとも1つに提供されてもよい。特定のメディアコンテンツは複数の装置上に同時に表示されてもよい。装置のそれぞれを介してアクセス可能なユーザの利用可能性(user availability)カレンダーに基づいて、複数の装置上で特定のメディアコンテンツを同時に再生する時刻が、該装置の1つによって選択されてもよい。提示された時刻に関するユーザによる確認を受信する時刻もまた、提示されてもよい。
一実施形態において、ユーザに関連づけられた装置上で特定のメディアコンテンツを記録または再生するコマンドが受信されてもよい。コマンドに応じて、特定のメディアコンテンツが記録または再生されてもよく、ユーザが特定のメディアコンテンツを記録または再生している旨を示す情報が、ユーザに関連づけられて発表(publish)されてもよい。さらなる動作のための情報がウェブサービス、例えばウェブページ上の表示などに自動的に発表されてもよい。コマンドに応じて、特定のメディアコンテンツに関連づけられた情報が得られてユーザに提示されてもよい。一実施形態では、特定のメディアコンテンツを再生または記録する装置に関連づけられたユーザのために、(例えばソーシャルネットワークウェブサイト上の)グループが自動的に生成されてもよい。
一実施形態において、アイドル基準(idleness criteria)に達したメディア装置が検出されてもよい。アイドル基準の検出に応じて、メディアコンテンツがメディア装置に送信されてもよい。メディア装置は、メディアコンテンツを含みインターネットを介してアクセス可能な特定のコンテンツストリームを受信するように構成されてもよい。メディア装置は、メディアコンテンツからのフィンガプリントを抽出してもよく、メディアに関する追加のデータ(例えば題名、あらすじ、字幕テキストなど)と共に、フィンガプリントをフィンガプリントデータベースに送信してもよい。メディア装置がアイドル基準に達したことの検出は、メディア装置からの信号を受信することを伴ってもよく、メディア装置がユーザコマンドを受信することなくある連続した時間が経過することを伴ってもよく、フィンガプリントを抽出するリソース有用性をメディアコンテンツが有する旨を決定することを伴ってもよい。。
一実施形態では、音声/映像(AV)コンテンツの再生と共に、メッセージが受信される。メッセージはユーザに関連づけられたメッセージの好み(message preference)に基づいて解釈され、ユーザはメッセージの好みに基づいてメッセージを提示される。一実施形態では、1つ以上のメッセージがメッセージの好みに基づいて取り除かれてもよい。
一実施形態では、メッセージの提示は、ユーザに再生されるAVコンテンツの1つ以上の映像フレーム上に、メッセージに関連づけられた情報をオーバレイすることを含む。メッセージの提示は、メッセージに関連づけられた音声情報の再生を含んでもよい。一実施形態では、メッセージが提示されるとき、AVコンテンツは一時停止または消音される。
一実施形態では、メッセージが音声入力、テキスト入力または画像入力として、別のユーザによって送信される。音声入力は、メッセージの送信者、メッセージの受信者、特定の架空のキャラクタ、または実在のキャラクタ、またはそれらの組み合わせに関連づけられたボイスを含んでもよい。メッセージはメッセージの受信者にのみ独占的に再生されてもよい。
一実施形態では、メッセージの好みによって特定された時間の最中にメッセージが提示されてもよい。メッセージは、AVコンテンツの再生の最中にはコマーシャル時間まで抑止され、コマーシャル時間の最中に提示されてもよい。一実施形態では、メッセージはソーシャルネットワーキングウェブサイトに関連づけられたメッセージサービスから受信されてもよい。
一実施形態では、ユーザ定義のアラート条件がユーザから受信される。ユーザ定義のアラート条件の発生の監視と共にAVコンテンツが再生され、ユーザ定義のアラート条件の発生が検出される。ユーザ定義のアラート条件の発生の検出に応じてアラートが提示されてもよい。
一実施形態では、アラート条件の検出は、ユーザが関心を示すものと決定されたメディアコンテンツがコンテンツストリーム上で利用可能であり続けている旨の決定を含む。一実施形態では、アラート条件の検出は、ユーザが要求した情報に関連づけられたメディアコンテンツがコンテンツストリーム上で利用可能である旨の決定を含む。アラート条件の検出は、アラート条件の発生を示す通知の受信を含んでもよい。一実施形態では、アラート条件の発生の検出は、光学的文字認識(OCT)を用いた情報の取得および該情報に基づくアラート条件の発生の検出を含んでもよい。
一実施形態では、ボイスコマンドがユーザから受信され、ユーザはボイスコマンドに基づいて識別される。そして、ボイスコマンドは、識別されたユーザに関連づけられた好みに基づいて解釈され、複数の動作の中から1つの動作を決定する。そして該動作が実行される。
一実施形態では、ボイスコマンドを適用可能なユーザの人数が決定される。該適用可能なユーザの人数はボイス入力に基づくユーザ認識によって決定されてもよい。
一実施形態では、ユーザの好みに基づく動作は、マルチメディア装置または環境の構成、メッセージの提示、購入、または他の適切な動作の実行を含んでもよい。一実施形態では、動作の実行に先がけたユーザによる確認のために、または動作の実行に関するユーザによる許可が確かなものかチェックするために、動作が提示されてもよい。一実施形態では、受信されたボイスコマンドの言語に基づいてボイスコマンドが解釈されてもよい。
一実施形態では、マルチメディア装置上のメディアコンテンツの再生と同時に、通知がユーザから受信される。通知はメディアコンテンツに関連づけられて記憶される。一実施形態では、通知は入力音声、入力テキスト、および/または入力画像を含んでもよい。一実施形態では、メディアコンテンツは二度目にはユーザから受信された入力音声と同時に再生される。メディアコンテンツの二度目の再生は、メディアコンテンツの映像部分のみの再生と、ユーザから受信された入力音声を含んでもよい。
一実施形態では、複数の版の通知が、メディアコンテンツの異なる再生の最中に受信されてもよく、各通知がメディアコンテンツに関連づけられて記憶されてもよい。通知はメディアコンテンツの音声部分の本来の言語とは異なる言語で提供されてもよい。通知は、意図された再生に関連づけられた指示と共に提供されてもよい。通知は、光学的文字認識を用いて得られた情報に基づいて自動的に生成された音声を含んでもよい。一実施形態では、通知はメディアコンテンツに関連づけられた通知パターンを抽出するように分析されてもよい。通知はユーザから得たものでもよく、メディアコンテンツのレビューを含んでもよい。一実施形態では、ユーザプロファイルが通知に基づいて生成されてもよい。通知はメディアコンテンツの再生におけるインターバルまたは特定の時点に印をつけてもよく、それはメディアコンテンツの再生を再開するためのブックマークとして用いられる。通知によって印をつけられたインターバルは、メディアコンテンツの次の再生の最中にスキップされてもよく、再生シーケンスを生成するように用いられてもよい。
方法ステップを実行する際に本明細書では特定の構成要素について述べるが、他の実施形態では、該特定の構成要素の代わりとなる手段または機構が該方法ステップを実行してもよい。さらに、本発明のいくつかの態様がシステムの構成要素に関して述べられるが、本発明は複数のシステムに分散された構成要素によって実施されてもよい。本発明の実施形態はまた、本明細書に記載された方法ステップを実施するための手段を含む任意のシステムを含んでもよい。本発明の実施形態はまた、指示を含むコンピュータ読み取り可能な媒体を含んでもよく、該指示は、実行されたときに、本明細書に記載された方法ステップを実施させる。
2.0 システムアーキテクチャ
特定のコンピュータアーキテクチャが本明細書で記載されるが、本発明の他の実施形態は、本明細書で記載された機能を実施するために用いられうる任意のアーキテクチャに当てはまる。
図1はメディア装置A(100)、メディア送信元(110)、メディア装置N(120)、フィンガプリントサーバ(130)、ネットワーク装置(140)、およびウェブサーバ(150)を示す。これらの構成要素のそれぞれは本明細書に記載された機能を明らかにするために提示されるが、本発明を実施するために必要なものとは限らない。さらに、図1に示されない構成要素が、本明細書に記載された機能を実施するために用いられてもよい。ある構成要素によって実行されるものとして記載された機能が、代わりに別の構成要素によって実行されてもよい。
一実施形態では、メディア送信元(110)は一般的に、メディア装置A(100)がメディアコンテンツを受信可能な任意のコンテンツ送信元を表す。メディア送信元(110)は、メディア装置A(100)にメディアコンテンツをストリーミングするブロードキャスタ(ブロードキャスト企業/サービスを含む)であってもよい。メディア送信元(110)は、メディア装置A(100)がメディアコンテンツをダウンロードするメディアコンテンツサーバであってもよい。メディア送信元(100)は、再生されているメディアコンテンツをメディア装置A(100)が受信する音声および/または映像プレーヤであってもよい。メディア送信元(100)は、メディア装置A(100)がメディアコンテンツを得るために読み取るコンピュータ読み取り可能な記憶媒体または入力媒体(例えば物理メモリ、コンパクトディスク、またはデジタルビデオディスク)であってもよい。装置へのストリーミング、ブロードキャスト、またはダウンロードという用語は、本明細書では区別せずに用いられてよく、装置がデータを得る1つの特定の方法に限定されるものと解釈されるべきではない。メディア装置A(100)は、ブロードキャストサービス、ウェブサーバ、別のメディア装置、またはメディア装置によってアクセス可能なデータまたはコンテンツを含む任意の適切なシステムから、ストリーミング、ブロードキャスト、ダウンロードなどによってデータを受信してもよい。異なる送信元が以下に示される異なる例として言及されてもよい。実施例では特定の発信元を記載するが、その発信元に限定されると解釈すべきではない。
一実施形態では、フィンガプリントサーバ(130)は概して、メディアコンテンツから抽出されたフィンガプリントを記憶する任意のサーバを表す。フィンガプリントサーバ(130)は、メディアコンテンツから抽出されたフィンガプリントをダウンロードおよび/またはアップロードするメディア装置A(100)によってアクセスされてもよい。フィンガプリントサーバ(130)は、メディアコンテンツから抽出されたフィンガプリントのデータベースを記憶するためにコンテンツ送信元(例えば、ブロードキャスト装置、ウェブサービス、または任意の他のコンテンツ送信元)によって管理されてもよい。コンテンツ送信元はフィンガプリントを抽出すべきメディアコンテンツを選択してもよい。メディア装置A(100)は、選択されたメディアコンテンツからフィンガプリントを抽出してもよく、フィンガプリントサーバ(130)にフィンガプリントを提供してもよい。一実施形態では、フィンガプリントサーバ(130)は、メディアコンテンツから抽出されたフィンガプリントに基づいて、そのメディアコンテンツまたはそのメディアコンテンツに関連づけられたメタデータを識別するためのデータベースとして作用してもよい。一実施形態では、フィンガプリントサーバ(130)の少なくとも一部分が1つ以上のメディア装置上で実施される。メディア装置は連続的に、定期的に、またはフィンガプリントサーバ(130)が更新される適切な別のスケジュールに応じて更新されてもよい。
一実施形態では、ネットワーク装置(140)はメディア装置A(100)の一部である任意の構成要素、または、ネットワーク(例えばインターネット、イントラネット、ワールドワイドウェブなど)を介して通信する機能を全体として有する個々の装置を一般的に表す。例えば、ネットワーク装置(140)はメディア装置A(100)またはメディア装置A(100)内のネットワークカードと通信可能に結合されたコンピュータであってもよい。ネットワーク装置(140)はメディア装置A(100)と関連づけられた情報(例えば、メディア装置A(100)への記録がスケジューリングされたメディアコンテンツ、メディア装置A(100)に記録されたメディアコンテンツ、メディア装置A(100)上で再生されるメディアコンテンツ、メディア装置A(100)上で以前に再生されたメディアコンテンツ、メディア装置A(100)上で表示されたメディアコンテンツ、メディア装置A(100)によって集められたユーザの好み/統計値、メディア装置A(100)上のユーザ設定、など)を発表する機能を含んでもよい。ネットワーク装置(140)は、ウェブサイト上に情報を掲載してもよく、電子メッセージまたはテキストメッセージで情報を提供してもよく、ネットワークプリンタ上に情報をプリントしてもよく、任意の他の適切な方法で情報を発表してもよい。ネットワーク装置(140)は、別のメディア装置(例えばメディア装置N(120))に情報を直接提供する機能を有してもよい。ネットワーク装置(140)はネットワークから情報を得る機能を有してもよい。例えば、ネットワーク装置(140)はメタデータまたは、メディアコンテンツに関連づけられた任意の他の追加のデータの検索を実行し、メディア装置A(100)に検索結果を提供してもよい。別の実施例は、メディア装置N(120)上でスケジューリング、記録、および/または再生されるメディアコンテンツに関連づけられた情報を得るネットワーク装置(140)を含んでもよい。
一実施形態では、メディア装置A(100)(またはメディア装置N(120))は、プロセッサを有しメディアコンテンツを示すように構成された任意のメディア装置を一般的に表す。メディア装置A(100)は、メディアコンテンツを示すように構成されてもよい単一の装置または装置の任意の組み合わせ(例えば受信器とテレビジョンのセット)を意味してもよい。メディア装置A(100)の例は、受信器、デジタルビデオレコーダ、デジタルビデオプレーヤ、テレビジョン、モニタ、ブルーレイプレーヤ、音声コンテンツプレーヤ、映像コンテンツプレーヤ、デジタルピクチャフレーム、ハンドヘルド携帯装置、コンピュータ、プリンタなどのうち1つ以上からなる。メディア装置A(100)は、メディアコンテンツ(例えば音声および/または映像メディアコンテンツ)を再生すること、メディアコンテンツ(例えば静止画像)を表示すること、メディアコンテンツ(例えばクーポン)をプリントすること、メディアコンテンツ(例えば電子メール)を電子的に送信すること、メディアコンテンツを(例えばウェブサイト上に)発表すること、または任意の他の適切な手段によって、メディアコンテンツを提示してもよい。一実施形態では、メディア装置A(100)は、システム内の1つ以上の他のメディア装置と通信する管理装置であってもよい。例えば、メディア装置A(100)はメディア装置(例えばDVDプレーヤ、リモートコントローラ、ジョイスティックなど)からの命令を受信し、該命令を他のメディア装置(例えばモニタ、受信器など)に送信してもよい。一実施形態では、メディア装置A(100)は、本明細書で記載された機能を実行するように構成された1つ以上のサブシステムを有する任意の装置を示してもよい。
一実施形態では、メディア装置A(100)はメディアコンテンツからフィンガプリントを抽出する機能を含んでもよい。例えば、メディア装置A(100)は、関連のメモリに記録された、または任意の他のアクセス可能な位置(例えば、外部ハードドライブ、DVDなど)に記憶されたメディアコンテンツからフィンガプリントを抽出してもよい。メディア装置A(100)はコンテンツストリーム上で利用可能なメディアコンテンツからフィンガプリントを抽出してもよい。コンテンツストリーム上で利用可能なメディアコンテンツは、メディア装置A(100)によってアクセス可能な任意のメディアコンテンツを含む。例えば、コンテンツストリーム上で利用可能なコンテンツは、ブロードキャストサービスによってブロードキャストされているコンテンツ、ウェブサーバ、ピア装置、または他のシステムからのダウンロードに関して利用可能なコンテンツ、または別の方法でメディア装置A(100)によってアクセス可能なコンテンツを含んでもよい。一実施形態では、メディア装置A(100)は、表示されているメディアコンテンツを得る機能、および、表示されているメディアコンテンツまたはメディア装置上で記憶されたメディアコンテンツからフィンガプリントを動的に抽出する機能を含んでもよい。一実施形態では、メディア装置A(100)は、メディアコンテンツ(例えばビデオフレーム)を展開し、メディアコンテンツを修正および/または編集し、メディアコンテンツを圧縮する、処理および記憶能力を含んでもよい。
一実施形態では、メディア装置A(100)は、別のメディア装置と同じメディアコンテンツを記録または再生することによって、別のメディア装置(例えばメディア装置N(120))を模倣する(mimic)機能を含んでもよい。例えば、メディア装置A(100)はメディア装置N(120)上で記録されているメディアコンテンツの通知を受信し、コンテンツ送信元から同一のメディアコンテンツを得る機能を含んでもよい。メディア装置Aは、メディアコンテンツを自動的に記録するか、または、ユーザに通知を提供してユーザの命令に応じてメディアコンテンツを記録してもよい。
図1Bは1つ以上の実施形態によるメディア装置の例示的なブロック図を示す。図1Bに示されるように、メディア装置(100)は、例えばメモリシステム(155)、ディスク(160)、中央演算処理装置(CPU)(165)、表示サブシステム(170)、音声/映像入力(175)、チューナ(180)、ネットワークモジュール(190)、周辺装置(195)、テキスト/音声コンバータ(167)、および/または本明細書で記載される機能を実行するために必要な他の構成要素などの複数の構成要素を含んでもよい。
一実施形態では、音声/映像入力(175)は、外部送信元からの音声および/または映像入力(例えばHDMI176、DVI177、アナログ178)を受信する機能を含む任意の構成要素に対応してもよい。例えば、音声/映像入力(175)は、異なる装置からの入力を受信することが可能なディスプレイポートまたは高精細度マルチメディアインターフェイス(HDMI)であってもよい。音声/映像入力(175)はセットトップボックス、ブルーレイディスクプレーヤ、パーソナルコンピュータ、ビデオゲームコンソール、音声/映像受信器、コンパクトディスクプレーヤ、拡張多用途ディスクプレーヤ、高精細度光ディスク、ホログラフィック多用途ディスク、レーザーディスク、ミニディスク、ディスクフィルム、RAMディスク、ビニール盤レコード、フロッピーディスク、ハードドライブディスクなどからの入力を受信してもよい。メディア装置(100)は音声/映像入力(175)を含んでもよい。
一実施形態では、チューナ(180)は一般的に、コンテンツストリームを(例えば、ケーブル、衛星、インターネット、ネットワーク、または地上アンテナを介して)受信することができる任意の入力構成要素を提示する。チューナ(108)は、他の周波数を(例えば電気的共振で)フィルタリングしながら、1つ以上の受信された周波数を受け入れてもよい。テレビジョンチューナはRFテレビジョン送信信号を音声および映像信号に変換し、それらは音声および/または映像を生成するようにさらに処理される。
一実施形態では、入力はネットワークモジュール(190)から受信されることもできる。ネットワークモジュール(190)は一般的に、ネットワーク(例えば、インターネット、イントラネット、ワールドワイドウェブなど)を介して情報を受信することができる任意の入力構成要素を表す。ネットワークモジュール(190)の例にはネットワークカード、ネットワークアダプタ、ネットワークインターフェイスコントローラ(NIC)、ネットワークインターフェイスカード、ローカルエリアネットワークアダプタ、イーサネットネットワークカード、および/または、ネットワークを介して情報を受信可能な任意のその他の構成要素が挙げられる。ネットワークモジュール(190)は別の装置(例えばメディア装置、コンピュータ、二次記憶装置など)と直接接続するように用いられてもよい。
一実施形態では、入力は、有線および/または無線の通信区間を介して任意の通信可能に結合された装置からメディア装置(100)によって受信されてもよい。メディア装置(100)によって受信された入力はメモリシステム(155)またはディスク(160)に記憶されてもよい。メモリシステム(155)は、データを記憶する1つ以上の異なるタイプの物理メモリを含んでもよい。例えば、メモリシステム(155)内の1つ以上のメモリバッファ(例えばHDフレームバッファ)は、編集および/またはフィンガプリント生成のために1つ以上の非圧縮高精細度(HD)ビデオフレームをロードするための記憶容量を有してもよい。メモリシステム(155)は圧縮された形式(例えばMPEG2、MPEG4、または任意のその他の適切なフォーマット)でフレームを記憶してもよく、該フレームは変更、フィンガプリント生成、置換、および/または表示のためにフレームバッファに圧縮復元される。メモリシステム(155)はフラッシュメモリ、DRAMメモリ、EEPROM、従来の回転式ディスクドライブなどを含んでもよい。ディスク(160)はメディア装置(100)によってアクセス可能な二次記憶装置を一般的に意味する。
一実施形態では、中央処理装置(165)はメディア装置(100)によって受信された任意の入力を用いて本明細書に記載された機能を実行する機能を含んでもよい。例えば、中央処理装置(165)は、メモリシステム(155)内に記憶されたメディアコンテンツフレームからフィンガプリントを動的に抽出するために用いられてもよい。中央処理装置(165)は、メディアコンテンツに関連づけられたタグ、ハッシュ値、フィンガプリント、タイムスタンプ、またはその他の適切な情報に基づいてメディアコンテンツまたはメディアコンテンツの部分をマークまたは識別するように構成されてもよい。中央処理装置(165)は、メディアコンテンツを変更する(例えばビデオフレームをスケーリングする)、メディアコンテンツを分析する、メディアコンテンツを圧縮復元する、メディアコンテンツを圧縮する、などのために用いられてもよい。フレームバッファに記憶されたビデオフレーム(例えばHDビデオフレーム)は、ビデオフレームのトップに追加のコンテンツ(例えば、フレームに関する情報、番組情報、チャットメッセージ、システムメッセージ、ウェブコンテンツ、画像、電子番組ガイド、または任意のその他の適切なコンテンツ)をオーバレイ(overlay)する、ビデオフレームを操作する(例えば引き延ばす、回転させる、縮めるなど)、またはビデオフレームをリアルタイムで置換するように、中央処理装置(165)によって動的に変更されてもよい。したがって、電子番組ガイド、動的に選択された広告情報、メディアコンテンツ情報、または任意の他のテキスト/画像が、フレームバッファ内に記憶されたビデオフレーム上に書き込まれ、記憶されたビデオフレームのトップに追加のコンテンツを重ねる(superimpose)ことができる。中央処理装置(165)は、メディア装置(100)に関連づけられた任意の入力装置および/または出力装置との通信を処理するために用いられることができる。例えば、リアルタイムで動的に変更されるビデオフレームが表示のために送信されてもよい。中央演算装置(165)は、データの同期、または発表に関する機能を実行するために他のメディア装置と通信するように用いられてもよい。
一実施形態では、テキスト/音声変換器(167)は一般的に、テキストを音声に、および/または音声をテキストに変換する任意のソフトウェアおよび/またはハードウェアを表す。例えば、テキスト/音声変換器はクローズドな字幕データに対応するテキストを音声ファイルに変換する機能を含んでもよい。音声ファイルはコンピュータ化された声に基づいてもよく、または、ユーザ、架空のキャラクタ、あるいは実在のキャラクタなどの声を用いるように調整されてもよい。一実施形態では、特定のメッセージのために用いられる、自動的に生成された音声は、メッセージを生成するユーザの声であってもよい。テキスト/音声変換器は、音声からテキストに、またはテキストから音声に変換されるときに言語を切り換える機能を含んでもよい。例えば、フランス語による音声入力を英語によるテキストメッセージに変換してもよい。
一実施形態では、周辺ユニット(195)は一般的に、メディア装置(100)と(例えばUSB、外部シリアルATA(eSATA)、パラレルATA、シリアルATA、ブルートゥース、赤外線などを介して)通信可能に結合された任意の周辺機器のために、入力および/または出力を提示する。周辺機器の例は、リモートコントロール装置、USBドライブ、キーボード、マウス、マイクロフォン、およびメディア装置(100)を操作するように用いられることができる音声認識装置を含んでもよい。一実施形態では、複数のマイクロフォンが音声を検出する、ユーザ位置を識別する、などのために用いられてもよい。一実施形態では、マイクロフォンはメディア装置(100)またはメディア装置(100)と通信可能に結合された他の装置(例えばリモートコントロール)の一部であってもよい。一実施形態では、メディア装置(100)は、ユーザからの音声入力が(例えばマイクロフォンを介して)受信されたときに、再生されているメディアコンテンツ(例えば、特定の番組、または特定の番組内の位置)を識別する機能を含んでもよい。
一実施形態では、表示サブシステム(170)は一般的に、1つ以上の画像を出力する機能(例えばディスプレイ171のビデオ出力)、および/または実際に表示する機能を含む任意のソフトウェアおよび/または装置を表す。ディスプレイ装置の例にはキオスク(kiosk)、ハンドヘルドデバイス、コンピュータ画面、モニタ、テレビジョンなどが挙げられる。ディスプレイ装置は、液晶ディスプレイ、陰極線管、プロジェクタ、プラズマ画面、などの異なるタイプの画面を用いてもよい。メディア装置(100)からの出力は、用いられるディスプレイ装置のタイプ、ディスプレイ装置の寸法、解像度(例えば720i、720p、1080i、1080p、またはその他の適切な解像度)、などに応じて特別にフォーマットされてもよい。
3.0 メディアコンテンツフィンガプリントに基づく追加のコンテンツの提示
図2は一実施形態に応じた、追加のコンテンツを提示するフロー図を示す。以下に記載のステップの1つ以上は省かれたり、反復されたり、および/または異なる順番で実行されたりしてもよい。したがって、図2に示されたステップの特定の配置は、本発明の範囲を限定するものと解釈されるべきではない。
はじめに、実施形態に応じて、メディアコンテンツを提示するコマンドを受信する(ステップ202)。受信されたコマンドはキーボードまたはリモートコントロール装置を介してユーザによって入力されてもよい。コマンドは、メディアコンテンツの記録および/または再生のためのユーザによる電子番組ガイド(EPG)内における選択であってもよい。コマンドはユーザによって入力されたチャネル選択であってもよい。コマンドは写真のスライドショーを表示する要求であってもよい。コマンドは音声ファイルを再生するものであってもよい。コマンドはムービーを再生する要求であってもよい(例えばブルーレイプレーヤのための要求)。一実施形態では、メディアコンテンツを提示するコマンドの受信は、ユーザインターフェイス上の検索フィールド内でメディアコンテンツの題名をユーザが入力することを含んでもよい。一実施形態では、メディアコンテンツが提示される(ステップ204)。メディアコンテンツを提示することは、音声および/または視覚メディアコンテンツ(例えば、映像コンテンツ)の再生、画像を表示または印刷することなどを含んでもよい。メディアコンテンツを提示することは、該メディアコンテンツを、これまた提示されている他のメディアコンテンツ上にオーバレイすることを含んでもよい。
一実施形態では、フィンガプリントはメディアコンテンツから抽出される(ステップ206)。メディアコンテンツからフィンガプリントを抽出する例は、1つ以上のビデオフレームの強度値を射影ベクトルの組に射影し、射影された値の組を得ることを含む。そして、フィンガプリントのビットが、射影された値のそれぞれに基づいて計算され、メディアコンテンツのためのフィンガプリントを計算するように連結される。別の例として、数学的関数を音声ファイルのスペクトログラムに適用することが挙げられてもよい。他のフィンガプリント抽出技法が、1つ以上の実施形態に応じてメディアコンテンツからフィンガプリントを抽出するために用いられてもよい。一実施形態では、メディアコンテンツが再生されているときにフィンガプリントが動的に該メディアコンテンツから抽出される。例えば、コンテンツ送信元から受信されているメディアコンテンツは、再生およびフィンガプリント抽出を同時に行われてもよい。フィンガプリントはメディアコンテンツ認識、例えば、特定の番組、映画などを識別することのために抽出されてもよい。3次元ビデオを含むメディアストリームもまたフィンガプリント抽出されることができる。一実施形態では、3次元ビデオをフィンガプリント抽出することは、該3次元ビデオのフィンガプリント部分を選択することを含んでもよい。例えば、3次元ビデオストリームにおける近いオブジェクト(例えば、3次元ビデオを視聴しているときにより近くに現れるオブジェクト)がフィンガプリント抽出のために選択され、顔または構造体を認識してもよい。近いオブジェクトは、オブジェクトに関連づけられた被写界深度のタグに基づいて、または、他のオブジェクトと比較した相対的なオブジェクトの寸法によって選択されてもよい。
一実施形態では、提示されているメディアコンテンツに関連づけられた追加のコンテンツを提示するコマンドが、受信される(ステップ208)。包括的な追加のコンテンツ(例えば、メディアコンテンツの任意の特徴)を識別するコマンドが受信されてもよい。再生されているメディアコンテンツの情報には、例えば、映画のあらすじの概要、映画に出演する俳優、映画の制作された年、特定のメディアコンテンツに関する収録時間、映画の監督またはプロデューサ、映画のジャンル、などがある。一実施形態では、特定の情報が要求されてもよい。例えば、現在上映されているシーンの、世界内の地理的位置を要求するコマンドがある。他の例では、現在表示されているシーンにおける人物を識別するものを要求するコマンドを含んでもよい。他の例では、映画のあるシーンにおける自動車の年代および形式の要求を含んでもよい。他の例では、タイムスタンプなどの、コンテンツに関する情報を保存または発表する要求、冒頭からのずれの要求、後に使用または参照するための他の文脈的資料の要求、などを含んでもよい。したがって、特定の情報の要求はメディアコンテンツのシーンにおける場所、物、または人物を識別するものを含んでもよい。
ユーザによって要求された追加のコンテンツは、該追加のコンテンツに関するコマンドが受信されるときには有効ではないかもしれない。したがって、追加の情報は、コマンドを受信した後で、メディアコンテンツのフィンガプリントに基づいて、動的に識別される(ステップ210)。例えば、メディアコンテンツから抽出されたフィンガプリントはウェブサーバに問い合わせて、フィンガプリントに合致するシーンにおける物、場所、または人物を識別するものを受信するために用いられてもよい。また、フィンガプリントが、再生されているメディアコンテンツを識別するために用いられて、メディアコンテンツにすでに関連づけられたメタデータを得てもよい。一実施形態では、追加情報を提示するコマンドを受信した後で、フィンガプリントはメディアコンテンツから動的に抽出されてもよい。
一実施形態では、追加のコンテンツが提示される(ステップ212)。追加のコンテンツの提示は、ユーザに提示されるメディアコンテンツのトップに該追加のコンテンツをオーバレイすることからなってもよい。追加のコンテンツの提示は、本来のコンテンツを寸法変更、切り取り、そうでなければ変更することによって置き換えたフレームの部分に該追加のコンテンツをオーバレイすることを含んでもよい。本来の、または変更されたメディアコンテンツのトップに追加のコンテンツをオーバレイするために、圧縮されていないHDフレームがフレームバッファにロードされ、追加のデータが同一のフレームバッファに書き込まれ、それによって本来のフレーム情報に追加のデータがオーバレイする。追加の情報は、再生されているメディアコンテンツ、EPG表示データ、出願人によって所有され参考によって本明細書に組み込まれる米国特許第6642939号明細書に記載されたバナー表示フォーマットのチャネル標識、番組のあらすじ、などに関連してもよい。例えば、映画において、シーンの場所の地理的位置が、該シーンと同時に画面に表示されてもよい。別の例では、任意の所与の時間に、シーンの現在の出演者の名前をフィールドに表示してもよい。物、場所、人物などの名前を、画面上の該物、場所、人物と結びつける視覚的標識が表示されてもよい。例えば、シーンにおける自動車と、該自動車に関する識別情報の間の直線などである。追加のコンテンツが、表示された映像に関する広告主、企業などへのリンクを提供してもよい。例えば、画面に表示された自動車に関する追加の情報は、該自動車に関する識別情報、該自動車を販売する自動車販売店の名前、該自動車を販売する自動車販売店へのリンク、該自動車に関する価格情報、該自動車に関する安全情報、または識別された自動車に直接的にまたは間接的に関連する任意の他の情報が挙げられる。別の例は、(例えばブロードキャストサービスから受信された、あるいはウェブサーバから受信された)コンテンツストリーム上で利用可能なコンテンツに関する情報を提示することを含んでもよい。コンテンツ自身がフレームにオーバレイされてもよく、記載つきのリンクがフレームにオーバレイされてもよく、その場合はリンクはユーザ入力を介して選択されることができる。追加のコンテンツは字幕データとして提示されてもよい。別の実施形態では、ユーザに選択された言語によるサブタイトルが、例えば映画またはテレビショーのようなコンテンツのトップにオーバレイされてもよい。サブタイトルは、サブタイトルファイルの実在するデータベースからのダウンロードを含む様々な方法によって抽出されてもよく、本来のコンテンツからの字幕テキストのリアルタイム機械翻訳によって抽出されてもよい。別の例は、ミュージックビデオまたはコンサートのトップに、同期した歌詞をオーバレイすることを含んでもよい。システムはこの動作を、いくつかのフレームの間だけ行ってもよく、ユーザがオーバレイを取り除く指示を出すまで行ってもよい。この点において、システムはフレームバッファに追加の情報を書き込むことを中断してもよい。一実施形態において、オーディオコンテンツは本来のコンテンツからの音声を置き換えてもよく、オーバレイしてもよい。一例は、ナショナルフットボール試合の全国ブロードキャストの音声ストリームを地方のラジオアナウンサーの音声ストリームで置き換えることを含んでもよい。一例は、追加の音声、例えばシーンにおける俳優のコメンタリーを、本来のメディアからの音声とリアルタイムでミックスすることを含んでもよい。この例は、本来の音声と追加の音声、例えば増幅音声の切り換えを含んでもよい。
4.0 メディアコンテンツフィンガプリントに基づく再生位置の決定
図3は、一実施形態によるメディアコンテンツの再生の位置を決定するフロー図を示す。以下に記載のステップの1つ以上が省かれたり、反復されたり、および/または異なる順序で実行されてもよい。したがって、図3に示されるステップの特定の配置は、本発明の範囲を限定するものとして解釈されるべきではない。
最初に、メディアコンテンツを提示するコマンドが受信され(ステップ302)、一実施形態により該メディアコンテンツが提示される(ステップ304)。ステップ302およびステップ304は本質的に上記のステップ202およびステップ204と同一である。
一実施形態では、フィンガプリントは再生されているメディアコンテンツから抽出され(ステップ306)、第1の装置上のメディアコンテンツの再生の位置を決定する(ステップ308)。例えば、メディア装置はコンテンツストリーム内の(または任意の他の送信元からの)メディアコンテンツを受信するため、メディア装置はメディアコンテンツを表示して、表示されている特定のフレームからのフィンガプリントを抽出してもよい。メディア装置はフレームからnフレームごとにフィンガプリントを抽出してもよく、iFrameからフィンガプリントを抽出してもよく、任意の他のフレーム選択機構に基づいてフィンガプリントを抽出してもよい。1つ以上のフレームから抽出されたコンテンツのフィンガプリントは、次いでフィンガプリントのデータベースと比較され、フレームのフィンガプリントと合致するデータベースのフィンガプリントを識別してもよい。フィンガプリントのデータベースは、メディア装置自身上でローカルに実施されてもよく、メディア装置に通信的に結合されるサーバ上で実施されてもよい。コンテンツのフィンガプリントとデータベースのフィンガプリントの合致は、完全一致であってもよく、該2つのフィンガプリントが共通性の閾値(例えば、少なくともフィンガプリント合致のシグナチャビットの閾値)を超えたことであってもよい。ひとたび合致がデータベース内で識別されると、データベースのフィンガプリントに関連づけられて記憶されたメタデータが得られる。メタデータはメディアコンテンツの位置を含んでもよい。例えば、メタデータは、フィンガプリントがメディアコンテンツのn個の全フレームのうちk番目のフレームに対応する旨を示してもよい。この位置情報および/または秒あたりのフレームの数に基づいて、メディアコンテンツの再生の位置が決定されてもよい。メタデータは位置を明示的に示してもよい。例えば、メタデータは、フィンガプリントがメディアコンテンツの開始から35分3秒の再生の位置に対応する旨を示してもよい。
第1の装置上のメディアコンテンツの再生の位置に基づいて、1つ以上の実施形態に基づいて第2の装置上で同時に同一のメディアコンテンツを再生することによって、第2の装置が第1の装置と同期されてもよい(ステップ310)。ひとたびメディアコンテンツの再生の位置が第1の装置に関して決定されると、第2の装置上のメディアコンテンツの再生がこの位置で開始されてもよい。メディアコンテンツが第2の装置上ですでに再生中の場合、第2の装置上でのメディアコンテンツの再生は停止されてこの位置から再開されてもよい。代替として、第2の装置上のメディアコンテンツの再生はこの位置まで早送りまたは巻き戻しされてもよい。
一実施形態では、生のブロードキャストまたは記憶された番組の視聴が、メディア装置内に組み込まれたバッファを用いて同期されてもよい。例えば、コンテンツストリームにおいて受信されるコンテンツは、受信された時に複数の装置上に記憶されてもよい。その後、装置は、メディアコンテンツの再生、メディアコンテンツの一時停止、メディアコンテンツの早送り、およびメディアコンテンツの巻き戻しを同期的に開始するように通信してもよい。メディアコンテンツ全体を記憶することができる大容量バッファが一実施形態において用いられてもよい。代替として、より小容量のバッファが用いられることができ、ビデオフレームは表示されたときに削除され、コンテンツストリームにおいて受信された新しいビデオフレームと置き換えられてもよい。生のブロードキャストまたは記憶された番組の同期された再生は、フレームレベルでの同期を得るために特定の時刻においてメモリバッファに記憶された特定のフレームを再生することを含んでもよい。例えば、2つの装置は、メモリ内に記憶される特定のフレームがどの秒に再生されるか、および将来のフレームが再生されるべき速度を示す情報を交換してもよい。したがって、同一の開始時刻に基づいて、正確に同時に、またはほぼ同時に異なるメディア装置上でフレームが表示されてもよい。さらに、同期が維持されることを確実にするように、追加のフレーム/時間の組み合わせが決定されてもよい。メディア装置が異なる時間帯で用いられる場合、時間は時間差を考慮に入れるように調整されてもよい。例えば、グリニッジ標準時(GMT)がメディアコンテンツの同期された再生においてすべてのメディア装置にわたって用いられてもよい。
一実施形態では、同一のメディアコンテンツを再生する複数の装置の同期の後で、同期が維持されてもよい。同期を維持するために、1つの装置上で受信された任意の再生機能(例えば、停止、早送り、巻き戻し、再生、一時停止、など)が両方の装置上で実行されてもよい(ステップ312)。
一実施形態では、広告の再生はメディアコンテンツの再生の位置に基づいて検出されてもよい(ステップ314)。例えば、コンテンツストリーム上で利用可能なメディアコンテンツは、テレビショー、およびテレビショーの最中に何度も散りばめられた広告を含んでもよい。メディアコンテンツの構成情報は、テレビショーが25分間にわたって再生されると、その後に5分の広告が入り、その後にまたテレビショーが25分間あり、さらにその後に5分の広告が入る、ということを示してもよい。したがって、メディアコンテンツの再生の位置が開始から20分であると判定された場合、テレビショーが再生されている。しかしながら、メディアコンテンツの再生の位置が開始から27分であると判定された場合、広告が再生されている。
一実施形態では、広告の再生は、メディアコンテンツの再生の位置の決定なしで検出されてもよい。例えば、メディアコンテンツがテレビショーおよびテレビショーの間に散りばめられた広告を含む場合、広告は、現在再生されているメディアコンテンツから抽出されたフィンガプリントに基づいて検出されてもよい。現在再生されているメディアコンテンツから抽出されたフィンガプリントは、テレビショーからのみ抽出されたフィンガプリントまたは広告からのみ抽出されたフィンガプリントと比較されてもよい。比較に基づいて、現在再生されているメディアコンテンツがテレビショーの一部であるか広告の一部であるか判定されてもよい。
一実施形態では、広告の再生は、メディアコンテンツ内に存在する要素に基づいて検出されてもよい。例えば、再生されているメディアコンテンツから抽出されたフィンガプリントに基づいて、メディアコンテンツ内の俳優の顔が認識されてもよい。そして、俳優の名前は、テレビショーに出演の俳優としてリストに載った俳優の名前と比較されてもよい。再生されているメディアコンテンツ内で検出された俳優が、テレビショーに出演の俳優としてリストに載った俳優と合致する場合には、テレビショーが再生されている。あるいは、再生されているメディアコンテンツ内で検出された俳優がテレビショーに出演の俳優としてリストに載った俳優と合致しない場合は、広告が再生されている。一実施形態では、時間ウインドウが、テレビショー内で知られている俳優の検出のために用いられてもよく、テレビショーが再生されていると結論づけるためには、テレビショーに出演の俳優としてリストに載った少なくとも1人の俳優が時間ウインドウ内で検出されなければならない。
広告が再生されている旨の判定に応じて、1つ以上の実施形態による多くの異なる動作が行われてもよい。一実施形態では、広告は自動早送りされてもよい。例えば、広告の再生が検出されると同時に、広告の再生が完了する(例えば、テレビ番組の再生がフィンガプリントに基づいて再び検出されるとき)まで自動早送り機能がメディアコンテンツの再生に適用されてもよい。同様に、広告は自動的に消音されてもよく、広告の終了の検出に応じて消音解除機能が選択される。
一実施形態では、メディアコンテンツが記録されている場合、広告は自動的に記録からスキップされてもよい。例えば、コンテンツ送信元から受信されている映画の記録において、メディアコンテンツの非広告部分(例えば映画の部分)が記録され、メディアコンテンツの広告部分は記録からスキップされてもよい。
一実施形態では、代替の広告が表示されてもよい。コンテンツストリームを受信および表示した場合、コンテンツストリームの検出された広告部分は代替の広告に置き換えられてもよい。例えば、スポーツバーのメディア装置は、コンテンツストリームにおいて受信される広告の代わりに特別な飲み物を表示するようにプログラミングされてもよい。代替として、メモリに記憶された、またはサーバからストリーミングされた、ローカルな販売者からの広告が、コンテンツストリームに受信された広告の代わりに受信されてもよい。メディアコンテンツに基づいて広告が選択されてもよい。例えば、スポーツイベントの再生の最中の場合、人に向けられた広告が選択されてもよい。
一実施形態では、広告には該広告に関する追加のコンテンツが追加されてもよい。コンテンツストリームを受信するとき、該コンテンツストリームの検出された広告部分は寸法変更、切り取り、そうでなければ変更されてもよく、置き換えられた空きスペースに追加のコンテンツがプログラムによって追加されてもよい。例えば、劇場映画がまもなく上映開始される旨の広告に、装置から15マイルの近さにある劇場での興行の件が追加されてもよい。ユーザは、追加のコンテンツに関連づけられた1つ以上の対話的機能、例えば、選択されたローカルな劇場および興行を含む、将来の提示、参照、券の購入、または他の関連する行動のために利用するための、広告された映画に関する情報を記憶する選択肢などを提示されてもよい。別の例では、広告には、該広告に関するゲーム、クイズ、投票、映像、および音声が追加されてもよい。一実施形態では、広告には、該広告に関するユーザのソーシャルネットワークコネクションによって選択された行動に関する情報が追加されてもよい。デジタルカメラの広告には、同一のデジタルカメラでユーザの友人が撮った写真が追加されてもよい。別の例では、DVDで最近発売された映画の広告には、その映画の友人による評価およびレビューが追加されてもよい。
一実施形態では、広告には該広告に関連しない追加のコンテンツが追加されてもよい。コンテンツストリームを受信するとき、該コンテンツストリームの検出された広告部分は寸法変更、切り取り、そうでなければ変更されてもよく、置き換えられた空きスペースに追加のコンテンツがプログラムによって追加されてもよい。一実施形態では、ユーザは、広告の最中の表示の一部を用いて自分好みにされたコンテンツを表示するように、システムに指示することができる。一実施形態では、自分好みにされたコンテンツは、ユーザの好みのスポーツチームの最新の得点および統計を含んでもよい。別の実施形態では、コンテンツはeメール、SMS、インスタントメッセージ、ソーシャルネットワークの通知、およびボイスメールなど、ユーザの最新の受信メッセージのすべてまたはいくつかを含んでもよい。別の実施形態では、ユーザは、広告に割り込まれたコンテンツに関する追加のコンテンツに関する情報を提示されてもよい。別の例では、ユーザは以前に始めたゲームにおいて交代で自分の順番がくるチャンスを提示されてもよい。一実施形態では、ユーザは、例えば将来の提示、参照、または他の関連する行動において用いられるためのコンテンツに関する情報を記憶する選択肢など、追加のコンテンツに関連する1つ以上の対話的な機能を提示されてもよい。一例では、ユーザはキーボードまたはマイクロフォンを用いて、SMS、eメール、ボイスメール、またはインスタントメッセージに応答することを選んでもよい。
一実施形態では、メディア装置による広告の表示の通知が、関心のある者(例えば販売者またはブロードキャストサービス)に提供されてもよい。例えば、販売者の広告がメディア装置で再生される場合、販売者の広告が実際に再生された旨がコンテンツ送信元に通知されてもよい。さらに、販売者の広告が早送りされた場合、販売者の広告が早送りされた旨がコンテンツ送信元に通知されてもよい。この情報は、販売者が広告の効果を判定するために、販売者に提供されてもよい。広告が以前に記憶された記録の一部として再生されたのか、コンテンツ送信元から受信した際に直接再生されたのかを含む追加の情報が、関心のある者に提供されてもよい。
一実施形態では、広告検出に基づいてユーザの累積統計が集められてもよい。例えば、特定のタイプの広告またはユーザによって見られたメディアコンテンツが、ユーザの関心を決定するように記録されてもよい。これらのユーザの関心は、販売者に提供され、サーバ上に記憶され、ユーザに関連づけられた対話的なウェブページ上に発表され、またはその他の方法で提示されてもよい。複数のユーザの匿名情報が、ユーザの閲覧または入力に基づいて、報告を作成するために収集されてもよい。出願人によって所有され本明細書に参照により組み込まれる、米国特許出願第10/189989号明細書はそのような手法を記載する。
5.0 メディアコンテンツフィンガプリントに基づく記録
一実施形態では、コンテンツストリーム中のメディアコンテンツから抽出されたフィンガプリントは、図13および図14に示されるように、コンテンツストリーム中のメディアコンテンツの記録を開始および/または終了するように用いられてもよい。
コンテンツストリーム中の、または将来コンテンツストリーム中で利用可能になると知られている特定のメディアコンテンツの記録がスケジューリングされる(ステップ1302)。特定のメディアコンテンツのスケジューリングは、電子番組ガイド(EPG)内に示されるようなコンテンツストリーム中のメディアコンテンツのブロードキャストに関する期間に基づいてもよい。しかしながら、1つ以上の実施形態に応じて記録をスケジューリングするためには特定の期間は必要ではない。
コンテンツストリーム中で受信されたコンテンツからフィンガプリントを抽出することによって、コンテンツストリーム中のコンテンツを監視してもよい(ステップ1304)。コンテンツストリームの監視は、記録をスケジューリングされた特定のメディアコンテンツの期待された開始時刻(例えばEPGによって示された)よりも前の特定の時点で始まってもよい。フィンガプリントが使用されてフィンガプリントデータベースをクエリし、コンテンツストリーム中のコンテンツを識別する(ステップ1306)。コンテンツストリーム中のコンテンツが、記録をスケジューリングされた特定のメディアコンテンツと合致した場合(ステップ1308)、コンテンツストリーム中の該コンテンツの記録が開始される(ステップ1310)。コンテンツストリーム中のコンテンツが、記録をスケジューリングされた特定のメディアコンテンツと合致しない場合、コンテンツストリームの監視は続行されてもよい。記録の開始時刻はコンテンツストリーム中の特定のメディアコンテンツを認識することに基づいているため、特定のメディアコンテンツが、スケジューリングされた開始時刻よりも前にブロードキャストされた場合には、上記の方法は、特定のメディアコンテンツを全体として記録する。
図14は、コンテンツストリーム中で受信されたコンテンツから抽出されたフィンガプリントに基づいて、特定のメディアコンテンツの記録を終了する例を示す。コンテンツストリーム中の特定のメディアコンテンツの記録が開始される(ステップ1402)。記録は、図14に記載されるような方法に基づいてフィンガプリントを用いて開始されてもよく、単に期待される開始時刻(例えばEPGによって示される)に基づいて開始されてもよい。フィンガプリントはコンテンツストリーム中のコンテンツから抽出されてもよい(ステップ1404)。特定のメディアコンテンツのブロードキャスト(ストリーミングを含む)が開始されると同時に、または、特定のメディアコンテンツの期待される終了時刻の近くまで、フィンガプリントは連続的にまたは定期的に抽出されてもよい。例えば、特定のメディアコンテンツのブロードキャストの終了の監視が、スケジューリングされた終了時刻の15分前に開始してもよい。その後に、コンテンツストリーム中のコンテンツを識別するフィンガプリントに関して、フィンガプリントのデータベースがクエリされてもよい(ステップ1406)。コンテンツストリーム中のコンテンツが記録のためにスケジューリングされた特定のメディアコンテンツと合致する限り(ステップ1408)、コンテンツストリーム中のコンテンツの記録は続行される。しかしながら、コンテンツストリーム中のコンテンツがもはや特定のメディアコンテンツと合致しない場合、記録は停止される(ステップ1410)。例えば、ユーザがEPGからフットボール試合の記録を選択してもよい。フットボール試合の長さは前もって知ることはできないため、フットボール試合のストリーミングの終了時刻は知ることができない。この例において、フットボール試合を含むコンテンツストリーム中のコンテンツは、フットボール試合がまだブロードキャストされているかどうかを決定するように、連続的にまたは定期的にフィンガプリントを抽出されてもよい。フットボール試合がもはやブロードキャストされていない旨の決定がひとたびされると、記録は終了されてもよい。
一実施形態では、抽出されたフィンガプリントは、メディアコンテンツの特定の組の中から、最も関連性がありそうなメディアコンテンツを識別するように用いられてもよい。例えば、EPGデータはフットボール試合が午後5時から午後8時まで、その後に喜劇ショーが午後8時から午後9時まで、コンテンツストリーム内で利用可能である旨を示してもよい。しかしながら、フットボール試合は、EPGデータによって示された午後5時から午後8時までのスケジューリングされた期間よりも短くなるかもしれず、長くなるかもしれない。したがって、フットボール試合の終了時刻はEPGデータにのみ基づいて決定することができない。フィンガプリントは、コンテンツがもはやコンテンツストリーム上で利用可能ではなくなるまで、EPGデータにおいて示された期待される終了時刻の前のある時刻から連続的にまたは定期的に、コンテンツストリーム中のコンテンツから抽出されてもよい。前の例を続けると、フィンガプリントは午後7時30分から午後8時30分まで抽出されてもよく、午後7時30分からフットボール試合がもはやコンテンツストリーム上で利用可能ではなくなるまで抽出されてもよい。
この例において、システムは(例えばEPGデータに基づいて)、フットボール試合が早くまたは遅く終わる場合には喜劇ショーがフットボール試合の後に続く旨を決定してもよい。したがって、抽出されたフィンガプリントは分析され、対応するメディアコンテンツが(1)フットボール試合、(2)喜劇ショー、のいずれか一方であるかを決定してもよい。可能性がありそうなメディアコンテンツの限られた組から、どのメディアコンテンツがフィンガプリントに対応するかを決定することは、メディアコンテンツファイルの大きなデータベースからメディアコンテンツを識別することよりも、少ない計算および/または処理能力しか要しない。例えば、抽出されたフィンガプリントは、対応するメディアコンテンツフレームが喜劇ショーに出演しているコメディアンの顔を含むか、喜劇ショーのオープニング場面であると知られているものであるかを決定するように用いられるだけでもよい。フィンガプリントは、フィンガプリント抽出計算を簡潔にするように、各メディアコンテンツファイルのより小さいフィーチャの組から抽出されてもよい。コンテンツストリームのフィンガプリントに基づいて、フットボール試合の終了時刻が決定されてもよく、喜劇ショーの開始時刻が決定されてもよい。
一実施形態では、1つ以上のコマーシャルがコンテンツストリーム内に表示されてもよい。コンテンツストリーム中の後続の番組からコマーシャルを区別するために、フィンガプリントは、ショーがもはやコンテンツストリーム内で利用可能ではないことを保証するように、記録されているショーの終了の後に最小の継続時間で抽出されてもよい。例えば、記録されているメディアコンテンツとして認識される最後のフレームの後、フィンガプリントは10分のウインドウ(大抵のコマーシャル時間よりも長い)において抽出されてもよい。その後、10分のウインドウまたは他の特定の時間内に、メディアコンテンツがコンテンツストリーム中に見つからない場合には、コンテンツストリーム中のメディアコンテンツのブロードキャストは終了した旨の決定がなされてもよい。追加のコンテンツ(メディアコンテンツの一部ではない)は削除されてもよい。前の例において、フットボール試合のスケジューリングされた終了時刻から最小で10分の間に、フットボールではない試合のコンテンツが続けて表示された場合、システムは、フットボール試合のブロードキャストは終了し、記録された最後の10分はフットボール試合の一部ではない別のコンテンツである旨を決定してもよい。記録のこの最後の10分は削除されてもよい。
一実施形態では、記録スケジュールは、メディアコンテンツのストリーミングの計画外の延長または短縮に基づいて変更されてもよい。番組の計画外の延長は、一日あるいは一晩のブロードキャストスケジュール全体がずらされることにつながってもよい。例えば、フットボール試合が20分間計画外の延長となった場合、後続のショーおよび/または番組のスケジューリングされていたブロードキャストはすべて20分ずらされてもよい。一実施形態では、コンテンツストリーム中のコンテンツから抽出されたフィンガプリントに基づいてずれが認識されてもよく、マルチメディア装置上の記録スケジュールはブロードキャストスケジュールのずれと合致するようにずらされてもよい。
図11に示されたように、メディアコンテンツは、1つ以上の実施形態によってメディアコンテンツから抽出されたフィンガプリントに応じて、メディア装置による記録のために選択されてもよい。1つ以上のフィンガプリントが、監視されているコンテンツストリーム中のコンテンツから抽出されてもよい(ステップ1102)。フィンガプリントはフィンガプリントデータベースと比較されてメディアコンテンツを識別してもよい(ステップ1104)。ユーザによってより頻繁に視聴されるコンテンツストリームは監視のために選択されてもよい。別の例では、ユーザによって特定されたコンテンツストリームが監視される。その後に、識別されたメディアコンテンツが、ユーザによって特定された特徴またはユーザの視聴履歴と合致する場合(ステップ1106)、メディアコンテンツは記録されてもよい(ステップ1108)。ユーザによって特定された特徴の例には、コンテンツのジャンル、俳優または女優、地理的領域、言語、音声、またはユーザが特定した任意の他の特徴が挙げられる。一実施形態では、フィンガプリントが使用されて、メディアコンテンツ中のユーザによって特定された特徴、そうでなければ利用可能ではない特徴を識別する(例えば、メディアコンテンツに関連づけられたメタデータにおいて)。別の例では、コンテンツストリーム中のメディアコンテンツがユーザによって視聴および/または記録されたショーと同様である場合、メディアコンテンツは記録されてもよい。
図12に示されるように、1つ以上の実施形態に応じて、メディアコンテンツの不完全なコピーがメディアコンテンツの完全なコピーに置き換えられてもよい。例えば、メディアコンテンツのコピーが記録された後(ステップ1202)、記録されたコピーが不完全なコピーである旨の決定が行われてもよい(ステップ1204)。決定は、記録されたコピーの継続時間がメディアコンテンツの予想される継続時間よりも短い旨を決定することによって行われてもよい。メディアコンテンツの予想される継続時間は電子番組ガイド(EPG)から得られたものであってもよく、メディアコンテンツに関連づけられたメタデータ、またはウェブ検索、またはデータベースへの継続時間のクエリ、または任意の他の適切な発信元から得られたものであってもよい。
一実施形態では、メディアコンテンツの新しい完全なコピーが得られる(ステップ1206)。メディアコンテンツの新しいコピーを得ることは、アクセス可能なコンテンツストリームをメディアコンテンツと認識すること、および、コンテンツストリームからメディアコンテンツを得ることを含む。別の実施形態では、メディアコンテンツの新しいコピーがウェブサーバまたはブロードキャストサービスから要求されてもよい。別の実施形態では、メディアコンテンツの新しいコピーがネットワーク(例えばインターネット)から検索されてダウンロードされてもよい。一実施形態では、任意の識別された部分的な記録が、別々に記録されたメディアコンテンツの別の部分と連結されて、メディアコンテンツ全体の記録を得てもよい。記録されたメディアコンテンツのコピーの失われた部分が、該記録されたメディアコンテンツから抽出されたフィンガプリントに基づいて最初に識別されてもよい。例えば、部分的な記録から抽出されたフィンガプリントが、メディアコンテンツの完全な記録に関連づけられていることが知られるフィンガプリントと比較されてもよい。比較に基づいて、抽出されたフィンガプリントの欠けている部分および部分的な記録の対応する欠けている部分が識別されてもよい。その後、(新しいコピーの代わりに)欠けている部分のみが、上記技術によって得られてもよい。
以前にブロードキャストされたメディアコンテンツが計画外の延長を有する場合に、メディアコンテンツ記録の一部がカットされてもよい。上記例において、コンテンツストリームからのコンテンツは午後8時から午後9時まで、ユーザによって要求された喜劇ショーとして記録されるようスケジューリングされてもよい。しかしながら、フットボール試合が20分遅延したため、喜劇ショーの初めの20分はコンテンツストリーム上で利用可能ではないかもしれない。したがって、コンテンツの午後8時から午後9時までの記録は、20分のフットボール試合およびそれに続く40分の喜劇ショーを含むかもしれない。あるいは、午後8時20分から午後9時までの短い記録は、本来の喜劇ショーの一部分のみを含むかもしれない。一実施形態では、フィンガプリント設定が用いられて、映像の再生時の位置を決定し、したがって記録する時間を調整してもよい。例えば、8時20分にコンテンツストリーム中で利用可能なコンテンツが、コンテンツから抽出されたフィンガプリントに基づいて、喜劇ショーの始まりであると識別されてもよい。この識別に基づいて、記録時間は午後8時〜午後9時から午後8時20分〜午後9時20分に、または午後8時〜午後9時から午後8時〜午後9時20分に変更されてもよい。他の実施形態では、コンテンツストリーム中のコンテンツから抽出されたフィンガプリントが喜劇ショーに関連づけられたフィンガプリントともはや一致しなくなるまで、単純に記録が継続されてもよい。一実施形態では、コンテンツストリーム内のメディアコンテンツに関するフィンガプリントは、先駆けてメディア装置に送信されてもよく、そして、メディア装置は、対応することが知られている受信されたフィンガプリントを、コンテンツストリーム上にアクセス可能なメディアコンテンツから抽出されたフィンガプリントを有する完全なメディアコンテンツと比較することができる。
一実施形態では、記録されたコンテンツの再生は、記録されたコンテンツの開始時以外の開始位置を選択すること、および/または、記録されたコンテンツの終了時以外の終了位置を選択することを含んでもよい。例えば、喜劇ショーの1時間の長さの記録が、20分のフットボール試合とその後の40分の喜劇ショーを含む場合、フィンガプリントが使用されて、喜劇ショーが記録の20分の位置で始まる旨を決定してもよい。この情報に基づいて、喜劇ショーが再生のために選択される場合、再生は20分の位置で始まってもよい。同様に、喜劇ショーの記録の終了時に、代替のコンテンツが記録されてもよい。この例において、記録の残りが喜劇ショーに含まれない旨の決定に応じて自動的に、マルチメディア装置による再生は喜劇ショーの後で停止されてもよい。コンテンツのフィンガプリントの識別に基づいて記録された再生を開始および/または終了することが用いられて、記録の開始または終了時にコマーシャルをスキップしてもよい。例えば、30分の記録の再生に応じて、記録の最初の2分がコマーシャルのみを含む場合には記録は2分の位置で開始されてもよい。
一実施形態では、喜劇ショーの部分的な記録(例えば、短縮された40分のみの記録、または40分のみが喜劇ショーに対応する1時間の記録)が、記録から抽出されたフィンガプリントまたは記録の長さに基づいて、または別の適切な機構を用いて識別されてもよい。一実施形態では、メディアコンテンツの部分的な記録の識別に応じて、メディアコンテンツは図12に示されて上述されたように自動的に再び記録されてもよい。
一実施形態では、タグに基づくフィンガプリントは、メディアコンテンツの開始点および/または終了点をマークするように生成されてもよい。例えば、タグは、抽出されたフィンガプリントに基づいて、コンテンツストリームを受信するメディア装置によって生成されてもよい。該フィンガプリントは、番組の開始時および/または終了時を示す特定のフレームをマークする。別の例では、コンテンツ送信元は、メディアコンテンツから抽出されたフィンガプリントを用いてメディアコンテンツの正確な開始時および終了時を識別してもよく、その後に、メディア装置へのストリーミングの前のフレームをタグ付けして、開始点および/または終了点を示してもよい。一実施形態では、実施に基づいて任意の他のフィンガプリントが使用されてもよく、メディアコンテンツの開始点および/または終了点は、メディアコンテンツから抽出されたフィンガプリントによって検出されることができる。
6.0 記録情報または視聴情報の発表
図4は、一実施形態による広告の再生を検出するフロー図を示す。以下の1つ以上のステップが省かれたり、反復されたり、および/または異なる順番で実行されてもよい。したがって、図4に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。
一実施形態では、第1のユーザに関連づけられた第1の装置上でメディアコンテンツを視聴するか記録するコマンドが受信される(ステップ402)。メディアコンテンツを視聴するか記録するコマンドは、電子番組ガイド(EPG)における選択によって受信されてもよい。コマンドはメディアコンテンツ(例えば映画、スポーツイベント、または特定のテレビショー)の単一の記録のためのものでもよく、またはメディアコンテンツの一連の記録(例えば複数のエピソードからなるテレビショー)のためのものでもよい。メモリ上にローカルに記憶されたメディアコンテンツファイルを再生するコマンドが受信されてもよい(例えば、DVDプレーヤはDVDを再生するコマンドを受信してもよく、デジタルビデオレコーダは記憶された記録を再生するコマンドを受信してもよい)。一実施形態では、単一のメディア装置がそのようなすべてのコマンドを受信して、それに応じてその他の装置(例えばDVDプレーヤ、ブルーレイプレーヤ)に指示してもよい。
第1の装置上のメディアコンテンツの視聴または記録が、一実施形態によって発表される(ステップ404)。メディアコンテンツの視聴または記録の発表は、ユーザ固有であってもよい。例えば、メディアコンテンツの視聴または記録はユーザに関連づけられたウェブページ(例えば、MySpace(R)またはFacebook(R)などのネットワークウェブサイト上のユーザウェブページ)(MySpace(R)はカリフォルニア州Beverly HillsのMySpace,Inc.の登録商標であり、Facebook(R)はカリフォルニア州Palo AltoのFacebook,Inc.の登録商標である)上に投稿されてもよく、グループページ(例えば、グループのために指定されたウェブページ)上の投稿は、他のユーザにeメールで送信されてもよく、テキストメッセージ内で提供されてもよく、任意の他の方法で発表されてもよい。一実施形態では、ユーザによる視聴または記録のすべては、ユーザからのメッセージ(例えばTwitter(R)を用いて。Twitter(R)はカリフォルニア州San FranciscoのTwitter,Inc.の登録商標である)を受信するように選択された他のユーザのリストに自動的にeメールで送信されてもよい。メディアコンテンツの視聴または記録の発表には、メディアコンテンツに応じた料金が含まれてもよい。例えば、ユーザがペイパービュー映画を選択する場合、映画の料金が発表されてもよい。一実施形態では、メディアコンテンツの視聴または記録の発表は、メディアコンテンツに関連づけられた発表に関するユーザの名前(またはユーザに関連づけられたユーザネーム)の発表を含んでもよい。例えば、特定のメディアコンテンツを視聴したすべてのユーザが、ソーシャルネットワーキングウェブサイトに関連づけられた単一のウェブページ上で発表されてもよい。特定のメディアコンテンツに関する、ユーザが該特定のメディアコンテンツを視聴した旨を示す投稿に返答した(例えば「好き」「同意」「シェア」など)任意のユーザが、単一のウェブページ上で発表されてもよい。
一実施形態では、第1のユーザに関連づけられた第1の装置上のメディアコンテンツを記録するコマンドの受信に応じて、メディアコンテンツは該第1の装置および第2のユーザに関連づけられた第2の装置上に記録される(ステップ506)。例えば、第1の装置はメディアコンテンツの記録のスケジューリングを第2の装置に通知し、第2の装置は該メディアコンテンツを自動的に記録してもよい。別の例では、第1の装置からの通知に応じて、第2の装置がメディアコンテンツの記録のために第2のユーザにプロンプトを示してもよい。第2の装置はしたがって、メディアコンテンツを記録する旨のユーザのコマンドの受信に続いて、メディアコンテンツを記録してもよい。一実施形態では、第2の装置上でのメディアコンテンツの記録は、上記のような、第1の装置上での記録の発表(例えばウェブサイト上)に続いて行われてもよい。例えば、第2のユーザは第1のデバイス上へのメディアコンテンツの記録の発表に関連づけられたウェブサイト上のリンクを選択し、第2のユーザに関連づけられた第2の装置上に該メディアコンテンツを記録する。一実施形態では、メディア装置は別のメディア装置によって記録されたすべての番組を記録することによって該別のメディア装置を模倣するように構成されてもよい。
複数の装置上への同一のメディアコンテンツの記録が、一実施形態によって検出されてもよい(ステップ408)。例えば、ユーザグループ内の異なるユーザが、彼らそれぞれのメディア装置上に同一のメディアコンテンツの記録をそれぞれスケジューリングしてもよい。グループ内のユーザに関連付けられた各メディア装置の記録スケジュールは収集され、任意の重なる記録スケジュールを検出するように(例えばサーバ、サービス、またはメディア装置の1つによって)比較されてもよい。一実施形態では、メディア装置上にすでに記録されたメディアコンテンツが、別のメディアコンテンツ上にすでに記録されたメディアコンテンツと比較されてもよく、別のメディアコンテンツ上への記録スケジュールと比較されてもよい。
一実施形態では、メディア装置が、別の特定のメディア装置による記録がスケジューリングされている任意のメディアコンテンツの記録を自動的にスケジューリングするように構成されてもよい。したがって、メディア装置は装置識別番号によって識別される別のメディア装置を模倣するように構成されてもよい。メディア装置は特定のユーザに関連づけられた任意の装置を模倣するように構成されてもよい。例えば、第1のユーザは、ソーシャルネットワーキングウェブサイト上の第2のユーザの投稿に基づいて、該第2のユーザが新しいショーまたは番組のすばらしい選択をしたと決定してもよい。そして第1のユーザは、第2のユーザに関連づけられたメディア装置の識別番号または第2のユーザの名前を用いて模倣要求を発信することによって、第2のユーザのテレビジョン視聴習慣を模倣することを選択してもよい。代わりに、第1のユーザはソーシャルネットワーキングウェブサイト上の好みを示してもよい。そしてソーシャルネットワーキングウェブサイトは第1のユーザおよび第2のユーザの識別子をコンテンツ送信元に送信してもよく、それは、第1のユーザに関連づけられたメディア装置を、第2のユーザに関連づけられたメディア装置によって記録されたショーと同じものを記録するように構成する。
一実施形態では、各メディア装置はメディア装置への記録のスケジューリングのデータベース(例えばサーバ上、第3者のサービスによって提供されるなど)にアクセスするように構成されてもよい。ユーザは自分自身のメディア装置を用いてこのデータベースにアクセスしてもよく、特定のユーザの名前または識別子によって参照される別のメディア装置の記録を模倣してもよい。例えば、ユーザは、別のユーザによっても記録されている特定のショーを選択してもよい。一実施形態では、ユーザは視聴または記録のためのショーを選択するために記録に関連する他の統計にアクセスすることができてもよい。例えば、メディア装置記録データベースは将来の記録スケジュールに基づいて、あるいはすでに終了した記録に基づいて、あるいはコンテンツストリーム上で利用可能にされたときにショーを視聴したユーザの数に基づいて、最も人気のあるショーを表示してもよい。
複数の装置上で同時にメディアコンテンツを再生する時刻が、実施形態に応じてスケジューリングされてもよい(ステップ410)。メディアコンテンツを再生する時刻は自動的に選択されてもよく、1人以上のユーザからの入力に基づいて選択されてもよい。例えば、特定のメディアコンテンツを記録するようにスケジューリングされた(またはすでに記録した)メディア装置に関連づけられたすべてのユーザは、重複する選択を通知されてもよく、それぞれのメディア装置を用いるすべてのユーザによってメディアコンテンツを同時に視聴する時刻を、1人のユーザが選択してもよい。別の例では、各メディア装置はそれぞれのユーザにとって利用可能な視聴時刻を決定するようにユーザアベイラビリティカレンダー(user availability calendar)にアクセスしてもよい。その後、すべてのユーザ(またはユーザの大半)が利用可能となるように、ショーの同期的な視聴がカレンダーにおいてスケジューリングされてもよい。
同一のメディアコンテンツの視聴者/記録者が、一実施形態によってメディアコンテンツに関連づけられたグループに自動的に登録されてもよい(ステップ412)。例えば、特定の映画のすべての視聴者および/または記録者は、映画の各記録/視聴に応じて、映画に関連づけられたソーシャルネットワーキンググループに自動的に登録されてもよい。メディアコンテンツを議論し、同一の視聴の好みを有する他のユーザを探し、同一の記録のための視聴時刻をスケジューリングし、または他の任意の適切な目的のためのフォーラムとして、自動登録グループがユーザによって用いられてもよい。メディアコンテンツを同期して再生している複数の装置に関連づけられた2人以上のユーザのために議論フォーラムが開始されてもよい。議論フォーラムはユーザを招待してインスタントメッセージングチャット(例えば、Yahoo(R)インスタントメッセージング、Google(R)チャット、AIM(R)、Twitter(R)など(Yahoo(R)はカリフォルニア州SunnyvaleのYahoo!,Inc.の登録商標である。Google(R)はカリフォルニア州Mountain ViewのGoogle,Inc.の登録商標である。AIM(R)はバージニア州DullesのAOL LLCの登録商標である。Twitter(R)はカリフォルニア州San FranciscoのTwitter,Inc.の登録商標である))、ビデオチャット(例えばSkype(R)。Skype(R)はアイルランド国DublinのSkype Limited Corp.の登録商標である)、ウェブサイトスレッド、または電子メッセージ(eメール)スレッドに参加させるメディア装置によって開始されてもよい。議論フォーラムは2人のユーザを含んでもよく、任意の数のユーザを含んでもよい。議論フォーラムは知り合いであることがすでに知られているユーザのために開始されてもよい。例えば、ユーザどうしがソーシャルネットワーキングウェブサイト上で友人である場合に議論フォーラムが開始されてもよい。一実施形態では、議論フォーラムは販売者を可能性のある顧客に紹介するために生成されてもよい。例えば、フットボール試合の再生の最中に、フットボール試合入場券の販売者とのチャットへの招待案内が提示されてもよい。一実施形態では、議論フォーラムはデーティングポータル(dating portal)として実施されてもよい。例えば、デーティングサーバに加入しており同じショーを見ており同じ地理的領域にいる男性および女性が、メディア装置によるチャットに招待されてもよい。別の例はアクティビティポータルを含む。例えば、メディア装置は、料理チャンネルショーの視聴者に一緒に料理をするよう誘うように構成されてもよく、旅行チャンネルショーの視聴者を特徴のある行き先に一緒に旅行させるよう誘うように構成されてもよい。メディア装置は上記のように、任意の他のコンピュータ装置(例えば他のメディア装置またはパーソナルコンピュータ)と通信するように構成されてもよい。
7.0 メディアコンテンツからのフィンガプリントの抽出
図5は一実施形態によるメディアコンテンツからのフィンガプリントの抽出のためのフロー図を示す。以下に記載のステップの1つ以上が省かれたり、反復されたり、および/または異なる順序で実行されてもよい。したがって、図5に示されるステップの特定の配置は、本発明の範囲を限定するものとして解釈されるべきではない。
一実施形態では、メディア装置がアイドル基準を満たしているかを判定するように、メディア装置は監視される(ステップ502)。アイドル基準はメディア装置または構成要素の不使用、または使用パーセンテージ(例えば、全周波数帯の中の有効周波数帯に関するパーセンテージ、または全処理出力の中の有効処理出力に関するパーセンテージ)に基づいてもよい。メディア装置は自己監視を行ってもよく、サーバによって監視されてもよい。アイドル基準のためにメディア装置を監視することは、ユーザコマンドを受信することのない期間の満了を検出することを含んでもよい。アイドル基準のためにメディア装置を監視することは、メディアコンテンツを受信する、および/またはメディアコンテンツからフィンガプリントを抽出するために必要とされるリソースの利用可能性を検出することを含んでもよい。メディア装置を監視することは、メディア装置の異なる構成要素を別々に監視することを含んでもよい。例えば、ユーザがメディア装置上に記憶された記録を視聴し、メディア装置にストリーミングされた任意の追加のコンテンツを記録しない場合、チューナはアイドルであるかもしれない。この情報に基づいて、チューナがアイドル基準を満たしている旨の判定が行われてもよい。したがって、メディア装置の異なる構成要素が別々のアイドル基準に関連づけられてもよい。別の例では、メディアコンテンツからのフィンガプリントの抽出に必要な構成要素はアイドル基準を満たすかもしれない。
一実施形態では、メディア装置はメディアコンテンツからフィンガプリントを抽出する目的でコンテンツ送信元からメディアコンテンツを受信する(ステップ504)。メディア装置(またはメディア装置内の構成要素)がアイドル基準を満たす旨のコンテンツ送信元への告知に応じて、メディア装置はメディアコンテンツを受信してもよい。一実施形態では、コンテンツ送信元は、メディア装置がアイドル基準を満たすかどうかを自動的に検出してもよい。例えば、コンテンツ送信元は、メディア装置が任意の特定のメディアコンテンツ(例えば、ブロードキャストコンテンツ、ウェブコンテンツなど)を視聴することを要求していない旨を判定してもよい。したがって、チューナは大抵、メディアコンテンツをダウンロードする周波数帯を有する。一実施形態では、メディア装置は複数のコンテンツストリームを受信する機能を含んでもよい。この実施形態では、コンテンツ送信元は、いくつのコンテンツストリームがメディア装置によって受信されているか判定してもよい。メディア装置の知られている構成および/または機能に基づいて、コンテンツ送信元は追加のメディアコンテンツを受信するためのチューナの有効帯域幅を決定してもよい。ひとたびアイドル基準が満たされれば、コンテンツ発信元はフィンガプリントを生成するメディア装置のために特定のメディアコンテンツをダウンロードしてもよい。
一実施形態では、コンテンツ送信元は、アイドル基準を満たす複数のメディア装置にブロードキャストされるメディアコンテンツを分配することによって、メディアコンテンツのためのフィンガプリントのデータベースを構築してもよい。例えば、5000個の装置がアイドル基準を満たし、2000個のユニークなメディアコンテンツファイルがフィンガプリント抽出される場合、メディア装置からそれぞれのフィンガプリントを生成するために、コンテンツ送信元は5000個のメディア装置のそれぞれに4つのユニークなメディアコンテンツファイルを送信するかもしれない。一実施形態では、メディア装置から抽出されたフィンガプリントにエラーがある場合、またはメディア装置がフィンガプリントの抽出中に中断された場合に備えて、コンテンツ送信元は各ユニークなメディアコンテンツファイルを2つ以上のメディア装置に送信してもよい。コンテンツ送信元は、メディア装置にすでにダウンロードされたコンテンツをフィンガプリント抽出するようにメディア装置に指示してもよい(例えば、ユーザのコマンドに基づいて)。一実施形態では、ユーザがメディア装置の使用を再開し、それによってメディア装置によるフィンガプリントの抽出を阻止または中止してもよい。一実施形態では、メディア装置上にメディアコンテンツをダウンロードする前に、アイドル基準が満たされるときにコンテンツ送信元がメディア装置の使用許可を要求するプロンプトをユーザに示してもよい。特定の機能(例えばフィンガプリントの抽出)を実施および/または遂行するためにユーザがコンテンツ送信元にメディア装置を使用させる場合、コンテンツ送信元は、ペイパービュー映画を見るためのクレジットなどのインセンティブを提供してもよい。
一実施形態では、フィンガプリントはメディア装置によってメディアコンテンツから抽出される(ステップ506)。任意の技法がメディアコンテンツからフィンガプリントを抽出するために使用されてもよい。1つの例はビデオフレーム内の画素の強度値に基づいてビデオフレームからフィンガプリントを抽出することである。機能(例えば、メディア装置上にダウンロードされる)が強度値のそれぞれに適用されてもよく、その結果に基づいて、シグナチャビット(例えば「0」または「1」)が強度値に割り当てられてもよい。同様の技法は、音声データから生成されたスペクトログラムの方法を適用することによる音声フィンガプリント抽出のために用いられてもよい。
フィンガプリントはコンテンツ送信元からの特定の指示に基づいてメディア装置によって抽出されてもよい。例えば、フィンガプリントは特定のメディアコンテンツファイルのすべてのビデオフレームから抽出されてもよい。代わりに、フィンガプリントはメディア装置によって受信されるn番目のフレームごとに、またはiFrameごとに抽出されてもよい。一実施形態では、フィンガプリントされるための特定のフレームがタグ付けされてもよい。タグ付け技法は、すべて出願人によって所有され、参照によって本明細書に組み込まれる、米国特許出願第09/665921号明細書、米国特許出願第11/473990号明細書、および米国特許出願第11/473543号明細書に記載されている。ひとたびメディア装置がタグ付けされたフレームを受信すると、メディア装置はフレームを圧縮から解凍してもよく、フレームを分析してもよく、フレームからフィンガプリントを抽出してもよい。ビデオフレームフィンガプリントはメディアコンテンツ(例えば、メディアコンテンツの名前、エピソードの番号など)に基づいてメディア装置によってカテゴリ分けされてもよい。
一実施形態では、メディア装置はユーザによって視聴されているメディアコンテンツに関するフィンガプリントを抽出してもよい。例えば、ユーザはメディア装置によって表示される電子番組ガイド上で特定のショーを選択してもよい。そしてメディア装置は、コンテンツ送信元から、特定のショーを含むコンテンツストリームを要求してもよい。任意のステップとして、フィンガプリントがメディア装置によって要求される特定のショーのために必要とされるかどうかを、送信元が表示してもよい。表示はメディア装置によって受信されたデータにおけるフラグであってもよい。特定のショーが、フラグによって表示されたとおりフィンガプリント抽出が必要な場合、メディア装置は、対応するビデオフレームを圧縮から解凍し、圧縮から解凍されたビデオフレームをメモリにロードし、ビデオフレームを分析してビデオフレームからフィンガプリントを抽出してもよい。一実施形態では、ユーザは、フィンガプリント抽出されているメディアコンテンツの再生の途中でチャンネルを変更してもよい。結果として、チューナは異なるコンテンツストリームを受信せざるを得なくなってもよい。この場合、メディア装置はメディアコンテンツの一部のみのために抽出されたフィンガプリントを有してもよい。メディア装置は、フィンガプリントが抽出されたメディアコンテンツの再生の開始部分および終了部分を示すメタデータを生成してもよい。
一実施形態では、メディア装置はメディアコンテンツ(またはメディアコンテンツの一部)から抽出されたフィンガプリントを、フィンガプリントサーバに実施形態に基づいてアップロードしてもよい(ステップ508)。したがって、フィンガプリントデータベースは、メディアコンテンツに関するフィンガプリントをそれぞれアップロードする複数のメディア装置によって構築されてもよい。メディアコンテンツの一部のみに関して受信されたフィンガプリントは、同一のメディアコンテンツからの他のフィンガプリントと組み合わされて完全なフィンガプリントを生成してもよい。例えば、1つのメディア装置が番組の前半のビデオフレームに対するフィンガプリントを生成してアップロードし、第2のメディア装置が同一の番組の後半に対するフィンガプリントを生成してアップロードする場合、2つの装置から受信された2つのフィンガプリントを組み合わせて、番組のすべてのビデオフレームに関するフィンガプリントを得てもよい。
1つ以上の実施形態による、メディア装置から抽出されたフィンガプリントの収集および記憶のための例示的なアーキテクチャが、図6に示される。フィンガプリント管理エンジン(604)は一般的に、メディア装置によって抽出されたフィンガプリントを得るために構成されることができる任意のハードウェアおよび/またはソフトウェアを表す(メディア装置A(606)、メディア装置B(608)、メディア装置C(610)、メディア装置N(620)など)。フィンガプリント管理エンジン(600)は、メディア装置によって抽出されたフィンガプリントを得るための機能を含むコンテンツ送信元または他のシステム/サービスによって実施されてもよい。フィンガプリント管理エンジン(604)は(例えばメディアコンテンツ、あるいはメディアコンテンツを含むコンテンツストリームからのユーザによる選択に応じて)メディア装置によってすでに受信されたメディアコンテンツに関するフィンガプリントを得てもよい。フィンガプリント管理エンジン(604)は、特にフィンガプリントの抽出の目的で、メディア装置にメディアコンテンツを送信してもよい。フィンガプリント管理エンジン(604)は、メディア装置がアイドルである旨の検出に応じて、フィンガプリント抽出のためにメディア装置にメディアコンテンツを送信してもよい。一実施形態では、フィンガプリント管理エンジン(604)は、メディア装置によって抽出されたフィンガプリントの記憶および問い合わせのためにフィンガプリントデータベース(602)を維持する。
8.0 メッセージの提示
図7は、一実施形態によるメッセージの提示のためのフロー図を示す。以下の1つ以上のステップが省かれたり、反復されたり、および/または異なる順番で実行されてもよい。したがって、図7に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。
はじめに、ユーザに関連づけられたメッセージの好みが受信される(ステップ702)。メッセージの好みは一般的に、メッセージのタイミング、メッセージのフィルタリング、メッセージの優先度、メッセージの表示、または任意の他のメッセージに関連づけられた特徴など、メッセージコンテンツに関連づけられた任意の好みを表す。例えば、メッセージの好みは、メッセージが受信されるとすぐに提示されるものか、特定の時間(例えば、コマーシャルが表示されているとき)まで保持されるものかを示してもよい。メッセージの好みは、メッセージ送信元またはメッセージ受信者に基づいて異なる好みを表示してもよい。例えば、特定のウェブサイト、リアリーシンプリーシンジケーション(RSS)フィード、または特定のユーザからのメッセージが、最初に提示されるべき、または受信されるとすぐに提示されるべき高い優先度のメッセージとして分類されてもよい。低い優先度のメッセージは特定の時間の間保持されてもよい。メッセージの好みは、メッセージが受信されたままで提示されるもの、テキストに変換されるもの、音声に変換されるもの、特定の方法/フォーマット/スタイルにおいて提示されるもの、などであるかどうかを示してもよい。メッセージの好みは自動化された動作にしたがってもよく、特定のメッセージを受信すると自動的に特定の動作を行うことにつながる。1つ以上の好み(例えばメッセージの好み)、履歴の閲覧、および/またはユーザに関連づけられた他の情報が、ユーザのプロファイルをつくりあげる。
一実施形態では、メッセージの好みはユーザ定義のアラート条件を含んでもよい。例えば、アラート条件には、特定の条件を満たすeメール、ボイスメール、テキストメッセージ、インスタントメッセージ、ツイッターのツイートなどを受信したことを含んでもよい。アラート条件は、ユーザの特定のリストによって実行される特定のユーザの動作を含んでもよい。例えば、アラート条件はウェブページ上にハイキング行事への誘いを投稿する特定のユーザであってもよい。アラート条件は通信における特定のキーワード、通信に関連づけられた主題、などに基づいてもよい。例えば、「緊急」または「至急」という単語が通信内に見出される場合に、アラート条件が満たされてもよい。アラート条件はセキュリティ(例えば家の警報または自動車の警報が作動している)に関してもよい。アラート条件は台所設備に関してもよい。例えば、アラート条件はオーブンのタイマーの作動とリンクされてもよい。アラート条件はユーザ指定のエンティティのステータスの変化を含んでもよい。例えば、アラート条件はソーシャルネットワーキングウェブサイトのユーザがステータスを「交際中」から「ひとり身」に変更する場合に関してもよい。アラート条件は、ユーザプロファイルに基づいて選択された、コンテンツストリーム内の特定のメディアコンテンツの利用可能性を含んでもよい。例えば、ユーザプロファイルは視聴履歴、俳優の名前、メディアコンテンツのジャンル、メディアコンテンツに関連づけられた言語を含んでもよい。メディアコンテンツがユーザプロファイルのどこかの部分と合致した場合、アラート条件が満たされてそれに応じてアラートが示されてもよい。
一実施形態では、メッセージの好みはユーザからの直接の入力として受信されてもよく、ユーザファイルに基づいて決定されてもよく、(例えばウェブページまたはユーザに関連づけられたその他のファイルから、あるいはデータベースに問い合わせる、など)インターネットから得られてもよい。メッセージの好みはメディア装置上で利用パターンを監視することによって得られてもよい。例えば、利用パターンが、ユーザがメッセージの通知を受信するとすぐにメッセージをチェックする旨を示す場合、メッセージの好みは、メッセージはすぐに表示あるいは再生するべきものとする旨を示してもよい。ユーザに関するメッセージの好みは、送信者に基づいてもよい。例えば、メッセージの送信者が配信方法および/または配信の好みを示してもよい。メッセージの好みはランダムに(例えばユーザの入力で)、定期的に、または継続的に変更されてもよい。
一実施形態では、メディアコンテンツを再生するコマンドが受信される(ステップ704)。受信されたコマンドはキーボード、リモートコントロール、マウス、ジョイスティック、マイクロフォン、または任意のその他の適切な入力装置を介してユーザによって送信されてもよい。コマンドは、メディアコンテンツの再生のためのユーザによる電子番組ガイド(EPG)内での選択であってもよい。コマンドはユーザによって入力されるチャンネル選択であってもよい。コマンドは画像のスライドショーを表示する要求であってもよい。コマンドは音声ファイルを再生する旨であってもよい。コマンドは映画を再生する要求であってもよい(例えばブルーレイプレーヤのための要求)。一実施形態では、メディアコンテンツを提示するコマンドの受信は、ユーザインターフェイス上の検索フィールド内にメディアコンテンツの題名をユーザが入力することを含んでもよい。メディアコンテンツを再生するコマンドは、メモリ内に記憶された特定のメディアコンテンツのユーザによる選択であってもよい。
一実施形態では、メディアコンテンツが再生される(ステップ706)。一実施形態では、メディアコンテンツはコマンドに応じて再生されてもよく、コマンドを受信せずに再生されてもよい。例えば、ユーザは、最後に選択されたチャンネルまたはデフォルトのチャンネル上のコンテンツストリームを受信するように自動的に構成されたメディア装置をオンにすることができる。一実施形態では、メディア装置は、ユーザの好みに基づいて、または別のメディア装置上のメディアコンテンツの再生または記録に応じて、再生するためにメディアコンテンツを自動的に選択してもよい。
一実施形態では、メッセージはメディアコンテンツを再生している間に受信されてもよい(ステップ708)。メッセージはネットワーク(例えばインターネット、イントラネット、ブロードキャストサービス)を介してローカルまたはリモートの送信元から受信されてもよい。メッセージはインターネット接続を介してウェブサービスから受信されてもよい。例えば、ソーシャルネットワーキングウェブサイトに関連づけられた友人メッセージまたはステータスの変化がウェブサービスから受信されてもよい。ウェブサービスはソーシャルネットワーキングウェブサイトに関連づけられたすべてのメッセージ、または特定の好みに関連してフィルタリングされて選ばれたメッセージを提供するように構成されてもよい。別の例は、ニュース、スポーツ、エンターテインメント、天気、株価、または任意の他の適切なカテゴリに関連づけられたウェブサービスから受信されるリアリーシンプリーシンジケーション(RSS)フィードを含んでもよい。一実施形態では、メッセージはコンテンツ送信元によって提供されるサービスに関するコンテンツ送信元から受信されてもよい。例えば、メッセージは自動車購入サービスの利用可能性を示してもよく、売りに出ている特定の自動車の利用可能性を示してもよい。
メッセージはユーザまたはユーザのグループにメッセージ(例えばボイスメール、テキストメッセージ、eメールなど)を向けてもよい。メッセージは生成されたときの形態とは異なる形態で受信されてもよい。例えば、テキストメッセージは音声ファイルとして受信されてもよく、テキストメッセージはテキストメッセージの受信後にメディア装置によって音声ファイルに変換されてもよい。逆に、音声ファイルがテキストメッセージとして受信されたり、テキストメッセージに変換されたりしてもよい。一実施形態では、記号、略語、画像などがメッセージを表すために用いられてもよい。一実施形態では、ある言語で受信されたメッセージが異なる言語に翻訳されてもよい。
一実施形態では、メッセージの受信はユーザ定義のアラート条件の成立を検出することを含んでもよい。例えば、すべてのメッセージが監視されてユーザ定義のアラート条件と比較されてもよい。一実施形態では、EPGデータ、RSSフィード、ウェブページ、イベントログ、OCRを用いて得られた表示情報、または任意のほかの情報源が、アラート条件の成立のために監視されてもよい。受信されたメッセージのいずれかがアラート条件と合致する場合、アラート条件の成立が識別されてもよい。そしてアラートが直ちに提示されてアラート条件の成立を示してもよい。アラート条件の成立を示すメッセージはユーザの好みに基づいて解釈されてもよい。
メッセージを直ちに提示すべきか、後の時刻に提示すべきか、あるいはまったく提示しないかの決定が行われてもよい(ステップ710)。ユーザの好みに基づいて、受信されたメッセージは受信してすぐに表示されてもよく、後の時刻まで保持されて表示されてもよい(ステップ717)。メッセージはコマーシャルブレークの最中に、特定のスケジュールに基づいて、または別の適切な時刻に、ユーザが視聴するためにメッセージを選択したときに提示されてもよい。メッセージはユーザの好みに基づいてフィルタリングされてもよい。例えば、各受信されたメッセージはユーザ定義のアラート条件と比較されて、該メッセージがユーザ定義のアラート条件と合致するかどうか決定してもよい。ユーザ定義のアラート条件と合致するメッセージが表示され、ユーザ定義のアラート条件と合致しないメッセージはフィルタリングされてもよい。
一実施形態では、メッセージの表示は、視覚的なフォーマットでメッセージを提示すること、および/または音声フォーマットでメッセージを提示することを含んでもよい。例えば、メッセージはフレームバッファ内にメディアコンテンツフレームをロードし、フレームバッファ内のメッセージコンテンツをオーバレイしてメディアコンテンツフレームの一部を上書きすることによって提示されてもよい。フレームバッファのコンテンツは表示画面上に提示されてもよい。別の例示的な実施形態では、メディアコンテンツとメッセージコンテンツで異なるバッファが用いられてもよく、表示画面のコンテンツは両方のバッファから得られる。一実施形態では、メッセージの提示はメッセージ情報を表示すること、および、メッセージ情報を含む音声ファイルを同時に再生することを含んでもよい。画面上で再生されるメッセージ情報と音声ファイル内で再生されるメッセージ情報は同一でもよく異なっていてもよい。例えば、表示画面はメッセージに関連づけられた、またはメッセージを読み上げている人物の顔を表示してもよく、そのとき音声ファイルは実際のメッセージを含んでいてもよい。一実施形態では、音声メッセージの再生は、再生されるメディアコンテンツに関連づけられた音量を消すか小さくすることを含んでもよい。
9.0 コマンドの解釈
図8は一実施形態による音声コマンドを解釈するためのフロー図を示す。以下の1つ以上のステップが省かれたり、反復されたり、および/または異なる順番で実行されてもよい。したがって、図8に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。
最初に、マルチメディア装置の近くにいる1人以上のユーザが識別される(ステップ802)。1人以上のユーザが、マルチメディア装置またはマルチメディア装置に関連づけられた入力装置(例えばマイクロフォン、リモートコントローラ)によって受信された音声入力に基づいて識別されてもよい。例えば、マルチメディア装置(または関連する入力装置)は、検出可能な音声入力を定期的にサンプリングして、該音声入力を、ユーザの音声を表すデータと比較して、知られているユーザを識別するように構成されてもよい。ユーザ音声を表すデータは、ユーザによって実行された音声訓練エクササイズに基づいて、マルチメディア装置がユーザに関連づけられた音声サンプルを受信するように生成されてもよい。ユーザは能動的または受動的モードで識別されてもよい。例えば、ユーザのコマンドが受信されてユーザを認識したときに、ユーザは識別されてもよく、または、特定のユーザコマンドなしに自動的にユーザが識別されてもよい。例として音声認識が用いられるが、ユーザを認識するほかの手段が用いられてもよい。例えば、ユーザの名前が入力装置(例えば、キーボード、マウス、リモートコントローラ、ジョイスティックなど)を介して入力されてもよい。世帯に関連づけられたメタデータに基づいてユーザが識別されてもよい。メディア装置上の指紋検出または別の通信可能に結合された装置(例えばリモートコントローラ)上での指紋検出を用いてユーザが識別されてもよい。
一実施形態では、音声コマンドがユーザから受信される(ステップ804)。音声コマンドは、音声コマンドが与えられるべき旨を最初に示すユーザによって受信されてもよい。例えば、ユーザは、「コマンド」などのキーワードを言ってもよく、ユーザが音声コマンドを送信する予定である旨を示す入力をリモートコントローラなどの装置に入力してもよい。すべての音声入力を連続して処理し、該音声入力を知られているコマンドと比較して、音声コマンドが送信されたか判定することによって、音声コマンドが受信されてもよい。例えば、現在の時刻から直近のn秒における音声入力が、分析のために連続的に送信され、音声コマンドが直近のn秒に受信されたかどうか判定してもよい。一実施形態では、音声コマンドの異なる部分が、異なるユーザから受信されてもよい。例えば、コマンド「記録する」が第1のユーザから受信され、様々なタイトルの番組/ショーが複数のユーザから受信されてもよい。他のコマンドの例は「ピザを注文する」、「このゲームはすばらしいとツイート(tweet)する」「エミーズ(emmys)を見に来たい人のウォールポスト(wall post)」などである。音声コマンドがこの例で用いられたが、任意のタイプの入力(例えば、マウスを用いる、キーボードを用いる、ジョイスティックを用いる)が許容されてもよい。
コマンドは、1人以上の識別されたユーザに関連づけられた好み(例えばユーザのプロファイル)に基づいて解釈され(ステップ806)、実行すべき行動を判定してもよい(ステップ808)。コマンドを解釈することは、コマンドが1人のユーザ(例えば、コマンドを与えたユーザ)に適用されるか、複数のユーザ(例えばステップ802で識別された複数のユーザ)に適用されるかを判定することを含んでもよい。特定のコマンドの語句は、単一のユーザコマンドを示してもよく、複数のユーザコマンドを示してもよい。例えば、ツイートコマンドは、デフォルトでは単一のユーザ、例えば、該コマンドを送信したユーザに適用されるコマンドとして解釈されてもよい。さらに、コマンドはユーザの好み/設定に基づいて解釈されてもよい。コマンド「このゲームはすばらしい、とツイートする」を送信したユーザがツイッター(twitter)のアカウントに関連づけられている場合、実行されるべき動作は、ユーザのツイッターアカウントに「このゲームはすばらしい」との語句を含むツイートを生成することである。単一のユーザに適用されるコマンドの別の例には、「エミーズを見に来たい人はウォールに投稿する(wall post)」が含まれる。この場合、ユーザによるコマンドはフェイスブック(Facebook)ウォールポスト(wall post)として認識されてもよく、メッセージ「エミーズを見に来たい人」がユーザのフェイスブックのプロファイル上に投稿されてもよい。マルチメディア装置は、あるタイプのコマンドを複数のユーザコマンドに関連づけるように構成されてもよい。例えば、食べ物の注文が、識別されたユーザすべてに関連づけられてもよい。コマンド「ピザを注文する」はすべての識別されたユーザの好みに合致するトッピングを有するピザの注文と解釈されてもよい。コマンド「チケットを買う」は現在テレビジョンで宣伝されているフットボール試合のチケットをすべての識別されたユーザの分だけ購入する注文と解釈されてもよい。コマンドは、識別されたユーザに基づく完全な解釈のために、意図的に曖昧にされてもよい。例えば、コマンド「記録されたショーを再生する」は、何人の識別されたユーザがユーザの好みに基づいて記録されたショーを好むかを決定するように、メディア装置上に記録されたショーのそれぞれを評価するという結果となってもよい。その後で、識別されたユーザの中で最も多くの人数の好みと合致する記録されたショーが、再生のために選択される。
一実施形態では、コマンド解釈のすべてまたは一部が実行の前にユーザに確認されてもよい。例えば、ピザを注文する場合、ユーザの好みに基づいて選択されたピザのトッピングが、確認のために提示されてもよい。コマンドの確認を含む別の例は、金銭または閾値以上の額の金銭を必要とする任意の注文を含んでもよい。
一実施形態では、コマンドはユーザに関連づけられた許可に基づいて解釈されてもよく、コマンドは、コマンドを与えるユーザがコマンドを与える許可を得ている場合にのみ実行されてもよい。例えば、R指定の映画の記録および/または再生は17歳を超えるユーザに限定されてもよい。ユーザの年齢を含むプロファイルが、各ユーザに対してセットアップされてもよい。17歳を超えると識別されたユーザがR指定の映画の記録/再生のコマンドを与えた場合は、該コマンドは実行される。しかしながら、17歳を下回るユーザがR指定の映画の記録/再生のコマンドを与えた場合は、コマンドは拒否される。一実施形態では、コマンドはユーザの宗教的および/または政治的な信条に基づいて解釈されてもよい。一実施形態では、民主党員のユーザが選挙報道を記録するコマンドを送信した場合は民主党によって提供される選挙報道番組が記録され、共和党員がコマンドを入力した場合は共和党によって提供される選挙報道番組が記録されてもよい。
一実施形態では、コマンドを入力するために用いられる言語が、コマンドを解釈するために用いられてもよい。例えば、ショーを記録するコマンドがフランス語で入力された場合、利用可能なサブタイトルのストリームの組からフランス語のサブタイトルが選択されてショーが記録されてもよい。別の例では、複数の音声ストリームが異なる言語で有効な場合、選択された音声ストリームはコマンドの言語に基づいてもよい。
10.0 入力とメディアコンテンツの相関化
図9は一実施形態による注釈(annotation)とメディアコンテンツを相関させるフロー図を示す。以下の1つ以上のステップが省かれたり、反復されたり、および/または異なる順番で実行されてもよい。したがって、図9に示されたステップの特定の配置が、本発明の範囲を限定するものと解釈されるべきではない。さらに、特定のタイプの注釈(例えば、音声、テキスト、画像など)が以下の例で論じられるが、発明の実施形態は任意のタイプの注釈に適用可能である。
一実施形態では、メディアコンテンツが再生される(ステップ902)。メディアコンテンツは音声と映像両方のコンテンツを含んでもよく、メディアコンテンツは映像のコンテンツのみを含んでもよい。メディアコンテンツの再生と同時に、ユーザから受信された音声入力が記録されてもよい(ステップ904)。ユーザから受信された音声入力はメディアコンテンツへの一般的な反応であってもよい。例えば、音声入力は笑い、興奮(例えば、あえぎ声、「ワオ(wow)」など)、コメンタリー、批評、賞賛、またはメディアコンテンツへの任意のその他の反応を含んでもよい。一実施形態では、コメンタリーはメディアコンテンツの後の再生を意図された音声入力を含んでもよい。例えば、旅行の目的地に関するドキュメンタリー映画において、ユーザは、取り上げられている旅行の特定の目的地に関連づけられた物語または思い出を含む音声入力を発信してもよい。別の例では、メディアコンテンツのある部分に関連する記録のために、メディアコンテンツの該部分の最中にバンドが歌詞を提供してもよい。別の実施形態では、ユーザは本来の言語におけるメディアコンテンツの再生の最中に、コメンタリー、あらすじ、登場人物の紹介、または、メディアコンテンツに関する任意のその他の情報を、異なる言語で提供してもよい。音声入力の別の形態(例えば、同一のユーザによる、または異なるユーザによる)が、特定のメディアコンテンツに関連づけられて記録されてもよい。一実施形態では、音声入力は意図された再生情報のための指示と共に提供されてもよい。例えば、再生情報は、送信された音声が本来の音声全体を置き換えるものである旨か、本来の音声と同時に再生されるものである旨を示してもよい。一実施形態では、音声入力は、メディアコンテンツに関連づけられたテキストに基づいて会話を生成する、テキストから会話への翻訳装置によって自動的に生成されてもよい。例えば、代替の言語による会話が、代替の言語による字幕テキストに基づいて生成されてもよい。一実施形態では、光学的な文字認識が、画面に表示された建物の名前、文字、チームの名前などを識別し、視覚を損なった聴衆または情報を読むことができない聴衆(例えば言語の障壁または年齢のために)のための音声に変換するために用いられてもよい。一実施形態では、音声入力はメディアコンテンツの特定の一部の再生と同時に受信され、メディアコンテンツの該特定の一部に関連づけられて記憶されてもよい。
一実施形態では、メディアコンテンツはメディアコンテンツの前回の再生の最中に受信された音声入力の後に再生される(ステップ906)。メディアコンテンツの前回の再生の間に受信された追加の音声入力の再生は、本来の音声ストリームを完全に置き換えることを含んでもよく、本来の音声ストリームと同時に再生することを含んでもよい。一実施形態では、追加の音声入力は、対応するメディアコンテンツの再生の最中にオンまたはオフに切り換えられることができる特徴を有してもよい。一実施形態では、追加の音声入力の複数のバージョンが提供されてもよく、そこではユーザは、メディアコンテンツの再生中に再生するための特定の追加音声入力を選択する。例えば、異なる映画と共に再生されるべきコメンタリーを入力およびダウンロードするために、オンラインコミュニティが設置されてもよい。異なるメディア装置を伴う異なるユーザは、特定の映画(または他のコンテンツ)に関連して音声入力を記録し、その後で該映画に関連する音声入力をアップロードしてもよい。映画の購入者が映画をダウンロードしたとき、別のユーザによる、映画と共にダウンロード/再生されるべきコメンタリー(例えば音声入力)を、購入者が選択することができるようにしてもよい。購入者が、特定のユーザによるコメンタリーを面白いと思った場合、購入者は該特定のユーザをデフォルトのコメンテータに設定し、映画(またはその他のメディアコンテンツ)をダウンロードするときに、該特定のユーザによるすべてのコメンタリーをダウンロードしてもよい。
音声入力がメディアコンテンツの注釈の例として用いられるが、任意のタイプの注釈が本発明の実施形態によって用いられてもよい。例えば、メディアコンテンツの再生の最中に、1人以上のユーザによってテキストが入力されるか画像が送信されてもよい。一実施形態では、注釈の一部または部分、または注釈の集合体が、新しいコンテンツを抽出するように処理または分析されてもよい。一実施形態では、同一のメディアコンテンツに関連づけられた注釈を集めたものが、注釈パターンを識別するように比較されてもよい。例えば、注釈を集めたものが分析されて、メディアコンテンツ内の最も注目すべき点を決定してもよい。したがって、ユーザの興奮(またはほかの感情)が最大になるシーンまたは俳優が、シーンの最中の注釈から識別されてもよい。別の例では、テキストまたは音声の覚え書きなどの、注釈を集めたものに含まれるユーザのコンテンツが分析されて、集合的なユーザの感情(例えば、映画における最も笑えるシーン、または2009年に公開された最も笑える映画)を決定することができる。
11.0 パーソナルメディア装置による注釈の取り出し
一実施形態では、任意の注釈(音声入力、テキスト入力、画像入力などを含む)が、ユーザに関連づけられた個人メディア装置によって、メディアコンテンツの提示の前、最中、または後に取り出されてもよい。注釈の取り出しは、広告主、コンテンツ制作者、コンテンツ監督などによる選択に基づいてもよい。例えば、メディア装置によって受信されて表示されたコンテンツストリームにおけるメディアコンテンツ内のタレントコンテストの表示において、各パフォーマンスの終了時に、レビュー(例えば、投票、格付け、批評、賞賛)のためにメディア装置がユーザにプロンプトを示してもよい。一実施形態では、取り出された注釈(または他の注釈)は、音声入力が送信されたときなどのメディアコンテンツの特定の時点ではなく、全体としてメディアコンテンツに関連づけられてもよい。1人以上のユーザの注釈が、メディアコンテンツのために(投票を数える、点数をつけるなど)処理されてもよい。
一実施形態では、音声入力はユーザプロファイルを構築するようにメディア装置によってユーザから取り出されてもよい。例えば、異なるメディアコンテンツへの反応がユーザから取り出されてもよい。反応に基づいて、ユーザの関心、好み、嫌悪、価値観、政治心情などを含んでもよいユーザプロファイルが自動的に生成されてもよい。自動生成プロファイルは出会い系サービス、ソーシャルネットワーキングウェブサイトなどに用いられてもよい。自動生成プロファイルは(例えばソーシャルネットワーキングウェブサイトの)ウェブページ上で発表されてもよい。
一実施形態では、システムはメディアコンテンツに関連づけられた情報を識別するためにユーザの注釈を取り出すことができる。例えば、すでに検出されているが自動的には識別されることができない顔の識別のために、注釈が取り出されてもよい。システムは、メディアコンテンツが再生された後で、メディアコンテンツが子どもに適切であるかどうかを示す、親からの注釈を取り出すように構成されてもよい。
12.0 メディアコンテンツのマーキング
一実施形態では、メディアコンテンツの再生の位置をマークするためにユーザによって注釈が使用されてもよい。例えば、ユーザは、メディアコンテンツの再生における現在の位置をマークするようにシステムに指示する、「マーク」「覚え書き」「記録」などの特定のキーワードを含む音声入力または文字入力を、メディアコンテンツの再生の最中に送信してもよい。システムは、ユーザの反応に基づいて特定の位置を自動的にマークしてもよい。例えば、ある周波数またはあるデシベルレベルを超えたユーザ入力は、ユーザが興奮している旨を示すかもしれない。この興奮点は自動的に記憶されてもよい。一実施形態では、マークされた点は開始点および/または終結点を含んでもよい。例えば、スポーツ試合の興奮する部分と相関してもよい高いユーザアクティビティの期間が、開始点および終結点によってマークされてもよい。親は子どもに適切でないメディアコンテンツの開始点と終結点をマークしてもよく、マークされた部分はパスワードが入力されない限り再生のときにスキップされてもよい。ユーザはホームビデオにおいておもしろい部分にマークしてもよい。ユーザが点をマークするか、ユーザのリアクションに基づく自動的なマークの結果として、点に関連づけられた注釈が記憶されてもよい。注釈は、本来のコンテンツ、時間、または本来のコンテンツの開始からずれたフレーム、およびユーザが点をマークしたUTCを参照して具体化されてもよい。音声入力が例として用いられてもよいが、入力はリモートコントローラ上のキーを押す、マウスをクリックする、キーワードに関するコマンドを入力する、または任意の他の入力方法を用いて送信されてもよい。
一実施形態では、メディアコンテンツの特定の点をマークする(または識別する)ことは、メディアフレームをマークすることを含んでもよい。例えば、参照によって本明細書に組み込まれる、2000年9月20日に出願されて出願人が所有する特許出願第09/665921号に記載されるように、メディアフレームはタグを用いてマークされてもよい。別の例は、参照によって本明細書に組み込まれる、2006年6月22日に出願されて出願人が所有する特許出願第11/473543号に記載されるように、ハッシュ値を用いてメディアフレームをマークすることを含んでもよい。一実施形態では、メディアコンテンツにおける特定の点をマーキングすることは、メディアコンテンツにおける1つ以上のフレームからフィンガプリントを抽出して、該フィンガプリントを用いてメディアコンテンツの特定の点を認識することを含んでもよい。一実施形態では、メディアコンテンツの再生における開始点からの期間を記憶することによって特定の点がマークされてもよい。
一実施形態では、ユーザにマークされた位置は、後の時刻にユーザによって選択されてもよい。例えば、ユーザはメディアコンテンツの再生の最中に「次」または「スキャン」を押すことによって、ユーザにマークされた異なる位置によってスキャンすることができてもよい。マークされた点のそれぞれからの情報はユーザに提示されてもよく、ユーザは特定の画像を選択し、ユーザにマークされた対応する点からメディアコンテンツの再生を開始/再開することができる。ユーザの注釈を用いて、メディアコンテンツを異なる部分に動的に分割してもよい。ユーザの注釈を用いて、メディアコンテンツのある部分(例えば注釈/興奮のない期間)をフィルタリングし、メディアコンテンツの以後の再生においてメディアコンテンツの残りの部分を再生してもよい。
13.0 メディアコンテンツ注釈の発表
一実施形態では、注釈のすべてまたは一部が(例えばウェブサイトまたはウェブサービス上で参照されるか提示されるなど)発表されてもよい。一実施形態では、注釈のすべてまたは一部が別のシステム上のユーザに自動的に提示されてもよい。一例では、ユーザはeメールまたはSMSアドレスに注釈の全部または一部を送信するようにシステムに要求することができる。別の例では、オンラインショッピングカートに映画を自動的に追加するか、別のユーザ(例えば映画評論家または友人)が映画に肯定的な注釈をしているときにキュー(queue)に入れるように、ユーザはシステムに要求してもよい。一実施形態では、メディアコンテンツの注釈は、メディアコンテンツの注釈の売買または取引のためのオンラインコミュニティにおいてユーザによって売られてもよい。一実施形態では、注釈(例えば、埋め込まれた注釈を有するメディアコンテンツ)は、あるメディア装置から別のメディア装置に向けられて送信されてもよい(例えば、eメール、イントラネット、インターネット、または任意の他の利用可能な通信手段によって)。
14.0 自動的に生成された注釈
一実施形態では、システムはメディアコンテンツの字幕をつけられた部分からメディアコンテンツの注釈のコンテンツを抽出してもよい。一例では、システムは自然言語処理システムおよび/または意味解析システムによって認識された正しい名前を含む注釈を生成することができ、したがって正しい名前が字幕に現れて、映像コンテンツに注釈を関連づけることができる。別の実施例では、システムは、語句「これらの言葉の後で戻ってきます」または同様の語句が字幕に認識されたとき、コマーシャルブレークの開始を示す注釈を生成することができる。別の例は、明示的な字幕の言語を含むメディアコンテンツの地域に関連づけられた注釈を生成するシステムを含む。そしてシステムは、明示的な字幕の言語に関連づけられたメディアコンテンツの音声部分を自動的に消音する選択肢を提供してもよい。
一実施形態では、システムは光学文字認識システムを利用して音声入力を生成することができる。一例では、システムは宣伝中の映画の題名を含む注釈を生成することができる。例えば、映画の題名が識別されるとすぐに、または映画の予告編の最後に、注釈は(例えば画面の下部に)映画の題名を表示してもよい。別の例では、システムはクレジットに対応するビデオコンテンツから、キャストメンバーの名前を含む音声注釈を生成してもよい。別の例は、スポーツイベントのブロードキャストのテロップ領域内のデータをOCRで抽出して分析することによってスポーツ試合の最中の得点の変動を示す注釈を生成するシステムを含んでもよい。
一例では、システムは、ユーザがOCRからショーおよび映画の題名の集まりを認識することによって電子番組ガイド(EPG)をナビゲートしている旨を検出してもよい。そしてシステムは、EPGに載っている中で最も視聴率が高いショーを推薦する視覚的な注釈をEPGに生成してもよい。一実施形態では、注釈は推薦をさらに適切にするように用いられることができる他の文脈上の情報を含んでもよい。例えば、注釈はユーザによって最近視聴されたコンテンツに基づいてもよく、該注釈は同一のジャンルの、または同一の俳優が出演しているコンテンツをEPGから推薦するように用いられることができる。
一実施形態では、システムは会話テキスト変換システムを利用して注釈コンテンツを抽出してもよい。例えば、システムはメディアコンテンツのダイアログの複写を生成し、将来、音声が消音されたときまたは聴覚が損なわれた人に要求されたときの提示において用いることができる。一実施形態では、抽出された複製は関心のあるトピックまたは人物の存在を監視する別々のシステムによって処理され、そして関心のあるトピックまたは人物に関連づけられた注釈を自動的に生成することができる。
15.0 環境構成
図10は1つ以上の実施形態による環境を構成する例示的なシステムを示す。一実施形態では、環境構成エンジン(1015)が、環境配置(1025)を決定するように構成されてもよい任意のソフトウェアおよび/またはハードウェアを一般的に表す。環境構成エンジン(1015)は、図1Bに示されたメディア装置内で実施されてもよく、個々の構成要素として実施されてもよい。環境構成エンジン(1015)は、環境構成エンジン(1015)の近くにいる1人以上のユーザ(例えばユーザA(1005)、ユーザN(1010)など)を識別してもよく、識別されたユーザに関連づけられたユーザの好み(1020)を識別してもよい。ユーザは音声認識に基づいて識別されてもよく、ユーザを識別する他の入力に基づいて識別されてもよい。ユーザの好み(1020)に基づいて、環境構成エンジンはユーザインターフェイス、音声システム構成、部屋の照明、ゲーム画面、音楽再生リスト、着席配置、または任意の他の適切な環境構成(1025)を構成することができる。例えば、ユーザの好みのグループに関連づけられた5人の友人が識別された場合、スポーツ試合をストリーミングするチャンネルが自動的に選択され、該スポーツ試合に関連づけられた音声ストリームに関する環境音が選択されてもよい。別の例は、カップルを識別するか、ロマンティックな喜劇の再生を自動的に開始することを含んでもよい。
16.0 ハードウェアの概観
一実施形態によれば、本明細書に記載された技法は1つ以上の特定用途のコンピュータ装置によって実施される。特定用途のコンピュータ装置は該技法を実行するためにハードワイヤード(hard−wired)されていてもよく、技法を実行するために永続的にプログラミングされた1つ以上の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)などのデジタル電子装置を含んでもよく、またはファームウェア、メモリ、他の記憶装置、または組み合わせにおいてプログラム命令に従って技法を実行するようにプログラミングされた1つ以上の汎用ハードウェアプロセッサを含んでもよい。そのような特定目的コンピュータ装置は、カスタムハードワイヤードされたロジック、ASIC、またはカスタムプログラミングされたFPGAを組み合わせて該技法を実現させてもよい。特定目的コンピュータ装置は、デスクトップコンピュータシステム、持ち運び可能コンピュータシステム、ハンドヘルド装置、ネットワーク装置、または該技法を実施するためのハードワイヤードおよび/またはプログラミングロジックを組み込んだ任意の他の装置であってもよい。
図11は、本発明の実施形態が実装されてもよいシステム1100を示すブロック図である。システム1100はバス1102または情報を通信するための他の通信機構と、バス1102と結合されており情報を処理するためのハードウェアプロセッサ1104と、を含む。ハードウェアプロセッサ1104は、例えば、汎用マイクロプロセッサであってもよい。
システム1100はまた、バス1102に結合された、ランダムアクセスメモリ(RAM)または他の動的記憶装置などの、情報およびプロセッサ1104によって実行される命令を記憶するためのメインメモリ1106を含む。メインメモリ1106はまた、プロセッサ1104によって実行される命令の実行の間、一時的な変数または他の中間情報を記憶するために用いられてもよい。そのような命令は、プロセッサ1104にアクセス可能な記憶媒体に記憶された場合、システム1100を、該命令に特化した動作を実行するようにカスタマイズされた特定用途の機械にする。
システム1100はさらに、バス1102に結合された、プロセッサ1104のために静的情報および命令を記憶するためのリードオンリーメモリ(ROM)1108または他の静的記憶装置を含む。情報および命令を記憶するための磁気ディスクまたは光ディスクなどの記憶装置1110が提供され、バス1102に結合される。
システム1100はバス1102を介して、例えば陰極線管(CRT)などの、コンピュータユーザに情報を示すためのディスプレイ1112に結合されてもよい。情報およびコマンド選択をプロセッサ1104に通信するための、英数字および他のキーを含む入力装置1114が、バス1102に結合される。他のタイプのユーザ入力装置は、方向情報およびコマンド選択をプロセッサ1104に通信し、ディスプレイ1112上でカーソルの移動を制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御11111である。この入力装置は典型的には、第1の軸(例えばx軸)および第2の軸(例えばy軸)である2つの軸において2つの自由度を有し、それは装置が平面上での位置を特定することを可能にする。
システム1100は、システムと組み合わせて、システム1100を特定用途の機械にするか特定用途の機械へとプログラミングする、カスタマイズされたハードワイヤードロジック、1つ以上のASICまたはFPGA、ファームウェアおよび/またはプログラムロジックを用いて、本明細書に記載された技法を実施してもよい。一実施形態によれば、本明細書に記載された技法は、メインメモリ1106に記載された1つ以上の命令の1つ以上の配列を実行するプロセッサ1104に応じてシステム1100によって実行される。そのような命令は、別の記憶媒体、例えば記憶装置1110などからメインメモリ1106へと読み取られてもよい。メインメモリ1106に含まれる命令の配列の実行は、プロセッサ1104に本明細書に記載された処理のステップを実行させる。代替の実施形態では、ソフトウェア命令の代わりに、または組み合わせて、ハードワイヤードの回路が用いられてもよい。
本明細書で用いられる用語「記憶媒体」は、特定の態様で機械を動作させるデータおよび/または命令を記憶する任意の媒体を指す。そのような記憶媒体は、不揮発性媒体および/または揮発性媒体を含んでもよい。不揮発性媒体には、例えば、光または磁気ディスク、例えば記憶装置1110などが挙げられる。揮発性媒体にはダイナミックメモリ、例えばメインメモリ1106などが挙げられる。記憶媒体の共通の形態には、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、CD−ROM、他の任意の光学データ記憶媒体、穴のパターンを有する任意の物理的媒体、RAM、PROM、EPROM、フラッシュEPROM、NVRAM、他の任意のメモリチップまたはカートリッジが挙げられる。
記憶媒体は送信媒体とは別のものであるが送信媒体と組み合わせて用いられてもよい。送信媒体は記憶媒体の間での情報の転送に関与する。例えば、送信媒体にはバス1102を含む配線などの、同軸ケーブル、銅線および光ファイバが挙げられる。送信媒体はまた、音波または、無線通信波または赤外線データ通信の際に生成されるような光波の形態をとってもよい。
様々な形態のコンピュータ読み取り可能媒体が、実施のためにプロセッサ1104への1つ以上の命令の1つ以上の配列を実行することに関与してもよい。例えば、命令はリモートコンピュータの磁気ディスクまたはソリッドステートドライブ上で最初に実行されてもよい。リモートコンピュータはそのダイナミックメモリに命令をロードして、モデムを用いて電話線で命令を送信することができる。システム1100にローカルなモデムが電話線上のデータを受信して、赤外線送信器を用いてデータを赤外線信号に変換することができる。赤外線検出器が赤外線信号に搬送されたデータを受信して、適切な回路がバス1102上にデータを流すことができる。バス1102はメインメモリ1106にデータを搬送し、メインメモリ1106からプロセッサ1104は命令を取り出して実施する。メインメモリ1106によって受信された命令は、プロセッサ1104による実施の前または後のいずれかに、記憶装置1110上に、任意で記憶されてもよい。
システム1100はバス1102に結合された通信インターフェイス1118も含む。通信インターフェイス1118はローカルネットワーク1122に接続されたネットワークリンク1120に、双方向データ通信結合を提供する。例えば、通信インターフェイス1118は、総合デジタル通信網(ISDN)カード、ケーブルモデム、衛星モデム、または対応するタイプの電話線にデータ通信接続を提供するモデムであってもよい。他の例として、通信インターフェイス1118は、互換可能なローカルエリアネットワーク(LAN)にデータ通信接続を提供するLANカードであってもよい。無線リンクが実装されてもよい。そのような任意の実装において、通信インターフェイス1118は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気的、電磁気的、または光信号を送信および受信する。
ネットワークリンク1120は一般的に1つ以上のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク1120はローカルネットワーク1122を介して、ホストコンピュータ1124またはインターネットサービスプロバイダ(ISP)11211によって操作されるデータ装置への接続を提供してもよい。同様に、ISP11211は、「インターネット」1128と一般的に呼ばれている世界的パケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク1122およびインターネット1128は共に、デジタルデータストリームを搬送する電気的、電磁気的、または光信号を用いる。デジタルデータをシステム1100へ、またはシステム1100から搬送する、様々なネットワークを介した信号およびネットワークリンク1120上にあって通信インターフェイス1118を介した信号は、情報を運ぶ搬送波の例示的な形態をとる。
システム1100は、ネットワーク、ネットワークリンク1120、および通信インターフェイス1118を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ1130はアプリケーションプログラムのために要求されたコードを、インターネット1128、ISP11211、ローカルネットワーク1122および通信インターフェイス1118を介して送信してもよい。
受信されたコードは受信されたときにプロセッサ1104によって実行されてもよく、および/または後の実行のために記憶装置1110、または他の不揮発性記憶装置に記憶されてもよい。
17.0 拡張例および代替例
前記の特定において、本発明の実施形態は、実施ごとに変化してもよい数多くの特定の詳細点を参照して記載された。したがって、何が発明であるか、および、何が出願人によって発明と意図されるのかを示す唯一かつ排他的なものは、請求項に由来する特定の形態の、本出願に由来する請求項の組であり、任意のその後の訂正を含む。そのような請求項に含まれる用語に関して本明細書に明示的に記載された任意の定義は、請求項において用いられたような用語の意味を支配するであろう。したがって、請求項に明示的に記載されないいかなる限定、要素、特性、特徴、利点または属性も、そのような請求項の範囲を一切限定すべきではない。明細書および図面は、したがって、限定的な意味ではなく例示的な意味とみなされるべきである。

Claims (5)

  1. スケジューリングされた開始時刻にコンテンツストリーム中の第1のメディアコンテンツの記録をスケジューリングするステップと、
    前記スケジューリングされた開始時刻より前に前記コンテンツストリームを受信するステップと、
    前記コンテンツストリーム中の第1の部分から第1のフィンガプリントを抽出し、前記コンテンツストリーム中の前記第1の部分を前記第1のメディアコンテンツとして識別するためにフィンガプリントデータベースに問い合わをするステップと、
    前記コンテンツストリーム中の前記第1の部分を前記第1のメディアコンテンツと識別することに応じて、前記スケジューリングされた開始時刻より前に前記コンテンツストリーム中の前記第1のメディアコンテンツの記録を開始するステップと、
    前記コンテンツストリーム中の第2の部分から第2のフィンガプリントを抽出することと、
    前記第2のフィンガプリントを前記フィンガプリントデータベースに問い合わせて、前記コンテンツストリーム中の前記第2の部分前記第1のメディアコンテンツであるかまたは第2のメディアコンテンツであるかを決定することと、
    によって、前第1のメディアコンテンツと異なる前記コンテンツストリーム中の前記第2のメディアコンテンツを識別するために前記コンテンツストリームを監視するステップであって、電子番組ガイド(EPG)に基づいて、前記第2のメディアコンテンツが前記第1のメディアコンテンツに続くと決定されている、ステップと、
    前記コンテンツストリーム中の前記第2の部分が、前記第2のメディアコンテンツであることの識別に応答して、前記コンテンツストリーム中の前記第1のメディアコンテンツの記録を中止するステップと、
    を備える方法であって、
    前記方法がプロセッサを備える装置によって実行される、方法。
  2. 前記スケジューリングされた開始時刻が、電子番組ガイド(EPG)に関連づけられた情報に基づいている、請求項1に記載の方法。
  3. プロセッサによって実行されたときに、請求項1または2に記載のステップを実施する命令の組を備える、コンピュータ読み取り可能な記憶媒体。
  4. 請求項1または2に記載のステップを実施するように構成された手段を備える器具。
  5. 請求項1または2に記載のステップを実施するように構成された少なくとも1つの装置を備える器具。
JP2012542214A 2009-12-04 2010-12-03 多機能マルチメディア装置 Active JP5844274B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/631,786 US20110137976A1 (en) 2009-12-04 2009-12-04 Multifunction Multimedia Device
US12/631,786 2009-12-04
US12/631,790 US8682145B2 (en) 2009-12-04 2009-12-04 Recording system based on multimedia content fingerprints
US12/631,790 2009-12-04
PCT/US2010/058838 WO2011069035A1 (en) 2009-12-04 2010-12-03 Multifunction multimedia device

Publications (2)

Publication Number Publication Date
JP2013513315A JP2013513315A (ja) 2013-04-18
JP5844274B2 true JP5844274B2 (ja) 2016-01-13

Family

ID=44115306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012542214A Active JP5844274B2 (ja) 2009-12-04 2010-12-03 多機能マルチメディア装置

Country Status (8)

Country Link
EP (1) EP2507729A4 (ja)
JP (1) JP5844274B2 (ja)
CN (2) CN102741842A (ja)
AU (1) AU2010325897A1 (ja)
CA (1) CA2782562A1 (ja)
HK (1) HK1218814A1 (ja)
SG (1) SG181484A1 (ja)
WO (1) WO2011069035A1 (ja)

Families Citing this family (139)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US20120311585A1 (en) 2011-06-03 2012-12-06 Apple Inc. Organizing task items that represent tasks to perform
US10097880B2 (en) 2009-09-14 2018-10-09 Tivo Solutions Inc. Multifunction multimedia device
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
JP6071184B2 (ja) * 2011-10-26 2017-02-01 サターン ライセンシング エルエルシーSaturn Licensing LLC 受信装置、受信方法、プログラム、及び情報処理システム
US20130124297A1 (en) * 2011-11-10 2013-05-16 John Hegeman Multi-dimensional advertisement bidding
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20130268955A1 (en) * 2012-04-06 2013-10-10 Microsoft Corporation Highlighting or augmenting a media program
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
JP6042675B2 (ja) * 2012-09-21 2016-12-14 株式会社ビデオリサーチ 視聴状況調査システム及び方法、視聴状況調査処理プログラム、視聴状況計算装置
US20140096169A1 (en) 2012-09-28 2014-04-03 Joseph Dodson Playback synchronization in a group viewing a media title
US10199051B2 (en) 2013-02-07 2019-02-05 Apple Inc. Voice trigger for a digital assistant
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10447826B2 (en) * 2013-03-14 2019-10-15 Google Llc Detecting user interest in presented media items by observing volume change events
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
CN104823176A (zh) * 2013-10-31 2015-08-05 索尼电脑娱乐美国公司 观看媒体标题的群组中的播放同步
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
EP3480811A1 (en) 2014-05-30 2019-05-08 Apple Inc. Multi-command single utterance input method
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN104023251B (zh) * 2014-06-13 2015-08-19 腾讯科技(深圳)有限公司 基于视频的互动方法和系统
US9946769B2 (en) 2014-06-20 2018-04-17 Google Llc Displaying information related to spoken dialogue in content playing on a device
US10206014B2 (en) 2014-06-20 2019-02-12 Google Llc Clarifying audible verbal information in video content
US9805125B2 (en) 2014-06-20 2017-10-31 Google Inc. Displaying a summary of media content items
US9838759B2 (en) 2014-06-20 2017-12-05 Google Inc. Displaying information related to content playing on a device
US20170139657A1 (en) 2014-06-24 2017-05-18 Google Inc. Methods, systems, and media for performing personalized actions on mobile devices associated with a media presentation device
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10659851B2 (en) * 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10750236B2 (en) * 2015-04-23 2020-08-18 The Nielsen Company (Us), Llc Automatic content recognition with local matching
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10349141B2 (en) 2015-11-19 2019-07-09 Google Llc Reminders of media content referenced in other media content
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10034053B1 (en) 2016-01-25 2018-07-24 Google Llc Polls for media program moments
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
DK179549B1 (en) 2017-05-16 2019-02-12 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
MX2020006551A (es) 2017-12-22 2020-11-24 Nativewaves Gmbh Método para sincronizar una señal adicional a una señal primaria.
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN116112721A (zh) * 2018-04-24 2023-05-12 谷歌有限责任公司 多个设备上的同步媒体内容回放的方法、系统和介质
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
US11076039B2 (en) 2018-06-03 2021-07-27 Apple Inc. Accelerated task performance
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11395037B2 (en) 2019-05-10 2022-07-19 Roku, Inc. Content-modification system with determination of input-buffer switching delay feature
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11043220B1 (en) 2020-05-11 2021-06-22 Apple Inc. Digital assistant hardware abstraction
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
CN111914760B (zh) * 2020-08-04 2021-03-30 华中师范大学 一种在线课程视频资源构成的解析方法及系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0556386A (ja) * 1991-08-21 1993-03-05 Smk Corp 指定放送番組の自動録画方法及びその自動録画制御装置
US6226444B1 (en) * 1997-09-30 2001-05-01 Intel Corporation Method and apparatus for recording program data without commercials
JP3113632B2 (ja) * 1998-05-13 2000-12-04 三洋電機株式会社 録画装置
US6771885B1 (en) * 2000-02-07 2004-08-03 Koninklijke Philips Electronics N.V. Methods and apparatus for recording programs prior to or beyond a preset recording time period
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US8121843B2 (en) * 2000-05-02 2012-02-21 Digimarc Corporation Fingerprint methods and systems for media signals
JP2003078493A (ja) * 2001-09-05 2003-03-14 Fujitsu Ten Ltd 放送端末装置及び情報提供システム
US20040078817A1 (en) * 2002-05-14 2004-04-22 Steven Horowitz Dynamic program events recording
US6996390B2 (en) * 2002-06-26 2006-02-07 Microsoft Corporation Smart car radio
JP4085729B2 (ja) * 2002-07-23 2008-05-14 ソニー株式会社 信号記録装置及び方法、並びにプログラム及び記録媒体
US7738704B2 (en) * 2003-03-07 2010-06-15 Technology, Patents And Licensing, Inc. Detecting known video entities utilizing fingerprints
US20040226035A1 (en) * 2003-05-05 2004-11-11 Hauser David L. Method and apparatus for detecting media content
US7370125B2 (en) * 2003-11-25 2008-05-06 Intel Corporation Stream under-run/over-run recovery
US7457517B2 (en) * 2004-04-14 2008-11-25 Eric Godtland Automatic selection, recording and meaningful labeling of clipped tracks from broadcast media without an advance schedule
US7873259B2 (en) * 2005-09-15 2011-01-18 International Business Machines Corporation Synching a recording time of a program to the actual program broadcast time for the program
US20070094687A1 (en) * 2005-10-21 2007-04-26 Michael Russell Method for selective advertisement recording and playback
WO2007053147A1 (en) * 2005-11-03 2007-05-10 Thomson Licensing Digital video recording device and method
WO2007063461A2 (en) * 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Method and apparatus for detecting video data errors
EP1827023A1 (en) * 2006-02-27 2007-08-29 THOMSON Licensing Method and apparatus for packet loss detection and virtual packet generation at SVC decoders
US8438646B2 (en) * 2006-04-28 2013-05-07 Disney Enterprises, Inc. System and/or method for distributing media content
JP2008027486A (ja) * 2006-07-19 2008-02-07 Sony Corp 記録装置、記録方法、転送システム
CN101068210B (zh) * 2007-06-20 2012-11-28 中兴通讯股份有限公司 多媒体数据传输方法

Also Published As

Publication number Publication date
JP2013513315A (ja) 2013-04-18
WO2011069035A1 (en) 2011-06-09
SG181484A1 (en) 2012-07-30
AU2010325897A1 (en) 2012-06-21
CN102741842A (zh) 2012-10-17
EP2507729A1 (en) 2012-10-10
HK1218814A1 (zh) 2017-03-10
CA2782562A1 (en) 2011-06-09
EP2507729A4 (en) 2017-03-29
CN105141871A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
US11653053B2 (en) Multifunction multimedia device
JP5844274B2 (ja) 多機能マルチメディア装置
US8682145B2 (en) Recording system based on multimedia content fingerprints
US20110137976A1 (en) Multifunction Multimedia Device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140219

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140311

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140411

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150330

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151118

R150 Certificate of patent or registration of utility model

Ref document number: 5844274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250