JP5906515B2 - ジェスチャーを用いてマルチメディアクリップを取り込むこと - Google Patents

Description

本発明は包括的には、放送及びストリーミングテレビ、映画並びにインタラクティブゲームを含む、ビデオに関する。

アナログ信号又はデジタル信号の無線周波数送信を用いてテレビ番組を放送することによってテレビ映像を配信することができる。さらに、テレビ番組はケーブルシステム及び衛星放送システムを介して配信することもできる。最終的には、テレビ映像はストリーミングを用いてインターネットを介して配信することができる。本明細書において用いられるときに、「テレビ送信」という用語は、これらのテレビ映像配信形式の全てを含む。本明細書において用いられるときに、「テレビ映像」とは、コマーシャルの有無にかかわらず、番組コンテンツの配信を意味し、従来のテレビ番組、及びビデオゲームの配信の両方を含む。

ユーザーがどの番組を視聴しているかを判断するシステムが既知である。例えば、ＩｎｔｏＮｏｗサービスは、視聴されているテレビ番組からの音声信号を携帯電話上に録音し、それらの信号を解析し、その情報を用いて、視聴者がどの番組を視聴しているかを判断する。音声解析が抱える１つの問題は、周囲雑音からの劣化を受けることである。当然、視聴環境における周囲雑音は共通であり、それゆえ、音声に基づくシステムは著しい制約を受ける。

本発明の一実施形態のハイレベルアーキテクチャーを示す図である。 本発明の一実施形態に係る、セットトップボックスのブロック図である。 本発明の一実施形態に係る、マルチメディアグラバーに関する流れ図である。 本発明の一実施形態に係る、モバイルグラバーに関する流れ図である。 本発明の一実施形態に係る、画像検索を実行するクラウド利用システムに関する流れ図である。 一実施形態に係る、テーブルを維持するシーケンスに関する流れ図である。

幾つかの実施形態によれば、１人又は複数の視聴者が能動的に選局し、現在視聴しているテレビ送信から、ビデオフレーム、ビデオクリップ、メタデータ又は音声の時間限定の電子的表現のようなマルチメディアクリップを捕捉することができる。ハンドジェスチャーを認識して、検索するために現在再生されているマルチメディアクリップを選択することができる。一実施形態では、その後、このマルチメディアクリップはモバイルデバイスに送信することができる。その後、モバイルデバイスは検索するためにその情報をサーバーに送信することができる。例えば、最終的に画像検索を用いて、ビデオ内にいる俳優を判断することができる。コンテンツが識別されると、視聴者に種々の他のサービスを提供することができる。これらのサービスは更なるコンテンツを提供することを含むことができ、それら更なるコンテンツは、絞り込んだ更なる広告コンテンツ、ソーシャルネットワーキングサービス、及び視聴番組推奨を含む。

図１を参照すると、テレビ画面又はモニターのようなディスプレイ画面２０をプロセッサベースシステム１４に結合することができ、そのデバイスは、デジタル映画又はビデオゲームを含むテレビ送信１２のような、ビデオソースに更に結合される。このソースは、アナログ信号若しくはデジタル信号の無線周波数放送、ケーブル配信、若しくは衛星放送配信を含む、インターネット若しくは放送電波を介して配信することができるか、又はＤＶＤプレーヤーのような記憶デバイスから得ることができる。プロセッサベースシステム１４はビデオプレーヤー（例えば、テレビ受信機）とは別のスタンドアローンデバイスとすることができるか、又はビデオプレーヤー内に統合することができる。例えば、そのシステムは、従来のセットトップボックスの構成要素を含むことができ、実施形態によっては、受信されたテレビ送信をデコードする役割を担うこともできる。

一実施形態では、プロセッサベースシステム１４は、受信機（一実施形態ではシステム１４の一部とすることができる）によって現在選局されているデコードされたテレビ送信から、ビデオフレーム、ビデオクリップ（すなわち、一連のフレーム）、メタデータ又は音声の電子的表現を捕捉するマルチメディアグラバー１６を含む。プロセッサベースシステム１４は有線又は無線インターフェース１８も含むことができ、そのインターフェースによって、捕捉されたマルチメディアを外部制御デバイス２４に送信できるようになる。この送信は、テレビ受信機及びセットトップボックス内で広く利用可能である、ユニバーサルシリアルバス（ＵＳＢ）接続のような有線接続を介して、又は無線周波数信号を用いる送信媒体及び光信号を用いる送信媒体を含む、任意の利用可能な無線送信媒体を介して行うことができる。メタデータは、コンテンツ自体についてのメタデータ（例えば、ランク付け情報、プロット、ディレクター名、封切りされた年）とすることができる。

一実施形態では、ビデオクリップのデコードされていない、又は生の電子的表現が制御デバイス２４に転送される場合がある。ビデオクリップは、制御デバイス２４においてローカルにデコードすることができるか、又は、例えば、サーバー３０においてリモートでデコードすることができる。

システム１４及び／又はディスプレイ２０には、ハンドジェスチャーのようなユーザージェスチャーコマンドを検出するために視聴者の画像を取り込むビデオカメラ１７も結合される。ジェスチャーコマンドは、画像解析を介して、コンピューター入力として認識される任意の動きである。

制御デバイス２４は、数例を挙げると、携帯電話、ラップトップコンピューター、タブレットコンピューター、モバイルインターネットデバイス、又はテレビ受信機用のリモートコントロールを含む、モバイルデバイスとすることができる。デバイス２４は、デスクトップコンピューター又はエンタテインメントシステムのような、モバイル以外とすることもできる。一実施形態では、デバイス２４及びシステム１４は、無線ホームネットワークの一部とすることができる。一般的に、デバイス２４は、テレビディスプレイ画面とは別に情報を表示できるように、自らの別のディスプレイを有する。デバイス２４が自らのディスプレイを含まない実施形態では、ピクチャーインピクチャーディスプレイ等によって、テレビディスプレイ上にディスプレイを重ねて表示することができる。

一実施形態では、制御デバイス２４はクラウド２８と通信することができる。デバイス２４が、例えば、携帯電話である場合、そのデバイスは携帯電話信号２６によってクラウドと通信することができ、その信号は最終的にインターネットを介して搬送される。他の場合には、デバイス２４は、ネットワーク接続のような有線接続を通してインターネットと通信することができる。更に別の例として、デバイス２４は、テレビトランスポート媒体を介して通信することができる。例えば、ケーブルシステムの場合、デバイス２４は、ケーブルシステムを通してケーブルヘッドエンド１１又はサーバー３０に信号を与えることができる。当然、実施形態によっては、これは、利用可能な送信帯域幅のうちの幾らかを消費する場合もある。実施形態によっては、デバイス２４はモバイルデバイス以外とすることができ、更にはプロセッサベースシステム１４の一部とすることもできる。

図２を参照すると、プロセッサベースシステム１４の一実施形態が表されるが、数多くの他のアーキテクチャーも使用することができる。図２に表されるアーキテクチャーは、インテル社から市販されるＣＥ４１００プラットフォームに対応する。そのアーキテクチャーは、システムインターコネクト２５に結合される中央処理ユニット２４を含む。そのシステムインターコネクトはＮＡＮＤコントローラー２６、マルチフォーマットハードウェアデコーダー２８、ディスプレイプロセッサ３０、グラフィックスプロセッサ３２及びビデオディスプレイコントローラー３４に結合される。一実施形態では、デコーダー２８と、プロセッサ３０及び３２とは、コントローラー２２に結合される場合がある。

システムインターコネクトは、トランスポートプロセッサ３６、セキュリティプロセッサ３８及びデュアル音声デジタルシグナルプロセッサ（ＤＳＰ）４０に結合される場合がある。デジタルシグナルプロセッサ４０は、入力ビデオ送信をデコードする役割を担うことができる。汎用入力／出力（Ｉ／Ｏ）モジュール４２は、例えば、ＷｉＦｉアダプター１８ａのような無線アダプターに結合される場合がある。実施形態によっては、これによって、汎用入力／出力（Ｉ／Ｏ）モジュール４２は無線制御デバイス２４（図１）に信号を送信できるようになる。また、システムインターコネクト２５には音声及びビデオ入力／出力デバイス４４も結合される。このデバイス４４はデコードビデオ出力を与えることができ、実施形態によっては、ビデオフレーム又はビデオクリップを出力するために用いることができる。

幾つかの実施形態では、プロセッサベースシステム１４は、特定の判定基準が満たされると、マルチメディアクリップを出力するようにプログラミングすることができる。１つのそのような判定基準はユーザーハンドジェスチャーの検出である。カメラ１７（図１）によってユーザーハンドジェスチャーを録画し、ビデオ解析を用いて解析して、表示を切り替えるコマンド（例えば、平手）、ユーザーが好きなもの（例えば、親指を立てる）又はユーザーが嫌いなもの（例えば、親指を下に向ける）のようなユーザー入力を認識することができる。システム１４、制御デバイス２４（図１）、サーバー３０（図１）、ヘッドエンド１１（図１）を含むテレビによって、又はテレビと制御デバイス２４（図１）のような任意の組み合わせによってビデオ解析を実施することができる。ユーザーの好きなもの及び嫌いなもののリストをそれらのデバイスのうちの任意のものに記憶することもできる。

次に、図３を参照すると、プロセッサベースシステム１４内でシーケンスを実施することができる。ここでもまた、そのシーケンスは、ファームウェア、ハードウェア及び／又はソフトウェアにおいて実現することができる。ソフトウェア又はファームウェアの実施形態では、そのシーケンスは、非一時的コンピューター可読媒体によって実施することができる。例えば、シーケンスを実施する命令は、システム１４上の記憶装置７０（図１）に記憶することができる。

最初に、判断部７２におけるチェックが、グラバー機構が起動されているか否かを判断する。一実施形態では、システム１４（又は幾つかの他のデバイス）がユーザーハンドジェスチャーを検出するときに、グラバーデバイス１６（図１）を起動して、制御デバイス２４（図１）にマルチメディアクリップを送信する。ハンドジェスチャーはビデオカメラ１７によって録画することができる。電子ビデオ解析を用いて、マルチメディアクリップが取り込まれ、制御デバイス２４に送信されるべきであることを示すハンドジェスチャーを検出することができる。転送されると、転送されたビデオクリップが制御デバイス２４のディスプレイ上に現れることができる。その後、ブロック７８において、マルチメディアクリップが捕捉され、制御デバイス２４に送信される。

図４は、制御デバイス２４（図１）の一実施形態に関するシーケンスを示す。このシーケンスはソフトウェア、ハードウェア及び／又はファームウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、そのシーケンスは、光学、磁気又は半導体記憶デバイスのような１つ又は複数の非一時的コンピューター可読媒体内に記憶されるコンピューター実行可能命令によって実現することができる。例えば、ソフトウェア又はファームウェアシーケンスは制御デバイス２４（図１）上の記憶装置５０に記憶することができる。

図１には、制御デバイス２４がモバイルデバイスである実施形態が表されるが、モバイル以外の実施形態も考えられる。例えば、制御デバイス２４はシステム１４内に統合される場合がある。

判断部５６において検出されるように、制御デバイス２４がシステム１４からマルチメディアクリップを受信するとき、幾つかの実施形態では、制御デバイス２４は、注釈付きのマルチメディアクリップを解析するためにクラウド２８に送信することができる（ブロック５８）。その際、デバイス２４はユーザーインターフェースを表示して、デバイス２４上に現在表示されている取り込まれたクリップに注釈を付ける（ブロック５７）際にユーザーを支援することができる。

幾つかの実施形態では、ブロック５７において示されるように、クリップの解析を絞り込むために、ユーザーは注釈を付けることができる。注釈はクリップについての質問も含むことができ、その質問は、ソーシャルネットワーキングツールを介してクリップとともに注釈として配信される。例えば、制御デバイス２４上の転送されるビデオクリップ上にテキストブロックを自動的に表示することができる。その際、ユーザーは、インターネット又はデータベース検索のキーワードとして用いることができるテキストを挿入することができる。また、ユーザーは検索絞り込みを与えるために特定の表現された物体を選択することもできる。例えば、クリップ内に２人の人々が現れる場合には、そのうちの１人が示される場合がある。その後、テキスト入力欄内に、ユーザーは、「この女優は誰か」を入力することができる。その後、その検索は、示された人を識別することに絞り込まれる。

クリップ内の人は、マウスカーソル又はタッチ画面を用いて選択することができる。また、画面を指しているユーザーの指のビデオ解析を用いて、ユーザーの絞り込みを識別することもできる。同様に、視線検出を同じようにして用いることもできる。

当然、他の実施形態では、マルチメディアクリップは、ネットワークを介して、画像検索及び／又は解析用の任意のサーバーに送信することができる。別の例として、マルチメディアクリップは、画像、テキスト又は音声解析のためにヘッドエンド１１に送信することもできる。

音声の電子的表現が取り込まれた場合には、取り込まれた音声を、例えば、制御デバイス２４、システム１４又はクラウド２８においてテキストに変換することができる。その後、そのテキストを検索して、テレビ番組を識別することができる。

同様に、メタデータを解析して、番組を識別するテキスト検索において使用する情報を識別することができる。幾つかの実施形態では、音声、メタデータ、ビデオフレーム又はビデオクリップのうちの２つ以上をキーワードインターネット又はデータベース検索のための入力として用いることができる。

転送されたビデオクリップは、ソーシャルネットワーキングツールを用いて、友人に配信することもできる。それらの友人は、ビデオクリップについての入力を与えることもでき、例えば、「この女優は誰か」のような注釈としてクリップに添付された質問に答えることができる。

その後、解析エンジンが、マルチメディア検索を実行して、視認されているテレビ送信を識別することができるか、又は、例として、場面若しくは俳優／女優識別、又は番組識別を含む、そのクリップについての他の情報を入手することができる。この検索は、簡単なインターネット又はデータベース検索とすることができるか、又は更に絞り込んだ検索とすることができる。

例えば、ブロック５８における送信は、ビデオ取込みの現在時刻と、制御デバイス２４の場所とを含むことができる。特定の時刻および特定の場所においてどの番組が放送又は送信されているかについての情報を用いて検索を絞り込むために、この情報を用いることができる。例えば、ウェブサイト上に、種々の時刻において種々の場所で利用可能なテレビ番組を関連付けるデータベースを設けることができ、このデータベースを画像検索して、取り込まれたフレームと一致する画像を見つけて、番組を識別することができる。

番組の識別は、視覚検索ツール又は画像検索ツールを用いることによって行うことができる。画像フレーム又は画像クリップが、検索データベース内の既存のフレーム又はクリップと照合される。場合によっては、検索において一連の一致を識別することができ、そのような場合に、それらの一致を制御デバイス２４に返送することができる。判断部６０におけるチェックが、検索結果が制御デバイス２４によって受信されたと判断するとき、ブロック６２において示されるように、その検索結果をユーザーに対して表示することができる。その後、制御デバイス２４は、視認された正しい番組のような、ユーザーが望んだ情報に一致する検索結果のうちの１つのユーザー選択を受信する。その後、判断部６４に示されるように、ユーザー選択が受信されると、その際、ブロック６６において示されるように、選択された検索結果をクラウドに転送することができる。これにより、テレビ番組識別又は他のクエリを用いて、視聴者又は第三者に、他のサービスを提供できるようになる。

図５を参照すると、表されるシーケンスによって、クラウド２８（図１）又は他の検索エンティティの動作が示される。そのシーケンスは、ソフトウェア、ファームウェア及び／又はハードウェアにおいて実現することができる。ソフトウェア又はファームウェアに基づく実施形態では、そのシーケンスは、非一時的コンピューター可読媒体によって実施することができる。例えば、図１に示されるサーバー３０に関連付けられる記憶装置８０上にコンピューター実行命令を記憶することができる。

クラウドを用いる実施形態が例示されるが、当然、他の実施形態では、同じシーケンスは、任意の適切なネットワークを介して結合される任意のサーバーによって、制御デバイス２４自体によって、プロセッサベースシステム１４によって、又はヘッドエンド１１によって実施される場合がある。

最初に、図５の判断部８２におけるチェックが、マルチメディアクリップが受信されたか否かを判断する。受信された場合には、マルチメディアがビデオフレーム又はビデオクリップである場合、ブロック８４において示されるように、視覚検索が実行される。音声クリップの場合、音声をテキストに変換して、検索することができる。マルチメディアセグメントがメタデータである場合には、検索可能なコンテンツを得るために、メタデータを構文解析することができる。その後、ブロック８６において、検索結果が、例えば、制御デバイス２４に返送される。制御デバイス２４は、検索結果のうちのいずれが最も関連があるかについてのユーザー入力又はユーザー選択を受信することができる。システムはユーザーからの選択を待ち、判断部８８において判断されるように、選択が受信された場合、視聴されているテレビ番組に基づいてタスクを実行することができる（ブロック９０）。

例えば、そのタスクは、ソーシャルネットワーキングのためにあらかじめ選択された友人グループに情報を与えることとすることができる。例えば、フェイスブックのユーザーの友人たちに、ユーザーが現時点でどの番組を視聴しているかを示すメッセージを自動的に送信することができる。その際、その友人たちは、フェイスブック上で視聴者と交流し、例えば、制御デバイス２４を用いてテレビ番組についてチャットすることができる。

他の例として、そのタスクは、視聴者についてのデモグラフィック情報を解析し、異なる時刻に異なるユーザーによって視聴されている番組についての情報をヘッドエンド又は広告主に与えることとすることができる。更に別の代替形態は、特定の番組を視聴している視聴者に対して絞り込んだコンテンツを与えることを含む。例えば、次に放送される類似の番組についての情報を視聴者に与えることができる。視聴者が現在視聴している内容に絞り込んだ広告情報を視聴者に提供することができる。例えば、進行中のテレビ番組が特定の自動車を強調する場合には、自動車製造業者は、番組内で現在表示されている車両についての更なる情報を視聴者に与えるために更なる広告を提供することができる。この情報は、場合によっては、テレビ画面上にオーバーレイとして表示することができるが、例えば、制御デバイス２４に関連付けられる別のディスプレイ上に表示することが有利な場合がある。その放送がインタラクティブゲームである場合には、そのゲームの進行についての情報をユーザーのソーシャルネットワーキンググループに送信することができる。同様に、同じようにして広告を使用することができ、デモグラフィックを収集することができる。

幾つかの実施形態では、複数のユーザーが同じテレビ番組を視聴している場合がある。世帯によっては、複数のテレビが利用可能な場合がある。したがって、数多くの異なるユーザーが本明細書において記述されるサービスを同時に使用したい場合がある。このため、プロセッサベースシステム１４は、制御デバイス２４の識別子、テレビ識別子及び番組情報を識別するテーブルを保持することができる。これにより、そのような実施形態において、プロセッサベースシステム１４が単に種々のテレビに適応し、全てのテレビがプロセッサベースシステム１４の下流において信号を受信することによって、ユーザーが部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。

幾つかの実施形態では、テーブルはプロセッサベースシステム１４に記憶することができるか、又はヘッドエンド１１にアップロードすることができるか、又は場合によっては、制御デバイス２４を通してクラウド２８にアップロードすることもできる。

したがって、図６を参照すると、幾つかの実施形態では、シーケンス９２を用いて、制御デバイス２４（図１）、テレビディスプレイ画面２０（図１）及び選択されたチャネルを関連付けるようにテーブルを維持することができる。その際、複数の異なるユーザーが同じテレビを通して、又は例えば、ホームエンターテイメントネットワーク内で同じプロセッサベースシステム１４を通して全て接続される少なくとも２台以上のテレビにおいて、そのシステムを使用することができる。そのシーケンスは、ハードウェア、ソフトウェア及び／又はファームウェアとして実現することができる。ソフトウェア及びファームウェアの実施形態では、そのシーケンスは、磁気、半導体又は光学記憶装置のような少なくとも１つの非一時的コンピューター可読媒体に記憶されるコンピューター可読命令を用いて実現することができる。一実施形態では、記憶装置５０を用いることができる（図１）。

最初に、ブロック９４において示されるように、システム１４は、そのシステムにコマンドを与える制御デバイスごとの識別子を受信し、記憶する。その後、ブロック９６において示されるように、システム１４を通して結合される種々のテレビを識別し、記録することができる。最後に、制御デバイス、チャネル及びテレビ受信機を関連付けるテーブルが設定される（ブロック１００）。これにより、同じ制御デバイスに接続される複数のテレビを途切れることなく使用できるようになり、視聴者が部屋を移動しても、本明細書において記述されるサービスを受信し続けることができるようになる。さらに、複数の視聴者が同じテレビを視聴することができ、それぞれが独立して本明細書において記述されるサービスを受信することができる。

本明細書を通して「一実施形態」又は「１つの実施形態」を参照することは、その実施形態に関連して記述される特定の特徴、構造又は特性が本発明に包含される少なくとも１つの実施態様に含まれることを意味する。したがって、「一実施形態」又は「１つの実施形態において」という言い回しが現れても、必ずしも同じ実施形態を参照しているとは限らない。さらに、特定の特徴、構造又は特性は、例示される特定の実施形態以外の他の適切な形態において実施することができ、全てのそのような形態を本明細書の特許請求の範囲に包含することができる。

本発明は限られた数の実施形態に関して記述されてきたが、当業者はそれらの実施形態から数多くの変更形態及び変形形態を理解されよう。添付の特許請求の範囲は、本発明の真の趣旨及び範囲内に入る全てのそのような変更形態及び変形形態を含むことを意図している。
（項目１）
ユーザージェスチャーを検出する段階と、
上記ユーザージェスチャーを検出するのに応答して、マルチメディアクリップを自動的に取り込む段階と、
上記マルチメディアクリップを用いて、上記マルチメディアクリップについての更なる情報を入手する段階と
を備える、方法。
（項目２）
ビデオフレーム、ビデオクリップ、音声又はメタデータを表す電子クリップを取り込む段階を備える、項目１に記載の方法。
（項目３）
上記マルチメディアクリップをモバイルデバイスに自動的に転送する段階を備える、項目１に記載の方法。
（項目４）
上記マルチメディアクリップに関連する検索の結果を上記モバイルデバイスに与える段階を備える、項目３に記載の方法。
（項目５）
上記マルチメディアクリップを、遠隔サーバーに送信して上記検索を実行する段階を備える、項目３に記載の方法。
（項目６）
複数のモバイルデバイスを追跡する段階と、
上記複数のモバイルデバイスのそれぞれから要求を受信する段階と、
各モバイルデバイスに応答を与える段階と
を備える、項目１に記載の方法。
（項目７）
複数のモバイルデバイスと、テレビと、複数のモバイルデバイスからの要求とを関連付けるテーブルを維持する段階を備える、項目６に記載の方法。
（項目８）
ソーシャルネットワーキングツールを用いて上記マルチメディアクリップを自動的に配信する段階を備える、項目１に記載の方法。
（項目９）
デコードされたテレビクリップを自動的に取り込む段階を備える、項目１に記載の方法。
（項目１０）
上記テレビクリップをモバイルデバイスに自動的に転送する段階と、
上記テレビクリップを上記モバイルデバイス上に表示する段階と、
ユーザーが上記モバイルデバイス上の上記テレビクリップに注釈を付けられるようにする段階と
を備える、項目９に記載の方法。
（項目１１）
少なくとも１つの非一時的コンピューター可読媒体であり、
コンピューターに、
ユーザージェスチャーコマンドを検出させるための命令と、
上記ユーザージェスチャーコマンドの検出に応答して、テレビ番組からデコードされた電子信号を取り込ませるための命令と、
上記電子信号を用いて検索を開始し、上記テレビ番組の識別を促進させるための命令と
を記憶する媒体。
（項目１２）
ビデオフレーム、ビデオクリップ、音声又はメタデータの形式の、デコードされた電子信号を取り込ませるための命令を更に記憶する、項目１１に記載の媒体。
（項目１３）
上記電子信号をモバイルデバイスに転送させるための命令を更に記憶する、項目１１に記載の媒体。
（項目１４）
検索の結果を上記モバイルデバイスに与えさせるための命令を更に記憶する、項目１３に記載の媒体。
（項目１５）
上記電子信号を、遠隔サーバーに送信して上記検索を実行させるための命令を更に記憶する、項目１３に記載の媒体。
（項目１６）
ソーシャルネットワーキングツールを用いて上記識別を配信させるための命令を更に記憶する、項目１１に記載の媒体。
（項目１７）
上記クリップをモバイルデバイス上に表示させるための命令を更に記憶する、項目１１に記載の媒体。
（項目１８）
上記ユーザーが上記クリップに注釈を付けられるようにさせるための命令を更に記憶する、項目１７に記載の媒体。
（項目１９）
上記モバイルデバイス上の上記クリップの表示の上に重なるテキスト入力欄を自動的にオーバーレイさせるための命令を更に記憶する、項目１８に記載の媒体。
（項目２０）
ユーザーが上記クリップ内に表現されるアイテムを選択できるようにさせるための命令を更に記憶する、項目１９に記載の媒体。
（項目２１）
デバイス間で表示を変更するジェスチャーコマンドを取り込ませるための命令を更に記憶する、項目１１に記載の媒体。
（項目２２）
ジェスチャーコマンドを現在表示されているコンテンツに関連付けさせるための命令を更に記憶する、項目１１に記載の媒体。
（項目２３）
上記ユーザーが現在表示されているコンテンツを好むか否かを示すジェスチャーコマンドを認識させるための命令を更に記憶する、項目２２に記載の媒体。
（項目２４）
ハンドジェスチャーを検出し、ハンドジェスチャーを検出するのに応答してビデオから電子信号を自動的に取り込み、モバイルデバイス上に表示するために上記電子信号を送信するプロセッサと、
上記プロセッサに結合される記憶装置と
を備える、装置。
（項目２５）
上記装置はテレビ受信機である、項目２４に記載の装置。
（項目２６）
上記装置は、テレビ受信システムに信号を送り、ビデオフレーム、ビデオクリップ、音声又はメタデータの形式の、デコードされた電子信号を取り込む、項目２４に記載の装置。
（項目２７）
上記装置は、テレビシステムから上記電子信号を受信し、上記電子信号を遠隔デバイスに送信して、データベース内で又はインターネットを介してキーワード検索を実行する、項目２４に記載の装置。
（項目２８）
上記装置はソーシャルネットワーキングツールを介して上記クリップを自動的に配信する、項目２７に記載の装置。
（項目２９）
上記装置はセットトップボックスである、項目２８に記載の装置。
（項目３０）
上記装置は、テレビ及び／又はモバイルデバイスを備える、項目２４に記載の装置。

Claims (20)

1. プロセッサベースシステムが、ユーザージェスチャーを検出するのに応答して、マルチメディアクリップを自動的に取り込む段階と、
   制御デバイスが、前記プロセッサベースシステムが前記マルチメディアクリップを取り込むのに応答して、取り込まれた前記マルチメディアクリップに注釈を付けるためのユーザーインターフェースを自動的に表示する段階と、
   前記制御デバイスが、前記マルチメディアクリップに注釈を付ける段階と、
   前記制御デバイスが、前記注釈を用いて前記マルチメディアクリップについての更なる情報を入手する段階と
   を備える、方法。
2. 前記プロセッサベースシステムが、ビデオフレーム、ビデオクリップ、音声又はメタデータを表す前記マルチメディアクリップを取り込む段階を備える、請求項１に記載の方法。
3. 前記プロセッサベースシステムが、前記マルチメディアクリップを、前記制御デバイスであるモバイルデバイスに自動的に転送する段階を備える、請求項１または２に記載の方法。
4. 前記制御デバイスが、前記マルチメディアクリップに関連する検索の結果を受信する段階を備える、請求項１から３のいずれか一項に記載の方法。
5. 前記制御デバイスが、前記注釈が付けられた前記マルチメディアクリップを、遠隔サーバーに送信して前記検索を実行する段階を備える、請求項４に記載の方法。
6. 前記プロセッサベースシステムが、複数の前記モバイルデバイスのそれぞれの識別子を記憶する段階を備える、請求項３に記載の方法。
7. 前記プロセッサベースシステムが、前記複数のモバイルデバイスと、テレビと、前記複数のモバイルデバイスからの要求とを関連付けるテーブルを維持する段階を備える、請求項６に記載の方法。
8. コンピューターに、
   ユーザージェスチャーコマンドを検出するのに応答して自動的に取り込まれた、マルチメディアクリップを受信する手順と、
   前記マルチメディアクリップを受信するのに応答して、取り込まれた前記マルチメディアクリップに注釈を付けるためのユーザーインターフェースを自動的に表示する手順と、
   前記マルチメディアクリップに注釈を付ける手順と、
   前記注釈を用いて前記マルチメディアクリップについての更なる情報を入手する手順と
   を実行させる、コンピュータープログラム。
9. 前記コンピューターに、ビデオフレーム、ビデオクリップ、音声又はメタデータの形式の、デコードされた前記マルチメディアクリップを取り込む手順をさらに実行させる、請求項８に記載のコンピュータープログラム。
10. 前記コンピューターに、前記マルチメディアクリップをモバイルデバイスに転送する手順をさらに実行させる、請求項８または９に記載のコンピュータープログラム。
11. 前記モバイルデバイスに、検索の結果を受信させる手順を実行させる、請求項１０に記載のコンピュータープログラム。
12. 前記モバイルデバイスに、前記マルチメディアクリップを遠隔サーバーに送信して前記検索を実行する手順を実行させる、請求項１１に記載のコンピュータープログラム。
13. 前記コンピューターに、ソーシャルネットワーキングツールを用いて前記注釈が付けられた前記マルチメディアクリップを配信する手順をさらに実行させる、請求項８から１２のいずれか１項に記載のコンピュータープログラム。
14. 前記モバイルデバイスに、前記マルチメディアクリップと前記ユーザーインターフェースとを表示する手順をさらに実行させる、請求項１０から１２のいずれか１項に記載のコンピュータープログラム。
15. ユーザージェスチャーを検出するのに応答してマルチメディアクリップを自動的に取り込み、前記マルチメディアクリップを取り込むのに応答して、取り込まれた前記マルチメディアクリップに注釈を付けるためのユーザーインターフェースを自動的に表示し、前記マルチメディアクリップに注釈を付け、前記注釈を用いて前記マルチメディアクリップについての更なる情報を入手するプロセッサと、
    前記プロセッサに結合される記憶装置と
    を備える、装置。
16. 前記装置はテレビ受信機である、請求項１５に記載の装置。
17. 前記装置は、テレビ受信システムに信号を送り、ビデオフレーム、ビデオクリップ、音声又はメタデータの形式の、デコードされた前記マルチメディアクリップを取り込む、請求項１５または１６に記載の装置。
18. 前記装置は、テレビシステムから前記マルチメディアクリップを受信し、前記マルチメディアクリップを遠隔デバイスに送信して、データベース内で又はインターネットを介してキーワード検索を実行する、請求項１５から１７のいずれか１項に記載の装置。
19. 前記装置はソーシャルネットワーキングツールを介してクリップを自動的に配信する、請求項１８に記載の装置。
20. 前記装置はセットトップボックスである、請求項１９に記載の装置。

Images