JP5847846B2 - ワイヤレスディスプレイのためのユーザ入力バックチャネル - Google Patents

Description

本出願は、各々の内容全体が参照により本明細書に組み込まれる、
２０１１年１月２１日に出願された米国仮出願第６１／４３５，１９４号、
２０１１年２月２８日に出願された米国仮出願第６１／４４７，５９２号、
２０１１年３月２日に出願された米国仮出願第６１／４４８，３１２号、
２０１１年３月７日に出願された米国仮出願第６１／４５０，１０１号、
２０１１年３月２５日に出願された米国仮出願第６１／４６７，５３５号、
２０１１年３月２５日に出願された米国仮出願第６１／４６７，５４３号、
２０１１年８月３日に出願された米国仮出願第６１／５１４，８６３号、および
２０１１年１０月７日に出願された米国仮出願第６１／５４４，４３４号
の利益を主張する。

本開示は、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間でデータを送信するための技法に関する。

ワイヤレスディスプレイ（ＷＤ：wireless display）またはＷｉ−Ｆｉディスプレイ（ＷＦＤ：Wi-Fi Display）システムは、ワイヤレスソースデバイスと１つまたは複数のワイヤレスシンクデバイスとを含む。ソースデバイスとシンクデバイスの各々とは、ワイヤレス通信機能をもつモバイルデバイスまたはワイヤードデバイスのいずれかであり得る。ソースデバイスとシンクデバイスとのうちの１つまたは複数は、たとえば、携帯電話、ワイヤレス通信カード付きのポータブルコンピュータ、携帯情報端末（ＰＤＡ）、ポータブルメディアプレーヤ、あるいはいわゆる「スマート」フォンおよび「スマート」パッドもしくはタブレット、電子リーダー、または任意のタイプのワイヤレスディスプレイ、ビデオゲームデバイスを含む、ワイヤレス通信機能をもつ他のそのようなデバイス、あるいは他のタイプのワイヤレス通信デバイスを含み得る。ソースデバイスとシンクデバイスとのうちの１つまたは複数は、通信機能を含むテレビジョン、デスクトップコンピュータ、モニタ、プロジェクタなど、ワイヤードデバイスをも含み得る。

ソースデバイスは、特定のメディアシェアセッションに参加しているシンクデバイスのうちの１つまたは複数にオーディオビデオ（ＡＶ）データなどのメディアデータを送る。メディアデータは、ソースデバイスのローカルディスプレイとシンクデバイスのディスプレイの各々との両方において再生され得る。より詳細には、参加しているシンクデバイスの各々は、それのスクリーンおよびオーディオ機器上で、受信されたメディアデータをレンダリングする。

本開示では、概して、ワイヤレスシンクデバイスがワイヤレスシンクデバイスと通信することができるシステムについて説明する。通信セッションの一部として、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力をワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。

一例では、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法が、パケットヘッダとペイロードデータとを備えるデータパケットを受信することと、ペイロードデータがボイスコマンドデータを備えるかどうかを判断するためにペイロードデータをパースすることとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力データを送信するように構成される。本ワイヤレスシンクデバイスは、パケットヘッダとペイロードデータとを備えるデータパケットを受信するためのトランスポートユニットと、命令を記憶するメモリと、命令を実行するように構成された１つまたは複数のプロセッサであって、命令の実行時に、１つまたは複数のプロセッサが、ペイロードデータがボイスコマンドデータを備えるかどうかを判断するためにペイロードデータをパースすることを行わせる、１つまたは複数のプロセッサとを含む。

別の例では、コンピュータ可読記憶媒体が、１つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを１つまたは複数のプロセッサに行わせる、命令を記憶する。上記方法は、パケットヘッダとペイロードデータとを備えるデータパケットを受信することと、ペイロードデータがボイスコマンドデータを備えるかどうかを判断するためにペイロードデータをパースすることとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力データを送信するように構成される。本ワイヤレスシンクデバイスは、パケットヘッダとペイロードデータとを備えるデータパケットを受信するための手段と、ペイロードデータがボイスコマンドデータを備えるかどうかを判断するためにペイロードデータをパースするための手段とを含む。

別の例では、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法が、ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、データパケットヘッダを生成することと、ボイスコマンドデータを備えるペイロードデータを生成することと、データパケットヘッダとペイロードデータとを備えるデータパケットを生成することと、ワイヤレスソースデバイスにデータパケットを送信することとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力データを送信するように構成される。本ワイヤレスシンクデバイスは、命令を記憶するメモリと、命令を実行するように構成された１つまたは複数のプロセッサであって、命令の実行時に、１つまたは複数のプロセッサが、ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、データパケットヘッダを生成することと、ボイスコマンドデータを備えるペイロードデータを生成することと、データパケットヘッダとペイロードデータとを備えるデータパケットを生成することとを行わせる、１つまたは複数のプロセッサとを含む。本ワイヤレスシンクデバイスは、ワイヤレスソースデバイスにデータパケットを送信するためのトランスポートユニットをも含む。

別の例では、コンピュータ可読記憶媒体が、１つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを１つまたは複数のプロセッサに行わせる、命令を記憶する。上記方法は、ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、データパケットヘッダを生成することと、ボイスコマンドデータを備えるペイロードデータを生成することと、データパケットヘッダとペイロードデータとを備えるデータパケットを生成することと、ワイヤレスソースデバイスにデータパケットを送信することとを含む。

別の例では、ワイヤレスシンクデバイスが、ワイヤレスソースデバイスにユーザ入力データを送信するように構成される。本ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得するための手段と、データパケットヘッダを生成するための手段と、ボイスコマンドデータを備えるペイロードデータを生成するための手段と、データパケットヘッダとペイロードデータとを備えるデータパケットを生成するための手段と、ワイヤレスソースデバイスにデータパケットを送信するための手段とを含む。

本開示の技法を実装し得るソース／シンクシステムの一例を示すブロック図。 ２つのシンクデバイスをもつソース／シンクシステムの一例を示すブロック図。 本開示の技法を実装し得るソースデバイスの一例を示す図。 本開示の技法を実装し得るシンクデバイスの一例を示す図。 本開示の技法を実装し得る送信機システムと受信機システムとのブロック図。 本開示の技法に従って機能ネゴシエーションを実行するための例示的なメッセージ転送シーケンスを示す図。 本開示の技法に従って機能ネゴシエーションを実行するための例示的なメッセージ転送シーケンスを示す図。 シンクデバイスにおいて取得されたユーザ入力データをソースデバイスに配信するために使用され得る例示的なデータパケットを示す図。 ソースデバイスとシンクデバイスとの間の機能ネゴシエーションのために使用され得る本開示の技法を示すフローチャート。 ソースデバイスとシンクデバイスとの間の機能ネゴシエーションのために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 タイムスタンプ情報とユーザ入力データとをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ボイスコマンドを含むデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 ボイスコマンドを含むデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 マルチタッチユーザ入力コマンドをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 マルチタッチユーザ入力コマンドをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 サードパーティデバイスからフォワーディングされたユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 サードパーティデバイスからフォワーディングされたユーザ入力データをもつデータパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 データパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。 データパケットを送信および受信するために使用され得る本開示の技法を示すフローチャート。

本開示では、概して、ワイヤレスシンクデバイスがワイヤレスシンクデバイスと通信することができるシステムについて説明する。通信セッションの一部として、ワイヤレスソースデバイスが、ワイヤレスシンクデバイスにオーディオおよびビデオデータを送信することができ、ワイヤレスシンクデバイスは、ワイヤレスシンクデバイスにおいて受信されたユーザ入力をワイヤレスソースデバイスに送信することができる。このようにして、ワイヤレスシンクデバイスのユーザが、ワイヤレスソースデバイスを制御し、ワイヤレスソースデバイスからワイヤレスシンクデバイスに送信されているコンテンツを制御することができる。

図１Ａは、本開示の技法のうちの１つまたは複数を実装し得る例示的なソース／シンクシステム１００を示すブロック図である。図１Ａに示すように、システム１００は、通信チャネル１５０を介してシンクデバイス１６０と通信するソースデバイス１２０を含む。ソースデバイス１２０は、オーディオ／ビデオ（Ａ／Ｖ）データ１２１を記憶するメモリと、ディスプレイ１２２と、スピーカー１２３と、（エンコーダ１２４とも呼ばれる）オーディオ／ビデオエンコーダ１２４と、オーディオ／ビデオ制御モジュール１２５と、送信機／受信機（ＴＸ／ＲＸ）ユニット１２６とを含み得る。シンクデバイス１６０は、ディスプレイ１６２と、スピーカー１６３と、（デコーダ１６４とも呼ばれる）オーディオ／ビデオデコーダ１６４と、送信機／受信機ユニット１６６と、ユーザ入力（ＵＩ）デバイス１６７と、ユーザ入力処理モジュール（ＵＩＰＭ：user input processing module）１６８とを含み得る。図示した構成要素は、ソース／シンクシステム１００のための１つの例示的な構成をなすにすぎない。他の構成は、図示した構成要素よりも少数の構成要素を含み得るか、または図示した構成要素以外の追加の構成要素を含み得る。

図１Ａの例では、ソースデバイス１２０は、オーディオ／ビデオデータ１２１のビデオ部分をディスプレイ１２２上で表示することができ、オーディオ／ビデオデータ１２１のオーディオ部分をスピーカー１２３上で出力することができる。オーディオ／ビデオデータ１２１は、ソースデバイス１２０にローカルに記憶され、ファイルサーバ、ハードドライブ、外部メモリ、ブルーレイ（登録商標）ディスク、ＤＶＤ、または他の物理記憶媒体など、外部記憶媒体からアクセスされ得るか、あるいはインターネットなどのネットワーク接続を介してソースデバイス１２０にストリーミングされ得る。いくつかの事例では、オーディオ／ビデオデータ１２１は、ソースデバイス１２０のカメラとマイクロフォンとを介してリアルタイムでキャプチャされ得る。オーディオ／ビデオデータ１２１は、動画、テレビ番組、または音楽など、マルチメディアコンテンツを含み得るが、ソースデバイス１２０によって生成されたリアルタイムコンテンツをも含み得る。そのようなリアルタイムコンテンツは、たとえば、ソースデバイス１２０上で動作しているアプリケーションによって生成されるか、または、たとえば、ビデオテレフォニーセッションの一部として、キャプチャされたビデオデータであり得る。より詳細に説明するように、そのようなリアルタイムコンテンツは、いくつかの事例では、ユーザが選択するために利用可能なユーザ入力オプションのビデオフレームを含み得る。いくつかの事例では、オーディオ／ビデオデータ１２１は、ビデオのフレーム上にオーバーレイされたユーザ入力オプションを有する動画またはＴＶ番組のビデオフレームなど、異なるタイプのコンテンツの組合せであるビデオフレームを含み得る。

ディスプレイ１２２とスピーカー１２３とを介してオーディオ／ビデオデータ１２１をローカルでレンダリングすることに加えて、ソースデバイス１２０のオーディオ／ビデオエンコーダ１２４はオーディオ／ビデオデータ１２１を符号化することができ、送信機／受信機ユニット１２６は、符号化されたデータを通信チャネル１５０を介してシンクデバイス１６０に送信することができる。シンクデバイス１６０の送信機／受信機ユニット１６６は符号化されたデータを受信し、オーディオ／ビデオデコーダ１６４は、符号化されたデータを復号し、復号されたデータをディスプレイ１６２とスピーカー１６３とを介して出力する。このようにして、ディスプレイ１２２とスピーカー１２３とによってレンダリングされているオーディオおよびビデオデータは、ディスプレイ１６２とスピーカー１６３とによって同時にレンダリングされ得る。オーディオデータおよびビデオデータはフレームで構成され得、オーディオフレームは、レンダリングされるとき、ビデオフレームと時間同期され得る。

オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４は、代替的にＭＰＥＧ−４，Ｐａｒｔ１０，Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＡＶＣ）と呼ばれるＩＴＵ−Ｔ Ｈ．２６４規格、またはＨ．２６５規格と呼ばれることがある新生の高効率ビデオコーディング（ＨＥＶＣ：high efficiency video coding）規格など、任意の数のオーディオおよびビデオ圧縮規格を実装し得る。多くの他のタイプのプロプライエタリなまたは規格化された圧縮技法も使用され得る。概して、オーディオ／ビデオデコーダ１６４は、オーディオ／ビデオエンコーダ１２４の逆のコーディング演算を実行するように構成される。図１Ａには示されていないが、いくつかの態様では、Ａ／Ｖエンコーダ１２４およびＡ／Ｖデコーダ１６４は、それぞれオーディオエンコーダおよびデコーダと統合され得、適切なＭＵＸ−ＤＥＭＵＸユニット、または他のハードウェアおよびソフトウェアを含んで、共通のデータストリームまたは別個のデータストリーム中のオーディオとビデオの両方の符号化を処理し得る。

以下でより詳細に説明するように、Ａ／Ｖエンコーダ１２４は、上記で説明したようにビデオ圧縮規格を実装することに加えて、他の符号化機能をも実行し得る。たとえば、Ａ／Ｖエンコーダ１２４は、Ａ／Ｖデータ１２１がシンクデバイス１６０に送信されるより前に、Ａ／Ｖデータ１２１に様々なタイプのメタデータを追加し得る。いくつかの事例では、Ａ／Ｖデータ１２１は、符号化された形態でソースデバイス１２０に記憶されるかまたはソースデバイス１２０において受信され、したがってＡ／Ｖエンコーダ１２４によるさらなる圧縮を必要としないことがある。

図１Ａは、通信チャネル１５０がオーディオペイロードデータとビデオペイロードデータとを別個に搬送することを示しているが、いくつかの事例では、ビデオペイロードデータとオーディオペイロードデータとが共通のデータストリームの一部であり得ることを理解されたい。適用可能な場合、ＭＵＸ−ＤＥＭＵＸユニットは、ＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、あるいはそれらの任意の組合せとして実装され得る。オーディオ／ビデオエンコーダ１２４およびオーディオ／ビデオデコーダ１６４の各々は１つまたは複数のエンコーダまたはデコーダ中に含まれ得、そのいずれも複合エンコーダ／デコーダ（コーデック）の一部として統合され得る。したがって、ソースデバイス１２０およびシンクデバイス１６０の各々は、本開示の技法のうちの１つまたは複数を実行するように構成された専用の機械を備え得る。

ディスプレイ１２２およびディスプレイ１６２は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなど、様々なビデオ出力デバイスのいずれかを備え得る。これらまたは他の例では、ディスプレイ１２２および１６２は、それぞれ発光型ディスプレイ（emissive display）または透過型ディスプレイ（transmissive display）であり得る。ディスプレイ１２２およびディスプレイ１６２はまた、それらが同時に入力デバイスとディスプレイデバイスの両方であるような、タッチディスプレイであり得る。そのようなタッチディスプレイは、ユーザがそれぞれのデバイスにユーザ入力を与えることを可能にする、静電容量式、抵抗式、または他のタイプのタッチパネルであり得る。

スピーカー１２３は、ヘッドフォン、シングルスピーカーシステム、マルチスピーカーシステム、またはサラウンドサウンドシステムなど、様々なオーディオ出力デバイスのいずれかを備え得る。さらに、ディスプレイ１２２およびスピーカー１２３はソースデバイス１２０の一部として示されており、ディスプレイ１６２およびスピーカー１６３はシンクデバイス１６０の一部として示されているが、ソースデバイス１２０およびシンクデバイス１６０は、実際は複数のデバイスのシステムであり得る。一例として、ディスプレイ１６２はテレビジョンであり得、スピーカー１６３はサラウンドサウンドシステムであり得、デコーダ１６４は、ディスプレイ１６２とスピーカー１６３とにワイヤード接続またはワイヤレス接続された外部ボックスの一部であり得る。他の例では、シンクデバイス１６０は、タブレットコンピュータまたはスマートフォンなど、単一のデバイスであり得る。さらに他の場合、ソースデバイス１２０およびシンクデバイス１６０は同様のデバイスであり、たとえば、両方がスマートフォン、タブレットコンピュータなどである。この場合、一方のデバイスはソースとして動作し得、他方はシンクとして動作し得る。これらの役割が後続の通信セッションでは逆になることさえある。さらに他の場合、ソースデバイスは、スマートフォン、ラップトップまたはタブレットコンピュータなど、モバイルデバイスを備え得、シンクデバイスは、（たとえば、ＡＣ電源コードを用いた）より固定のデバイスを備え得、その場合、ソースデバイスは、シンクデバイスを介した大群衆への提示のためにオーディオおよびビデオデータを配信し得る。

送信機／受信機ユニット１２６および送信機／受信機ユニット１６６は、それぞれ、様々なミキサ、フィルタ、増幅器、および信号変調のために設計された他の構成要素、ならびに、１つまたは複数のアンテナ、およびデータを送信し、受信するために設計された他の構成要素を含み得る。通信チャネル１５０は、概して、ビデオデータをソースデバイス１２０からシンクデバイス１６０に送信するのに好適な任意の通信媒体、または様々な通信媒体の集合体を表す。通信チャネル１５０は、通常、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などと同様の比較的短距離の通信チャネルである。ただし、通信チャネル１５０は、この点において必ずしも限定されるとは限らず、無線周波数（ＲＦ）スペクトルまたは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。他の例では、通信チャネル１５０は、ワイヤードまたはワイヤレスローカルエリアネットワーク、ワイドエリアネットワーク、あるいはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成することさえある。さらに、通信チャネル１５０は、ピアツーピアリンクを作成するためにソースデバイス１２０とシンクデバイス１６０とによって使用され得る。ソースデバイス１２０およびシンクデバイス１６０は、ＩＥＥＥ８０２．１１規格ファミリーからの規格などの通信プロトコルを使用して通信チャネル１５０を介して通信し得る。ソースデバイス１２０およびシンクデバイス１６０は、たとえば、ソースデバイス１２０およびシンクデバイス１６０が、ワイヤレスアクセスポイントまたはいわゆるホットスポットなど、中間物を使用せずに互いと直接通信するように、Ｗｉ−Ｆｉ Ｄｉｒｅｃｔ規格に従って通信し得る。ソースデバイス１２０およびシンクデバイス１６０はまた、ネットワーク輻輳を回避または低減するためにトンネルドダイレクトリンクセットアップ（ＴＬＤＳ：tunneled direct link setup）を確立し得る。本開示の技法について時々Ｗｉ−Ｆｉに関して説明することがあるが、これらの技法の態様は他の通信プロトコルにも適合し得ることが企図される。限定ではなく例として、ソースデバイス１２０とシンクデバイスとの間のワイヤレス通信は直交周波数分割多重化（ＯＦＤＭ）技法を利用し得る。限定はしないが、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、あるいはＯＦＤＭ、ＦＤＭＡ、ＴＤＭＡおよび／またはＣＤＭＡの任意の組合せを含む、多種多様な他のワイヤレス通信技法も使用され得る。ＷｉＦｉ ＤｉｒｅｃｔおよびＴＤＬＳは、比較的短距離の通信セッションをセットアップすることを目的とする。このコンテキストでは、比較的短距離は、たとえば、７０メートル未満を指すことがあるが、雑音の多いまたは遮るもののある環境では、デバイス間の距離は、３５メートル未満など、さらに短いことがある。

ソースデバイス１２０から受信されたデータを復号し、レンダリングすることに加えて、シンクデバイス１６０は、ユーザ入力デバイス１６７からユーザ入力をも受信することができる。ユーザ入力デバイス１６７は、たとえば、キーボード、マウス、トラックボールまたはトラックパッド、タッチスクリーン、ボイスコマンド認識モジュール、あるいは他のそのようなユーザ入力デバイスであり得る。ＵＩＰＭ１６８は、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを、ソースデバイス１２０が解釈することが可能であるデータパケット構造にフォーマットする。そのようなデータパケットは、送信機／受信機１６６によって、通信チャネル１５０を介してソースデバイス１２０に送信される。送信機／受信機ユニット１２６はデータパケットを受信し、Ａ／Ｖ制御モジュール１２５は、ユーザ入力デバイス１６７によって受信されたユーザ入力コマンドを解釈するために、データパケットをパースする。データパケット中で受信されたコマンドに基づいて、Ａ／Ｖ制御モジュール１２５は、符号化および送信されているコンテンツを変更することができる。このようにして、シンクデバイス１６０のユーザが、リモートで、およびソースデバイス１２０と直接対話することなしに、ソースデバイス１２０によって送信されているオーディオペイロードデータとビデオペイロードデータとを制御することができる。シンクデバイス１６０のユーザがソースデバイス１２０に送信し得るコマンドのタイプの例は、オーディオおよびビデオデータを巻き戻し、早送りし、中断し、および再生するためのコマンド、ならびにズーム、回転、スクロールのためのコマンドなどを含む。また、ユーザは、たとえばオプションのメニューから、選択を行い、その選択をソースデバイス１２０に送信し得る。

さらに、シンクデバイス１６０のユーザは、ソースデバイス１２０上のアプリケーションを起動し、制御することが可能であり得る。たとえば、シンクデバイス１６０のユーザは、ソースデバイス１２０に記憶された写真編集アプリケーションを起動し、そのアプリケーションを使用して、ソースデバイス１２０にローカルに記憶された写真を編集することが可能であり得る。シンクデバイス１６０は、その写真が実際はソースデバイス１２０上で編集されている間、その写真がシンクデバイス１６０上でローカルで編集されているように見え、感じられる、ユーザエクスペリエンスをユーザにもたらし得る。そのような構成を使用して、デバイスユーザは、いくつかのデバイスとともに使用する１つのデバイスの機能を活用することが可能であり得る。たとえば、ソースデバイス１２０は、大量のメモリとハイエンド処理能力とをもつスマートフォンであり得る。ソースデバイス１２０のユーザは、そのスマートフォンを、スマートフォンが一般に使用されるすべての設定と状況とにおいて使用し得る。しかしながら、動画を見るとき、ユーザは、より大きいディスプレイスクリーンをもつデバイス上で動画を見ることを望み得、その場合、シンクデバイス１６０は、タブレットコンピュータあるいはさらに大きいディスプレイデバイスまたはテレビジョンであり得る。電子メールを送ることまたは電子メールに応答することを希望するとき、ユーザは、キーボードをもつデバイスを使用することを望み得、その場合、シンクデバイス１６０はラップトップであり得る。どちらの場合にも、ユーザはシンクデバイスと対話しているが、処理の大半は依然としてソースデバイス１２０（この例ではスマートフォン）によって実行され得る。この特定の動作コンテキストでは、処理の大半がソースデバイス１２０によって実行されるので、シンクデバイス１６０は、シンクデバイス１６０が、ソースデバイス１２０によって行われている処理を行うように依頼されている場合よりも、少数のリソースを用いた、より低コストのデバイスであり得る。いくつかの例では、ソースデバイスとシンクデバイスの両方が（タッチスクリーンコマンドなどの）ユーザ入力を受信することが可能であり得、本開示の技法は、所与のセッションにおいてそれらのデバイスの機能をネゴシエートおよび／または識別することによって、二方向対話を可能にし得る。

一部の構成では、Ａ／Ｖ制御モジュール１２５は、ソースデバイス１２５のオペレーティングシステムによって実行されているオペレーティングシステムプロセスであり得る。しかしながら、他の構成では、Ａ／Ｖ制御モジュール１２５は、ソースデバイス１２０上で動作しているアプリケーションのソフトウェアプロセスであり得る。そのような構成では、ユーザ入力コマンドはソフトウェアプロセスによって解釈され得、その結果、シンクデバイス１６０のユーザは、ソースデバイス１２０上で動作しているオペレーティングシステムとは対照的に、ソースデバイス１２０上で動作しているアプリケーションと直接対話している。オペレーティングシステムとは対照的にアプリケーションと直接対話することによって、シンクデバイス１６０のユーザは、ソースデバイス１２０のオペレーティングシステムに対してネイティブでないコマンドのライブラリへのアクセスを有し得る。さらに、アプリケーションと直接対話することにより、コマンドは、異なるプラットフォーム上で動作しているデバイスによってより容易に送信され、処理されることが可能になり得る。

ソースデバイス１２０は、ワイヤレスシンクデバイス１６０において適用されるユーザ入力に応答することができる。そのような対話型アプリケーション設定では、ワイヤレスシンクデバイス１６０において適用されるユーザ入力は通信チャネル１５０を介してワイヤレスディスプレイソースに送られ得る。一例では、シンクデバイス１６０が、シンクデバイス１６０において適用されるユーザ入力をソースデバイス１２０に送信することを可能にするために、ユーザインターフェースバックチャネル（ＵＩＢＣ：user interface back channel）とも呼ばれる逆方向チャネルアーキテクチャが実装され得る。逆方向チャネルアーキテクチャは、ユーザ入力をトランスポートするための上位レイヤメッセージと、シンクデバイス１６０およびソースデバイス１２０においてユーザインターフェース機能をネゴシエートするための下位レイヤフレームとを含み得る。ＵＩＢＣは、シンクデバイス１６０とソースデバイス１２０との間のインターネットプロトコル（ＩＰ）トランスポートレイヤの上に常駐し得る。このようにして、ＵＩＢＣは、開放型システム間相互接続（ＯＳＩ）通信モデルにおいてトランスポートレイヤより上にあり得る。一例では、ＯＳＩ通信は、７つのレイヤ（１−物理、２−データリンク、３−ネットワーク、４−トランスポート、５−セッション、６−プレゼンテーション、および７−アプリケーション）を含む。この例では、トランスポートレイヤより上にあることは、レイヤ５、６、および７を指す。ユーザ入力データを含んでいるデータパケットの信頼できる送信と順次配信とを促進するために、ＵＩＢＣは、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）またはユーザデータグラムプロトコル（ＵＤＰ）など、他のパケットベース通信プロトコルの上で動作するように構成され得る。ＵＤＰおよびＴＣＰは、ＯＳＩレイヤアーキテクチャにおいて並列に動作することができる。ＴＣＰ／ＩＰにより、シンクデバイス１６０およびソースデバイス１２０は、パケットロスの場合、再送信技法を実装することが可能になることがある。

場合によっては、ソースデバイス１２０に位置するユーザ入力インターフェースとシンクデバイス１６０に位置するユーザ入力インターフェースとの間の不一致があり得る。そのような不一致によってもたらされる潜在的な問題を解決し、そのような状況下での良好なユーザエクスペリエンスを促進するために、ユーザ入力インターフェース機能ネゴシエーションが、通信セッションを確立するより前に、または通信セッション全体にわたって様々な時間に、ソースデバイス１２０とシンクデバイス１６０との間で行われ得る。このネゴシエーションプロセスの一部として、ソースデバイス１２０とシンクデバイス１６０とは、ネゴシエートされたスクリーン解像度に関して同意することができる。シンクデバイス１６０が、ユーザ入力に関連付けられた座標データを送信するとき、シンクデバイス１６０は、ディスプレイ１６２から取得された座標データを、ネゴシエートされたスクリーン解像度に一致するようにスケーリングすることができる。一例では、シンクデバイス１６０が１２８０×７２０解像度を有し、ソースデバイス１２０が１６００×９００解像度を有する場合、それらのデバイスは、たとえば、それらのネゴシエートされた解像度として１２８０×７２０を使用し得る。ネゴシエートされた解像度はシンクデバイス１６０の解像度に基づいて選択され得るが、ソースデバイス１２０の解像度または何らかの他の解像度も使用され得る。１２８０×７２０のシンクデバイスが使用される例では、シンクデバイス１６０は、取得されたｘ座標をソースデバイス１２０に送信するより前に、その座標を１６００／１２８０の割合でスケーリングすることができ、同様に、シンクデバイス１６０は、取得されたｙ座標をソースデバイス１２０に送信するより前に、その座標を９００／７２０でスケーリングすることができる。他の構成では、ソースデバイス１２０は、取得された座標をネゴシエートされた解像度に合わせてスケーリングすることができる。そのスケーリングは、シンクデバイス１６０がソースデバイス１２０よりも高い解像度のディスプレイを使用するのか、またはその逆であるのかに基づいて、座標範囲を増加または減少させ得る。

さらに、いくつかの事例では、シンクデバイス１６０における解像度は、通信セッション中に変動し、潜在的にディスプレイ１２２とディスプレイ１６２との間の不一致をもたらし得る。ユーザエクスペリエンスを改善し、適切な機能を保証するために、ソース／シンクシステム１００は、スクリーン正規化のための技法を実装することによって、ユーザ対話不一致を低減するかまたは防ぐための技法を実装し得る。ソースデバイス１２０のディスプレイ１２２とシンクデバイス１６０のディスプレイ１６２とは、異なる解像度および／または異なるアスペクト比を有し得る。さらに、いくつかの設定では、シンクデバイス１６０のユーザは、ソースデバイス１２０から受信されたビデオデータが、シンクデバイス１６０のディスプレイ１６２の全部よりも小さい部分をカバーするウィンドウにおいてレンダリングされるように、ソースデバイス１２０から受信されたビデオデータのためのディスプレイウィンドウをサイズ変更する能力を有し得る。別の例示的な設定では、シンクデバイス１６０のユーザは、横長モードまたは縦長モードのいずれかでコンテンツを閲覧するオプションを有し得、それらのモードの各々は、一意の座標と異なるアスペクト比とを有する。そのような状況では、マウスクリックまたはタッチイベントがどこで行われるかについての座標など、シンクデバイス１６０において受信されたユーザ入力に関連付けられた座標は、その座標への修正なしにソースデバイス１２０によって処理されることが可能でないことがある。したがって、本開示の技法は、シンクデバイス１６０において受信されたユーザ入力の座標を、ソースデバイス１２０に関連付けられた座標にマッピングすることを含み得る。このマッピングは、本明細書では正規化とも呼ばれ、以下でさらに詳細に説明するように、このマッピングはシンクベースまたはソースベースのいずれかであり得る。

シンクデバイス１６０によって受信されるユーザ入力は、たとえばドライバレベルで、ＵＩモジュール１６７によって受信され、シンクデバイス１６０のオペレーティングシステムに渡され得る。シンクデバイス１６０上のオペレーティングシステムは、ディスプレイ表面上のどこでユーザ入力が行われたかに関連付けられた座標（ｘ_SINK，ｙ_SINK）を受信することができる。この例では、（ｘ_SINK，ｙ_SINK）は、マウスクリックまたはタッチイベントが行われたディスプレイ１６２の座標であり得る。ディスプレイ１６２上でレンダリングされているディスプレイウィンドウは、ディスプレイウィンドウのサイズを記述するｘ座標長さ（Ｌ_DW）とｙ座標幅（Ｗ_DW）とを有することがある。ディスプレイウィンドウは、ディスプレイウィンドウのロケーションを記述する左上隅座標（ａ_DW，ｂ_DW）をも有することがある。Ｌ_DW、Ｗ_DW、および左上座標（ａ_DW，ｂ_DW）に基づいて、ディスプレイウィンドウによってカバーされるディスプレイ１６２の部分が判断され得る。たとえば、ディスプレイウィンドウの右上隅は座標（ａ_DW＋Ｌ_DW，ｂ_DW）に位置し得、ディスプレイウィンドウの左下隅は座標（ａ_DW，ｂ_DW＋Ｗ_DW）に位置し得、ディスプレイウィンドウの右下隅は座標（ａ_DW＋Ｌ_DW，ｂ_DW＋Ｗ_DW）に位置し得る。シンクデバイス１６０は、入力がディスプレイウィンドウ内の座標において受信された場合、その入力をＵＩＢＣ入力として処理することができる。言い換えれば、関連付けられた座標（ｘ_SINK，ｙ_SINK）での入力は、以下の条件が満たされる場合、ＵＩＢＣ入力として処理され得る。

ユーザ入力がＵＩＢＣ入力であると判断した後に、その入力に関連付けられた座標は、ソースデバイス１２０に送信されるより前に、ＵＩＰＭ１６８によって正規化され得る。ディスプレイウィンドウ外にあると判断された入力は、非ＵＩＢＣ入力としてシンクデバイス１６０によってローカルで処理され得る。

上述のように、入力座標の正規化は、ソースベースまたはシンクベースのいずれかであり得る。シンクベースの正規化を実装するとき、ソースデバイス１２０は、ディスプレイ１２２のためのサポートされるディスプレイ解像度（Ｌ_SRC，Ｗ_SRC）を、ビデオデータとともにまたはビデオデータとは無関係に、シンクデバイス１６０に送ることができる。サポートされるディスプレイ解像度は、たとえば、機能ネゴシエーションセッションの一部として送信され得るか、または通信セッション中の別の時間に送信され得る。シンクデバイス１６０は、ディスプレイ１６２のためのディスプレイ解像度（Ｌ_SINK，Ｗ_SINK）と、ソースデバイス１２０から受信されたコンテンツを表示するウィンドウのためのディスプレイウィンドウ解像度（Ｌ_DW，Ｗ_DW）と、ディスプレイウィンドウのための左上隅座標（ａ_DW，ｂ_DW）とを判断することができる。上記で説明したように、ユーザ入力に対応する座標（ｘ_SINK，ｙ_SINK）がディスプレイウィンドウ内にあると判断されたとき、シンクデバイス１６０のオペレーティングシステムは、変換関数を使用して座標（ｘ_SINK，ｙ_SINK）をソース座標（ｘ_SRC，ｙ_SRC）にマッピングすることができる。（ｘ_SINK，ｙ_SINK）を（ｘ_SRC，ｙ_SRC）に変換するための例示的な変換関数は以下の通りであり得る。

したがって、受信されたユーザ入力に対応する座標を送信するとき、シンクデバイス１６０は、（ｘ_SINK，ｙ_SINK）において受信されたユーザ入力のための座標（ｘ_SRC，ｙ_SRC）を送信することができる。以下でより詳細に説明するように、座標（ｘ_SRC，ｙ_SRC）は、たとえば、シンクデバイス１６０において受信されたユーザ入力をＵＩＢＣを介してソースデバイス１２０に送信するために使用されるデータパケットの一部として送信され得る。入力座標がデータパケット中に含まれるものとして説明される、本開示の他の部分全体にわたって、それらの座標は、ソース／シンクシステム１００がシンクベースの正規化を実装する事例において上記で説明したように、ソース座標に変換され得る。

ソース／シンクシステム１００がソースベースの正規化を実装するとき、ローカル入力とは対照的にＵＩＢＣ入力である（すなわち、ディスプレイウィンドウ外とは対照的にディスプレイウィンドウ内にある）と判断されたユーザ入力について、上記の計算は、シンクデバイス１６０ではなくソースデバイス１２０において実行され得る。そのような計算を可能にするために、シンクデバイス１６０は、Ｌ_DW，Ｗ_DWについての値、ならびにディスプレイウィンドウについてのロケーション情報（たとえばａ_DW，ｂ_DW）、ならびに（ｘ_SINK，ｙ_SINK）についての座標をソースデバイス１２０に送信することができる。これらの送信された値を使用して、ソースデバイス１２０は、上記の式３および式４に従って（ｘ_SRC，ｙ_SRC）についての値を判断することができる。

シンクベースの正規化の他の実装形態では、シンクデバイス１６０は、ディスプレイ１６２上のどこでユーザ入力イベントが行われるかとは対照的に、ディスプレイウィンドウ内のどこでユーザ入力イベントが行われるかを記述する、ユーザ入力のための座標（ｘ_DW，ｙ_DW）を送信することができる。そのような実装形態では、座標（ｘ_DW，ｙ_DW）は、（Ｌ_DW，Ｗ_DW）についての値とともにソースデバイス１２０に送信され得る。これらの受信された値に基づいて、ソースデバイス１２０は、以下の変換関数に従って（ｘ_SRC，ｙ_SRC）を判断することができる。

シンクデバイス１６０は、以下の関数に基づいてｘ_DWとｙ_DWとを判断することができる。

本開示で、たとえばデータパケット中で、ユーザ入力に関連付けられた座標を送信することについて説明するとき、これらの座標の送信は、上記で説明したようにシンクベースまたはソースベースの正規化を含み得、および／あるいはシンクベースまたはソースベースの正規化を実行するのに必要な任意の追加情報を含み得る。

ＵＩＢＣは、クロスプラットフォームユーザ入力データを含む、様々なタイプのユーザ入力データをトランスポートするように設計され得る。たとえば、ソースデバイス１２０はｉＯＳ（登録商標）オペレーティングシステムを実行し得、シンクデバイス１６０は、Ａｎｄｒｏｉｄ（登録商標）またはＷｉｎｄｏｗｓ（登録商標）など、別のオペレーティングシステムを実行する。プラットフォームにかかわらず、ＵＩＰＭ１６８は、Ａ／Ｖ制御モジュール１２５にとって理解可能な形態で、受信されたユーザ入力をカプセル化することができる。多くの異なるタイプのソースデバイスおよびシンクデバイスが異なるプラットフォーム上で動作するかどうかにかかわらず、それらのソースデバイスおよびシンクデバイスがプロトコルを活用することを可能にするように、いくつかの異なるタイプのユーザ入力フォーマットがＵＩＢＣによってサポートされ得る。一般入力フォーマットが定義され得、プラットフォーム固有入力フォーマットが両方ともサポートされ得、したがって、ユーザ入力がＵＩＢＣによってソースデバイス１２０とシンクデバイス１６０との間で通信され得る方法のフレキシビリティが与えられる。

図１Ａの例では、ソースデバイス１２０は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、Ｗｉ−Ｆｉ対応テレビジョン、またはオーディオおよびビデオデータを送信することが可能な他のデバイスを備え得る。シンクデバイス１６０は、同様に、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、Ｗｉ−Ｆｉ対応テレビジョン、またはオーディオおよびビデオデータを受信し、ユーザ入力データを受信することが可能な他のデバイスを備え得る。いくつかの事例では、シンクデバイス１６０は、ディスプレイ１６２、スピーカー１６３、ＵＩデバイス１６７、およびＡ／Ｖエンコーダ１６４が、すべて、別個であるが相互動作可能なデバイスの一部であるような、複数のデバイスのシステムを含み得る。ソースデバイス１２０は、同様に、単一のデバイスではなく、複数のデバイスのシステムであり得る。

本開示では、ソースデバイスという用語を、概して、オーディオ／ビデオデータを送信しているデバイスを指すために使用し、シンクデバイスという用語を、概して、ソースデバイスからオーディオ／ビデオデータを受信しているデバイスを指すために使用する。多くの場合、ソースデバイス１２０およびシンクデバイス１６０は同様または同等のデバイスであり得、一方のデバイスがソースとして動作し、他方がシンクとして動作する。その上、異なる通信セッションではこれらの役割が逆になることがある。したがって、１つの通信セッションにおけるシンクデバイスは後続の通信セッションではソースデバイスになり得、またはその逆も同様である。

図１Ｂは、本開示の技法を実装し得る例示的なソース／シンクシステム１０１を示すブロック図である。ソース／シンクシステム１０１はソースデバイス１２０とシンクデバイス１６０とを含み、それらの各々は、図１Ａについて上記で説明した方法で機能し、動作し得る。ソース／シンクシステム１０１はシンクデバイス１８０をさらに含む。上記で説明したシンクデバイス１６０と同様の方法で、シンクデバイス１８０は、ソースデバイス１２０からオーディオおよびビデオデータを受信し、確立されたＵＩＢＣを介してソースデバイス１２０にユーザコマンドを送信し得る。いくつかの構成では、シンクデバイス１６０とシンクデバイス１８０とは、互いとは無関係に動作し得、ソースデバイス１２０において出力されるオーディオおよびビデオデータは、シンクデバイス１６０とシンクデバイス１８０とにおいて同時に出力され得る。代替構成では、シンクデバイス１６０は１次シンクデバイスであり得、シンクデバイス１８０は２次シンクデバイスであり得る。そのような例示的な構成では、シンクデバイス１６０とシンクデバイス１８０とは結合され得、シンクデバイス１６０はビデオデータを表示し得、シンクデバイス１８０は対応するオーディオデータを出力する。さらに、いくつかの構成では、シンクデバイス１６０は送信されたビデオデータのみを出力し得、シンクデバイス１８０は送信されたオーディオデータのみを出力する。

図２は、ソースデバイス２２０の一例を示すブロック図である。ソースデバイス２２０は、図１Ａ中のソースデバイス１２０と同様のデバイスであり得、ソースデバイス１２０と同じ方法で動作し得る。ソースデバイス２２０は、ローカルディスプレイ２２２と、ローカルスピーカー２２３と、プロセッサ２３１と、メモリ２３２と、トランスポートユニット２３３と、ワイヤレスモデム２３４とを含む。図２に示すように、ソースデバイス２２０は、トランスポート、記憶、および表示のためにＡ／Ｖデータを符号化および／または復号する１つまたは複数のプロセッサ（すなわちプロセッサ２３１）を含み得る。Ａ／Ｖデータは、たとえばメモリ２３２において記憶され得る。メモリ２３２は、Ａ／Ｖファイル全体を記憶し得るか、または、たとえば、別のデバイスまたはソースからストリーミングされた、Ａ／Ｖファイルの一部分を記憶するにすぎない、より小さいバッファを備え得る。トランスポートユニット２３３は、符号化Ａ／Ｖデータをネットワークトランスポートのために処理し得る。たとえば、符号化Ａ／Ｖデータは、プロセッサ２３１によって処理され、ネットワーク上での通信のためにトランスポートユニット２３３によってネットワークアクセスレイヤ（ＮＡＬ：Network Access Layer）ユニットにカプセル化され得る。ＮＡＬユニットは、ワイヤレスモデム２３４によってネットワーク接続を介してワイヤレスシンクデバイスに送られ得る。ワイヤレスモデム２３４は、たとえば、ＩＥＥＥ８０２．１１規格ファミリーのうちの１つを実装するように構成されたＷｉ−Ｆｉモデムであり得る。

また、ソースデバイス２２０は、Ａ／Ｖデータをローカルで処理し、表示し得る。特に、ディスプレイプロセッサ２３５は、ローカルディスプレイ２２２上で表示されるようにビデオデータを処理し得、オーディオプロセッサ２３６は、スピーカー２２３上での出力のためにオーディオデータを処理し得る。

図１Ａのソースデバイス１２０に関して上記で説明したように、ソースデバイス２２０は、シンクデバイスからユーザ入力コマンドをも受信し得る。このようにして、ソースデバイス２２０のワイヤレスモデム２３４は、ＮＡＬユニットなどのカプセル化されたデータパケットを受信し、カプセル化されたデータユニットをカプセル化解除のためにトランスポートユニット２３３に送る。たとえば、トランスポートユニット２３３はＮＡＬユニットからデータパケットを抽出し得、プロセッサ２３１はユーザ入力コマンドを抽出するためにデータパケットをパースすることができる。ユーザ入力コマンドに基づいて、プロセッサ２３１は、ソースデバイス２２０によってシンクデバイスに送信されている符号化Ａ／Ｖデータを調整することができる。このようにして、図１ＡのＡ／Ｖ制御モジュール１２５に関して上記で説明した機能は、完全にまたは部分的に、プロセッサ２３１によって実装され得る。

図２のプロセッサ２３１は、概して、限定はしないが、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の等価な集積回路またはディスクリート論理回路を含む、多種多様なプロセッサのいずれか、あるいはそれらの何らかの組合せを表す。図２のメモリ２３２は、限定はしないが、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのいずれかを備え得る。メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備え得る。メモリ２３２は、本開示で説明する様々な技法を実行することの一部としてプロセッサ２３１によって実行される命令とプログラムコードとをさらに記憶し得る。

図３に、シンクデバイス３６０の一例を示す。シンクデバイス３６０は、図１Ａ中のシンクデバイス１６０と同様のデバイスであり得、シンクデバイス１６０と同じ方法で動作し得る。シンクデバイス３６０は、１つまたは複数のプロセッサ（すなわちプロセッサ３３１）と、メモリ３３２と、トランスポートユニット３３３と、ワイヤレスモデム３３４と、ディスプレイプロセッサ３３５と、ローカルディスプレイ３６２と、オーディオプロセッサ３３６と、スピーカー３６３と、ユーザ入力インターフェース３７６とを含む。シンクデバイス３６０は、ワイヤレスモデム３３４において、ソースデバイスから送られたカプセル化されたデータユニットを受信する。ワイヤレスモデム３３４は、たとえば、ＩＥＥＥ８０２．１１規格ファミリーからの１つまたは複数の規格を実装するように構成されたＷｉ−Ｆｉモデムであり得る。トランスポートユニット３３３は、カプセル化されたデータユニットをカプセル化解除することができる。たとえば、トランスポートユニット３３３は、カプセル化されたデータユニットから符号化ビデオデータを抽出し、符号化Ａ／Ｖデータを、出力のために復号され、レンダリングされるように、プロセッサ３３１に送り得る。ディスプレイプロセッサ３３５は、ローカルディスプレイ３６２上で表示されるように復号ビデオデータを処理し得、オーディオプロセッサ３３６は、スピーカー３６３上での出力のために復号オーディオデータを処理し得る。

オーディオおよびビデオデータをレンダリングすることに加えて、ワイヤレスシンクデバイス３６０は、ユーザ入力インターフェース３７６を通してユーザ入力データをも受信することができる。ユーザ入力インターフェース３７６は、限定はしないが、タッチディスプレイインターフェース、キーボード、マウス、ボイスコマンドモジュール、（たとえば、カメラベースの入力キャプチャ機能をもつ）ジェスチャーキャプチャデバイスを含む、いくつかのユーザ入力デバイスのいずれか、またはいくつかのユーザ入力デバイスの他のユーザ入力デバイスを表すことができる。ユーザ入力インターフェース３７６を通して受信されたユーザ入力はプロセッサ３３１によって処理され得る。この処理は、本開示で説明する技法に従って、受信されたユーザ入力コマンドを含むデータパケットを生成することを含み得る。生成されると、トランスポートユニット３３３は、そのデータパケットを、ＵＩＢＣを介したワイヤレスソースデバイスへのネットワークトランスポートのために処理し得る。

図３のプロセッサ３３１は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、他の等価な集積回路またはディスクリート論理回路など、広範囲のプロセッサのうちの１つまたは複数、あるいはそれらの何らかの組合せを備え得る。図３のメモリ３３２は、限定はしないが、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含む、多種多様な揮発性または不揮発性メモリのいずれかを備え得る。メモリ２３２は、オーディオ／ビデオデータならびに他の種類のデータを記憶するためのコンピュータ可読記憶媒体を備え得る。メモリ３３２は、本開示で説明する様々な技法を実行することの一部としてプロセッサ３３１によって実行される命令とプログラムコードとをさらに記憶し得る。

図４に、通信チャネル１５０を介して通信するために図１Ａの送信機／受信機１２６と送信機／受信機１６６とによって使用され得る、例示的な送信機システム４１０と受信機システム４５０とのブロック図を示す。送信機システム４１０において、いくつかのデータストリームのトラフィックデータがデータソース４１２から送信（ＴＸ）データプロセッサ４１４に与えられる。各データストリームは、それぞれの送信アンテナを介して送信され得る。ＴＸデータプロセッサ４１４は、各データストリームのトラフィックデータを、そのデータストリーム用に選択された特定のコーディング方式に基づいてフォーマットし、コーディングし、インターリーブする。

各データストリームのコード化データは、直交周波数分割多重化（ＯＦＤＭ）技法を使用してパイロットデータと多重化され得る。限定はしないが、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、符号分割多元接続（ＣＤＭＡ）、あるいはＯＦＤＭ、ＦＤＭＡ、ＴＤＭＡおよび／またはＣＤＭＡの任意の組合せを含む、多種多様な他のワイヤレス通信技法も使用され得る。

図４に従って、パイロットデータは、典型的には、知られている方法で処理される知られているデータパターンであり、チャネル応答を推定するために受信機システムにおいて使用され得る。次いで、各データストリームの多重化されたパイロットおよびコード化データは、変調シンボルを与えるために、そのデータストリーム用に選択された特定の変調方式（たとえば、２位相シフトキーイング（ＢＰＳＫ）、４位相シフトキーイング（ＱＰＳＫ）、Ｍ−ＰＳＫ、またはＭ−ＱＡＭ（直交振幅変調）、ここでＭは２のべき乗であり得る）に基づいて変調（たとえば、シンボルマッピング）される。各データストリームのデータレート、コーディング、および変調は、メモリ４３２に結合され得るプロセッサ４３０によって実行される命令によって判断され得る。

次いで、データストリームの変調シンボルがＴＸ ＭＩＭＯプロセッサ４２０に与えられ、ＴＸ ＭＩＭＯプロセッサ４２０はさらに（たとえば、ＯＦＤＭ用に）その変調シンボルを処理し得る。次いで、ＴＸ ＭＩＭＯプロセッサ４２０はＮ_T個の変調シンボルストリームをＮ_T個の送信機（ＴＭＴＲ）４２２ａ〜４２２ｔに与えることができる。いくつかの態様では、ＴＸ ＭＩＭＯプロセッサ４２０は、データストリームのシンボルと、シンボルの送信元のアンテナとにビームフォーミング重みを適用する。

各送信機４２２は、それぞれのシンボルストリームを受信し、処理して、１つまたは複数のアナログ信号を与え、さらに、それらのアナログ信号を調整（たとえば、増幅、フィルタ処理、およびアップコンバート）して、ＭＩＭＯチャネルを介した送信に適した被変調信号を与え得る。次いで、送信機４２２ａ〜４２２ｔからのＮ_T個の被変調信号は、それぞれＮ_T個のアンテナ４２４ａ〜４２４ｔから送信される。

受信機システム４５０において、送信された被変調信号はＮ_R個のアンテナ４５２ａ〜４５２ｒによって受信され、各アンテナ４５２からの受信信号は、それぞれの受信機（ＲＣＶＲ）４５４ａ〜４５４ｒに与えられる。受信機４５４は、それぞれの受信信号を調整（たとえば、フィルタ処理、増幅、およびダウンコンバート）し、調整された信号をデジタル化して、サンプルを与え、さらにそれらのサンプルを処理して、対応する「受信」シンボルストリームを与える。

次いで、受信（ＲＸ）データプロセッサ４６０は、Ｎ_R個の受信機４５４からＮ_R個の受信シンボルストリームを受信し、特定の受信機処理技法に基づいて処理して、Ｎ_T個の「検出」シンボルストリームを与える。次いで、ＲＸデータプロセッサ４６０は、各検出シンボルストリームを復調し、デインターリーブし、復号して、データストリームのトラフィックデータを復元する。ＲＸデータプロセッサ４６０による処理は、送信機システム４１０におけるＴＸ ＭＩＭＯプロセッサ４２０およびＴＸデータプロセッサ４１４によって実行される処理を補足するものである。

メモリ４７２と結合され得るプロセッサ４７０は、どのプリコーディング行列を使用すべきかを周期的に判断する。逆方向リンクメッセージは、通信リンクおよび／または受信データストリームに関する様々なタイプの情報を備え得る。次いで、逆方向リンクメッセージは、データソース４３６からいくつかのデータストリームのトラフィックデータをも受信するＴＸデータプロセッサ４３８によって処理され、変調器４８０によって変調され、送信機４５４ａ〜４５４ｒによって調整され、送信機システム４１０に戻される。

送信機システム４１０において、受信機システム４５０からの被変調信号は、アンテナ４２４によって受信され、受信機４２２によって調整され、復調器４４０によって復調され、ＲＸデータプロセッサ４４２によって処理されて、受信機システム４５０によって送信された逆方向リンクメッセージが抽出される。次いで、プロセッサ４３０は、ビームフォーミング重みを判断するためにどのプリコーディング行列を使用すべきかを判断し、次いで、抽出されたメッセージを処理する。

図５Ａは、機能ネゴシエーションセッションの一部としてのソースデバイス５２０とシンクデバイス５６０との間の例示的なメッセージ転送シーケンスを示すブロック図である。機能ネゴシエーションは、ソースデバイス５２０とシンクデバイス５６０との間のより大きい通信セッション確立プロセスの一部として行われ得る。このセッションは、たとえば、基礎をなす接続性規格としてのＷｉ−Ｆｉ ＤｉｒｅｃｔまたはＴＤＬＳで確立され得る。Ｗｉ−Ｆｉ ＤｉｒｅｃｔまたはＴＤＬＳセッションを確立した後に、シンクデバイス５６０は、ソースデバイス５２０とのＴＣＰ接続を開始することができる。ＴＣＰ接続を確立することの一部として、ソースデバイス５２０とシンクデバイス５６０との間の通信セッションを管理するために、リアルタイムストリーミングプロトコル（ＲＴＳＰ：real time streaming protocol）を実行する制御ポートが確立され得る。

ソースデバイス５２０は、概して、図１Ａのソースデバイス１２０について上記で説明したのと同じ方法で動作し得、シンクデバイス５６０は、概して、図１Ａのシンクデバイス１６０について上記で説明したのと同じ方法で動作し得る。ソースデバイス５２０とシンクデバイス５６０とが接続性を確立した後、ソースデバイス５２０とシンクデバイス５６０とは、機能ネゴシエーション交換の一部としてそれらのデバイスの後続の通信セッションのために使用されるべきパラメータのセットを判断し得る。

ソースデバイス５２０とシンクデバイス５６０とは、メッセージのシーケンスを通して機能をネゴシエートし得る。それらのメッセージは、たとえば、リアルタイムストリーミングプロトコル（ＲＴＳＰ）メッセージであり得る。そのネゴシエーションのいずれかの段階において、ＲＴＳＰ要求メッセージの受信側が、ＲＴＳＰ ＯＫ以外のＲＴＳＰステータスコードを含むＲＴＳＰ応答で応答し得、その場合、メッセージ交換はパラメータの異なるセットを用いて再試行され得、または機能ネゴシエーションセッションは終了され得る。

ソースデバイス５２０は、シンクデバイス５６０がサポートするＲＴＳＰ方法のセットを判断するために、シンクデバイス５６０に第１のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ要求メッセージ）を送ることができる。ソースデバイス５２０から第１のメッセージを受信すると、シンクデバイス５６０は、シンク５６０によってサポートされるＲＴＳＰ方法をリストする第２のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ応答メッセージ）で応答することができる。また、第２のメッセージはＲＴＳＰ ＯＫステータスコードを含み得る。

ソースデバイス５２０に第２のメッセージを送った後に、シンクデバイス５６０は、ソースデバイス５２０がサポートするＲＴＳＰ方法のセットを判断するために、第３のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ要求メッセージ）を送ることができる。シンクデバイス５６０から第３のメッセージを受信すると、ソースデバイス５２０は、ソースデバイス５２０によってサポートされるＲＴＳＰ方法をリストする第４のメッセージ（ＲＴＳＰ ＯＰＴＩＯＮＳ応答メッセージ）で応答することができる。また、第４のメッセージはＲＴＳＰ ＯＫステータスコードを含むことができる。

第４のメッセージを送った後に、ソースデバイス５２０は、ソースデバイス５２０に関係のある機能のリストを指定するために、第５のメッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送ることができる。シンクデバイス５６０は第６のメッセージ（ＲＴＳＰ ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答メッセージ）で応答することができる。第６のメッセージはＲＴＳＰステータスコードを含んでいることがある。ＲＴＳＰステータスコードがＯＫである場合、第６のメッセージは、シンクデバイス５６０によってサポートされる、第５のメッセージ中で指定されたパラメータに対する応答パラメータをも含むことができる。シンクデバイス５６０は、シンクデバイス５６０がサポートしない、第５のメッセージ中のパラメータを無視することができる。

第６のメッセージに基づいて、ソース５２０は、通信セッションのために使用されるべきパラメータの最適セットを判断することができ、シンクデバイス５６０に第７のメッセージ（ＲＴＳＰ ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求メッセージ）を送ることができる。第７のメッセージは、ソースデバイス５２０とシンクデバイス５６０との間の通信セッション中に使用されるべきパラメータセットを含んでいることがある。第７のメッセージは、通信セッションをセットアップするためにＲＴＳＰ Ｓｅｔｕｐ要求中で使用されるべきユニバーサルリソース識別子（ＵＲＩ：Universal Resource Identifier）を記述するｗｆｄ−ｐｒｅｓｅｎｔａｔｉｏｎ−ｕｒｌを含むことができる。ｗｆｄ−ｐｒｅｓｅｎｔａｔｉｏｎ−ｕｒｌは、シンクデバイス５６０がセッション確立交換中に後のメッセージのために使用することができるＵＲＩを指定する。このパラメータ中で指定されたｗｆｄ−ｕｒｌ０値およびｗｆｄ−ｕｒｌ１値は、第７のメッセージ中のｗｆｄ−ｃｌｉｅｎｔ−ｒｔｐ−ｐｏｒｔｓ中のｒｔｐ−ｐｏｒｔ０値およびｒｔｐ−ｐｏｒｔ１値の値に対応することができる。この事例におけるＲＴＰは、概して、ＵＤＰの上で動作することができるリアルタイムプロトコルを指す。

第７のメッセージを受信すると、シンクデバイス５６０は、第７のメッセージ中で指定されたパラメータを設定することが成功していたかどうかを示すＲＴＳＰステータスコードをもつ第８のメッセージで応答することができる。上述のように、ソースデバイスとシンクデバイスとの役割は、異なるセッションでは逆になるかまたは変化し得る。通信セッションをセットアップするメッセージの順序は、場合によっては、ソースとして動作するデバイスを定義し、シンクとして動作するデバイスを定義し得る。

図５Ｂは、機能ネゴシエーションセッションの一部としてのソースデバイス５６０とシンクデバイス５２０との間の別の例示的なメッセージ転送シーケンスを示すブロック図である。図５Ｂのメッセージ転送シーケンスは、図５Ａについて上記で説明した転送シーケンスのより詳細な図を与えることを目的とする。図５Ｂでは、メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」は、サポートされる入力カテゴリー（たとえば一般およびＨＩＤＣ）のリストとサポートされる入力タイプの複数のリストとを識別するメッセージの一例を示す。サポートされる入力カテゴリーのリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられたリスト（たとえばｇｅｎｅｒｉｃ＿ｃａｐ＿ｌｉｓｔおよびｈｉｄｃ＿ｃａｐ＿ｌｉｓｔ）を有する。図５Ｂでは、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、サポートされる入力カテゴリー（たとえば一般およびＨＩＤＣ）の第２のリストと、サポートされるタイプの複数の第２のリストとを識別する、第２のメッセージの一例である。サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリスト（たとえばｇｅｎｅｒｉｃ＿ｃａｐ＿ｌｉｓｔおよびｈｉｄｃ＿ｃａｐ＿ｌｉｓｔ）を有する。メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」は、シンクデバイス５６０によってサポートされる入力カテゴリーと入力タイプとを識別する。メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、ソースデバイス５２０によってサポートされる入力カテゴリーと入力タイプとを識別するが、それは、ソースデバイス５２０によってサポートされるすべての入力カテゴリーと入力タイプとの包括的なリストでないことがある。代わりに、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」は、シンクデバイス５６０によってサポートされるものとしてメッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」中で識別された入力カテゴリーと入力タイプとのみを識別し得る。このようにして、メッセージ「２ａ．ＳＥＴ＿ＰＡＲＡＭＥＴＥＲ要求」中で識別される入力カテゴリーと入力タイプとは、メッセージ「１ｂ．ＧＥＴ＿ＰＡＲＡＭＥＴＥＲ応答」中で識別された入力カテゴリーと入力タイプとのサブセットを構成し得る。

図６は、シンクデバイスによって生成され、ソースデバイスに送信され得る、データパケットの一例を示す概念図である。図１Ａを参照しながらデータパケット６００の態様について説明することになるが、説明する技法は追加のタイプのソース／シンクシステムに適用可能であり得る。データパケット６００はデータパケットヘッダ６１０を含み得、その後にペイロードデータ６５０が続く。ペイロードデータ６５０は、１つまたは複数のペイロードヘッダ（たとえばペイロードヘッダ６３０）をさらに含み得る。データパケット６００は、たとえば、シンクデバイス１６０のユーザが、ソースデバイス１２０によって送信されているオーディオ／ビデオデータを制御することができるように、図１Ａのシンクデバイス１６０からソースデバイス１２０に送信され得る。そのような場合、ペイロードデータ６５０は、シンクデバイス１６０において受信されたユーザ入力データを含み得る。ペイロードデータ６５０は、たとえば、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、１つまたは複数のユーザコマンドを受信することができ、受信されたコマンドに基づいて、データパケットヘッダ６１０とペイロードデータ６５０とを生成することができる。データパケット６００のデータパケットヘッダ６１０のコンテンツに基づいて、ソースデバイス１２０は、シンクデバイス１６０において受信されたユーザ入力データを識別するためにペイロードデータ６５０をパースすることができる。ペイロードデータ６５０中に含まれているユーザ入力データに基づいて、ソースデバイス１２０は、ソースデバイス１２０からシンクデバイス１６０に送信されているオーディオおよびビデオデータを何らかの方法で変更し得る。

本開示で使用する「パース」および「パーシング」という用語は、概して、ビットストリームからデータを抽出するためにビットストリームを分析するプロセスを指す。抽出されると、データは、たとえば、ソースデバイス１２０によって処理され得る。データを抽出することは、たとえば、ビットストリーム中の情報がどのようにフォーマットされているかを識別することを含み得る。以下でより詳細に説明するように、データパケットヘッダ６１０は、ソースデバイス１２０とシンクデバイス１６０の両方にとって既知である規格化されたフォーマットを定義し得る。ただし、ペイロードデータ６５０は多くの可能な方法のうちの１つでフォーマットされ得る。データパケットヘッダ６１０をパースすることによって、ソースデバイス１２０は、ペイロードデータ６５０がどのようにフォーマットされているかを判断することができ、したがって、ソースデバイス１２０は、ペイロードデータ６５０から１つまたは複数のユーザ入力コマンドを抽出するためにペイロードデータ６５０をパースすることができる。これは、ソースシンク通信においてサポートされ得る異なるタイプのペイロードデータの観点からフレキシビリティを与えることができる。以下でより詳細に説明するように、ペイロードデータ６５０は、ペイロードヘッダ６３０などの１つまたは複数のペイロードヘッダをも含み得る。そのような場合、ソースデバイス１２０は、ペイロードヘッダ６３０についてのフォーマットを判断するためにデータパケットヘッダ６１０をパースし、次いで、ペイロードデータ６５０の残りについてのフォーマットを判断するためにペイロードヘッダ６３０をパースし得る。

図６２０は、データパケットヘッダ６１０がどのようにフォーマットされ得るかについての概念図である。行６１５における番号０〜１５は、データパケットヘッダ６１０内のビットロケーションを識別することを目的としており、データパケットヘッダ６１０内に含まれている情報を実際に表すことを目的としていない。データパケットヘッダ６１０は、バージョンフィールド６２１と、タイムスタンプフラグ６２２と、予約済みフィールド６２３と、入力カテゴリーフィールド６２４と、長さフィールド６２５と、随意のタイムスタンプフィールド６２６とを含む。

図６の例では、バージョンフィールド６２１は、シンクデバイス１６０によって実装されている特定の通信プロトコルのバージョンを示し得る３ビットフィールドである。バージョンフィールド６２１中の値は、データパケットヘッダ６１０の残りをどのようにパースすべきか、ならびにペイロードデータ６５０をどのようにパースすべきかを、ソースデバイス１２０に通知し得る。図６の例では、バージョンフィールド６２１は、８つの異なるバージョンについての一意の識別子を可能にするであろう３ビットフィールドである。他の例では、より多いまたはより少ないビットがバージョンフィールド６２１に専用であり得る。

図６の例では、タイムスタンプフラグ（Ｔ）６２２は、タイムスタンプフィールド６２６がデータパケットヘッダ６１０中に存在するか否かを示す１ビットフィールドである。タイムスタンプフィールド６２６は、ソースデバイス１２０によって生成され、シンクデバイス１６０に送信された、マルチメディアデータに基づくタイムスタンプを含んでいる、１６ビットフィールドである。タイムスタンプは、たとえば、ビデオのフレームがシンクデバイス１６０に送信されるより前に、ソースデバイス１２０によってそのフレームに割り当てられる、連続値であり得る。タイムスタンプフラグ６２２は、たとえば、タイムスタンプフィールド６２６が存在することを示すための「１」を含み得、タイムスタンプフィールド６２６が存在しないことを示すための「０」を含み得る。データパケットヘッダ６１０をパースし、タイムスタンプフィールド６２６が存在すると判断すると、ソースデバイス１２０は、タイムスタンプフィールド６２６中に含まれるタイムスタンプを処理することができる。データパケットヘッダ６１０をパースし、タイムスタンプフィールド６２６が存在しないと判断すると、ソースデバイス１２０は、タイムスタンプフィールドがデータパケットヘッダ６１０中に存在しないので、長さフィールド６２５をパースした後にペイロードデータ６５０をパースし始め得る。

存在する場合、タイムスタンプフィールド６２６は、ペイロードデータ６５０のユーザ入力データが取得されたときにワイヤレスシンクデバイス１６０において表示されていたビデオデータのフレームを識別するためのタイムスタンプを含むことができる。タイムスタンプは、たとえば、ソースデバイス１２０がシンクデバイス１６０にビデオのフレームを送信するより前に、ソースデバイス１２０によってビデオのフレームに追加されていることがある。したがって、ソースデバイス１２０は、ビデオのフレームを生成し、そのフレームのビデオデータ中に、たとえばメタデータとして、タイムスタンプを埋め込み得る。ソースデバイス１２０は、タイムスタンプとともに、ビデオフレームをシンクデバイス１６０に送信することができ、シンクデバイス１６０はビデオのフレームを表示することができる。ビデオのフレームがシンクデバイス１６０によって表示されている間、シンクデバイス１６０はユーザからユーザコマンドを受信することができる。シンクデバイス１６０がユーザコマンドをソースデバイス１２０に転送するためにデータパケットを生成するとき、シンクデバイス１６０は、ユーザコマンドが受信されたときにシンクデバイス１６０によって表示されていたフレームのタイムスタンプをタイムスタンプフィールド６２６中に含めることができる。

タイムスタンプフィールド６２６がヘッダ中に存在するデータパケット６００を受信すると、ワイヤレスソースデバイス１２０は、ペイロードデータ６５０のユーザ入力データが取得されたときにシンクデバイス１６０において表示されているビデオのフレームを識別し、タイムスタンプによって識別されるフレームのコンテンツに基づいてユーザ入力データを処理し得る。たとえば、ユーザ入力データが、タッチディスプレイに適用されたタッチコマンド、またはマウスポインタのクリックである場合、ソースデバイス１２０は、ユーザがディスプレイにタッチコマンドを適用したかまたはマウスをクリックしたときに表示されているフレームのコンテンツを判断することができる。いくつかの事例では、ペイロードデータを適切に処理するためにフレームのコンテンツが必要とされ得る。たとえば、ユーザタッチまたはマウスクリックに基づくユーザ入力は、タッチまたはクリックのときにディスプレイ上に何が示されていたかに依存することがある。タッチまたはクリックは、たとえば、アイコンまたはメニューオプションに対応し得る。ディスプレイのコンテンツが変化している事例では、タイムスタンプフィールド６２６中に存在するタイムスタンプは、タッチまたはクリックを正しいアイコンまたはメニューオプションに整合させるために、ソースデバイス１２０によって使用され得る。

ソースデバイス１２０は、追加または代替として、タイムスタンプフィールド６２６中のタイムスタンプを、ビデオの現在レンダリングされているフレームに適用されているタイムスタンプと比較し得る。タイムスタンプフィールド６２６のタイムスタンプを現在のタイムスタンプと比較することによって、ソースデバイス１２０はラウンドトリップ時間を判断することができる。ラウンドトリップ時間は、概して、フレームがソースデバイス１２０によって送信された時点から、そのフレームに基づくユーザ入力がシンクデバイス１６０からソースデバイス１２０に戻って受信された時点までに経過した、時間量に対応する。ラウンドトリップ時間は、ソースデバイス１２０にシステムレイテンシの指示を与えることができ、ラウンドトリップ時間がしきい値よりも大きい場合、ソースデバイス１２０は、入力コマンドが古いディスプレイフレームに適用されたという仮定の下で、ペイロードデータ６５０中に含まれているユーザ入力データを無視し得る。ラウンドトリップ時間がしきい値よりも小さいとき、ソースデバイス１２０は、ユーザ入力データを処理し、ユーザ入力データに応答して、送信されているオーディオ／ビデオコンテンツを調整し得る。しきい値はプログラマブルであり得、異なるタイプのデバイス（または異なるソースシンク組合せ）が、許容できるラウンドトリップ時間についての異なるしきい値を定義するように構成され得る。

図６の例では、予約済みフィールド６２３は、データパケットヘッダ６１０とペイロードデータ６５０とをパースする際にソース１２０によって使用される情報を含まない８ビットフィールドである。ただし、（バージョンフィールド６２１中で識別される）特定のプロトコルの将来のバージョンが予約済みフィールド６２３を利用し得、その場合、ソースデバイス１２０は、データパケットヘッダ６１０をパースするために、および／またはペイロードデータ６５０をパースするために、予約済みフィールド６２３中の情報を使用し得る。予約済みフィールド６２３は、バージョンフィールド６２１と併せて、すでに使用中のフォーマットと特徴とを基本的に変更することなしに、特徴を拡張し、特徴をデータパケットフォーマットに追加するための機能を潜在的に与える。

図６の例では、入力カテゴリーフィールド６２４は、ペイロードデータ６５０中に含まれているユーザ入力データについての入力カテゴリーを識別するための４ビットフィールドである。シンクデバイス１６０は、入力カテゴリーを判断するためにユーザ入力データをカテゴリー分類し得る。ユーザ入力データをカテゴリー分類することは、たとえば、コマンドがそこから受信されたデバイスに基づくか、またはコマンド自体の性質に基づき得る。入力カテゴリーフィールド６２４の値は、場合によってはデータパケットヘッダ６１０の他の情報と併せて、ペイロードデータ６５０がどのようにフォーマットされているかをソースデバイス１２０に対して識別する。このフォーマッティングに基づいて、ソースデバイス１２０は、シンクデバイス１６０において受信されたユーザ入力を判断するためにペイロードデータ６５０をパースすることができる。

図６の例では入力カテゴリー６２４が４ビットであるので、１６個の異なる入力カテゴリーが場合によっては識別され得る。１つのそのような入力カテゴリーは、ペイロードデータ６５０のユーザ入力データが、ソースデバイス１２０とシンクデバイス１６０の両方によって実行されているプロトコルにおいて定義されている一般情報要素を使用してフォーマットされていることを示すための、一般入力フォーマットであり得る。一般入力フォーマットは、以下でより詳細に説明するように、シンクデバイス１６０のユーザがアプリケーションレベルでソースデバイス１２０と対話することを可能にする、一般情報要素を利用し得る。

別のそのような入力カテゴリーは、ペイロードデータ６５０のユーザ入力データが、入力データを受信するために使用される入力デバイスのタイプに基づいてフォーマットされていることを示すための、ヒューマンインターフェースデバイスコマンド（ＨＩＤＣ：human interface device command）フォーマットであり得る。デバイスのタイプの例は、キーボード、マウス、タッチ入力デバイス、ジョイスティック、カメラ、（カメラベースの入力デバイスなどの）ジェスチャーキャプチャデバイス、および遠隔制御装置を含む。入力カテゴリーフィールド６２４中で識別され得る他のタイプの入力カテゴリーは、ペイロードデータ６５０中のユーザデータがシンクデバイス１６０において発信しなかったことを示すためのフォワーディング入力フォーマット、またはオペレーティングシステム固有フォーマット、およびペイロードデータ６５０がボイスコマンドを含むことを示すためのボイスコマンドフォーマットを含む。

長さフィールド６２５は、データパケット６００の長さを示すための１６ビットフィールドを備え得る。長さは、たとえば、８ビットの単位で示され得る。データパケット６００が１６ビットのワードでソースデバイス１２０によってパースされるとき、データパケット６００は１６ビットの整数までパディングされ得る。長さフィールド６２５中に含まれている長さに基づいて、ソースデバイス１２０は、ペイロードデータ６５０の終了（すなわちデータパケット６００の終了）と新しい後続のデータパケットの開始とを識別することができる。

図６の例で与えられるフィールドの様々なサイズは単に説明用であるものとし、それらのフィールドは、図６に示すものとは異なる数のビットを使用して実装され得るものとする。さらに、データパケットヘッダ６１０は、上記で説明したすべてのフィールドよりも少数のフィールドを含み得るか、または上記で説明していない追加のフィールドを使用し得ることも企図される。実際、本開示の技法は、パケットの様々なデータフィールドのために使用される実際のフォーマットの観点から、フレキシブルであり得る。

ペイロードデータ６５０のフォーマッティングを判断するためにデータパケットヘッダ６１０をパースした後に、ソースデバイス１２０は、ペイロードデータ６５０中に含まれているユーザ入力コマンドを判断するためにペイロードデータ６５０をパースすることができる。ペイロードデータ６５０は、ペイロードデータ６５０のコンテンツを示すそれ自体のペイロードヘッダ（ペイロードヘッダ６３０）を有し得る。このようにして、ソースデバイス１２０は、データパケットヘッダ６１０のパーシングに基づいてペイロードヘッダ６３０をパースし、次いで、ペイロードヘッダ６３０のパーシングに基づいて残りのペイロードデータ６５０をパースし得る。

たとえば、データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、一般入力がペイロードデータ６５０中に存在することを示す場合、ペイロードデータ６５０は一般入力フォーマットを有することがある。したがって、ソースデバイス１２０は、一般入力フォーマットに従ってペイロードデータ６５０をパースすることができる。一般入力フォーマットの一部として、ペイロードデータ６５０は、各入力イベントがそれ自体の入力イベントヘッダを有する、一連の１つまたは複数の入力イベントを含むことができる。以下の表１は、入力ヘッダ中に含まれ得るフィールドを識別する。

一般入力イベント（ＩＥ：input event）識別情報（ＩＤ：identification）フィールドは、入力タイプを識別するための一般入力イベント識別情報を識別する。一般ＩＥ ＩＤフィールドは、たとえば、長さが１オクテットであり得、以下の表２から選択された識別情報を含み得る。本例のように、一般ＩＥ ＩＤフィールドが８ビットである場合、（０〜２５５と識別される）２５６個の異なるタイプの入力が識別可能であり得るが、すべての２５６個の識別情報が必ずしも関連付けられた入力タイプを必要とするとは限らない。上記２５６個の一部は、シンクデバイス１６０とソースデバイス１２０とによって実装されているいかなるプロトコルの将来のバージョンの将来の使用のためにも予約され得る。表２では、たとえば、一般ＩＥ ＩＤ９〜２５５は、関連付けられた入力タイプを有しないが、将来、入力タイプを割り当てられ得る。

入力イベントヘッダ中の長さフィールドは、記述フィールドの長さを識別し、記述フィールドは、ユーザ入力を記述する情報要素を含む。記述フィールドのフォーマッティングは、一般ＩＥ ＩＤフィールド中で識別される入力のタイプに依存し得る。したがって、ソースデバイス１２０は、一般ＩＥ ＩＤフィールド中で識別される入力タイプに基づいて記述フィールドのコンテンツをパースし得る。入力イベントヘッダの長さフィールドに基づいて、ソースデバイス１２０は、ペイロードデータ６５０中の１つの入力イベントの終了と新しい入力イベントの開始とを判断することができる。以下でより詳細に説明するように、１つのユーザコマンドはペイロードデータ６５０中で１つまたは複数の入力イベントとして記述され得る。

表２は、それぞれ、入力タイプを識別するために使用され得る対応する一般ＩＥ ＩＤを用いた、入力タイプの一例を与える。

各入力タイプに関連付けられた記述フィールドは異なるフォーマットを有し得る。左マウスダウン／タッチダウンイベントと、左マウスアップ／タッチアップイベントと、マウス移動／タッチ移動イベントとの記述フィールドは、たとえば、以下の表３中で識別される情報要素を含み得るが、他の例では他のフォーマットも使用され得る。

ポインタの数は、入力イベントに関連付けられたタッチまたはマウスクリックの数を識別し得る。各ポインタは一意のポインタＩＤを有し得る。たとえば、マルチタッチイベントが３本指タッチを含む場合、入力イベントは、それぞれ、一意のポインタＩＤを用いた、３つのポインタを有し得る。各ポインタ（すなわち各指タッチ）は、そのタッチがどこで行われたかに対応する、対応するｘ座標およびｙ座標を有し得る。

単一のユーザコマンドが一連の入力イベントとして記述され得る。たとえば、３本指スワイプが、アプリケーションを閉じるためのコマンドである場合、３本指スワイプは、３つのポインタを用いたタッチダウンイベント、３つのポインタを用いたタッチ移動イベント、および３つのポインタを用いたタッチアップイベントとして、ペイロードデータ６５０中で記述され得る。タッチダウンイベントの３つのポインタは、タッチ移動イベントおよびタッチアップイベントの３つのポインタと同じポインタＩＤを有し得る。ソースデバイス１２０は、それらの３つの入力イベントの組合せを３本指スワイプとして解釈することができる。

キーダウンイベントまたはキーアップイベントの記述フィールドは、たとえば、以下の表４中で識別される情報要素を含み得る。

ズームイベントの記述フィールドは、たとえば、以下の表５中で識別される情報要素を含み得る。

水平スクロールイベントまたは垂直スクロールイベントの記述フィールドは、たとえば、以下の表６中で識別される情報要素を含み得る。

上記の例は、一般入力カテゴリーの場合にペイロードデータがフォーマットされ得るいくつかの例示的な方法を示している。データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、フォワーディングされたユーザ入力など、異なる入力カテゴリーを示す場合、ペイロードデータ６５０は異なる入力フォーマットを有することがある。フォワーディングされたユーザ入力の場合、シンクデバイス１６０は、サードパーティデバイスからユーザ入力データを受信し、そのユーザ入力データを解釈することなしにその入力をソースデバイス１２０にフォワーディングし得る。したがって、ソースデバイス１２０は、フォワーディングされたユーザ入力フォーマットに従ってペイロードデータ６５０をパースすることができる。たとえば、ペイロードデータ６５０のペイロードヘッダ６３０は、ユーザ入力がそこから取得されたサードパーティデバイスを識別するためのフィールドを含み得る。そのフィールドは、たとえば、サードパーティデバイスのインターネットプロトコル（ＩＰ）アドレス、ＭＡＣアドレス、ドメインネーム、または何らかの他のそのような識別子を含み得る。ソースデバイス１２０は、サードパーティデバイスの識別子に基づいてペイロードデータの残りをパースすることができる。

シンクデバイス１６０は、一連のメッセージを介してサードパーティデバイスと機能をネゴシエートすることができる。シンクデバイス１６０は、次いで、機能ネゴシエーションプロセスの一部としてソースデバイス１２０との通信セッションを確立することの一部としてソースデバイス１２０にサードパーティデバイスの一意の識別子を送信することができる。代替的に、シンクデバイス１６０は、サードパーティデバイスを記述する情報をソースデバイス１２０に送信し得、その情報に基づいて、ソースデバイス１２０はサードパーティデバイスについての一意の識別子を判断することができる。サードパーティデバイスを記述する情報は、たとえば、サードパーティデバイスを識別するための情報および／またはサードパーティデバイスの機能を識別するための情報を含み得る。一意の識別子がソースデバイス１２０によって判断されるのかシンクデバイス１６０によって判断されるのかにかかわらず、シンクデバイス１６０が、サードパーティデバイスから取得されたユーザ入力をもつデータパケットを送信するとき、シンクデバイス１６０は、ソースデバイス１２０がユーザ入力の起点を識別することができるように、一意の識別子をデータパケット中に、たとえばペイロードヘッダ中に含めることができる。

データパケットヘッダ６１０の入力カテゴリーフィールド６２４が、ボイスコマンドなど、さらに異なる入力カテゴリーを示す場合、ペイロードデータ６５０は、さらに異なる入力フォーマットを有することがある。ボイスコマンドの場合、ペイロードデータ６５０はコード化オーディオを含み得る。ボイスコマンドのオーディオを符号化および復号するためのコーデックが、一連のメッセージを介してソースデバイス１２０とシンクデバイス１６０との間でネゴシエートされ得る。ボイスコマンドを送信するために、タイムスタンプフィールド６２６は音声サンプリング時間値を含み得る。そのような場合、タイムスタンプフラグ６２２は、タイムスタンプが存在することを示すように設定され得るが、上記で説明したタイムスタンプの代わりに、タイムスタンプフィールド６２６は、ペイロードデータ６５０の符号化オーディオについての音声サンプリング時間値を含み得る。

いくつかの例では、ボイスコマンドが、上記で説明したように一般コマンドとして送信され得、その場合、入力カテゴリーフィールド６２４は、一般コマンドフォーマットを識別するように設定され得、予約済み一般ＩＥ ＩＤのうちの１つがボイスコマンドに割り当てられ得る。ボイスコマンドが一般コマンドとして送信される場合、音声サンプリングレートは、データパケットヘッダ６１０のタイムスタンプフィールド６２６中に存在し得るか、またはペイロードデータ６５０中に存在し得る。

キャプチャされたボイスコマンドデータの場合、ボイスデータは複数の方法でカプセル化され得る。たとえば、ボイスコマンドデータは、コーデックとタイムスタンプとを識別するためにペイロードタイプを与えることができるＲＴＰを使用してカプセル化され得、そのタイムスタンプは、サンプリングレートを識別するために使用される。ＲＴＰデータは、随意のタイムスタンプを用いてまたは用いずに、上記で説明した一般ユーザ入力フォーマットを使用してカプセル化され得る。シンクデバイス１６０は、ＴＰＣ／ＩＰを使用してソースデバイス１２０にボイスコマンドデータを搬送する一般入力データを送信することができる。

前に説明したように、座標が、データパケット６００などのデータパケットの一部として、たとえばペイロードデータ６５０中に含まれるとき、その座標は、ネゴシエートされた解像度、ディスプレイウィンドウ座標、正規化座標、またはシンクディスプレイに関連付けられた座標、に基づいてスケーリングされた座標に対応し得る。いくつかの事例では、データパケット中で受信された座標を正規化するためにソースデバイスが使用するために、追加情報がデータパケット中に含まれるかまたは別個に送信され得る。

特定のデータパケットについての入力カテゴリーにかかわらず、データパケットヘッダはアプリケーションレイヤパケットヘッダであり得、データパケットはＴＣＰ／ＩＰを介して送信され得る。ＴＣＰ／ＩＰにより、シンクデバイス１６０およびソースデバイス１２０は、パケットロスの場合、再送信技法を実行することが可能になることがある。データパケットは、ソースデバイス１２０のオーディオデータまたはビデオデータを制御するために、あるいはソースデバイス１２０上で動作しているアプリケーションを制御するためになどの他の目的で、シンクデバイス１６０からソースデバイス１２０に送られ得る。

図７Ａは、シンクデバイスとソースデバイスとの間で機能をネゴシエートする例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、本明細書で説明するフローチャートのうちの１つまたは複数中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図７Ａの方法は、シンクデバイス１６０がソースデバイス１２０から第１のメッセージを受信する（７０１）ことを含む。そのメッセージは、たとえば、パラメータ入手要求（get parameter request）を備え得る。第１のメッセージに応答して、シンクデバイス１６０はソースデバイス１２０に第２のメッセージを送る（７０３）。第２のメッセージは、たとえば、サポートされる入力カテゴリーの第１のリストとサポートされるタイプの複数の第１のリストとを識別するパラメータ入手応答（get parameter response）を備え得、サポートされる入力カテゴリーの第１のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第１のリストを有する。サポートされる入力カテゴリーは、たとえば、図６の入力カテゴリーフィールド６２４のために使用されるのと同じカテゴリーに対応し得る。上記の表２は、特定の入力カテゴリー（この例では一般入力）のためのサポートされるタイプの一例を表す。シンクデバイス１６０はソースデバイス１２０から第３のメッセージを受信する（７０５）。第３のメッセージは、たとえば、パラメータ設定要求（set parameter request）を備え得、パラメータ設定要求は、通信のためのポートと、サポートされる入力カテゴリーの第２のリストと、サポートされるタイプの複数の第２のリストとを識別し、サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリストを有し、第２のリストのサポートされるタイプの各々は、第１のリストのタイプのサブセットを含む。シンクデバイス１６０はソースデバイス１２０に第４のメッセージを送信する（７０７）。第４のメッセージは、たとえば、第２のリストのタイプが有効にされたことを確認するためのパラメータ設定応答（set parameter response）を備え得る。シンクデバイス１６０はソースデバイス１２０から第５のメッセージを受信する（７０９）。第５のメッセージは、たとえば、ソースデバイス１２０とシンクデバイス１６０との間の通信チャネルが有効にされたことを示す第２のパラメータ設定要求を備え得る。その通信チャネルは、たとえば、ユーザ入力バックチャネル（ＵＩＢＣ：user input back channel）を備え得る。シンクデバイス１６０はソースデバイス１２０に第６のメッセージを送信する（７１１）。第６のメッセージは、たとえば、シンクデバイス１６０による第２のパラメータ設定要求の受信を確認する第２のパラメータ設定応答を備え得る。

図７Ｂは、シンクデバイスとソースデバイスとの間で機能をネゴシエートする例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図７Ｂの方法は、ソースデバイス１２０がシンクデバイス１６０に第１のメッセージを送信する（７０２）ことを含む。第１のメッセージは、たとえば、パラメータ入手要求を備え得る。ソースデバイス１２０はシンクデバイス１６０から第２のメッセージを受信する（７０４）。第２のメッセージは、たとえば、サポートされる入力カテゴリーの第１のリストとサポートされるタイプの複数の第１のリストとを識別するパラメータ入手応答を備え得、サポートされる入力カテゴリーの第１のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第１のリストを有する。ソースデバイス１２０はシンクデバイス１６０に第３のメッセージを送信する（７０６）。第３のメッセージは、たとえば、通信のためのポートと、サポートされる入力カテゴリーの第２のリストと、サポートされるタイプの複数の第２のリストとを識別するパラメータ設定要求を備え得、サポートされる入力カテゴリーの第２のリストのサポートされる入力カテゴリーの各々は、サポートされるタイプの関連付けられた第２のリストを有し、第２のリストのサポートされるタイプの各々は、第１のリストのタイプのサブセットを含む。ソースデバイス１２０はシンクデバイス１６０から第４のメッセージを受信する（７０８）。第４のメッセージは、たとえば、第２のリストのタイプが有効にされたことを確認するためのパラメータ設定応答を備え得る。ソースデバイス１２０はシンクデバイス１６０に第５のメッセージを送信する（７１０）。第５のメッセージは、たとえば、ソースデバイス１２０とシンクデバイス１６０との間の通信チャネルが有効にされたことを示す第２のパラメータ設定要求を備え得る。その通信チャネルは、たとえば、ユーザ入力バックチャネル（ＵＩＢＣ）を備え得る。ソースデバイス１２０はシンクデバイス１６０から第６のメッセージを受信する（７１２）。第６のメッセージは、たとえば、シンクデバイス１６０による第２のパラメータ設定要求の受信を確認する第２のパラメータ設定応答を備え得る。

図８Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図８Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（８０１）ことを含む。ユーザ入力データは、たとえば、ワイヤレスシンクデバイス３６０に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。さらに、シンクデバイス１６０は、ユーザ入力データを、たとえば、一般、フォワーディングされた、またはオペレーティングシステム固有として、カテゴリー分類し得る。シンクデバイス１６０は、次いでユーザ入力データに基づいてデータパケットヘッダを生成する（８０３）。データパケットヘッダはアプリケーションレイヤパケットヘッダであり得る。データパケットヘッダは、フィールドの中でも、ユーザ入力データに対応する入力カテゴリーを識別するためのフィールドを備え得る。入力カテゴリーは、たとえば、一般入力フォーマットまたはヒューマンインターフェースデバイスコマンドを備え得る。シンクデバイス１６０は、さらにデータパケットを生成し（８０５）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（８０７）。シンクデバイス１６０は、たとえば図３に示したようなトランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。シンクデバイス１６０はＴＣＰ／ＩＰを介してデータパケットを転送し得る。

図８Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図８Ｂの方法は、データパケットを受信する（８０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中に含まれているユーザ入力データに関連付けられた入力カテゴリーを判断するために、データパケット中に含まれるデータパケットヘッダをパースする（８０４）。ソースデバイス１２０は、判断された入力カテゴリーに基づいてペイロードデータを処理する（８０６）。図８Ａおよび図８Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータとアプリケーションとを制御するために使用され得る。

図９Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図９Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（９０１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。シンクデバイス１６０は、次いでペイロードデータを生成し（９０３）、ペイロードデータはユーザ入力データを記述し得る。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、さらにデータパケットを生成し（９０５）、データパケットは、データパケットヘッダと生成されたペイロードデータとを備える。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（９０７）。シンクデバイス１６０は、たとえばトランスポートユニット３３３およびワイヤレスモデム３３４など、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図９Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図９Ｂの方法は、シンクデバイス３６０からデータパケットを受信する（９０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。一例では、ペイロードデータは、たとえば、入力タイプ値などのユーザ入力の詳細を記述するデータを備え得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中の入力タイプフィールド中の入力タイプ値を判断するためにデータパケットをパースする（９０４）。ソースデバイス１２０は、判断された入力タイプ値に基づいて、ユーザ入力の詳細を記述するデータを処理する（９０６）。図９Ａおよび図９Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得る。

図１０Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１０Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１００１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したようなユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。シンクデバイス１６０は、次いでユーザ入力に基づいてデータパケットヘッダを生成する（１００３）。データパケットヘッダは、フィールドの中でも、タイムスタンプフィールドがデータパケットヘッダ中に存在するかどうかを示すためのタイムスタンプフラグ（たとえば、１ビットフィールド）を備え得る。タイムスタンプフラグは、たとえば、タイムスタンプフィールドが存在することを示すための「１」を含み得、タイムスタンプフィールドが存在しないことを示すための「０」を含み得る。タイムスタンプフィールドは、たとえば、ソースデバイス１２０によって生成されたタイムスタンプを含んでいる１６ビットフィールドであり、送信より前にビデオデータに追加され得る。シンクデバイス１６０は、さらにデータパケットを生成し（１００５）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（１００７）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図１０Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１０Ｂの方法は、ワイヤレスシンクデバイス１６０からデータパケットを受信する（１００２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いでデータパケット中に含まれるデータパケットヘッダをパースする（１００４）。ソースデバイス１２０は、タイムスタンプフィールドがデータパケットヘッダ中に存在するかどうかを判断する（１００６）。一例では、ソースデバイス１２０は、データパケットヘッダ中に含まれるタイムスタンプフラグ値に基づいて判断を行い得る。データパケットヘッダがタイムスタンプフィールドを含む場合、ソースデバイス１２０は、タイムスタンプフィールド中にあるタイムスタンプに基づいてペイロードデータを処理する（１００８）。図１０Ａおよび図１０Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１１Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１１Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１１０１）ことを含む。ユーザ入力データは、たとえば、図３に関して示したユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。シンクデバイス１６０は、次いでユーザ入力に基づいてデータパケットヘッダを生成する（１１０３）。データパケットヘッダは、フィールドの中でも、タイムスタンプフィールドを備え得る。タイムスタンプフィールドは、たとえば、ワイヤレスソースデバイス１２０によって生成され、ワイヤレスシンクデバイス１６０に送信された、マルチメディアデータに基づくタイムスタンプを含んでいる、１６ビットフィールドを備え得る。タイムスタンプは、ワイヤレスシンクデバイスに送信されるより前に、ワイヤレスソースデバイス１２０によってビデオデータのフレームに追加されていることがある。タイムスタンプフィールドは、たとえば、ユーザ入力データがキャプチャされたときにワイヤレスシンクデバイス１６０において表示されているビデオデータのフレームに関連付けられたタイムスタンプを識別し得る。シンクデバイス１６０は、さらにデータパケットを生成し（１１０５）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。一例では、ペイロードデータは、受信されたユーザ入力データを含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（１１０７）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図１１Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１１Ｂの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスからデータパケットを受信する（１１０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、ユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いでデータパケットヘッダ中のタイムスタンプフィールドを識別する（１１０４）。ソースデバイス１２０は、タイムスタンプフィールド中にあるタイムスタンプに基づいてペイロードデータを処理する（１１０６）。上記タイムスタンプに基づいて、ペイロードデータを処理することの一部として、ソースデバイス１２０は、ユーザ入力データが取得されたときにワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームを識別し、そのフレームのコンテンツに基づいてペイロードデータを解釈し得る。上記タイムスタンプに基づいてペイロードデータを処理することの一部として、ソースデバイス１２０は、上記タイムスタンプを、ソースデバイス１２０によって送信されているビデオの現在のフレームのための現在のタイムスタンプと比較し得、上記タイムスタンプと現在のタイムスタンプとの間の時間差がしきい値よりも小さいことに応答して、ペイロードデータ中で記述されたユーザ入力コマンドを実行するか、または上記タイムスタンプと現在のタイムスタンプとの間の時間差がしきい値よりも大きいことに応答して、ペイロードデータ中で記述されたユーザ入力コマンドを実行しないことがある。図１１Ａおよび図１１Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１２Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１２Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１２０１）ことを含む。一例では、ユーザ入力データはボイスコマンドデータであり得、ボイスコマンドデータは、たとえば、図３中のユーザ入力インターフェース３７６中に含まれるボイスコマンド認識モジュールなど、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成する（１２０３）。シンクデバイス１６０は、ペイロードデータをも生成し（１２０５）、ペイロードデータはボイスコマンドデータを備え得る。一例では、ペイロードデータは、受信されたユーザ入力データをも含み得、１つまたは複数のユーザコマンドを識別し得る。シンクデバイス１６０は、さらにデータパケットを生成し（１２０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（１２０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図１２Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１２Ｂの方法は、データパケットを受信する（１２０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、ボイスコマンドデータなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いで、ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために、データパケット中に含まれるペイロードデータをパースする（１２０４）。図１２Ａおよび図１２Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１３Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１３Ａの方法は、ワイヤレスシンクデバイス１６０などのワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１３０１）ことを含む。一例では、ユーザ入力データはマルチタッチジェスチャーであり得、マルチタッチジェスチャーは、たとえば、ＵＩ１６７または図３のユーザ入力インターフェース３７６など、ワイヤレスシンクデバイス１６０のユーザ入力構成要素を通して取得され得る。一例では、マルチタッチジェスチャーは、第１のタッチ入力と第２のタッチ入力とを備え得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成する（１３０３）。シンクデバイス１６０は、ペイロードデータをも生成し（１３０５）、ペイロードデータは、第１のタッチ入力イベントについてのユーザ入力データを第１のポインタ識別情報に関連付け、第２のタッチ入力イベントについてのユーザ入力データを第２のポインタ識別情報に関連付け得る。シンクデバイス１６０は、さらにデータパケットを生成し（１３０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備える。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（１３０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図１３Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１３Ｂの方法は、データパケットを受信する（１３０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、マルチタッチジェスチャーなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いで、ペイロードデータ中に含まれるユーザ入力データを識別するために、データパケット中に含まれるペイロードデータをパースする（１３０４）。一例では、識別されたデータは、第１のポインタ識別情報を用いた第１のタッチ入力イベントについてのユーザ入力データと、第２のポインタ識別情報を用いた第２のタッチ入力イベントについてのユーザ入力データとを含み得る。ソースデバイス１２０は、次いで、第１のタッチ入力イベントについてのユーザ入力データと第２のタッチ入力イベントについてのユーザ入力データとをマルチタッチジェスチャーとして解釈する（１３０６）。図１３Ａおよび図１３Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１４Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１４Ａの方法は、外部デバイスからワイヤレスシンクデバイス３６０においてユーザ入力データを取得する（１４０１）ことを含む。一例では、外部デバイスは、シンクデバイスに接続されたサードパーティデバイスであり得る。シンクデバイス１６０は、ユーザ入力に基づいてデータパケットヘッダを生成する（１４０３）。一例では、データパケットヘッダは、ユーザ入力データをフォワーディングされたユーザ入力データとして識別し得る。シンクデバイス１６０は、ペイロードデータをも生成し（１４０５）、ペイロードデータはユーザ入力データを備え得る。シンクデバイス１６０は、さらにデータパケットを生成し（１４０７）、データパケットは、生成されたデータパケットヘッダとペイロードデータとを備え得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス（たとえば、図１Ａのソースデバイス１２０または図２のソースデバイス２２０）に生成されたデータパケットを送信する（１４０９）。シンクデバイス１６０は、たとえば図３に関して示したような、トランスポートユニット３３３およびワイヤレスモデム３３４を含む、データパケットの転送を可能にする構成要素を備え得る。データパケットはＴＣＰ／ＩＰを介してワイヤレスソースデバイスに送信され得る。

図１４Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１４Ｂの方法は、データパケットを受信する（１４０２）ことを含み、データパケットは、特に、データパケットヘッダとペイロードデータとを備え得る。ペイロードデータは、たとえば、ユーザ入力データがサードパーティデバイスからフォワーディングされたことを示すフォワーディングされたユーザ入力コマンドなどのユーザ入力データを含み得る。ソースデバイス１２０は、たとえば図２に関して示したような、トランスポートユニット２３３およびワイヤレスモデム２３４を含む、データパケットの転送を可能にする通信構成要素を備え得る。ソースデバイス１２０は、次いでデータパケットヘッダをパースし、ペイロードデータがフォワーディングされたユーザ入力コマンドを備えると判断する（１４０４）。ソースデバイス１２０は、次いで、フォワーディングされたユーザ入力コマンドに対応するサードパーティデバイスに関連付けられた識別情報を識別するために、データパケット中に含まれるペイロードデータをパースする（１４０６）。ソースデバイス１２０は、次いでサードパーティデバイスの識別された識別情報に基づいてペイロードデータを処理する（１４０８）。図１４Ａおよび図１４Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

図１５Ａは、本開示に従ってワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザデータを送信する例示的な方法のフローチャートである。図示した例示的な方法は、シンクデバイス１６０（図１Ａ）または３６０（図３）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ３３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ３３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１５Ａの方法は、ワイヤレスシンクデバイスにおいてユーザ入力データを取得する（１５０１）ことを含む。ユーザ入力データは、関連付けられた座標データを有することがある。関連付けられた座標データは、たとえば、マウスクリックイベントのロケーションまたはタッチイベントのロケーションに対応し得る。シンクデバイス１６０は、次いで、正規化座標データを生成するために、関連付けられた座標データを正規化する（１５０３）。シンクデバイス１６０は、次いで正規化座標データを含むデータパケットを生成する（１５０５）。座標データを正規化することは、ディスプレイウィンドウの解像度と、ソースデバイス１２０のディスプレイ２２などのソースのディスプレイの解像度との比に基づいて、関連付けられた座標データをスケーリングすることを含むことができる。ディスプレイウィンドウの解像度はシンクデバイス１６０によって判断され得、ソースデバイスのディスプレイの解像度はソースデバイス１２０から受信され得る。シンクデバイス１６０は、次いでワイヤレスソースデバイス１２０に正規化座標をもつデータパケットを送信する（１５０７）。図１５Ａの方法の一部として、シンクデバイス１６０はまた、関連付けられた座標データが、ワイヤレスソースデバイスから受信されているコンテンツのためのディスプレイウィンドウ内にあるかどうかを判断し、たとえば、関連付けられた座標データがディスプレイウィンドウ外にある場合は、ユーザ入力をローカルで処理するか、またはさもなければ、その入力がディスプレイウィンドウ内にある場合は、説明したように座標を正規化し得る。

図１５Ｂは、本開示に従ってワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する例示的な方法のフローチャートである。図示した例示的な方法は、ソースデバイス１２０（図１Ａ）または２２０（図２）によって実行され得る。いくつかの例では、コンピュータ可読記憶媒体（たとえば、メモリ２３２）が、実行されたとき、フローチャート中の図示したステップのうちの１つまたは複数を実行することを１つまたは複数のプロセッサ（たとえば、プロセッサ２３１）に行わせる、命令、モジュール、またはアルゴリズムを記憶し得る。

図１５Ｂの方法は、ワイヤレスソースデバイスにおいてデータパケットを受信することを含み、データパケットは、関連付けられた座標データをもつユーザ入力データを備える（１５０２）。関連付けられた座標データは、たとえば、シンクデバイスにおけるマウスクリックイベントのロケーションまたはタッチイベントのロケーションに対応し得る。ソースデバイス１２０は、次いで、正規化座標データを生成するために、関連付けられた座標データを正規化する（１５０４）。ソースデバイス１２０は、ディスプレイウィンドウの解像度とソースのディスプレイの解像度との比に基づいて、関連付けられた座標データをスケーリングすることによって、座標データを正規化することができる。ソースデバイス１２０は、ソースデバイスのディスプレイの解像度を判断することができ、ワイヤレスシンクデバイスからディスプレイウィンドウの解像度を受信することができる。ソースデバイスは、次いで正規化座標データに基づいてデータパケットを処理する（１５０６）。図１５Ａおよび図１５Ｂを参照しながら説明したデータパケットは、概して、図６を参照しながら説明したデータパケットの形態をとり得、ソースデバイスにおいてオーディオ／ビデオデータを制御するために使用され得る。

説明を簡単にするために、図７〜図１５を参照しながら本開示の態様について別個に説明した。ただし、これらの様々な態様は、別個にだけでなく、互いに関連して組み合わせられ、使用され得ることが企図される。概して、本明細書で説明する機能および／またはモジュールは、ワイヤレスソースデバイスとワイヤレスシンクデバイスのいずれかまたは両方において実装され得る。このようにして、本例で説明したユーザインターフェース機能は、ワイヤレスソースデバイスとワイヤレスシンクデバイスとの間で互換的に使用され得る。

本開示の技法は、ワイヤレスハンドセット、および集積回路（ＩＣ）またはＩＣのセット（すなわち、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。機能的態様を強調するために任意の構成要素、モジュールまたはユニットについて説明し、与えたが、それらの任意の構成要素、モジュールまたはユニットは、異なるハードウェアユニットによる実現を必ずしも必要とするとは限らない。

したがって、本明細書で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、モジュール、ユニットまたは構成要素として説明した特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別々に実装され得る。ソフトウェアで実装される場合、これらの技法は、プロセッサで実行されたとき、上記で説明した方法のうちの１つまたは複数を実行する、命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現され得る。コンピュータ可読媒体は、有形で非一時的なコンピュータ可読記憶媒体を備え得、パッケージング材料を含むことがあるコンピュータプログラム製品の一部を形成し得る。コンピュータ可読記憶媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光学データ記憶媒体などを備え得る。本技法は、追加または代替として、命令またはデータ構造の形態でコードを搬送または通信し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。

コードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価な集積回路またはディスクリート論理回路によって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、前述の構造、または本明細書で説明した技法の実装に好適な他の構造のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明した機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供されるか、あるいは複合ビデオコーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素中に十分に実装され得る。

本開示の様々な態様について説明した。これらおよび他の態様は以下の特許請求の範囲内に入る。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法であって、前記方法は、
パケットヘッダとペイロードデータとを備えるデータパケットを受信することと、
前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることとを備える、方法。
[Ｃ２]
前記ペイロードデータをパースすることが、前記ペイロードデータ中で、入力タイプを示すフィールドを識別することを備え、前記フィールド中の値は、前記ペイロードデータがボイスコマンドデータを備えることを示す、Ｃ１に記載の方法。
[Ｃ３]
一連のメッセージを介して、前記ワイヤレスシンクデバイスと、ボイスコマンド機能をネゴシエートすることをさらに備える、Ｃ１に記載の方法。
[Ｃ４]
前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、Ｃ３に記載の方法。
[Ｃ５]
前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、Ｃ１に記載の方法。
[Ｃ６]
前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備える、Ｃ１に記載の方法。
[Ｃ７]
前記タイムスタンプフラグが、タイムスタンプフィールドが存在することを示すことと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリング時間として解釈することと、
前記タイムスタンプフラグが、タイムスタンプフィールドが存在することを示すことと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈することとをさらに備える、Ｃ６に記載の方法。
[Ｃ８]
前記データパケットヘッダが、入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、Ｃ１に記載の方法。
[Ｃ９]
前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、Ｃ１に記載の方法。
[Ｃ１０]
前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、Ｃ１に記載の方法。
[Ｃ１１]
前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、Ｃ１０に記載の方法。
[Ｃ１２]
前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャすることを備える、Ｃ１に記載の方法。
[Ｃ１３]
前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、Ｃ１に記載の方法。
[Ｃ１４]
前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、Ｃ１に記載の方法。
[Ｃ１５]
前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、Ｃ１に記載の方法。
[Ｃ１６]
前記データパケットがＴＣＰ／ＩＰを介して送信される、Ｃ１に記載の方法。
[Ｃ１７]
ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
パケットヘッダとペイロードデータとを備えるデータパケットを受信するためのトランスポートユニットと、
命令を記憶するメモリと、
前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令の実行時に、前記１つまたは複数のプロセッサが、
前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることを行わせる、１つまたは複数のプロセッサとを備える、ワイヤレスソースデバイス。
[Ｃ１８]
前記ペイロードデータをパースすることが、前記ペイロードデータ中で、入力タイプを示すフィールドを識別することを備え、前記フィールド中の値は、前記ペイロードデータがボイスコマンドデータを備えることを示す、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ１９]
前記命令の実行時に、前記１つまたは複数のプロセッサが、
一連のメッセージを介して、前記ワイヤレスシンクデバイスと、ボイスコマンド機能をネゴシエートすることをさらに行わせる、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２０]
前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２１]
前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２２]
前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備える、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２３]
前記命令の実行時に、前記１つまたは複数のプロセッサは、
前記タイムスタンプフラグが、タイムスタンプフィールドが存在することを示すことと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリング時間として解釈することと、
前記タイムスタンプフラグが、タイムスタンプフィールドが存在することを示すことと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈することとをさらに行わせる、Ｃ２２に記載のワイヤレスソースデバイス。
[Ｃ２４]
前記データパケットヘッダが、入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２５]
前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２６]
前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２７]
前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、Ｃ２６に記載のワイヤレスソースデバイス。
[Ｃ２８]
前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャすることを備える、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ２９]
前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ３０]
前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ３１]
前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ３２]
前記データパケットがＴＣＰ／ＩＰを介して送信される、Ｃ１７に記載のワイヤレスソースデバイス。
[Ｃ３３]
１つまたは複数のプロセッサによって実行されると、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
パケットヘッダとペイロードデータとを備えるデータパケットを受信することと、
前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることとを備える、コンピュータ可読記憶媒体。
[Ｃ３４]
ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
パケットヘッダとペイロードデータとを備えるデータパケットを受信するための手段と、
前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースするための手段とを備える、ワイヤレスソースデバイス。
[Ｃ３５]
ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法であって、前記方法は、
前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
データパケットヘッダを生成することと、
前記ボイスコマンドデータを備えるペイロードデータを生成することと、
前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
前記ワイヤレスソースデバイスに前記データパケットを送信することとを備える、方法。
[Ｃ３６]
一連のメッセージを介して、前記ワイヤレスソースデバイスと、ボイスコマンド機能をネゴシエートすることをさらに備える、Ｃ３５に記載の方法。
[Ｃ３７]
前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、Ｃ３６に記載の方法。
[Ｃ３８]
前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、Ｃ３５に記載の方法。
[Ｃ３９]
前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備える、Ｃ３５に記載の方法。
[Ｃ４０]
前記タイムスタンプフィールドを示すように前記タイムスタンプフラグを設定することと、
前記タイムスタンプフィールドに音声サンプリング時間値を追加することとをさらに備える、Ｃ３９に記載の方法。
[Ｃ４１]
前記データパケットヘッダが、入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、Ｃ３５に記載の方法。
[Ｃ４２]
前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、Ｃ３５に記載の方法。
[Ｃ４３]
前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、Ｃ３５に記載の方法。
[Ｃ４４]
前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、Ｃ４３に記載の方法。
[Ｃ４５]
前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャすることを備える、Ｃ３５に記載の方法。
[Ｃ４６]
前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、Ｃ３５に記載の方法。
[Ｃ４７]
前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、Ｃ３５に記載の方法。
[Ｃ４８]
前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、Ｃ３５に記載の方法。
[Ｃ４９]
前記データパケットがＴＣＰ／ＩＰを介して送信される、Ｃ３５に記載の方法。
[Ｃ５０]
ワイヤレスソースデバイスにユーザ入力データを送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
命令を記憶するメモリと、
前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令の実行時に、前記１つまたは複数のプロセッサが、
前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
データパケットヘッダを生成することと、
前記ボイスコマンドデータを備えるペイロードデータを生成することと、
前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することとを行わせる、１つまたは複数のプロセッサと、
前記ワイヤレスソースデバイスに前記データパケットを送信するためのトランスポートユニットとを備える、ワイヤレスシンクデバイス。
[Ｃ５１]
前記命令の実行時に、前記１つまたは複数のプロセッサが、
一連のメッセージを介して、前記ワイヤレスソースデバイスと、ボイスコマンド機能をネゴシエートすることをさらに行わせる、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５２]
前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、Ｃ５１に記載のワイヤレスシンクデバイス。
[Ｃ５３]
前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５４]
前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備える、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５５]
前記命令の実行時に、前記１つまたは複数のプロセッサが、
前記タイムスタンプフィールドを示すように前記タイムスタンプフラグを設定することと、
前記タイムスタンプフィールドに音声サンプリング時間値を追加することとをさらに行わせる、Ｃ５４に記載のワイヤレスシンクデバイス。
[Ｃ５６]
前記データパケットヘッダが、入力カテゴリーを識別するためのフィールドを備え、前記フィールドが一般入力を識別する、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５７]
前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５８]
前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ５９]
前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、Ｃ５８に記載のワイヤレスシンクデバイス。
[Ｃ６０]
前記ユーザ入力データを取得することが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャすることを備える、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ６１]
前記ユーザ入力データを取得することが、別のワイヤレスシンクデバイスからのフォワーディングされたユーザ入力データを受信することを備える、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ６２]
前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ６３]
前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ６４]
前記データパケットがＴＣＰ／ＩＰを介して送信される、Ｃ５０に記載のワイヤレスシンクデバイス。
[Ｃ６５]
１つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
データパケットヘッダを生成することと、
前記ボイスコマンドデータを備えるペイロードデータを生成することと、
前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
前記ワイヤレスソースデバイスに前記データパケットを送信することとを備える、コンピュータ可読記憶媒体。
[Ｃ６６]
ワイヤレスソースデバイスにユーザ入力データを送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得するための手段と、
データパケットヘッダを生成するための手段と、
前記ボイスコマンドデータを備えるペイロードデータを生成するための手段と、
前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成するための手段と、
前記ワイヤレスソースデバイスに前記データパケットを送信するための手段とを備える、ワイヤレスシンクデバイス。

Claims (54)

1. ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法であって、前記方法は、
   データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、ここにおいて、前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、前記データパケットヘッダは、前記ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備える、
   前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることと、
   前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリングレートとして解釈することと、
   前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈することとを備える、方法。
2. 前記ペイロードデータをパースすることが、前記ペイロードデータ中で、入力タイプを示すフィールドを識別することを備え、前記フィールド中の値は、前記ペイロードデータがボイスコマンドデータを備えることを示す、請求項１に記載の方法。
3. 一連のメッセージを介して、前記ワイヤレスシンクデバイスと、ボイスコマンド機能をネゴシエートすることをさらに備える、請求項１に記載の方法。
4. 前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、請求項３に記載の方法。
5. 前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、請求項１に記載の方法。
6. 前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、請求項１に記載の方法。
7. 前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、請求項１に記載の方法。
8. 前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、請求項７に記載の方法。
9. 前記ワイヤレスシンクデバイスが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャする、請求項１に記載の方法。
10. 前記ワイヤレスシンクデバイスが、別のワイヤレスシンクデバイスからの前記ユーザ入力データを受信する、請求項１に記載の方法。
11. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項１に記載の方法。
12. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項１に記載の方法。
13. 前記データパケットがＴＣＰ／ＩＰを介して送信される、請求項１に記載の方法。
14. ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信するためのトランスポートユニットと、
    命令を記憶するメモリと、
    前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令の実行時に、前記１つまたは複数のプロセッサが、
    前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることと、ここにおいて、前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、前記データパケットヘッダは、前記ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備える、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリングレートとして解釈することと、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈することとを行わせる、１つまたは複数のプロセッサと
    を備える、ワイヤレスソースデバイス。
15. 前記ペイロードデータをパースすることが、前記ペイロードデータ中で、入力タイプを示すフィールドを識別することを備え、前記フィールド中の値は、前記ペイロードデータがボイスコマンドデータを備えることを示す、請求項１４に記載のワイヤレスソースデバイス。
16. 前記命令の実行時に、前記１つまたは複数のプロセッサが、
    一連のメッセージを介して、前記ワイヤレスシンクデバイスと、ボイスコマンド機能をネゴシエートすることをさらに行わせる、請求項１４に記載のワイヤレスソースデバイス。
17. 前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、請求項１６に記載のワイヤレスソースデバイス。
18. 前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、請求項１４に記載のワイヤレスソースデバイス。
19. 前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、請求項１４に記載のワイヤレスソースデバイス。
20. 前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、請求項１４に記載のワイヤレスソースデバイス。
21. 前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、請求項２０に記載のワイヤレスソースデバイス。
22. 前記ワイヤレスシンクデバイスが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャする、請求項１４に記載のワイヤレスソースデバイス。
23. 前記ワイヤレスシンクデバイスが、別のワイヤレスシンクデバイスからのユーザ入力データを受信する、請求項１４に記載のワイヤレスソースデバイス。
24. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項１４に記載のワイヤレスソースデバイス。
25. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項１４に記載のワイヤレスソースデバイス。
26. 前記データパケットがＴＣＰ／ＩＰを介して送信される、請求項１４に記載のワイヤレスソースデバイス。
27. １つまたは複数のプロセッサによって実行されると、ワイヤレスソースデバイスにおいてワイヤレスシンクデバイスからユーザ入力データを受信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信することと、ここにおいて、前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、前記データパケットヘッダは、前記ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備える、
    前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースすることと、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリングレートとして解釈することと、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈することとを備える、コンピュータ可読記憶媒体。
28. ワイヤレスシンクデバイスからユーザ入力データを受信するように構成されたワイヤレスソースデバイスであって、前記ワイヤレスソースデバイスは、
    データパケットヘッダとペイロードデータとを備えるデータパケットを受信するための手段と、ここにおいて、前記データパケットヘッダは、タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、前記データパケットヘッダは、前記ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備える、
    前記ペイロードデータがボイスコマンドデータを備えるかどうかを判断するために前記ペイロードデータをパースするための手段と、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中のエントリを音声サンプリングレートとして解釈するための手段と、
    前記タイムスタンプフィールドが存在することを示す前記タイムスタンプフラグと、前記ペイロードデータがボイスコマンドデータ以外のコマンドデータを備えることとに応答して、前記タイムスタンプフィールド中の前記エントリを、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして解釈するための手段とを備える、ワイヤレスソースデバイス。
29. ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法であって、前記方法は、
    前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
    タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備えるデータパケットヘッダを生成することと、
    前記ボイスコマンドデータを備えるペイロードデータを生成することと、ここにおいて、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータがボイスコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、エントリを音声サンプリングレートとして解釈するべきであり、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータが、ボイスコマンドデータ以外のコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして前記エントリを解釈するべきである、
    前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
    前記ワイヤレスソースデバイスに前記データパケットを送信することと
    を備える、方法。
30. 一連のメッセージを介して、前記ワイヤレスソースデバイスと、ボイスコマンド機能をネゴシエートすることをさらに備える、請求項２９に記載の方法。
31. 前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、請求項３０に記載の方法。
32. 前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、請求項２９に記載の方法。
33. 前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、請求項２９に記載の方法。
34. 前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、請求項２９に記載の方法。
35. 前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、請求項３４に記載の方法。
36. 前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データをキャプチャすることをさらに備える、請求項２９に記載の方法。
37. 別のワイヤレスシンクデバイスからの前記ユーザ入力データを受信することをさらに備える、請求項２９に記載の方法。
38. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項２９に記載の方法。
39. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項２９に記載の方法。
40. 前記データパケットがＴＣＰ／ＩＰを介して送信される、請求項２９に記載の方法。
41. ワイヤレスソースデバイスにユーザ入力データを送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
    命令を記憶するメモリと、
    前記命令を実行するように構成された１つまたは複数のプロセッサであって、前記命令の実行時に、前記１つまたは複数のプロセッサが、
    前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
    タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備えるデータパケットヘッダを生成することと、
    前記ボイスコマンドデータを備えるペイロードデータを生成することと、ここにおいて、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータがボイスコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、エントリを音声サンプリングレートとして解釈するべきであり、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータが、ボイスコマンドデータ以外のコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして前記エントリを解釈するべきである、
    前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することとを行わせる、１つまたは複数のプロセッサと、
    前記ワイヤレスソースデバイスに前記データパケットを送信するためのトランスポートユニットとを備える、ワイヤレスシンクデバイス。
42. 前記命令の実行時に、前記１つまたは複数のプロセッサが、
    一連のメッセージを介して、前記ワイヤレスソースデバイスと、ボイスコマンド機能をネゴシエートすることをさらに行わせる、請求項４１に記載のワイヤレスシンクデバイス。
43. 前記ネゴシエートすることが、１つまたは複数のオーディオコーデックを識別することを備える、請求項４２に記載のワイヤレスシンクデバイス。
44. 前記ボイスコマンドデータがＲＴＰカプセル化ボイスデータである、請求項４１に記載のワイヤレスシンクデバイス。
45. 前記ペイロードデータが、入力タイプを識別するためのフィールドを備え、前記入力タイプを識別するための前記フィールドがボイスコマンドを識別する、請求項４１に記載のワイヤレスシンクデバイス。
46. 前記ペイロードデータが記述フィールドを備え、前記記述フィールドが前記ボイスコマンドデータを備える、請求項４１に記載のワイヤレスシンクデバイス。
47. 前記ペイロードデータが、前記記述フィールドの長さを識別するための長さフィールドを備える、請求項４６に記載のワイヤレスシンクデバイス。
48. 前記ワイヤレスシンクデバイスが、前記ワイヤレスシンクデバイスの入力デバイスを通して前記ユーザ入力データを受信する、請求項４１に記載のワイヤレスシンクデバイス。
49. 前記ワイヤレスシンクデバイスが、別のワイヤレスシンクデバイスからの前記ユーザ入力データを受信する、請求項４１に記載のワイヤレスシンクデバイス。
50. 前記データパケットヘッダがアプリケーションレイヤパケットヘッダである、請求項４１に記載のワイヤレスシンクデバイス。
51. 前記データパケットが、前記ワイヤレスソースデバイスのオーディオデータまたはビデオデータを制御するためのものである、請求項４１に記載のワイヤレスシンクデバイス。
52. 前記データパケットがＴＣＰ／ＩＰを介して送信される、請求項４１に記載のワイヤレスシンクデバイス。
53. １つまたは複数のプロセッサによって実行されると、ワイヤレスシンクデバイスからワイヤレスソースデバイスにユーザ入力データを送信する方法を実行することを前記１つまたは複数のプロセッサに行わせる、命令を記憶するコンピュータ可読記憶媒体であって、前記方法は、
    前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得することと、
    タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備えるデータパケットヘッダを生成することと、
    前記ボイスコマンドデータを備えるペイロードデータを生成することと、ここにおいて、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータがボイスコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、エントリを音声サンプリングレートとして解釈するべきであり、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータが、ボイスコマンドデータ以外のコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして前記エントリを解釈するべきである、
    前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成することと、
    前記ワイヤレスソースデバイスに前記データパケットを送信することと
    を備える、コンピュータ可読記憶媒体。
54. ワイヤレスソースデバイスにユーザ入力データを送信するように構成されたワイヤレスシンクデバイスであって、前記ワイヤレスシンクデバイスは、
    前記ワイヤレスシンクデバイスにおいてボイスコマンドデータを取得するための手段と、
    タイムスタンプフィールドが存在するかどうかを識別するためのタイムスタンプフラグを備え、ペイロードデータに関するフォーマットが一般入力フォーマットであることを示す入力カテゴリーフィールドを備えるデータパケットヘッダを生成するための手段と、
    前記ボイスコマンドデータを備えるペイロードデータを生成するための手段と、ここにおいて、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータがボイスコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、エントリを音声サンプリングレートとして解釈するべきであり、前記タイムスタンプフラグが、前記タイムスタンプフィールドが存在することを示し、前記ペイロードデータが、ボイスコマンドデータ以外のコマンドデータを備えるとき、前記ワイヤレスソースデバイスは、前記ユーザ入力データがキャプチャされたときに前記ワイヤレスシンクデバイスにおいて表示されているビデオデータのフレームに関連付けられたタイムスタンプとして前記エントリを解釈するべきである、
    前記データパケットヘッダと前記ペイロードデータとを備えるデータパケットを生成するための手段と、
    前記ワイヤレスソースデバイスに前記データパケットを送信するための手段とを備える、ワイヤレスシンクデバイス。