JP7416512B2

JP7416512B2 - ディスプレイ－サーバコンピューティングシステムにおいてオーディオ及びビデオデータストリームをリダイレクトするためのシステム及び方法

Info

Publication number: JP7416512B2
Application number: JP2020549814A
Authority: JP
Inventors: スティーブバッケ，
Original assignee: Netzyn Inc
Current assignee: Netzyn Inc
Priority date: 2018-03-22
Filing date: 2019-03-22
Publication date: 2024-01-17
Anticipated expiration: 2039-03-22
Also published as: WO2019183539A1; EP3782050A1; US20210099671A1; EP3782050A4; JP2021518695A; CA3093550A1; CN111971673A

Description

関連出願の相互参照

本出願は、同時係属であり、少なくとも１人の発明者が本出願と同一であり、参照により本明細書に組み込まれる、２０１８年３月２２日に出願された「ディスプレイ－サーバコンピューティングシステムにおいてオーディオ及びビデオデータストリームをリダイレクトするためのシステム及び方法（ＳｙｓｔｅｍａｎｄＭｅｔｈｏｄｆｏｒＲｅｄｉｒｅｃｔｉｎｇＡｕｄｉｏａｎｄＶｉｄｅｏＤａｔａＳｔｒｅａｍｓｉｎａＤｉｓｐｌａｙ－ＳｅｒｖｅｒＣｏｍｐｕｔｉｎｇＳｙｓｔｅｍ）」と題する米国仮特許出願第６２／６４６，４２９号の優先権の利益を有する。

本発明は、一般に、コンピューティング・システムに関し、より詳細には、ディスプレイ－サーバシステム及び通信ネットワークに関する。

背景

エンドユーザのコンピューティングソフトウェアプログラム及びそれらの動作（すなわち、アプリケーション）は、従来、例えば、パーソナルコンピュータ（ＰＣ）のアプリケーションを実行するＰＣ、スマートフォン上のアプリケーションを実行するスマートフォン、ゲームコンソール上のゲームアプリケーションを実行するゲームコンソールなど、エンドユーザデバイス自体の上で処理（すなわち、実行）されてきた。異なる手法は、データセンターにあるサーバ上でエンドユーザアプリケーションを実行することである。これらのサーバ実行アプリケーションは、エンドユーザデバイスのサーバへの通信接続を介して、記載されているもの、又はさらには、処理能力が限られたディスプレイデバイスなどの、エンドユーザデバイスに送達される。そのようなディスプレイ－サーバシステムは、米国特許第８，７００，７２３号に記載されている。サーバ上で実行されているアプリケーションが外部ソースからオーディオ及びビデオを受信すると、オーディオ及びビデオデータは、サーバによってエンドユーザのディスプレイデバイスに渡されなければならない。必要とされるネットワーク帯域幅は、サーバへのデータの通信によって占められる帯域幅、及びまた、サーバによるエンドユーザデバイスへのデータの通信によって占められる帯域幅を含む。実効的に、帯域幅要件は倍増される。

図１を参照すると、従来のシステム１００の非排他的な例は、エンドユーザコンピュータ、スマートフォン、コンソール又は他のデバイスなどのデバイス１０６上で直接的に実行するアプリケーションユニット１０５を含む。デバイス１０６は、ネットワーク１０２に通信可能に接続されている。システム１００は、アプリケーションユニットを動作させるための相当の処理及び記憶がデバイス１０６に求められる、非ディスプレイ－サーバシステムの典型的な使用を詳述する。デバイス１０６上で実行するアプリケーションユニット１０５は、ネットワーク１０２に通信可能に接続されているオーディオ／ビデオサーバ１０１から利用可能なオーディオ／ビデオデータを要する。デバイス１０６は、ネットワーク１０２上の当該オーディオ／ビデオ情報を求める要求１０３を、オーディオ／ビデオサーバ１０１に送信する。オーディオ／ビデオサーバ１０１は、ネットワーク１０２を介してデバイス１０６に通信される所望のオーディオ／ビデオデータ１１３によって応答する。デバイス１０６のアプリケーションユニット１０５は、オーディオ／ビデオデータ１１３を受信し、オーディオ／ビデオデータ１１３をデバイス１０６のバッファ１１２に記憶する。バッファ１１２に十分なオーディオ／ビデオデータがあるとき、アプリケーションユニット１０５は、復号を開始するためのコマンド１０７を、デバイス１０６のデコーダ１１０に発行する。デコーダの出力が、ディスプレイ１０９に表示される。

ディスプレイ－サーバコンピューティングシステムにおいては、サーバコンピュータがアプリケーションユニットを動作させる。アプリケーションユニットを動作させるためにオーディオ及び／又はビデオデータが必要とされるとき、サーバコンピュータは、従来、ネットワークを介してオーディオ／ビデオサーバコンピュータに接触し、オーディオ／ビデオデータを要求する。オーディオ／ビデオデータは、オーディオ／ビデオサーバコンピュータによって、ネットワークを介して、アプリケーションユニットを動作させるサーバコンピュータに送信される。アプリケーションユニットを動作させるサーバコンピュータは、次いで、アプリケーションユニットの動作のためのオーディオ／ビデオデータを、ディスプレイ、パーソナルコンピュータ、スマートフォン、コンソール又は他のデバイスなどのユーザデバイスに送信しなければならない。ユーザデバイスは、サーバコンピュータと通信し、サーバコンピュータは、サーバコンピュータ上の動作しているアプリケーションユニットと関連付けられるオーディオ／ビデオデータを送達する。そのような従来のディスプレイ－サーバコンピューティングシステムでは、オーディオ／ビデオデータはサーバコンピュータによって取り出され、サーバコンピュータによってユーザデバイスに通信されなければならないため、帯域幅要件は相当のものである。

パーソナルコンピュータ、スマートフォン、コンソール、若しくはさらには処理能力が限られたディスプレイ、又は他のデバイスなどのエンドユーザデバイスへのオーディオ及びビデオデータのより効率的で最適化されたフローを可能にすることは、当該技術分野及び技術における大幅な改善となる。

概要

本発明の一実施形態は、サーバコンピュータ上でアプリケーションユニットを実行するサーバコンピュータと、当該サーバコンピュータに通信可能に接続されているユーザデバイスと、オーディオ及びビデオデータを通信することが可能な別のサーバコンピュータとを含むシステムである。アプリケーションユニットのサーバコンピュータ及びユーザデバイスは各々、オーディオ及びビデオデータを解読するためのデコーダを含む。

アプリケーションユニットを実行するサーバコンピュータは、アプリケーションユニットを動作させるために、オーディオ／ビデオデータの他のサーバコンピュータからのオーディオ／ビデオデータを要する（典型的には、オーディオ／ビデオデータの他のサーバコンピュータは、アプリケーションユニットを実行するサーバコンピュータとは異なるが、実施形態によっては、同じサーバがアプリケーションユニットをホストし、オーディオ／ビデオデータを提供してもよい）。当該オーディオ／ビデオデータを求める要求は、オーディオ／ビデオサーバコンピュータの識別子とともに、アプリケーションユニットを実行するサーバコンピュータによって、ユーザデバイスに送信される。ユーザデバイスは、当該要求をオーディオ／ビデオサーバコンピュータに転送する。オーディオ／ビデオサーバコンピュータは、ユーザデバイスへの所望のオーディオ／ビデオデータによって応答する。ユーザデバイスは、オーディオ／ビデオデータを受信し、オーディオ／ビデオデータをバッファに記憶する。オーディオ／ビデオデータはまた、アプリケーションユニットを実行するサーバコンピュータがアプリケーションユニットの動作のために要するデータのみを含み、デコーダが要するデータを含まないように、ユーザデバイスによって再フォーマットされる。再フォーマットによって、再フォーマットされたデータのオーディオ／ビデオデータサイズが大きく低減する。再フォーマットされたデータは、アプリケーションユニットを動作させるために、ユーザデバイスによってアプリケーションユニットのサーバコンピュータに通信される。

アプリケーションユニットのサーバコンピュータは、再フォーマットされたオーディオ／ビデオデータを受信し、オーディオ／ビデオデータをアプリケーションユニットに引き渡す前に、データを標準フォーマットに変換し戻す。サーバコンピュータ上で動作されるアプリケーションユニットにとって、オーディオ／ビデオデータは、オーディオ／ビデオサーバコンピュータからユーザデバイスに送信される元のオーディオ／ビデオデータから区別することができない。サーバコンピュータ上で動作するアプリケーションユニットは、当該オーディオ／ビデオデータをバッファに記憶し、通常通り、アプリケーションユニットを動作させるために使用する。バッファに十分なオーディオ／ビデオデータがあるとき、アプリケーションユニットは、復号を開始するためのコマンドを、サーバコンピュータのデコーダに発行する。復号コマンドは、ディスプレイデバイスなどのユーザデバイスに転送され、ユーザデバイスのデコーダは、ユーザデバイスのローカルバッファからオーディオ／ビデオの復号を開始する。したがって、ユーザデバイスのデコーダによって使用されるオーディオ／ビデオデータは、オーディオ／ビデオサーバから送信される実際のオーディオ／ビデオデータであり、ユーザデバイスによってサーバに送信されたオーディオ／ビデオデータの量はごく限られている。

本発明は、添付図面において、限定ではなく例として示されており、図面において、同様の参照符号は類似の要素を示す。

図１は、本発明の特定の実施形態による、従来のディスプレイ－サーバシステムにおいてユーザ又はディスプレイシステムによってアクセスされるアプリケーションプログラムを実行するサーバコンピュータのデータ通信ネットワークを介して動作可能なシステムを示す図である。図２は、本発明の特定の実施形態による、サーバコンピュータではなくユーザ又はディスプレイシステムがオーディオ／ビデオサーバコンピュータからオーディオ／ビデオデータを取得し、ユーザ又はディスプレイシステムが、実行しているアプリケーションプログラムによって使用するために再フォーマットされたオーディオ／ビデオデータをサーバコンピュータに送信する、ユーザ又はディスプレイシステムによってアクセスされるアプリケーションプログラムを実行するサーバコンピュータのデータ通信ネットワークを介して動作可能なシステムを示す図である。図３は、本発明の特定の実施形態による、ユーザ又はディスプレイデバイス、及び、ユーザ又はディスプレイシステムによってアクセスされるアプリケーションプログラムを実行するサーバコンピュータに送達され、それらによって使用される、再フォーマットされたオーディオ／ビデオデータストリーム、及び再構築されたオーディオ／ビデオデータストリームを含む、例示的なオーディオ／ビデオデータストリームを示す図である。

詳細な説明

図２を参照すると、システム２００の非排他的な実施形態例は、サーバコンピュータ２１５を含む。サーバコンピュータ２１５は、アプリケーションユニット２２４を含むか、又は、データ通信ネットワークなどを介して、アプリケーションユニット２２４に通信可能に接続されている。サーバコンピュータ２１５は、限定ではなく例として、プロセッサ２２３と、バッファ２２２と、再フォーマットモジュール２１４とを含む。アプリケーションユニット２２４はまた、デコーダも含む。アプリケーションユニット２２４は、サーバコンピュータ２１５上で実行する。

アプリケーションユニット２２４のサーバコンピュータ２１５は１つ又は複数の２０２、２１３に通信可能に接続し、ネットワークは、同じ又は異なるネットワークであってもよく、各インスタンスにおいて、例えば有線及び／又は無線データネットワークなどの、通信ネットワークの組合せを含んでもよい。

オーディオ／ビデオデータサーバコンピュータ２０１が、１つ又は複数のネットワーク２０２，２１３に通信可能に接続されている。当該実施形態例において、ネットワーク２０２は、ネットワーク２１３と同じであってもよく、又は異なってもよい。非排他的な例として、オーディオ／ビデオサーバコンピュータ２０１は、プロセッサと、バッファと、メモリとを含むことができる。オーディオ／ビデオデータサーバコンピュータ２０１は、サーバコンピュータ２１５のアプリケーションユニット２２４によって使用可能であり、例えば、ディスプレイ、パーソナルコンピュータ、スマートフォン、コンソール、又は、他のデバイスなど、ディスプレイ又はオーディオを出力するための、ユーザデバイス２０４によっても使用可能である、オーディオ及びビデオ情報を表すデータを、ネットワーク２０２を介して通信する。

ユーザデバイス２０４は、ネットワーク２０２を介してオーディオ／ビデオサーバコンピュータ２０１に、及び、ネットワーク２１３を介してサーバコンピュータ２１５に通信可能に接続される。ネットワーク２０２、２１３は、全体的に又は部分的に、同じであってもよく、又は異なってもよい。ユーザデバイス２０４は、非排他的な例として、制御／プロセッサ２０６と、バッファ２０４と、デコーダ２１０と、ディスプレイ２０９又は他の出力と、再フォーマットモジュール２１１とを含む。ユーザデバイス２０４は、該当する場合は、他の又は代替の要素を含んでもよい。ユーザデバイス２０４は、必ずしもそうである必要はないが、記憶及び処理容量が限られていてもよい。当該実施形態例において、サーバコンピュータ２１５上で動作するアプリケーションユニット２２４は、ユーザデバイス２０４の実行しているアプリケーションを提供するために、ネットワーク２１３を介してユーザデバイス２０４によってアクセスされる。

動作時、サーバコンピュータ２１５は、ユーザデバイス２０４によるアクセスのためにアプリケーションユニット２２４を制御可能に動作させる。そのような動作において、アプリケーションユニット２２４は、オーディオ／ビデオデータを要する。オーディオ／ビデオデータは、オーディオ／ビデオデータサーバコンピュータ２０１から利用可能である。サーバコンピュータ２１５は、ネットワーク２１３上で、当該オーディオ／ビデオデータを求める要求２１７を、オーディオ／ビデオサーバ２０１の識別子とともに、ユーザデバイス２０４に通信可能に送信する。ユーザデバイス２０４は、プロセッサ２０６を介して、要求２１７を受信する。ユーザデバイス２０４は、ネットワーク２０２上で、要求２０２をオーディオ／ビデオサーバ２０１に通信可能に転送する。オーディオ／ビデオサーバ２０１は、所望のオーディオ／ビデオデータ２０３によって、ネットワーク２０２を介してユーザデバイス２０４に応答する。ユーザデバイス２０４は、オーディオ／ビデオデータ２０３を受信し、オーディオ／ビデオデータをバッファ２０４に記憶する。オーディオ／ビデオデータ２０３はまた、アプリケーションユニット２２４がアプリケーションユニット２２４の動作に要するデータのみを含み、サーバコンピュータ２１５のデコーダが要するデータを含まないように、ユーザデバイス２０４によって再フォーマットされる２１１。再フォーマット２１１されたオーディオ／ビデオデータは、オーディオ／ビデオサーバ２０１からユーザデバイス２０４によって受信される元のオーディオ／ビデオデータよりも大幅に小さいサイズにされる。再フォーマットされたデータ２１２はユーザデバイス２０４によって、ネットワーク２１３を介してサーバコンピュータ２１５に送信される。

サーバコンピュータ２１５は、ネットワーク２１３を介して、ユーザデバイス２０４から再フォーマットされたデータ２１２を受信する。サーバコンピュータ２１５はデータ２１２を、ユーザデバイス２０４によって受信された元のオーディオ／ビデオデータ２０３の標準フォーマットに変換し戻すことによって、再フォーマットされたデータ２１２を処理する。サーバコンピュータ２１５の再フォーマットモジュール２１４は、再フォーマットされたデータ２１２を受信する。再フォーマットモジュール２１４は、再フォーマットされたデータ２１２を、元のオーディオ／ビデオデータ２０３と実質的に同じであるオーディオ／ビデオデータ２２０の標準フォーマットに変換し戻す。再フォーマットモジュール２１４からの変換されたデータ、すなわち、オーディオ／ビデオデータ２２０は、再フォーマットモジュール２１４によって、サーバコンピュータ２１５のアプリケーションユニット２２４に引き渡される。アプリケーションユニット２２４にとって、オーディオ／ビデオデータ２２０は、オーディオ／ビデオサーバ２０１から送信される元のオーディオ／ビデオデータ２０３から区別することができない。アプリケーションユニット２２４は、オーディオ／ビデオデータ２２０をバッファ２２２に記憶し、オーディオ／ビデオデータ２２０は、アプリケーションユニット２２４による動作のために使用される。バッファ２２２に十分なオーディオ／ビデオデータ２２０があるとき、アプリケーションユニット２２４は、オーディオ／ビデオデータ２２０の復号を開始するためのコマンド２１８を、サーバコンピュータのデコーダに発行する。復号コマンド２１８は、サーバコンピュータ２１５によってネットワーク２１３上でユーザデバイス２０４に転送され、ユーザデバイス２０４のデコーダ２１０は、ユーザデバイスのローカルバッファ２０４に記憶されている元のオーディオ／ビデオデータ２０３をデコードする。デコーダ２１０の出力は、ディスプレイ２０９上に表示され、オーディオとして出力され、又は、オーディオ／ビデオデータ２０３の性質に従ってユーザデバイス２０４によって他の様態で出力される。

したがって、デコーダ２１０によって使用されるオーディオ／ビデオデータ２０３は、オーディオ／ビデオサーバ２０１によってユーザデバイス２０４に送信された実際のオーディオ／ビデオデータ２０３である。ユーザデバイス２０４によってサーバコンピュータ２１５に送信されるオーディオ／ビデオデータ２１２は、元のオーディオ／ビデオデータ２０３よりも大幅に少ない。通信に対する帯域幅要件が低減される。

図２とともに、図３を参照すると、システム３００の非排他的な実施形態例は、上記のオーディオ／ビデオデータの３つのデータフォーマットを含む。３つのデータフォーマットは、受信オーディオ／ビデオデータストリーム２０３、送信オーディオ／ビデオストリーム２１２、及び再構築オーディオ／ビデオデータストリーム２２０を含む。受信オーディオ／ビデオデータストリーム２０３は、オーディオ／ビデオサーバ２０１からユーザデバイス２０４によって受信される。

ユーザデバイス２０４は、受信オーディオ／ビデオデータストリーム２０３を再フォーマットして、送信オーディオ／ビデオデータストリーム２１２に変換する。再フォーマットは、情報データ３０３及びヘッダデータ３０４を送信オーディオ／ビデオデータ２１２に直接的にコピーすることから成る。次いで、デコーダデータ３０６がクッキー３０５及び長さ３０７に変換される。このプロセスは、受信オーディオ／ビデオデータストリーム２０３の各区画について繰り返される。

送信オーディオ／ビデオデータ２１２は、ユーザデバイス２０４からサーバコンピュータ２１５によって受信される。サーバコンピュータ２１５は、ユーザデバイス２０４からの送信オーディオ／ビデオデータ２１２を、再構築オーディオ／ビデオデータストリーム２２０に再フォーマットする２１４。再フォーマットは、情報データ３１０、ヘッダデータ３１１及びクッキー３１２データを再構築オーディオ／ビデオデータストリーム２２０に直接的にコピーすることから成る。次いで、長さ３１３を使用して、その量の充填データ３１６が、再構築オーディオ／ビデオデータストリーム２２０内に作成される。このプロセスは、送信オーディオ／ビデオデータ２１２の各区画について繰り返される。

受信オーディオ／ビデオデータストリーム２０３の長さ３０１と、再構築オーディオ／ビデオデータストリーム２２０の長さ３０１は、正確に同じである。送信オーディオ／ビデオデータストリーム２１２の長さ３０８は、受信オーディオ／ビデオデータストリーム２０３よりもはるかに小さい。

上記明細書において、本発明は特定の実施形態を参照して記載されている。しかしながら、添付の特許請求の範囲に記載されているような本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができることが、当業者には諒解されよう。したがって、本明細書及び図面は、限定的な意味ではなく、例示的な意味において考慮されるべきであり、すべてのそのような修正は本発明の範囲内に含まれるように意図されている。

利益、他の利点、及び問題に対する解決策が、特定の実施形態に関連して上述された。しかしながら、利益、利点、問題に対する解決策、及び、任意の利益、利点、若しくは解決策を生じさせるか又はより顕著にすることができるデバイス、接続及び要素は、いずれか又はすべての請求項の重要な、必要とされる、又は必須の特徴として解釈されるべきではない。本明細書において使用される場合、用語「備える（ｃｏｍｐｒｉｓｅｓ）」、「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、又はその任意の他の変化形は、例えば、要素のリストを含むプロセス、方法、製品、又は装置が必ずしも、それらの要素のみを含むのではなく、明示的にリストされていない、又は、そのようなプロセス、方法、製品、又は装置に内在する他の要素を含むことができるように、非排他的な包含をカバーするように意図されている。
［要約］
オーディオ／ビデオデータに対して動作するためにデータ通信ネットワーク上で動作可能なシステムは、ネットワークに通信可能に接続されているサーバコンピュータを含む。サーバコンピュータは、アプリケーションプログラムを実行するアプリケーションユニットを含む。アプリケーションプログラムは、ネットワークに通信可能に接続されているユーザデバイスにとってアクセス可能である。アプリケーションユニットは、アプリケーションプログラムを実行するためにオーディオ／ビデオデータを要する。システムはまた、ネットワークに通信可能に接続されているオーディオ／ビデオサーバコンピュータも含む。オーディオ／ビデオサーバコンピュータは、要求に応答してネットワークを介してオーディオ／ビデオデータを通信する。ユーザデバイスは、少なくとも、バッファ、デコーダ及び出力デバイスを含む。アプリケーションユニットの動作のためのオーディオ／ビデオデータの受信を求める要求が、サーバコンピュータによってネットワークを介してユーザデバイスに送信される。要求が、オーディオ／ビデオデータの識別子、及び、オーディオ／ビデオサーバコンピュータのネットワークアドレスを含む。要求が受信されると、ユーザデバイスが、ネットワークを介してオーディオ／ビデオサーバコンピュータに通信にて要求し、オーディオ／ビデオサーバコンピュータが、オーディオ／ビデオデータを、ネットワークを介してユーザデバイスに通信にて送達する。ユーザデバイスが、オーディオ／ビデオデータを再フォーマットし、再フォーマットされたオーディオ／ビデオデータをサーバコンピュータに送達する。サーバコンピュータは、アプリケーションユニットの動作のための実質的に元のオーディオ／ビデオデータを取得するために、再フォーマットされたオーディオ／ビデオデータを逆変換する。
［発明の項目］
［項目１］
データ通信ネットワーク上で動作するシステムであって、
前記ネットワークに通信可能に接続されているサーバコンピュータと、
前記サーバコンピュータのアプリケーションユニットであり、前記サーバコンピュータの前記アプリケーションユニットが動作のためにオーディオ／ビデオデータを要する、アプリケーションユニットと、
前記ネットワークを介して前記サーバコンピュータに通信可能に接続されているディスプレイデバイスと、
前記ディスプレイデバイスの再フォーマットユニットと、
前記ネットワークを介して前記ディスプレイデバイスに通信可能に接続されているオーディオ／ビデオサーバコンピュータであり、前記オーディオ／ビデオサーバが、前記オーディオ／ビデオサーバに固有のネットワーク識別子を有する、オーディオ／ビデオサーバコンピュータと
を備え、
前記アプリケーションユニットが、オーディオ／ビデオデータを求める要求を、前記オーディオ／ビデオサーバコンピュータの前記ネットワーク識別子とともに、前記ネットワークを介して前記ディスプレイデバイスに送信し、
前記ディスプレイデバイスが、前記オーディオ／ビデオデータを求める要求を、前記ネットワークを介して該当するネットワークアドレスにある前記オーディオ／ビデオサーバコンピュータに送信し、
前記オーディオ／ビデオサーバコンピュータが、前記ディスプレイデバイスによる前記要求と関連付けられる前記オーディオ／ビデオデータを、前記ネットワークを介して前記ディスプレイデバイスに送信し、
前記ディスプレイデバイスの前記再フォーマットユニットが、前記オーディオ／ビデオデータを、前記オーディオ／ビデオデータよりも小さいサイズの再フォーマットされたオーディオ／ビデオデータに変換し、
前記ディスプレイデバイスが、前記再フォーマットされたオーディオ／ビデオデータを、前記ネットワークを介して前記サーバコンピュータの前記アプリケーションユニットに送信する、システム。
［項目２］
前記ディスプレイデバイスによって前記アプリケーションユニットに送達される前記再フォーマットされたオーディオ／ビデオデータが、前記オーディオ／ビデオデータよりも何倍も小さいバイト数を含む、項目１に記載のシステム。
［項目３］
前記サーバコンピュータが、前記再フォーマットされたオーディオ／ビデオデータを前記オーディオ／ビデオデータに変換し、
前記アプリケーションユニットが、前記再フォーマットされたオーディオ／ビデオデータから変換された前記オーディオ／ビデオデータによって動作する、項目１に記載のシステム。
［項目４］
前記ディスプレイデバイスが、前記オーディオ／ビデオデータをデコードし、前記ディスプレイデバイスのディスプレイ又は別の出力デバイスのいずれかを介して前記オーディオ／ビデオデータを出力する、項目１に記載のシステム。
［項目５］
オーディオ／ビデオデータに対して動作するためにデータ通信ネットワーク上で動作可能なシステムであって、
前記ネットワークに通信可能に接続されているサーバコンピュータであって、前記サーバコンピュータが、前記ネットワークに通信可能に接続されているアプリケーションプログラムを実行するアプリケーションユニットを含み、前記アプリケーションユニットが、前記アプリケーションプログラムを実行するために前記オーディオ／ビデオデータを要する、サーバコンピュータと、
前記ネットワークに通信可能に接続されているオーディオ／ビデオサーバコンピュータであり、前記オーディオ／ビデオサーバコンピュータが、要求に応答して前記ネットワークを介して前記オーディオ／ビデオデータを通信する、オーディオ／ビデオサーバコンピュータと、
前記ネットワークに通信可能に接続されているユーザデバイスであり、前記ユーザデバイスが、少なくとも、バッファ、デコーダ及び出力デバイスを含む、ユーザデバイスと
を備え、
前記アプリケーションユニットの動作のための前記オーディオ／ビデオデータの受信を求める要求が、前記サーバコンピュータによって前記ネットワークを介して前記ユーザデバイスに対してなされ、前記要求が、前記オーディオ／ビデオデータの識別子、及び、前記オーディオ／ビデオサーバコンピュータのネットワークアドレスを含み、
前記要求が受信されると、前記ユーザデバイスが、前記ネットワークを介して前記オーディオ／ビデオサーバコンピュータに通信にて要求し、前記オーディオ／ビデオサーバコンピュータが、前記オーディオ／ビデオデータを、前記ネットワークを介して前記ユーザデバイスに通信にて送達する、システム。
［項目６］
前記ユーザデバイスの再フォーマットデバイスであって、前記再フォーマットデバイスが、前記オーディオ／ビデオデータを、再フォーマットされたオーディオ／ビデオデータに変換する、再フォーマットデバイスをさらに備え、
前記ユーザデバイスが、前記再フォーマットされたオーディオ／ビデオデータを、前記ネットワークを介して前記サーバコンピュータに送達する、項目５に記載のシステム。
［項目７］
前記サーバコンピュータの逆再フォーマットユニットであり、前記逆再フォーマットユニットが、前記再フォーマットされたオーディオ／ビデオデータを前記アプリケーションユニットの動作のための実質的なオーディオ／ビデオデータに変換する、逆再フォーマットユニットをさらに備え、
前記アプリケーションユニットが、前記オーディオ／ビデオデータに対して動作するかのように、前記実質的なオーディオ／ビデオデータに対して動作する、項目６に記載のシステム。
［項目８］
前記ユーザデバイスのデコーダであって、前記ユーザデバイスの前記デコーダが、前記オーディオ／ビデオデータを、前記ユーザデバイスによって出力するために変換する、前記ユーザデバイスのデコーダと、
前記サーバコンピュータのデコーダであって、前記サーバコンピュータの前記デコーダが、前記実質的なオーディオ／ビデオデータを、前記アプリケーションユニット上で実行するために変換する、前記サーバコンピュータのデコーダと
をさらに備える、項目７に記載のシステム。
［項目９］
前記再フォーマットされたオーディオ／ビデオデータのバイトサイズが、前記オーディオ／ビデオデータのバイトサイズよりも大幅に小さい、項目６に記載のシステム。
［項目１０］
前記ユーザデバイスによる前記オーディオ／ビデオデータの表示又は他の出力、及び、前記アプリケーションユニットの動作のための前記サーバコンピュータへの前記オーディオ／ビデオデータの送達に必要な帯域幅が低減されている、項目６に記載のシステム。
［項目１１］
方法であって、
オーディオ／ビデオデータを求める要求を、サーバコンピュータによって、データ通信ネットワークを介して、前記ネットワークによって前記サーバコンピュータに通信可能に接続されているユーザデバイスに送達するステップであって、前記要求は、前記ネットワークによって前記ユーザデバイスに通信可能に接続されているオーディオ／ビデオサーバコンピュータの識別子を含む、送達するステップと、
前記オーディオ／ビデオデータを取得するために、前記ユーザデバイスによって、前記ネットワークを介して前記オーディオ／ビデオサーバコンピュータにアクセスするステップと、
前記ユーザデバイスによって、前記オーディオ／ビデオデータを、再フォーマットされたオーディオ／ビデオデータに再フォーマットするステップと、
前記ユーザデバイスによって、前記再フォーマットされたオーディオ／ビデオデータを、前記サーバコンピュータによる受信のために、前記ネットワークを介して送信するステップと、
前記サーバコンピュータによって受信された前記再フォーマットされたオーディオ／ビデオデータを実質的なオーディオ／ビデオデータに逆再フォーマットするステップと、
前記サーバコンピュータによって、前記実質的なオーディオ／ビデオデータに対して動作するステップと
を含む、方法。
［項目１２］
前記サーバコンピュータによってアプリケーションユニットを実行するステップをさらに含み、
送達が前記アプリケーションユニットに応答し、
動作が、前記オーディオ／ビデオデータと同じ結果になるように、前記アプリケーションユニットが前記実質的なオーディオ／ビデオデータを処理することを含む、項目１１に記載の方法。
［項目１３］
前記ユーザデバイスによって、前記オーディオ／ビデオデータをバッファに記憶するステップと、
前記ユーザデバイスによって、前記バッファの前記オーディオ／ビデオデータをデコードするステップと、
前記ユーザデバイスによって、出力デバイスを介して、前記オーディオ／ビデオデータによって表されるオーディオ及び／又はビデオを出力するステップと
をさらに含む、項目１２に記載の方法。
［項目１４］
前記サーバコンピュータによって、逆再フォーマットからの前記実質的なオーディオ／ビデオデータをバッファに記憶するステップと、
前記サーバデバイスによって、前記バッファの前記実質的なオーディオ／ビデオデータをデコードするステップと、
前記サーバコンピュータによって、前記復号に応答して、前記実質的なオーディオ／ビデオデータの入力によって前記アプリケーションユニットを実行するステップと
をさらに含む、項目１３に記載の方法。
［項目１５］
前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記オーディオ／ビデオデータよりも小さい、項目１１に記載の方法。
［項目１６］
前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記オーディオ／ビデオデータよりも小さい、項目１２に記載の方法。
［項目１７］
前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記オーディオ／ビデオデータよりも小さい、項目１３に記載の方法。
［項目１８］
前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記オーディオ／ビデオデータよりも小さい、項目１４に記載の方法。

Claims

データ通信ネットワーク上で動作するシステムであって、
前記ネットワークに通信可能に接続されているサーバコンピュータと、
前記サーバコンピュータのアプリケーションユニットであり、前記サーバコンピュータの前記アプリケーションユニットが動作のために第１のフォーマットのオーディオ／ビデオデータを要する、アプリケーションユニットと、
前記ネットワークを介して前記サーバコンピュータに通信可能に接続されているディスプレイデバイスと、
前記ネットワークを介して前記ディスプレイデバイスに通信可能に接続されているオーディオ／ビデオサーバコンピュータであり、前記オーディオ／ビデオサーバコンピュータが、前記オーディオ／ビデオサーバコンピュータに固有のネットワーク識別子を有し、前記オーディオ／ビデオサーバコンピュータが、前記ディスプレイデバイスに前記第１のフォーマットの元のオーディオ／ビデオデータを送達する、オーディオ／ビデオサーバコンピュータと、
前記第１のフォーマットの前記元のオーディオ／ビデオデータを第２のフォーマットの再フォーマットされたオーディオ／ビデオデータに再フォーマットする、前記ディスプレイデバイスの再フォーマットユニットと、
を備え、
前記アプリケーションユニットが、前記第１のフォーマットの前記元のオーディオ／ビデオデータを求める要求を、前記オーディオ／ビデオサーバコンピュータの前記ネットワーク識別子とともに、前記ネットワークを介して前記ディスプレイデバイスに送信し、
前記ディスプレイデバイスが、前記第１のフォーマットの前記元のオーディオ／ビデオデータを求める要求を、前記ネットワークを介して前記ネットワーク識別子にある前記オーディオ／ビデオサーバコンピュータに送信し、
前記オーディオ／ビデオサーバコンピュータが、前記ディスプレイデバイスによる前記要求と関連付けられる前記第１のフォーマットの前記元のオーディオ／ビデオデータを、前記ネットワークを介して前記ディスプレイデバイスに送信し、
前記ディスプレイデバイスの前記再フォーマットユニットが、前記第１のフォーマットの前記元のオーディオ／ビデオデータを、前記オーディオ／ビデオデータよりも小さいサイズの前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータに変換し、
前記ディスプレイデバイスが、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを、前記ネットワークを介して前記サーバコンピュータの前記アプリケーションユニットに送信し、
前記サーバコンピュータは、前記ディスプレイデバイスから受信した前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを、前記第１のフォーマットの再構築されたオーディオ／ビデオデータに再構築し、前記再構築されたオーディオ／ビデオデータは、前記元のオーディオ／ビデオデータの標準フォーマットであり、前記元のオーディオ／ビデオデータに対応する、システム。
前記ディスプレイデバイスによって前記アプリケーションユニットに送達される前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータが、前記第１のフォーマットの前記元のオーディオ／ビデオデータよりも小さいバイト数を含む、請求項１に記載のシステム。
前記サーバコンピュータが、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを前記第１のフォーマットの再構築されたオーディオ／ビデオデータに変換し、
前記アプリケーションユニットが、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータから変換された前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータによって動作する、請求項１に記載のシステム。
前記ディスプレイデバイスが、前記第１のフォーマットの前記元のオーディオ／ビデオデータをデコードし、前記ディスプレイデバイスのディスプレイ又は別の出力デバイスのいずれかを介して前記第１のフォーマットの前記元のオーディオ／ビデオデータを出力する、請求項１に記載のシステム。
第１のフォーマットのオーディオ／ビデオデータに対して動作するためにデータ通信ネットワーク上で動作可能なシステムであって、
前記ネットワークに通信可能に接続されているサーバコンピュータであって、前記サーバコンピュータが、前記ネットワークに通信可能に接続されているアプリケーションプログラムを実行するアプリケーションユニットを含み、前記アプリケーションユニットが、前記アプリケーションプログラムを実行するために前記第１のフォーマットの前記オーディオ／ビデオデータを要する、サーバコンピュータと、
前記ネットワークに通信可能に接続されているオーディオ／ビデオサーバコンピュータであり、前記オーディオ／ビデオサーバコンピュータが、前記第１のフォーマットの元のオーディオ／ビデオデータの識別子と、前記オーディオ／ビデオサーバコンピュータのネットワークアドレスとを含む要求に応答して前記ネットワークを介して前記第１のフォーマットの元のオーディオ／ビデオデータを通信するように構成されている、オーディオ／ビデオサーバコンピュータと、
前記ネットワークに通信可能に接続されているユーザデバイスであり、前記ユーザデバイスが、少なくとも、バッファ、デコーダ及び出力デバイスを含む、ユーザデバイと
を備え、
前記要求が、前記サーバコンピュータによって前記ネットワークを介して前記ユーザデバイスに対して通信され、
前記要求が受信されると、前記ユーザデバイスが、前記ネットワークを介して前記オーディオ／ビデオサーバコンピュータに通信にて要求し、前記オーディオ／ビデオサーバコンピュータが、前記第１のフォーマットの前記元のオーディオ／ビデオデータを、前記ネットワークを介して前記ユーザデバイスに通信し、

前記ユーザデバイスの再フォーマットデバイスであって、前記第１のフォーマットの前記元のオーディオ／ビデオデータに対して前記ユーザデバイスによって加えられた修正を伴う、第２のフォーマットの再フォーマットされたオーディオ／ビデオデータに、前記第１のフォーマットの前記元のオーディオ／ビデオデータを変換する、再フォーマットデバイスをさらに備えており、
前記ユーザデバイスが、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを、前記ネットワークを介して前記サーバコンピュータに通信し、

前記サーバコンピュータの再構築ユニットであり、前記再構築ユニットが、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを前記アプリケーションユニットの動作のための前記第１のフォーマットの再構築されたオーディオ／ビデオデータに変換する、再構築ユニットをさらに備えており、
前記アプリケーションユニットは、前記第１のフォーマットの前記元のオーディオ／ビデオデータに対して動作しているかのように、前記第１のフォーマットの前記元のオーディオ／ビデオデータに対して前記ユーザデバイスによって加えられた修正を伴う、前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータに対して動作する、システム。
前記ユーザデバイスのデコーダであって、前記ユーザデバイスの前記デコーダが、前記第１のフォーマットの前記元のオーディオ／ビデオデータを、前記ユーザデバイスによって出力するために変換する、前記ユーザデバイスのデコーダと、
前記サーバコンピュータのデコーダであって、前記サーバコンピュータの前記デコーダが、前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータを、前記アプリケーションユニット上で実行するために変換する、前記サーバコンピュータのデコーダと
をさらに備える、請求項５に記載のシステム。
前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータのバイトサイズが、前記第１のフォーマットの前記元のオーディオ／ビデオデータのバイトサイズよりも小さい、請求項５に記載のシステム。
前記アプリケーションユニットの動作のための前記サーバコンピュータへの前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータの送達に必要な帯域幅が低減されている、請求項５に記載のシステム。
方法であって、
第１のフォーマットの元のオーディオ／ビデオデータを求める要求を、サーバコンピュータによって、データ通信ネットワークを介して、前記ネットワークによって前記サーバコンピュータに通信可能に接続されているユーザデバイスに送達するステップであって、前記要求は、前記ネットワークによって前記ユーザデバイスに通信可能に接続されているオーディオ／ビデオサーバコンピュータの識別子を含む、送達するステップと、
前記第１のフォーマットの前記元のオーディオ／ビデオデータを取得するために、前記ユーザデバイスによって、前記ネットワークを介して前記オーディオ／ビデオサーバコンピュータにアクセスするステップと、
前記ユーザデバイスによって、前記第１のフォーマットの前記元のオーディオ／ビデオデータを、第２のフォーマットの再フォーマットされたオーディオ／ビデオデータに再フォーマットするステップと、
前記ユーザデバイスによって、前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを、前記サーバコンピュータによる受信のために、前記ネットワークを介して送信するステップと、
前記サーバコンピュータによって受信された前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータを前記第１のフォーマットの再構築されたオーディオ／ビデオデータに再構築するステップと、
前記サーバコンピュータが、再構築するステップからの前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータに対して動作するステップであり、前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータは、前記ユーザデバイスによる変更を伴って、アプリケーションユニットが前記第１のフォーマットの前記元のオーディオ／ビデオデータとして処理するためのものである、ステップと
を含む、方法。
前記サーバコンピュータによってアプリケーションユニットを実行するステップをさらに含み、
前記送達するステップが前記アプリケーションユニットに応答してなされ、
前記動作するステップが、
前記アプリケーションユニットが、前記ユーザデバイスによる変更を伴う、前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータを処理すること
を含む、請求項９に記載の方法。
前記ユーザデバイスによって、前記第１のフォーマットの前記元のオーディオ／ビデオデータをバッファに記憶するステップと、
前記ユーザデバイスによって、前記バッファの前記第１のフォーマットの前記元のオーディオ／ビデオデータをデコードするステップと、
前記ユーザデバイスによって、出力デバイスを介して、前記第１のフォーマットの前記元のオーディオ／ビデオデータによって表されるオーディオ及び／又はビデオを出力するステップと
をさらに含む、請求項１０に記載の方法。
前記サーバコンピュータによって、再構築するステップからの前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータをバッファに記憶するステップと、
前記サーバコンピュータによって、前記バッファの前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータをデコードするステップと、
前記サーバコンピュータによって、前記デコードするステップに応答して、前記第１のフォーマットの前記再構築されたオーディオ／ビデオデータの入力によって前記アプリケーションユニットを実行するステップと
をさらに含む、請求項１１に記載の方法。
前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記第１のフォーマットの前記元のオーディオ／ビデオデータよりも小さい、請求項９に記載の方法。
前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記第１のフォーマットの前記元のオーディオ／ビデオデータよりも小さい、請求項１０に記載の方法。
前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記第１のフォーマットの前記元のオーディオ／ビデオデータよりも小さい、請求項１１に記載の方法。
前記第２のフォーマットの前記再フォーマットされたオーディオ／ビデオデータのサイズが、前記第１のフォーマットの前記元のオーディオ／ビデオデータよりも小さい、請求項１２に記載の方法。