JP5883500B2 - モバイルコンテンツのユーザ体感品質のリアルタイムでのフルリファレンス計算 - Google Patents

Description

関連出願の相互参照
本出願は、その内容すべてが参照により本明細書に組み込まれる、２０１１年４月２０日にインドで出願された対応する特許出願、出願番号第１３６９／ＣＨＥ／２０１１号の優先権を主張するものである。

本明細書において別段に規定されていない限り、この節に記載されている内容は、本出願の特許請求の範囲に対する従来技術ではなく、またこの節に含まれることによって従来技術であると認められるものではない。

セルラネットワークなどの無線ネットワークを経由して提供されるビデオは、スマートフォン、デスクトップコンピュータおよび類似のものなど、モバイルまたは静止デバイスによる日常的な使用において一般的である。そのようなビデオおよび／またはオーディオコンテンツは、サービスプロバイダ（例えば、セルラサービスプロバイダ）によって、または、第三者であるコンテンツプロバイダ（例えば、サーチエンジン、コンテンツ製作者など）から、無線ネットワークサービスプロバイダを経由して直接的に提供され得る。高いスループット要件とデバイスの移動性とに起因して、無線で提供されるコンテンツのユーザ体感品質（ＱｏＥ）が劣化することがある。典型的には、サービスプロバイダは、リアルタイムで利用可能な正確なＱｏＥ計算を有していない。

本開示は、モバイルコンテンツの送信におけるＱｏＥ計算のための既知の技術に制約がいくつか存在することを認めている。ビデオ送信のフルリファレンスまたはリファレンスフリーのＱｏＥ計算は、一般的に用いられている諸アプローチの一部である。しかし、リファレンスフリーのモデルは高い精度を有しない。フルリファレンスのモデルは計算論的に高価／集約的であり、したがって、リアルタイムでは現実的でない。更に、フルリファレンスのＱｏＥ計算のために基準ビデオコンテンツをモバイルデバイスに送信することは、モバイル環境ではダウンロード帯域幅の要件が高いため、非現実的であり得る。

いくつかの例によると、本開示は、二次ネットワークにおけるクワイエットピリオド管理のための方法を説明している。この方法は、無線システムにおけるユーザ体感品質（ＱｏＥ）を決定することを含み得る。この方法は、１つまたは複数のユーザデバイスで再生されるデータを送信することと、送信されたデータの１つまたは複数の選択された部分をユーザデバイスから受信することと、送信されたデータの受信された部分を用いてＱｏＥ計算を実行することと、を含み得る。

他の例によると、本開示は、無線システムにおけるユーザ体感品質（ＱｏＥ）の計算を可能にする別の方法を記載している。この別の方法は、再生されるデータを受信することと、受信されたデータのうち、サービスプロバイダまたはコンテンツプロバイダの一方にＱｏＥ計算のために送信される部分を決定することと、サービスプロバイダまたはコンテンツプロバイダの一方に送信されるデータの部分をキャプチャすることと、データの部分をサービスプロバイダまたはコンテンツプロバイダの一方に送信することと、を含み得る。

更に別の例によると、本開示は、無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信サービスを提供するサーバを記載している。このサーバは、１つまたは複数のユーザデバイスと無線で通信するように構成された通信モジュールと、命令を記憶するように構成されたメモリと、通信モジュールとメモリとに結合されたプロセッサとを含み得る。このプロセッサは、１つまたは複数のユーザデバイスで再生されるデータを送信し、送信されたデータの１つまたは複数の選択された部分をユーザデバイスから受信し、送信されたデータの受信された部分に基づいてＱｏＥ計算を実行するように構成され得る。

更なる例によると、本開示は、無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信を受け取るコンピューティングデバイスを記載している。このコンピューティングデバイスは、命令を記憶するように構成されたメモリと、通信モジュールとメモリとに結合されたプロセッサとを含み得る。このプロセッサは、再生されるデータを受信し、受信されたデータのうち、サービスプロバイダにＱｏＥ計算のために送信される部分を決定し、サービスプロバイダに送信されるデータの部分をキャプチャし、データの部分をサービスプロバイダに送信するように構成され得る。

以上の概要は、説明のためだけのものであって、いかなる意味でも限定を意図していない。上述した説明のための態様、実施形態および特徴に加え、別の態様、実施形態および特徴が、図面と以下の詳細な説明とを参照することによって、明らかになるはずである。

本開示の以下で説明される特徴およびそれ以外の特徴は、添付の図面と共に考察することで、以下の説明と添付の特許請求の範囲とから、より完全に明らかになる。これらの図面は本開示によるいくつかの実施形態を示しているだけであり、したがって、本開示の範囲を限定するものと考えるべきではないことを理解した上で、本開示は、以下の添付の図面を用いることを通じて、更に具体的かつ詳細に、説明される。なお、下記の図面はすべて、本明細書で説明される少なくともいくつかの実施形態に従って構成されている。

ビデオコンテンツを様々なユーザデバイスに送信する説明のための例示的なシステムの図である。 ユーザデバイスからの受信されたビデオフレームに基づくフルリファレンスのＱｏＥ計算を備えた例示的なビデオ送信システムの概念的な図である。 ユーザデバイスからの受信されたビデオフレームに基づくフルリファレンスのＱｏＥ計算を備えた例示的なビデオ送信システムの主なブロックの図である。 ビデオ送信システムにおいてＱｏＥのフルリファレンスの計算を実装するのに用いることができる汎用コンピューティングデバイスの図である。 無線ビデオ送信のためのサービスプロバイダにおいてＱｏＥのフルリファレンスの計算を実装するのに用いることができる専用プロセッサの図である。 無線ビデオ送信のためのサービスプロバイダにおいてＱｏＥのフルリファレンスの計算を可能にするためにユーザデバイスで用いることができる専用プロセッサの図である。 図４のデバイス４００などのコンピューティングデバイスまたは図５のプロセッサ５９０などの専用プロセッサによって実行され得る、無線ビデオ送信のためのサービスプロバイダにおいてＱｏＥのフルリファレンスの計算を用いるための例示的な方法を示す流れ図である。 図６のプロセッサ６９０などの専用プロセッサを組み入れたユーザコンピューティングデバイスによって実行され得る、無線ビデオ送信のためのサービスプロバイダにおいてＱｏＥのフルリファレンスの計算を可能にするための例示的な方法を示す流れ図である。 無線ビデオ送信サービスのサーバによって用いられる例示的なコンピュータプログラム製品のブロック図である。 無線ビデオ送信サービスのユーザデバイスによって用いられる例示的なコンピュータプログラム製品のブロック図である。

以下の詳細な説明では添付の図面を参照するが、これらの図面は、詳細な説明の一部を形成する。図面では、文脈からそうではないことが要求されない限り、類似の記号は類似のコンポーネントを識別するのが典型的である。詳細な説明、図面、および特許請求の範囲に記載されている説明のための実施形態は、限定的であることを意図していない。本明細書において提示される主題の精神または範囲から逸脱することなく、他の実施形態を用いることが可能であり、他の変更を行うことが可能である。本明細書で一般的に説明され図面に示されている本開示の複数の態様は、広範な異なる構成で配列され、置き換えられ、組み合わされ、分離され、設計されることが可能であり、これらのすべてについて、本明細書で明示的に考察されることが容易に理解されるであろう。

この開示は、一般に、とりわけ、無線環境において送信されたコンテンツのためのフルリファレンスのユーザ体感品質の計算と関係する方法、装置、システム、デバイス、および／またはコンピュータプログラム製品に関する。

簡潔に述べるならば、ユーザデバイスに送信されたオーディオおよび／またはビデオコンテンツの複数の部分が、サービスプロバイダ／コンテンツプロバイダ／ユーザデバイスによって選択され、リアルタイムでのユーザ体感品質（ＱｏＥ）の計算のために、返送され得る。送信品質は、リアルタイムのＱｏＥ計算に基づいて、調節され得る。あるいは、コンテンツの選択された部分が、以後の計算および改善のために、記憶されることがある。データの選択された部分は、そのようにマークが付されたフレームであり、基準フレームを、マークが付されたフレームに基づいて選択することができる。

図１は、ビデオコンテンツを様々なユーザデバイスに送信する説明目的の例示的なシステムの図である。ここでの例示的な説明ではビデオ送信が用いられているが、ビデオおよび／またはオーディオコンテンツを無線ネットワーク経由でモバイルおよび静止ユーザデバイスに送信するシステムにおける実施形態も、実装可能である。

略図１００は、１つまたは複数のコンテンツプロバイダ１０２からコンテンツ（オーディオ／ビデオ）を受信するサービスプロバイダ１０４を示す。コンテンツプロバイダ１０２は、サービスプロバイダまたは別個の主体の一部であり得る。例えば、サービスプロバイダ１０４は、それ自身がコンテンツのいくつかを生成することがあるセルラサービスプロバイダであり得る。他のコンテンツは、第三者であるコンテンツ生成者から受信されることがある。サービスプロバイダ１０４は、様々なユーザデバイスの間での通信を容易にする、および／または、コンテンツを１つまたは複数のネットワーク経由でユーザデバイスに送信することができる。送信は、送信塔、アクセスポイント、および同程度のトランシーバ（１０６、１０８）に関係し得る。

略図１００の例示的なシステムでは、トランシーバ１０６および１０８は、ラップトップコンピュータ１１０、デスクトップコンピュータ１１２、ポータブルコンピュータ１１４、スマートフォン１１６、セルラ電話１１８、および無線式のパーソナルデジタルアシスタント（ＰＤＡ）１２０などのユーザデバイスと無線で通信する。ユーザデバイスは、無線通信と、受信したコンテンツの再生とが可能な他のポータブルまたは静止型のコンピューティングデバイスを含み得る。

３Ｇセルラシステムでは、同時的な高帯域幅アップリンクおよびダウンリンクが利用可能である。しかし、モバイルビデオサービスの間は、アップロード帯域幅は過少利用されるのが典型的である。いくつかの実施形態によるシステムは、リアルタイムでフルリファレンスのＱｏＥ計算を行うのに利用可能なアップリンク帯域幅を用いて、ビデオフレームの選択された組をモバイルデバイスからモバイルオペレータに送信することができるが、他方で、データの残りは時間および場所スタンプが付されアーカイブされ得る。多くのモバイルデバイスの計算能力およびストレージは、受信されたビデオを記憶し、同時にデコードし受信されたビデオフレームを返送することに関し、従来型のコンピュータのそれらに匹敵する。サービスプロバイダは、クラウド計算技術を用いて、多くのモバイルデバイスのＱｏＥを計算できる可能性がある。ＱｏＥは、一般に、システムにおける性能の主観的な尺度を意味する。本明細書における使用では、ＱｏＥとは、無線システムのユーザによって受信されたコンテンツの品質を指す。例えば、最初に送信されたコンテンツと受信されたコンテンツとを比較して送信の間の劣化の尺度を判断することによって、受信されたビデオまたはオーディオの品質を測定することができる。

モバイルビデオの視聴率は、１日の中の時間と場所とに大きく依存する。アップロードチャネルの使用が多くないときには（クワイエットピリオド）、バックグラウンドプロセスは、他の実施形態による正確であり事後的でオフラインでのフルリファレンスのＱｏＥ計算を実行するために、完全なビデオフレームをサービスプロバイダに返送することができる。ＱｏＥ計算は、瞬間的なサービス品質（ＱｏＳ）、位置、ユーザデバイスの移動性、ユーザデバイスにおける信号強度、ユーザデバイスにおける利用可能なメモリ、ユーザデバイスの処理能力、および／または通信ネットワークに対する負荷と相関させることができる。なお、ＱｏＥ計算は、データを送信しているサービスプロバイダ、またはデータをサービスプロバイダに提供しているコンテンツプロバイダの一方で実行される。

クワイエットピリオドは、帯域幅要求の低い期間を含み得る。ＱｏＥを推定する１つのアプローチとして、送信されたビデオと受信されたビデオとを比較することがある。送信されたデータはサービスプロバイダで利用可能であり、受信されたデータはモバイルデバイスで利用可能である。よって、ＱｏＥ計算は、送信されたデータのある部分の劣化していない基準フレームのそれぞれのピクセルと、送信されたデータの受信された部分の対応するフレームのそれぞれのピクセルとを比較することを含み得る。この方法は、更に、劣化していない基準フレームと、対応するフレームとの間での空間的および／または時間的アライメントの少なくとも一方を実行することを含み得る。実施形態によるシステムは、利用可能なリソースに基づきリアルタイムのＱｏＥ値をリアルタイムで決定する能力を提供しており、より多くのリソースが利用可能になるにつれて、更に正確なＱｏＥ値の決定が可能になる。

図２には、本明細書で説明されている少なくともいくつかの実施形態に従って構成されており、ユーザデバイスからの受信されたビデオフレームに基づくフルリファレンスのＱｏＥ計算を備えた例示的なビデオ送信システムが概念的に示されている。

略図２００には、いくつかの実施形態によるシステムのある例示的な構成が示されていて、この構成では、ビデオコンテンツはサービスプロバイダ１０４における外部コンテンツプロバイダ２０２から受信され、ＱｏＥ計算はサービスプロバイダ１０４で実行される。他の実施形態では、コンテンツはサービスプロバイダ１０４で生成されることがあり、ＱｏＥ計算はコンテンツプロバイダ２０２で実行されることがあり、または、ＱｏＥ計算の少なくともいくらかはユーザデバイス２３０で実行されることがある。

例示的なシナリオによると、サービスプロバイダ１０４（例えば、モバイルオペレータ）は、ビデオコンテンツをコンテンツプロバイダ２０２から受信し、そのコンテンツを処理ブロック２２２で処理し、トランシーバ２２８経由でユーザデバイス２３０に送信することができる。この処理には、ユーザデバイス２３０による以後の返送のためにコンテンツの部分を選択することと、ユーザデバイスに示すために、選択された部分にマークを付すこととが含まれ得る。他の実施形態では、ユーザデバイス２３０は、コンテンツのうち返送する部分を選択して、それらの部分を、トランシーバ２２８経由で、サービスプロバイダ１０４のＱｏＥシステム２２４に送信することができる。ユーザデバイス２３０でこれらの部分が選択される場合には、ＱｏＥシステム２２４は、処理ブロック２２２から対応する基準部分を受け取ることができる。ＱｏＥシステム２２４は、サービスパラメータの品質をリアルタイムで、または将来の送信のために調節できるように、計算の結果を処理ブロック２２２に提供することができる。ＱｏＥシステム２２４はまた、統計計算、報告、品質管理、会計などのために、結果を他のシステム２２６に提供することもある。

図３は、本明細書で説明されている少なくともいくつかの実施形態に従って構成されており、ユーザデバイスからの受信されたビデオフレームに基づくフルリファレンスのＱｏＥ計算を備えた例示的なビデオ送信システムの主なブロックを示している。

略図３００に示されている例示的なシナリオでは、ビデオコンテンツ３３４が、トランスコーダ３３２（サービスプロバイダ）におけるコンテンツプロバイダ２０２から受信され得る。ここで、トランスコーダ３３２は、ビデオコンテンツをトランスコードし、その加入者（ユーザデバイス２３０）に送信する（３３６）。加入者側の端部のユーザデバイス２３０は、受信されたコンテンツ（ビデオ３３６）を表示する。ユーザデバイス２３０は、一定の間隔で、または、所定のアルゴリズムに基づいて、フレームの組とそれらのフレームにおけるピクセルの値とを選択し、選択されたサンプルフレーム３３８を、利用可能なアップロードチャネルを用いて、サービスプロバイダ（ＱｏＥシステム２２４）に送り返し得る。ＱｏＥシステム２２４は、ＱｏＥ計算を実行し、サービスパラメータの品質をリアルタイムで調節するために、結果（３４２）をトランスコーダ３３２に提供し得る。あるいは、ＱｏＥの結果３４２は、データストアなどの他のシステムに提供される場合もあり、これらの結果を、ＱｏＳパラメータの以後の解析および調節のために記憶することができる。

アップロードチャネルが利用可能である場合には、サンプルフレーム３３８をＱｏＥシステム２２４に連続的に送り返すことができ、アップロードチャネルを経由してリアルタイムで確実に送信することができる可能な最大数のフレームをサービスプロバイダに送り返すことができる。他方で、アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されている場合には、ユーザデバイス２３０は、広告のための小休止期間（break）のような低興味期間（less-interesting periods）や、深夜のような低使用期間（low-usage periods）のときに、フレームのシーケンスを返送することができる。これらの期間には、システムは、送信の品質を低下させることによって、アップロード目的のために、特別の帯域幅を開放することがある。

基準フレームは、いくつかの実施形態に従いサービスプロバイダ（またはコンテンツプロバイダ）によって選択され、そのようにマークが付されることがある。ユーザデバイス２３０は、これらのフレームをサービスプロバイダに送り返すことがあり、それによって、デバイス側で要求される処理を縮小する。代替的な実施形態によると、ユーザデバイス２３０は、アップリンク帯域幅の利用可能性、デバイスの処理能力、または類似のパラメータに基づいて送り返すフレームを選択し、選択されたフレームをそのようなものとして識別する（例えば、フレーム番号を特定する）オペレータに送り返すことがある。サービスプロバイダにおける測定システムが、受信されたフレーム番号に基づいて基準フレームを選択することもある。

以上では、図１から図３までの特定の例、コンポーネント、シナリオ、および構成を用いて複数の実施形態について論じてきたが、これらの実施形態は、モバイルコンテンツ送信環境におけるＱｏＥ計算のために用いられる一般的なガイドラインを提供することが意図されている。これらの例は、実施形態に対する制限を構成することはなく、実施形態は、本明細書で説明されている原理を用いる他のコンポーネント、フレーム選択方式、および構成を用いて実装することが可能である。更に、実施形態は、静止型または車載デバイスにおいて受信されるコンテンツに対しても実装可能であり、オーディオ、ビデオ、またはそれに匹敵するコンテンツに応用可能である。

図４には、汎用コンピューティングデバイスが示されている。この汎用コンピューティングデバイスは、本明細書に記載されている少なくともいくつかの実施形態に従って構成された、ビデオ送信システムにおけるＱｏＥのフルリファレンスの計算を実装するのに用いることができる。非常に基本的な構成４０２において、コンピューティングデバイス４００は、典型的には、１つまたは複数のプロセッサ４０４と、システムメモリ４０６とを含む。メモリバス４０８は、プロセッサ４０４とシステムメモリ４０６との間の通信に用いられ得る。

所望の構成に応じて、プロセッサ４０４は、これらに限定されることはないが、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはこれらの任意の組合せを含む任意のタイプであり得る。プロセッサ４０４は、レベルキャッシュメモリ４１２、プロセッサコア４１４、およびレジスタ４１４など、キャッシングの１つまたは複数のレベルを含み得る。例示的なプロセッサコア４１４は、算術論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはこれらの任意の組合せを含み得る。例示的なメモリコントローラ４１８がプロセッサ４０４と共に用いられることもあり、または、いくつかの実装例では、メモリコントローラ４１５がプロセッサ４０４の内部的な部分であることもあり得る。

所望の構成に応じて、システムメモリ４０６は、これらに限定されることはないが、（ＲＡＭなどの）揮発性メモリ、（ＲＯＭやフラッシュメモリなどの）不揮発性メモリ、またはこれらの任意の組合せを含む任意のタイプであり得る。システムメモリ４０６は、オペレーティングシステム４２０、通信サービス４２２、１つまたは複数のコンテンツアプリケーション４２６、およびＱｏＥモジュール４２７を含み得る。システムメモリ４０６は、更に、プログラムデータ４２４とフレーム／ＱｏＥデータ４２８とを含み得る。通信サービス４２２は、とりわけ、オーディオ／ビデオコンテンツをユーザに提供し得る。（１つまたは複数の）コンテンツアプリケーション４２６は、それぞれが、ユーザに提供されるコンテンツのある特定のタイプと関連し得る。ＱｏＥモジュール４２７は、ユーザデバイスから送信され受け取られたコンテンツの一部に基づいてＱｏＥ計算を実行し、送信パラメータをリアルタイムでまたは事後的に調節し得る。フレーム／ＱｏＥ４２８データは、以後の使用のために、ローカルなまたはリモートのデータストアに、記憶され得る。この記載されている基本構成４０２は、図４において、内側の破線の内部にあるコンポーネントによって示されている。

コンピューティングデバイス４００は、基本構成４０２と任意の必要とされるデバイスおよびインターフェースとの間の通信を容易にするために、追加的な特徴または機能と、追加的なインターフェースとを有することがある。例えば、基本構成４０２と１つまたは複数のデータ記憶装置４３２との間での、ストレージインターフェースバス４３４を経由した通信を容易にするために、バス／インターフェースコントローラ４３０が用いられることがある。データ記憶装置４３２は、取外し式ストレージデバイス４３４、非取外し式ストレージデバイス４３８、またはそれらの組合せであり得る。取外し式ストレージデバイスと非取外し式ストレージデバイスとの例には、いくつかの例を挙げると、フレキシブルディスクドライブやハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブやデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブが含まれる。例示的なコンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術で実装されている、揮発性および不揮発性、そして、取外し式および非取外し式の媒体が含まれ得る。

システムメモリ４０６、取外し式ストレージデバイス４３６、および非取外し式ストレージデバイス４３８は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、これらに限定されることはないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）もしくは他の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または、所望の情報を記憶するのに用いることができコンピューティングデバイス４００によってアクセスが可能である任意の他の媒体が含まれる。任意のそのようなコンピュータ記憶媒体は、コンピューティングデバイス４００の一部であり得る。

コンピューティングデバイス４００は、様々なインターフェース装置（例えば、出力装置４４２、周辺インターフェース４４４、および通信装置６６６から基本構成４０２へのバス／インターフェースコントローラ４３０を経由した通信を容易にするためのインターフェースバス４４０をも含み得る。例示的な出力装置４４２には、グラフィック処理ユニット４４８とオーディオ処理ユニット４５０とが含まれ、これらは、１つまたは複数のＡ／Ｖポート４５２を経由してディスプレイまたはスピーカなど様々な外部装置と通信するように構成され得る。例示的な周辺インターフェース４４４には、シリアルインターフェースコントローラ４５４やパラレルインターフェースコントローラ４５６が含まれ、これらは、入力装置（例えば、キーボード、マウス、ペン、音声入力装置、タッチ入力装置など）や他の周辺装置（例えば、プリンタ、スキャナなど）などの外部装置と１つまたは複数のＩ／Ｏポート４５８を経由して通信するように構成され得る。例示的な通信装置４６６には、ネットワークコントローラ４６０が含まれるが、これは、１つまたは複数の通信ポート４６４を経由する、ネットワーク通信リンクにわたる１つまたは複数の他のコンピューティングデバイス４６２との通信を容易にするように構成され得る。

ネットワーク通信リンクは、通信媒体の一例であり得る。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波や他の輸送機構などの変調されたデータ信号の中の他のデータによって、具現化され、任意の情報搬送媒体を含み得る。「変調されたデータ信号」とは、その特性の１つまたは複数を当該信号の中の情報が符号化されるように設定または変更した信号であり得る。例として、限定するものではないが、通信媒体には、ワイアードネットワークやダイレクトワイアード接続などのワイアード媒体と、音響、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、および他の無線媒体などの無線媒体とが含まれ得る。本明細書において用いられるコンピュータ可読媒体という用語は、記憶媒体と通信媒体との両者を含み得る。

コンピューティングデバイス４００は、物理サーバ、仮想サーバ、計算クラウド、または上述の機能の任意のものを含むハイブリッド装置の一部として実装可能である。コンピューティングデバイス４００は、また、ラップトップコンピュータ構成と非ラップトップコンピュータ構成との両方を含むパーソナルコンピュータとしても実装可能である。更に、コンピューティングデバイス４００は、ネットワーク接続されたシステムとして、または、汎用のもしくは専用のサーバの一部としても実装可能である。

コンピューティングデバイス６００を含むネットワーク接続されたシステムのためのネットワークは、サーバ、クライアント、スイッチ、ルータ、モデム、インターネットサービスプロバイダ、および任意の適切な通信媒体（例えば、有線または無線通信）の任意のトポロジを含み得る。実施形態によるシステムは、静的または動的なネットワークトポロジを有し得る。これらのネットワークには、企業ネットワークなどの安全なネットワーク（例えば、ＬＡＮ、ＷＡＮ、またはＷＬＡＮ）、無線のオープンネットワークなどの安全ではないネットワーク（例えば、ＩＥＥＥ８０２．１１の無線ネットワーク）、または世界規模のネットワーク（例えばインターネット）が含まれ得る。これらのネットワークは、共に動作するように構成された複数の別個のネットワークで構成されている場合もある。これらのネットワークは、本明細書に記載されているノードの間の通信を提供するように構成されている。例として、限定するものではないが、これらのネットワークは、音響、ＲＦ、赤外線、および他の無線媒体など、無線媒体を含み得る。更に、これらのネットワークは、同一のネットワークまたは別個の複数のネットワークの部分であり得る。

図５は専用プロセッサを示しているが、この専用プロセッサは、本明細書で説明されている少なくともいくつかの実施形態に従って構成された、無線ビデオ送信のためにサービスプロバイダにおけるＱｏＥのフルリファレンスの計算を実装するために、用いられ得る。図５００のプロセッサ５９０は、トランシーバ５５０に通信可能に結合されているコンピューティングデバイス（例えば、サービスプロバイダまたはコンテンツプロバイダにおけるサーバ）の一部であり得、（１つまたは複数の）ネットワーク５１０−２を経由する無線受信装置５８０との通信を容易にすることができる。プロセッサ５９０はまた、（１つまたは複数の）ネットワーク５１０−１を経由して、コンテンツデータを記憶しているビデオコンテンツ源５７０と通信することができる。

プロセッサ５９０は、ビデオ送信モジュール５９６およびＱｏＥモジュール５９８などの処理モジュールを多数含むことがある。（１つまたは複数の）ネットワーク５１０−１を経由してビデオコンテンツ源５７０から取り出されたビデオコンテンツデータ５９２は、受信装置５８０への送信のために、ビデオ送信モジュール５９６に提供され得る。ＱｏＥモジュール５９８は、（例えば、選択されたフレームと基準フレームとを比較することによって）送信されたデータの受信された部分に基づいてＱｏＥ計算を実行し、品質制御データ５９４を、（送信されるビデオ品質を向上させるために）送信パラメータの調節用にメモリ５９１に記憶することがある。ビデオコンテンツデータ５９２と品質制御データ５９４とは、処理の間、プロセッサ５９０のキャッシュメモリであり得るメモリ６９１に、または外部メモリ（例えば、プロセッサ５９０の外部にあるメモリ）に記憶され得る。プロセッサ５９０は、また、データストア５６０に通信可能に結合されている場合もあり、データストア５６０に、データの少なくとも一部が記憶され得る。

図６には、本明細書で説明されている少なくともいくつかの実施形態に従って構成されており、無線ビデオ送信のためにサービスプロバイダにおけるＱｏＥのフルリファレンスの計算を可能にするために、ユーザデバイスにおいて用いられることがある専用のプロセッサが示されている。図６００におけるプロセッサ６９０は、（１つまたは複数の）ネットワーク６１０−２を経由してサービスプロバイダ６０４に通信可能に結合されているコンピューティングデバイス（例えば、モバイルユーザデバイス）の一部であり、サービスプロバイダ６０４からビデオコンテンツを受け取ることができる。プロセッサ６９０は、また、受信されたビデオコンテンツをユーザに提示するディスプレイ６８０を制御する場合もある。

プロセッサ６９０には、ビデオ処理モジュール６９６などの処理モジュールが多数含まれる場合がある。（１つまたは複数の）ネットワーク６１０−２を経由してサービスプロバイダ６０４から受信されたビデオコンテンツデータ６９２は、ディスプレイ６８０へ送信されるために、ビデオ処理モジュール６９６に提供され得る。ビデオ処理モジュール６９６は、また、ＱｏＥ計算のためにフレームを選択することがあり、選択されたフレームは、プロセッサ６９０によって、サービスプロバイダ６０４に送信され得る。ビデオコンテンツデータ６９２とフレーム選択データ６９４とは、処理の間、プロセッサ６９０のキャッシュメモリであるメモリ６９１に、または、外部メモリ（例えば、プロセッサ６９０の外部にあるメモリ）に、記憶され得る。

図５および６は、ＱｏＥ計算のための例としてビデオコンテンツを用いて説明されているが、本明細書で説明されている原理は、同様に、オーディオおよび類似のコンテンツにも適用される。更に、プロセッサ５９０および６９０によって実行されたタスクは、様々な組合せにおけるサービスプロバイダおよび／またはコンテンツプロバイダのためのサーバのプロセッサと、ユーザデバイスのプロセッサとの間で共有され得る。

例示的な実施形態は、更に、方法を含み得る。これらの方法は、本明細書で説明されている構造を含む任意の数の方法での実装が可能である。そのような方法の１つは、本開示において説明されているタイプのデバイスのマシン動作によるものである。オプションである別の方法は、他の動作がマシンによって実行されている間に動作のいくつかを１人または複数の人間のオペレータが実行するのと関係して実行される方法の個々の動作の１つまたは複数に対するものである。これらの人間であるオペレータは、相互に同一の場所に存在することは必要ない。ただし、それぞれが、プログラムの一部を実行するマシンを伴っているだけでよい。他の例では、人間による相互作用を、マシンによる自動化がなされている予め選択された基準などによって、自動化することが可能である。

図７は、図４のデバイス４００などのコンピューティングデバイスまたは図５のプロセッサ５９０などの専用プロセッサによって実行され得る、無線ビデオ送信のためのサービスプロバイダにおいてＱｏＥのフルリファレンスの計算を用いる例示的な方法を示す流れ図であり、本明細書で説明されている少なくともいくつかの実施形態に従って構成されている。よって、コントローラデバイス７１０は、図５のプロセッサ５９０または図４のコンピューティングデバイス４００であり得る。コンピュータ可読媒体７２０は、コントローラデバイス７１０によって実行される例示的な方法と関連する命令を記憶することができる。

実施形態による例示的なプロセスは、「ビデオコンテンツを受信する」という動作７２２で開始し得る。この動作では、サービスプロバイダが、ユーザデバイスに送信するために、ビデオコンテンツをコンテンツプロバイダから受信し得る。動作７２２の次には、「基準フレームを決定する」というオプションである動作７２４が続き得る。この動作では、サービスプロバイダが、周期的な間隔で、または、所定のアルゴリズムに基づいて、基準フレーム（劣化していない）を選択し得る。オプションである動作７２４の次には、「ビデオコンテンツをユーザデバイスに送信する」という動作７２６が続き得る。この動作では、サービスプロバイダが、受信されたビデオコンテンツを、１つまたは複数の無線ネットワーク経由でユーザデバイスに送信し得る。

動作７２６の次には、「フレーム選択情報を送信する」というオプションである動作７２８が続き得る。この動作では、サービスプロバイダは、また、例えばフレームにマークを付することによって、選択されたフレーム情報をユーザデバイスに送信し得る。「選択されたフレームを（１つまたは複数の）ユーザデバイスから受信する」という次の動作７３０では、サービスプロバイダが、選択されたフレームを、（１つまたは複数の）ユーザデバイスから、（１つまたは複数の）ユーザデバイスによって受信されたように（劣化した状態で）、受信し得る。動作７３０の次には、「ＱｏＥ計算を実行する」という動作７３２が続き得る。この動作では、サービスプロバイダが、受信されたフレームに基づいてＱｏＥ計算を実行し得る。また、サービスプロバイダは、オプションであるが、送信されたビデオの品質を向上させるために送信パラメータを調節することができる。

図８は、図６のプロセッサ６９０などの専用プロセッサを組み入れたユーザのコンピューティングデバイスによって実行され得る、無線ビデオ送信のためのサービスプロバイダにおけるＱｏＥのフルリファレンスの計算を可能にする例示的な方法を示す流れ図であり、本明細書で説明されている少なくともいくつかの実施形態に従って構成されている。よって、コントローラデバイス８１０は、ビデオコンテンツを受信して表示するためにコンピュータ可読媒体８２０上に記憶されている命令を実行するプロセッサ６９０であり得る。

実施形態による例示的なプロセスは、「ビデオデータを受信する」という動作８２２で開始し得る。この動作では、ユーザデバイスが、サービスプロバイダから無線ネットワークを経由してビデオデータを受信し得る。動作８２２の次には、「フレーム選択データを受信する」というオプションである動作８２４が続き得る。この動作では、ユーザデバイスが、ＱｏＥ計算のためにサービスプロバイダに返信する選択されたフレームの指示も受信し得る。オプションである動作８２４の次には、「選択されたフレームをキャプチャする」という動作８２６が続き得る。この動作では、ユーザデバイスが、サービスプロバイダに送信するために、選択されたフレームをキャプチャし得る。いくつかの実施形態によると、ユーザデバイスは、サービスプロバイダからの入力なしで、フレームを選択してキャプチャすることがあり得る。動作８２６の次には、「ＱｏＥ計算のために、キャプチャされたフレームをサービスプロバイダに送信する」という動作８２８が続き得る。この動作では、ユーザデバイスが、選択されたフレームと、送信されたビデオ品質を向上させるためにオプションで調節された送信パラメータとに基づいてＱｏＥ計算が実行できるように、キャプチャされたフレームをサービスプロバイダに送信し得る。

上述した図７および図８のプロセスに含まれている動作は、説明のためのものである。無線で送信されたコンテンツのためのフルリファレンスのＱｏＥ計算は、より少数のまたは追加的な動作を用いる類似のプロセスによって実装可能である。いくつかの例では、これらの動作を異なる順序で実行することが可能である。いくつかの別の例では、様々な動作を削除することが可能である。更に別の例では、様々な動作を、追加的な動作に分解すること、または、より少数の動作に組み合わせることが可能である。シーケンシャルに順序が決まっている動作として示されているが、いくつかの実装例では、様々な動作を異なる順序で実行することが可能であり、または、いくつかの場合には、様々な動作をほぼ同時に実行することが可能である。

図９には、無線ビデオ送信サービスのサーバによって用いられる例示的なコンピュータプログラム製品のブロック図が、本明細書で説明される少なくともいくつかの実施形態に従って構成された状態で、示されている。

いくつかの例では、図９に示されているように、コンピュータプログラム製品９００には、例えばプロセッサによって実行されると図１から図３との関係で既に説明した機能を提供することができるマシン可読命令９０４も含み得る信号担持媒体９０２が含まれ得る。よって、例えば、プロセッサ５９０を参照すると、本明細書で説明されているモバイルコンテンツのユーザ体感品質の計算と関連する作用をリアルタイムで実行するために、図９に示されているタスクの１つまたは複数が、媒体９０２によってプロセッサ５９０に運ばれた命令９０４に応答して、行われ得る。これらの命令のいくつかには、既に説明したように、基準フレームを選択すること、ビデオおよび／またはフレーム選択情報を送信すること、選択されたフレームを受信すること、およびＱｏＥ計算を実行すること、が含まれ得る。

いくつかの実装例では、図９に示されている信号担持媒体９０２は、これらには限定されないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、デジタルテープ、メモリなどのコンピュータ可読媒体９０６を包含し得る。いくつかの実装例では、信号担持媒体９０２は、これらには限定されないが、メモリ、リード／ライト（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの記録可能媒体９０８を包含し得る。いくつかの実装例では、信号担持媒体９０２は、これらには限定されないが、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などの通信媒体９１０を包含し得る。よって、例えば、コンピュータプログラム製品９００は、ＲＦ信号担持媒体９０２によってプロセッサ９０４まで運ばれ得る。なお、信号担持媒体９０２は、無線通信媒体９１０（例えば、ＩＥＥＥ８０２．１１の標準に従う無線通信媒体）によって運ばれる。

図１０には、本明細書で説明されている少なくともいくつかの実施形態に従って構成された、無線ビデオ送信サービスのユーザデバイスによって用いられる例示的なコンピュータプログラム製品のブロック図が示されている。

いくつかの例では、図１０に示されているように、コンピュータプログラム製品１０００には、例えばプロセッサによって実行されると図１から図３との関係で既に説明した機能を提供することができるマシン可読命令１００４も含み得る信号担持媒体１００２が含まれ得る。よって、例えば、プロセッサ６９０を参照すると、本明細書で説明されているモバイルコンテンツのＱｏＥ計算と関連する作用をリアルタイムで実行するために、図１０に示されているタスクの１つまたは複数が、媒体１００２によってプロセッサ６９０に運ばれた命令１００４に応答して、行われ得る。これらの命令のいくつかには、既に説明したように、ビデオおよび／またはフレーム選択情報を受信すること、選択されたフレームをキャプチャすること、および選択されたフレームをサービスプロバイダに送信すること、が含まれ得る。

いくつかの実装例では、図１０に示されている信号担持媒体１００２は、これらには限定されないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、デジタルテープ、メモリなどのコンピュータ可読媒体１００６を包含し得る。いくつかの実装例では、信号担持媒体１００２は、これらには限定されないが、メモリ、リード／ライト（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどの記録可能媒体１００８を包含し得る。いくつかの実装例では、信号担持媒体１００２は、これらには限定されないが、デジタルおよび／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などの通信媒体１０１０を包含し得る。よって、例えば、コンピュータプログラム製品１０００は、ＲＦ信号担持媒体１００２によってプロセッサ１００４まで運ばれ得る。なお、信号担持媒体１００２は、無線通信媒体１０１０（例えば、ＩＥＥＥ８０２．１１の標準に従う無線通信媒体）によって、運ばれる。

図９および１０は、ＱｏＥ計算のための例としてビデオコンテンツを用いて説明されているが、本明細書で説明されている原理は、同様に、オーディオおよび類似のコンテンツにも適用される。更に、命令に応答して実行されたタスクは、様々な組合せにおけるサービスプロバイダ、コンテンツプロバイダ、およびユーザデバイスの間で、分担することが可能である。

いくつかの例によると、本開示は、二次ネットワークにおけるクワイエットピリオド管理のための方法を説明している。この方法は、ユーザ体感品質（ＱｏＥ）を決定することを含み得る。この方法は、１つまたは複数のユーザデバイスで再生されるデータを送信することと、送信されたデータの１つまたは複数の選択された部分をユーザデバイスから受信することと、送信されたデータの受信された部分を用いてＱｏＥ計算を実行することと、を含み得る。データは、ビデオデータおよび／またはオーディオデータであり得る。

他の例によると、この方法は、送信されたデータのどの部分が選択されるかを決定することと、送信されたデータの選択される部分と関連する情報を１つまたは複数のユーザデバイスに送信することと、および／または、送信されたデータの選択される部分を基準データ部分として用いて、基準部分と送信されたデータの受信された部分とを比較することによりＱｏＥ計算を実行することとを更に含み得る。送信されたデータの選択された部分と基準部分とはビデオフレームであり得る、また、送信されたデータの選択される部分と関連する情報を送信することは、ユーザデバイスによって選択されるビデオフレームにマークを付することを含み得る。

更なる例によると、この方法は、更に、送信されたデータの選択された部分をアップロードチャネル経由で受信することと、ＱｏＥ計算に基づき１つまたは複数のサービス品質（ＱｏＳ）パラメータをリアルタイムで調節することと、を含み得る。この方法は、また、ダウンロードチャネルのための利用可能な帯域幅を縮小させることにより、ノンピークデータ送信の１つまたは複数の期間でのアップロードチャネルのための利用可能な帯域幅を増大させることを含み得る。なお、ノンピークデータ送信の期間は、広告のための小休止期間と番組のための小休止期間の１つまたは複数を含む。

更に他の例によると、この方法は、また、ＱｏＥ計算に基づいて１つまたは複数の将来のサービス品質（ＱｏＳ）パラメータを調節することと、１つまたは複数のクワイエットピリオドの間に送信されたデータの選択された部分を受信することと、以後のＱｏＥ計算のために送信されたデータの受信された部分を記憶することと、を含み得る。クワイエットピリオドは、低帯域幅要求期間を含み得る。ＱｏＥ計算は、送信されたデータのある部分の劣化していない基準フレームのそれぞれのピクセルと、送信されたデータの受信された部分の対応するフレームのそれぞれのピクセルとを比較することを含み得る。この方法は、更に、劣化していない基準フレームと、対応するフレームとの間で空間的および／または時間的なアライメントの少なくとも一方を実行することを含み得る。ＱｏＥ計算の結果と、瞬間的なＱｏＳパラメータ、ユーザデバイスの位置、ユーザデバイスの移動性、ユーザデバイスの信号強度、ユーザデバイスで利用可能なメモリ、ユーザデバイスの処理能力、および／または通信ネットワークへの負荷の１つまたは複数とが、相関させられ得る。なお、ＱｏＥ計算は、データを送信するサービスプロバイダまたはデータをサービスプロバイダに提供するコンテンツプロバイダの一方において実行される。

他の例によると、本開示は、無線システムにおけるユーザ体感品質（ＱｏＥ）の計算を可能にする別の方法を説明している。この別の方法は、再生されるデータを受信することと、受信されたデータのうち、サービスプロバイダまたはコンテンツプロバイダの一方にＱｏＥ計算のために送信される部分を決定することと、サービスプロバイダまたはコンテンツプロバイダの一方に送信されるデータの部分をキャプチャすることと、データの部分をサービスプロバイダまたはコンテンツプロバイダの一方に送信することと、を含み得る。この別の方法によるデータは、また、ビデオデータおよび／またはオーディオデータを含み得る。この別の方法は、更に、受信されたデータのどの部分が選択されるかに関連する情報をサービスプロバイダまたはコンテンツプロバイダの一方から受信することを含み得る。なお、受信されたデータの選択された部分はビデオフレームであり、受信されたデータの選択される部分に関連する情報は、サービスプロバイダまたはコンテンツプロバイダの一方によってマークを付されたビデオフレームを含む。更なる例によると、受信されたデータの選択された部分はビデオフレームであり、受信されたデータのうちサービスプロバイダまたはコンテンツプロバイダの一方に送信されるビデオフレームはユーザデバイスにおいて選択され得る。

更に別の例によると、この別の方法は、ＱｏＥ計算のための基準フレームがサービスプロバイダまたはコンテンツプロバイダの一方で決定されるように、選択されたビデオフレームの識別子をサービスプロバイダまたはコンテンツプロバイダの一方に送信することを含み得る。ここで、ビデオフレームは、アップロードチャネルの利用可能性、ユーザデバイスの位置、ユーザデバイスの移動性、ユーザデバイスの信号強度、ユーザデバイスで利用可能なメモリ、および／またはユーザデバイスの処理能力の１つまたは複数に基づいて選択される。選択されたビデオフレームをアップロードチャネル経由で送信するのに十分な帯域幅が利用可能である場合には、サービスプロバイダまたはコンテンツプロバイダの一方におけるリアルタイムのＱｏＥ計算のために、確実に送信することができる可能な限り最大の数のビデオフレームが送信され得る。選択されたビデオフレームを送信するのに十分な帯域幅が利用可能でない場合には、サービスプロバイダまたはコンテンツプロバイダの一方における以後のＱｏＥ計算のために、クワイエットピリオドまたはノンピークピリオドの一方の間、選択されたビデオフレームが送信され得る。

更なる例によると、この別の方法は、また、周期的な間隔でビデオフレームを選択することと、受信されたデータの選択された部分を専用アップロードチャネルと共有チャネルとの一方を通じて送信することと、受信されたデータの部分とテストデータとを比較することによってＱｏＥ計算を実行することと、および／またはＱｏＥ計算の結果をサービスプロバイダまたはコンテンツプロバイダの一方に送信することと、を含み得る。受信されたデータのうちでＱｏＥ計算に用いられる部分は、１つまたは複数のビデオフレームを含み得る。この方法は、更に、１つまたは複数のビデオフレームの識別子をサービスプロバイダまたはコンテンツプロバイダの一方に送信することと、対応するテストビデオフレームを受信することと、含み得る。ＱｏＥ計算は、サービスプロバイダもしくはコンテンツプロバイダのうちの一方で実行されてもよいし、データをサービスプロバイダもしくはコンテンツプロバイダの一方に提供するコンテンツプロバイダで実行されてもよい。

更に他の例によると、本開示は、無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信サービスを提供するサーバを説明している。このサーバは、１つまたは複数のユーザデバイスと無線で通信するように構成された通信モジュールと、命令を記憶するように構成されたメモリと、通信モジュールとメモリとに結合されたプロセッサとを含み得る。このプロセッサは、１つまたは複数のユーザデバイスで再生されるデータを送信し、送信されたデータの１つまたは複数の選択された部分をユーザデバイスから受信し、送信されたデータの受信された部分に基づいてＱｏＥ計算を実行するように構成され得る。このデータは、ビデオデータおよび／またはオーディオデータであり得る。

更なる例によると、サーバのプロセッサは、送信されたデータのどの部分が選択されるかを決定し、送信されたデータの選択される部分と関連する情報を１つまたは複数のユーザデバイスに送信し、および／または送信されたデータの選択される部分を基準データ部分として用いて、基準部分と送信されたデータの受信された部分とを比較することによりＱｏＥ計算を実行し得る。いくつかの例によると、送信されたデータの選択された部分と基準部分はビデオフレームであり得る。このプロセッサは、ユーザデバイスによって選択されるビデオフレームにマークを付することによって、送信されたデータの選択される部分と関連する情報を送信し得る。

他の例によると、サーバのプロセッサは、送信されたデータの選択された部分をアップロードチャネル経由で受信し、ＱｏＥ計算に基づき１つまたは複数のサービス品質（ＱｏＳ）パラメータをリアルタイムで調節し、ダウンロードチャネルのための利用可能な帯域幅を縮小させることにより、ノンピークビデオデータ送信の１つまたは複数の周期でのアップロードチャネルのための利用可能な帯域幅を増大させ、１つまたは複数のクワイエットピリオドの間に送信されたデータの選択された部分を受信し、および／または以後のＱｏＥ計算のために送信されたデータの受信された部分を記憶し得る。

サーバのプロセッサは、また、以後のＱｏＥ計算に基づいて１つまたは複数のサービス品質（ＱｏＳ）パラメータを調節し得る。なお、クワイエットピリオドは、低帯域幅要求期間を含む。このプロセッサは、更に、送信されたデータのある部分の劣化していない基準フレームのそれぞれのピクセルと、送信されたデータの受信された部分の対応するフレームのそれぞれのピクセルとを比較し得る。このサーバは、データを送信するサービスプロバイダまたはデータをサービスプロバイダに提供するコンテンツプロバイダの一方の一部であり得る。このプロセッサは、また、ＱｏＥ計算の結果と、瞬間的なＱｏＳパラメータ、ユーザデバイスの位置、ユーザデバイスの移動性、ユーザデバイスの信号強度、ユーザデバイスで利用可能なメモリ、ユーザデバイスの処理能力、および／または通信ネットワークへの負荷の１つまたは複数とを相関させ得る。

更なる例によると、本開示は、無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信サービスを受け取るコンピューティングデバイスを説明している。このコンピューティングデバイスは、命令を記憶するように構成されたメモリと、通信モジュールとメモリとに結合されたプロセッサとを含み得る。このプロセッサは、再生されるデータを受信し、受信されたデータのうちサービスプロバイダにＱｏＥ計算のために送信される部分を決定し、サービスプロバイダに送信されるデータの部分をキャプチャし、データの部分をサービスプロバイダに送信するように構成され得る。このデータは、ビデオデータおよび／またはオーディオデータであり得る。

コンピューティングデバイスのプロセッサは、受信されたデータのどの部分が選択されるかに関連する情報をサービスプロバイダから受信し得る。ここで、受信されたデータの選択された部分はビデオフレームであり、受信されたデータの選択される部分に関連する情報は、サービスプロバイダによってマークを付されたビデオフレームを含む。受信されたデータの選択された部分はビデオフレームであり、受信されたデータのうちサービスプロバイダに送信されるビデオフレームはまた、このコンピューティングデバイスにおいて選択され得る。

コンピューティングデバイスのプロセッサは、更に、ＱｏＥ計算のための基準フレームがサービスプロバイダで決定されるように、選択されたビデオフレームの識別子をサービスプロバイダに送信するように構成され得る。ここで、ビデオフレームは、アップロードチャネルの利用可能性、コンピューティングデバイスの位置、コンピューティングデバイスの移動性、コンピューティングデバイスの信号強度、コンピューティングデバイスで利用可能なメモリ、および／またはユーザデバイスの処理能力の１つまたは複数に基づいて選択される。

選択されたビデオフレームをアップロードチャネル経由で送信するのに十分な帯域幅が利用可能である場合には、サービスプロバイダにおけるリアルタイムのＱｏＥ計算のために、確実に送信することができる可能な限り最大の数のビデオフレームが送信され得る。選択されたビデオフレームを送信するのに十分な帯域幅が利用可能でない場合には、サービスプロバイダにおける以後のＱｏＥ計算のために、クワイエットピリオドまたはノンピークピリオドの一方の間、選択されたビデオフレームが送信され得る。このプロセッサはまた、周期的な間隔でビデオフレームを選択し得る。このコンピューティングデバイスは、デスクトップコンピュータ、ハンドヘルドコンピュータ、車載コンピュータ、スマートフォン、またはポータブルテレビの１つであり得る。

システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になり得るという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、更に別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアのなんらかの組合せを選択することができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組合せにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組合せとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。

本開示は、本出願に記載され様々な態様の例示として意図されている特定の実施形態に関して限定されることはない。当業者には明らかであるように、その精神および範囲から逸脱することなく、多くの修正および変更を行うことが可能である。本明細書に列挙されたものに加えて、本開示の範囲に含まれる機能的に同等な方法および装置が、以上の記載から当業者には明らかなはずである。そのような修正および変更は、添付の特許請求の範囲に属することが意図されている。本開示は、特許請求の範囲が及ぶ均等物の全範囲と共に、添付の特許請求の範囲の記載によってのみ限定される。本開示は、当然に変動の余地がある特定の方法、システムまたはコンポーネントに限定されないことを理解すべきである。また、用語は特定の実施形態を説明する目的でのみ本明細書において用いられており、限定を意図していないことも理解すべきである。

更に、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループを含むコントロールシステムを含むことを、当業者は理解するであろう。

通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例示にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的に接続可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者には更に理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。

更に、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者には更に理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

更に、本開示の特徴や態様がマーカッシュグループとして記載されている場合には、当業者であれば、そのような開示が、そのマーカッシュグループの任意の個々の構成要素または複数の構成要素で構成されるサブグループとしても記載されることを理解するはずである。

当業者であれば理解するように、任意のおよびすべての目的について、記載された説明を提供することに関し、本明細書で開示されているすべての範囲は、また、任意のおよびすべての可能性のある下位の範囲とそれら下位の範囲の組合せとに及ぶ。任意のリスト化されている範囲は、同一の範囲が、少なくとも、等しい２分の１、３分の１、４分の１、５分の１、１０分の１などに分割されることを十分に説明し可能にしているものとして、容易に認識され得る。非限定的な例として、本明細書で論じられているそれぞれの範囲は、下位の３分の１、中間の３分の１、上位の３分の１などに容易に分割することができる。当業者であれば容易に理解するように、「まで」、「少なくとも」、「より大きい」、「より小さい」などのすべての言葉は、言及された数字を含み、上述したように、以後に下位の範囲に分割することができる範囲にも及ぶ。最後に、当業者に理解されるように、範囲はそれぞれの個別の構成要素を含む。したがって、例えば、１から３個のセルを有するグループは、１、２または３個のセルを有するグループに及ぶ。同様にして、１から５個のセルを有するグループは、１、２、３、４または５個のセルを有するグループに及ぶ、などである。

本明細書では様々な態様および実施形態が開示されてきたが、他の態様および実施形態もまた当業者には明らかであろう。本明細書に開示されている様々な態様および実施形態は、説明を目的とするものであり、限定を意図しておらず、真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims (18)

1. 無線システムにおけるユーザ体感品質（ＱｏＥ）を決定する方法であって、
   サービスプロバイダまたはコンテンツプロバイダの一方により、ユーザデバイスに、前記ユーザデバイスで再生されるデータを送信することと、
   アップロードチャネルの十分な帯域幅が利用可能であるとの判断に応じて、前記サービスプロバイダまたは前記コンテンツプロバイダの一方において、リアルタイムでのＱｏＥ計算のために、前記送信されたデータの１つまたは複数の選択された部分データに対応する返送データを、前記ユーザデバイスから前記アップロードチャネル経由で受信することと、
   アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されているとの判断に応じて、前記サービスプロバイダまたは前記コンテンツプロバイダの一方において、前記返送データを、前記ユーザデバイスから前記共有されているチャネル経由でノンピークデータ送信期間に受信することと、
   前記サービスプロバイダまたは前記コンテンツプロバイダの一方により、前記部分データと前記返送データとを用いて、前記ＱｏＥ計算を実行することと、
   を含み、
   前記ノンピークデータ送信期間では、送信の品質を低下させることによってアップロード目的のために追加の帯域幅が開放される、
   方法。
2. 前記サービスプロバイダまたは前記コンテンツプロバイダの一方により、前記送信されたデータのどの部分が前記部分データとして選択されるかを決定することと、
   前記サービスプロバイダまたは前記コンテンツプロバイダの一方により、前記部分データと関連する情報を前記ユーザデバイスに送信することと、
   前記部分データと前記返送データとを比較することにより前記ＱｏＥ計算を実行することと
   のうちの１つまたは複数を更に含み、前記データがビデオデータおよび／またはオーディオデータの少なくとも一方を含む、請求項１に記載の方法。
3. 前記部分データがビデオフレームであり、前記部分データと関連する情報を送信することが、前記サービスプロバイダまたは前記コンテンツプロバイダの一方によって前記部分データであるビデオフレームにマークを付することを含む、請求項２に記載の方法。
4. 前記サービスプロバイダまたは前記コンテンツプロバイダの一方により、前記ＱｏＥ計算に基づき１つまたは複数のサービス品質（ＱｏＳ）パラメータをリアルタイムで調節することを含む、請求項２に記載の方法。
5. 前記サービスプロバイダまたは前記コンテンツプロバイダの一方により、前記ＱｏＥ計算に基づいて１つまたは複数の将来のサービス品質（ＱｏＳ）パラメータを調節することを更に含む、請求項２に記載の方法。
6. アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されているとの判断に応じて、前記サービスプロバイダまたは前記コンテンツプロバイダの一方において、前記ユーザデバイスから前記共有されているチャネル経由で１つまたは複数のクワイエットピリオドの間に前記返送データを受信することと、
   以後のＱｏＥ計算のために前記返送データを記憶することと、
   を更に含み、前記クワイエットピリオドが低使用期間を含む、請求項２に記載の方法。
7. 前記部分データと、前記返送データとの間で空間的および／または時間的なアライメントの少なくとも一方を実行することを更に含み、前記ＱｏＥ計算が、前記部分データのそれぞれのピクセルと前記返送データのそれぞれのピクセルとを比較することを含む、請求項２に記載の方法。
8. 無線システムにおけるユーザ体感品質（ＱｏＥ）の計算を可能にする方法であって、
   ユーザデバイスにおいて、サービスプロバイダまたはコンテンツプロバイダの一方から前記ユーザデバイスで再生されるデータを受信することと、
   前記ユーザデバイスにより、前記受信されたデータの一部を、前記サービスプロバイダまたは前記コンテンツプロバイダの一方にＱｏＥ計算のために送信される返送データとして決定することと、
   前記ユーザデバイスにより、前記サービスプロバイダまたは前記コンテンツプロバイダの一方に送信される前記返送データをキャプチャすることと、
   アップロードチャネルの十分な帯域幅が利用可能であるとの判断に応じて、前記ユーザデバイスにより、リアルタイムでのＱｏＥ計算のために前記返送データを前記アップロードチャネル経由で前記サービスプロバイダまたは前記コンテンツプロバイダの一方に送信することと、
   アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されているとの判断に応じて、前記ユーザデバイスにより、前記返送データを前記共有されているチャネル経由でノンピークデータ送信期間に前記サービスプロバイダまたは前記コンテンツプロバイダの一方に送信することと、
   を含み、
   前記ノンピークデータ送信期間では、送信の品質を低下させることによってアップロード目的のために追加の帯域幅が開放される、方法。
9. 前記ユーザデバイスにおいて、前記受信されたデータのどの部分が前記返送データとして選択されるかに関連する情報を前記サービスプロバイダまたは前記コンテンツプロバイダの一方から受信することを更に含み、前記返送データがビデオフレームであり、前記返送データに関連する前記情報が、前記サービスプロバイダまたは前記コンテンツプロバイダの一方によってマークを付されたビデオフレームを含む、請求項８に記載の方法。
10. 前記返送データがビデオフレームであり、前記返送データである前記ビデオフレームが前記ユーザデバイスにおいて選択される、請求項８に記載の方法。
11. ＱｏＥ計算のための部分データが前記サービスプロバイダまたは前記コンテンツプロバイダの一方で決定されるように、前記ユーザデバイスにより、前記返送データである前記ビデオフレームの識別子を前記サービスプロバイダまたは前記コンテンツプロバイダの一方に送信することであって、前記返送データである前記ビデオフレームが、前記アップロードチャネルの利用可能性、前記ユーザデバイスの位置、前記ユーザデバイスの移動性、前記ユーザデバイスの信号強度、前記ユーザデバイスで利用可能なメモリ、および／または前記ユーザデバイスの処理能力の１つまたは複数に基づいて選択されることを更に含む、請求項１０に記載の方法。
12. 無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信サービスを提供するサーバであって、
    ユーザデバイスと無線で通信するように構成された通信モジュールと、
    命令を記憶するように構成されたメモリと、
    前記通信モジュールと前記メモリとに結合されたプロセッサとを含み、前記プロセッサが、
    前記ユーザデバイスに、前記ユーザデバイスで再生されるデータを送信し、
    アップロードチャネルの十分な帯域幅が利用可能であるとの判断に応じて、リアルタイムでのＱｏＥ計算のために、前記送信されたデータの１つまたは複数の選択された部分データに対応する返送データを、前記ユーザデバイスから前記アップロードチャネル経由で受信し、
    アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されているとの判断に応じて、前記返送データを、前記ユーザデバイスから前記共有されているチャネル経由でノンピークデータ送信期間に受信し、
    前記部分データと前記返送データとに基づき、前記ＱｏＥ計算を実行するように構成され、
    前記ノンピークデータ送信期間では、送信の品質を低下させることによってアップロード目的のために追加の帯域幅が開放される、サーバ。
13. 前記プロセッサが、
    前記送信されたデータのどの部分が前記部分データとして選択されるかを決定することと、
    前記部分データと関連する情報を前記ユーザデバイスに送信することと、
    前記部分データと前記返送データとを比較することにより前記ＱｏＥ計算を実行することと、
    前記部分データがビデオフレームであり、前記部分データであるビデオフレームにマークを付することによって、前記部分データと関連する情報を送信することと、
    前記ＱｏＥ計算に基づき１つまたは複数のサービス品質（ＱｏＳ）パラメータをリアルタイムで調節することと
    のうちの１つまたは複数を実行するように更に構成される、請求項１２に記載のサーバ。
14. 前記プロセッサが、
    以後のＱｏＥ計算のために前記返送データを記憶することと、
    前記以後のＱｏＥ計算に基づいて１つまたは複数の将来のサービス品質（ＱｏＳ）パラメータを調節することと
    のうちの１つまたは複数を行うように更に構成される、請求項１３に記載のサーバ。
15. 前記プロセッサが、
    前記部分データのそれぞれのピクセルと前記返送データのそれぞれのピクセルとを比較するように更に構成される、請求項１２に記載のサーバ。
16. 無線ネットワークにおけるユーザ体感品質（ＱｏＥ）計算を伴うオーディオ／ビデオ送信サービスを受け取るコンピューティングデバイスであって、
    サービスプロバイダと無線で通信するように構成された通信モジュールと、
    命令を記憶するように構成されたメモリと、
    前記通信モジュールと前記メモリとに結合されたプロセッサとを含み、前記プロセッサが、
    前記コンピューティングデバイスにおいて、前記コンピューティングデバイスで再生されるデータを受信し、
    前記受信されたデータの一部を、前記サービスプロバイダにＱｏＥ計算のために送信される返送データとして決定し、
    前記サービスプロバイダに送信される前記返送データをキャプチャし、
    アップロードチャネルの十分な帯域幅が利用可能であるとの判断に応じて、リアルタイムでの前記ＱｏＥ計算のために前記返送データを前記アップロードチャネル経由で前記サービスプロバイダに送信し、
    アップロードおよびダウンロードのトラフィックが同じチャネルによって共有されているとの判断に応じて、前記返送データを前記共有されているチャネル経由でノンピークデータ送信期間に前記サービスプロバイダに送信するように構成され、
    前記ノンピークデータ送信期間では、送信の品質を低下させることによってアップロード目的のために追加の帯域幅が開放される、コンピューティングデバイス。
17. 前記プロセッサが、
    前記受信されたデータのどの部分が前記返送データとして選択されるかに関連する情報を前記サービスプロバイダから受信するように更に構成され、前記返送データがビデオフレームであり、前記返送データに関連する前記情報が、前記サービスプロバイダによってマークを付されたビデオフレームを含む、請求項１６に記載のコンピューティングデバイス。
18. 前記プロセッサが、
    ＱｏＥ計算のための部分データが前記サービスプロバイダで決定されるように、前記返送データであるビデオフレームの識別子を前記サービスプロバイダに送信するように更に構成され、前記返送データであるビデオフレームが、前記アップロードチャネルの利用可能性、前記コンピューティングデバイスの位置、前記コンピューティングデバイスの移動性、前記コンピューティングデバイスの信号強度、前記コンピューティングデバイスで利用可能なメモリ、および／または前記コンピューティングデバイスの処理能力の１つまたは複数に基づいて選択される、請求項１６に記載のコンピューティングデバイス。

Images