JP6845808B2

JP6845808B2 - 知覚体感品質推定により駆動されるスマート適応型ビデオストリーミングのための方法及びシステム

Info

Publication number: JP6845808B2
Application number: JP2017559741A
Authority: JP
Inventors: ジョウワン，; カイゾン，; アブドゥルレーマン，
Original assignee: ジョウワン，
Priority date: 2015-02-07
Filing date: 2016-02-08
Publication date: 2021-03-24
Anticipated expiration: 2036-02-08
Also published as: EP3254470B1; US10863217B2; EP3254470A4; CN107211193A; CA2975904C; WO2016123721A1; US20180041788A1; EP3254470B8; EP3254470A1; CA2975904A1; CN107211193B; JP2018520560A

Description

［発明の分野］
本発明は、一般に、クライアント・ユーザーの体感品質を最適化するように、ビデオ配信ネットワークを通してビデオ・ホスティング・サーバからクライアントにビデオをストリーミングすることに関する。より詳細には、サーバ側でのビデオストリームは、セグメントに分割され、その各々が異なるビットレート及び解像度を持つ。本発明は、以下の利点のうちの１つ又はそれ以上を達成するために、サーバ側のストリームから次のセグメントを選ぶ際にクライアント側で最適な決定を行う方法又はシステムに関する。それらは、１）クライアント・ユーザーの体感品質（ｑｕａｌｉｔｙ−ｏｆ−ｅｘｐｅｒｉｅｎｃｅ）を犠牲にすることなく、ビデオ・コンテンツの配信のための全体の帯域幅を節約すること、２）クライアント・ユーザーのより良い全体の視覚的な体感品質を作り出すこと、３）クライアント・ユーザーのより滑らかな視覚的な体感品質を作り出すこと、及び、４）クライアント・ユーザー側での再バッファリング又はストール・イベントの可能性を低減すること、である。本発明は、一般的な適応型ストリーミング・アプローチを採用する多くのアプリケーションにおいて使用され得る。

［発明の背景］
ここ数年、私たちはネットワーク上で配信されるビデオデータの量における指数関数的な増大を見てきた。ビデオオンデマンド（ｖｉｄｅｏ−ｏｎ−ｄｅｍａｎｄ：ＶｏＤ）アプリケーションのためのますます人気のあるアプローチは、適応型（ａｄａｐｔｉｖｅ）ビデオストリーミング技術の採用ということになる。適応型ビデオストリーミングにおいては、各ソース・ビデオ・コンテンツは、ビデオストリーム準備段階における、異なるビットレート及び解像度の複数の変形（若しくはストリーム）に、エンコード／トランスコードされる。ビデオストリームは、タイムセグメントに分割され、全てのストリームはビデオ・ホスティング・サーバに保存される。クライアントがビデオ・コンテンツを視聴するとき、ネットワーク帯域幅、バッファ・サイズ、再生速度（ｐｌａｙｂａｃｋｓｐｅｅｄ）等に基づいて、各タイムセグメントために多くのストリームのうちの１つを適応的に選択することができる。適応型ビデオストリーミング・フレームワークは、繰り返されるエンコード／トランスコーディング要求のための増大されたＣＰＵパワー、及び、同じコンテンツの多くのストリームを保存するために増大されたストレージスペース、のために、サーバー側に負担をかける。しかしながら、その瞬間その瞬間の状況に応じて、各個人ユーザーへ最も良い可能なサービスを提供する潜在力をもって、インフラストラクチャを変更することなく、ネットワークへの接続に関して大きなバリエーションのあるユーザーにサービスを提供することを許容する。

それにもかかわらず、適応型ストリーミング技術の現在の実装及び展開に関する主要な問題は、視聴者の体感品質（ＱｏＥ）を適切に考慮していないことである。ビデオ品質評価は、近年活発な研究課題となってきている。ここで、ビデオ品質の用語を使用する場合、そのビデオが、異なるデバイスで、異なる解像度で、及び異なる視聴条件等で表示され及びネットワーク送信を受けるときに知覚品質の変化を考慮することなく、我々はそのビデオストリームの知覚品質を意味する。対照的に、ＱｏＥでは、我々は可能な限りそのようなバリエーションを考慮に入れることを意味する。例えば、ビデオ配信サービスのサーバー側では、ビデオ品質のみが評価され得、そして、ビデオＱｏＥは直接的には測定できないが、ビデオＱｏＥを予測するのに役立つ特定のパラメータが推定され得る。クライアント側では、関連する全ての情報が利用可能になるので、ビデオＱｏＥが推定され得る。ビデオ配信サービスの最終的な目標は、クライアントに、視覚的なＱｏＥに関して最も良い可能なビデオを提供することであるので、視覚的なＱｏＥを適切に評価し、そして、そのような評価をビデオ配信システムの設計及び最適化における重要な要素として使用することが、非常に望ましい。残念ながら、これは、まさに現在の適応型ビデオストリーミング実装において欠けているものである。現実のシステムは、典型的にビットレートを重要な要素として使用して、視覚的な品質インジケータと等価とするが、同じビットレートを使用して異なるビデオ・コンテンツをエンコードすることは、標準的な５つの分類（優、良、可、不可、悪い）の人間の主観的評価に基づき、２つの極端の間で可能に振れる、ドラマチックに異なる視覚的な品質という結果になり得る。更に悪いことに、実際のユーザーＱｏＥは、ビットレート駆動ストリーミング戦略によって考慮され得ないもう１つの要素である、ビデオを表示するために使用されているデバイスによって異なる。

本発明は、如何にビデオＱｏＥ推定をクライアントに利用可能にするか、及び、クライアント側で適応型ビデオストリーミングにおいて決定を行うステップにおいて如何にそのＱｏＥ推定を使い、ドライバーのシートに戻りそしてビデオ配信システムを再設計するか、に関する。

［発明の要約］
ビデオ配信ネットワーク上に、スマート適応型ビデオストリーミング又はスマート・ストリーミングを提供するために決定的ファクターとして視覚的なＱｏＥを使用するシステム又は方法。

１つの実施例は、同じビデオソースコンテンツからの異なるビットレート及び解像度の複数のビデオストリームを作り出し、及び、それらをタイムセグメントに分割する、ビデオ配信ネットワーク上の適応型ビデオストリーミングに関する。ＱｏＥ予測パラメータは、生成され、受信側クライアントサイトへのビデオストリームに先んじて又はビデオストリームと一緒に、送信される。クライアントサイトでは、視覚的なＱｏＥが推定され、ビデオストリームの次のビデオセグメントを要求する際における決定的な意思決定ファクターとして使用される。

もう１つの実施例は、誤った送信及び／又はデコーディング、初期バッファリング及び再バッファリング、視聴デバイスのピクセル解像度、視聴デバイスの物理的サイズ、デバイス上のビデオ・フレーム・ピクセル解像度、ビデオ時間分解能、デバイス上のビデオ再生速度、視聴環境条件、ユーザー嗜好、ユーザー視覚条件、又は、ユーザーの期待を含む、インスタントネットワーク及び受信側条件と、ＱｏＥ予測パラメータとを組み合わせることによって、クライアントサイトでＱｏＥ推定を提供することに関する。

もう１つの実施例は、フルリファレンス（ｆｕｌｌ−ｒｅｆｅｒｅｎｃｅ）、リデュースドリファレンス（ｒｅｄｕｃｅｄ−ｒｅｆｅｒｅｎｃｅ）、及び／又はノンリファレンス（ｎｏ−ｒｅｆｅｒｅｎｃｅ）客観的ビデオ品質評価のモデル；異なる空間分解能及び／又は時間分解能に渡ってビデオ品質を比べることができるモデル；及び、視聴デバイスのタイプ及びセッティング、視聴デバイス上の再生ウィンドウの分解能、及び／又は視聴条件、に依存する知覚ＱｏＥを予測するモデル；を使用してＱｏＥ予測パラメータを生成することに関する。

もう１つの実施例は、ビデオストリームの送信と共に又はビデオストリームの送信に先立って、メタデータとしてビデオ配信ネットワークを通して、又は、ビデオストリーム内に透かし若しくは隠れたメッセージとしてＱｏＥ推定パラメータを埋め込むことにより、そのＱｏＥ推定パラメータを送信することに関する。

もう１つの実施例は、クライアントサイトにおいて各ビデオストリームの各セグメントに対する視聴者ＱｏＥのマトリクスを作成し、そして、ビデオストリームのビットレート、ビデオストリームの解像度、ネットワークの利用可能な帯域幅、デコード速度、表示速度、バッファ・サイズ、及び受信デバイスのパワー（電力）、の１つ又はそれ以上を含む、他の利用可能な情報と、ＱｏＥ推定を、組み合わせることにより、そのビデオの次のセグメントの選択について決定をすることに関する。

もう１つの実施例は、スイッチング（切り替え）なし、より低いビットレートへのスイッチング（切り替え）、及びより高いビットレートへのスイッチング（切り替え）の何れかの決定をするための決定的なファクターとしてＱｏＥを使用することにより、帯域幅を節約するために、再バッファリングの確率を低減するために、全体の体感品質を向上させるために、及び／又は体感品質の滑らかさを維持するために、クライアントサイドでビデオの次のセグメントの選択についてスマート適応型ストリーミング決定を行うことに関する。

もう１つの実施例は、視覚的なＱｏＥの滑らかさ及び／又は平均的な品質を最大化させる最良のパスを見つけるために動的プログラミング・アプローチ（ｄｙｎａｍｉｃａｌｐｒｏｇｒａｍｉｎｇａｐｐｒｏａｃｈ）を使用することにより、帯域幅を節約するために、再バッファリングの確率を低減するために、全体の体感品質を向上させるために、及び／又は体感品質の滑らかさを維持するために、クライアントサイドでビデオの次のセグメントの選択についてスマート適応型ストリーミング決定を行うことに関する。

本発明は、記述内容又はそこに提供される例において説明される或いは図面に解説される要素の配列に及び構造の詳細に、その発明の応用において、限定されないことは理解されるべきである。本発明は、他の実施例が可能であり、及び、種々の方法において実施され及び実行されることができる。ここにおいて用いられる表現及び専門用語は、記述の目的のためであり、そして、限定するとしてみなされるべきではないことを理解されるべきである。この応用において記述される特徴及び有利な点は、全てが含まれている訳ではない。本技術分野において通常の技術を持つ者に対して、追加の特徴及び有利な点は、図面、請求の範囲、及び記述内容を考慮して明白であるであろう。この出願において使用される言語は、より良く読めるようにするために及び説明の目的のために選択されるのであり、開示された主題を詳しく説明する又は境界線を引くために選択されていないかもしれない。

［図面の説明］
図１は、知覚ＱｏＥ推定に基づいて適応型ビデオストリーミングのプロセスの系統図を示す。図２は、ビデオＱｏＥ予測を含むビデオストリーム準備段階におけるフロー図を示す。図３は、本発明の実施例において、ビデオホスティングサーバ、ビデオ配信ネットワーク、及びクライアントの間のフロー図を示す。図４は、他のインスタント・サイド情報と組み合わされる、重要なファクターとして受信されたＱｏＥ予測パラメータを用いることによる、動的な視聴者ＱｏＥ推定のフロー図を示す。図５は、各ビデオストリームにおける各ビデオセグメントに対するビデオＱｏＥ予測パラメータの受信配列を、各ビデオストリームにおける各ビデオセグメントに対する視聴者ＱｏＥ推定のマトリクスに、変換するフロー図を描画する。

図６は、次のセグメントの選択に関するスマート適応型ストリーミング決定のフロー図を描画する。視聴者ＱｏＥ推定のマトリックスは、ビデオストリームのビットレート、ビデオストリームの解像度、ネットワークの利用可能な帯域幅、及びデコーディング速度の１又はそれ以上、表示速度、バッファ・サイズ、及び受信デバイスのパワー（電力）、を含む追加の情報と共に、中心的役割を果たす。図７は、次のセグメントに対して全ての利用可能なストリームの数を、アフォーダブル（得ることが可能）なストリームのサブセットに減らす「ストリームフィルタ」を適用するフロー図を描画する。この「ストリームフィルタリング」プロセスは、ビデオビットレート、ネットワーク帯域幅、デコーディング速度、表示速度、バッファ・サイズ、及びデバイスパワー（電力）についての１つ又はそれ以上の制約を適用することによって実施される。図８は、本発明の１つの実施例において次のビデオセグメントのためのストリームを選択する際の決定を行うフロー図を描画する。従来技術のアプローチは、ＱｏＥ推定情報を利用可能としないが、より高いビットレートがより高いＱｏＥにつながると仮定する。本発明は、最大ＱｏＥを備えるストリームを選択することによって、異なる決定を可能にする。図９は、本発明の１つの実施例において次のビデオセグメントに対するストリームを選択する際の決定実行のフロー図を描画する。スイッチング（切り替え）なしで、ＱｏＥが所定の目標閾値レベル又はそれ以上に維持される場合、本発明は、そのようなスイッチング（切り替え）はアフォーダブル（得ることが可能）であるとしても、より高いビットレート及び／又はより高い解像度のストリームにスイッチする（切り替える）ことを拒否するかもしれない。これは、そのストリームの実際のＱｏＥに関係なく、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するために最善の努力をする従来技術のアプローチとは異なる。図１０は、本発明の１つの実施例において次のビデオセグメントのためのストリームを選択することについての決定実行のフロー図を描画する。本発明は、閾値よりも低いＱｏＥの増大という結果になるとき、そのようなスイッチングがアフォーダブル（得ることが可能）であるとしても、より高いビットレート及び／又はより高い解像度のストリームにスイッチすることを拒否するかもしれない。これは、ＱｏＥの改善が如何にそのストリームへスイッチすることで達成され得るかに関わらず、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するために最善の努力をする従来技術のアプローチとは異なる。

図１１は、本発明の１つの実施例において、次のビデオセグメントのためのストリームを選択することについての決定実行のフロー図を描画する。本発明は、ネットワーク帯域幅又はバッファ・サイズの低下を見ることなく、より低いビットレート及び／又はより低い解像度のストリームにスイッチする（切り替える）かもしれないが、このとき、このようなスイッチが閾値より低いＱｏＥの低下という結果になり、及び、そのようなスイッチング（切り替え）でＱｏＥが目標閾値ＱｏＥレベル又はそれ以上に維持される。これは、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するために最善の努力をする従来技術のアプローチとは異なる。このようにして、ネットワーク帯域幅又はバッファ・サイズにおいて低下がない場合、従来技術のアプローチは、そのストリームを現在のストリームのビットレートと等しいか又はそれより高くに要求し続けるであろうが、より低いビットレートのストリームへとスイッチしないであろう。図１２は、本発明の一実施形態における次のビデオセグメントのストリームを選択する際の意思決定のフロー図をプロットしている。本発明は、そのようなスイッチング（切り替え）が閾値よりも低いＱｏＥ（体感品質）の低下という結果となるとき、又は、そのようなスイッチング（切り替え）によって、そのＱｏＥ（体感品質）が所定の目標閾値ＱｏＥ（体感品質）レベルに或いはそれを超えて維持されるとき、ネットワーク帯域幅若しくはバッファ・サイズにおける低下を見ることすらなく、より低いビットレート及び／又はより低い解像度のストリームにスイッチする（切り替える）かもしれない。このことは、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するために最善の努力をする従来技術のアプローチとは異なる。このようにして、ネットワークネットワーク帯域幅若しくはバッファ・サイズにおける低下がないとき、従来技術は、現在のストリームのビットレートと同じ若しくはより高いストリームを要求し続けるが、より低いビットレートへはスイッチしない（切り替えない）であろう。図１３は、本発明の１つの実施例における次のビデオセグメントに対してストリームを選択する際に行う決定のフロー図をプロットする。本発明は、同じレベルのＱｏＥを維持するために現在のビットレートよりも高いものを必要とする将来のビデオセグメントを予見するとき、ネットワーク帯域幅若しくはバッファ・サイズにおける低下を見ることすらなく、より低いビットレート及び／又はより低い解像度のストリームにスイッチする（切り替える）かもしれない。このことは、そのビデオの将来の部分におけるＱｏＥの同じレベルを維持することにおいて困難性についての知識を伴わず、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するために最善の努力をする従来技術のアプローチとは異なる。図１４は、本発明の一実施形態における次のビデオセグメントのためにストリームを選択する際の意思決定のフロー図をプロットしている。本発明は、ネットワーク帯域幅若しくはバッファサイズにおける増加を見ることすらなく、より高いビットレートのストリーム及び／又はより高い解像度ストリームにスイッチする（切り替わる）かもしれないが、そのときは、そのようなスイッチング（切り替え）なしに、ＱｏＥが閾値よりも低下するときであり、及び、より高いビットレート・ストリームと及び次のセグメントでの現在ストリームとの間のＱｏＥにおける絶対的差異がもう１つの閾値よりも低いときである。これは、次のセグメントにおいて同じレベルのＱｏＥを維持することにおける難しさについての知識を持たず、及び、同じストリームに留まり続ける先行技術のアプローチとは異なる。図１５は、ＱｏＥの平均品質及び／又は滑らかさを最大化する最良の経路を決定するために、動的なプログラミング最適化を実施することによって、本発明の１つの実施例における、そのビデオの次の複数のセグメントのシーケンスのジョイント選択のときに意思決定することの説明的に役に立つ例を示す。従来技術の適応型ストリーミング・アプローチは、利用可能なＱｏＥ情報を有しておらず、従って、帯域幅、バッファ・サイズ、及び／又は他のファクターの制約の下、最適な全体ＱｏＥを与えるそのような最適化手順を実行することができない。

図１６は、本発明の１つの実施例に基づいて、従来技術の適応型ビデオストリーミングのため、及びスマート・ストリーミングのため、説明に役立つ例におけるフレーム・インデックスの関数として、バッファ・サイズを示す。図１７は、従来技術の適応型ビデオストリーミングに対する（ａ）、及び、本発明の１つの実施例に基づくスマート・ストリーミングに対する（ｂ）、説明に役立つ例におけるスイッチング（切り替え）決定を示す。図１８は、従来技術の適応型ビデオストリーミングに対する（ａ）、及び、本発明の１つの実施例に基づくスマート・ストリーミングに対する（ｂ）、説明に役立つ例におけるフレーム・インデックスの関数として、フレーム・ビットレートを示す。図１９は、従来技術の適応型ビデオストリーミングに対する、及び、本発明の１つの実施例に基づくスマート・ストリーミングに対する、説明に役立つ例におけるフレーム・インデックスの関数として、ＳＳＩＭｐｌｕｓベースの視覚的なＱｏＥを示す。

図面において、本発明の実施例が、例として図解されている。本記述及び図面は、説明の目的のみのためであり、理解を助けるためであり、本発明の範囲の定義として、意図されないことは、明白に理解されるべきである。

［本発明の詳細な記述］
本開示は、ビデオ配信ネットワーク上のインテリジェント適応型ビデオストリーミングのための方法、システム、又はコンピュータプログラムに関する。スマート適応型ビデオストリーミング又はスマート・ストリーミングと我々が呼ぶ、この技術は、以下の利点の１つ又はそれ以上を備える。１）クライアント・ユーザーの体感品質を犠牲にすることなく、ビデオ・コンテンツの配信のための全体の帯域幅を節約すること。２）クライアント・ユーザーのより良き全体の視覚的な体感品質を作り出すこと。３）クライアント・ユーザーのより滑らかな視覚的な体感品質を作り出こと。そして、４）クライアント・ユーザー側での再バッファリング又はストール・イベントの可能性を低減すること。

本発明の１つの実施例は、１）同じビデオソースコンテンツからの異なるビットレート及び解像度の複数のビデオストリームを作り出し、それらをタイムセグメント１００に分割するステップと、２）ビデオストリーム１０２に対するＱｏＥ予測パラメータの多次元配列という結果になる、ビデオ準備段階中において、ビデオ・ホスティング・サイトにおいて、及び／又は、ビデオ配信ネットワーク内において、ビデオストリームのＱｏＥ予測を実行するステップと、３）ビデオストリームの前に、又は、それと共に、ＱｏＥ予測パラメータを受信側クライアントサイト１０４に送信するステップと、及び、４）現実のユーザーＱｏＥ１０６を推定するために、及び、ビデオストリーム１０８の次のセグメントを要求するために、受信したＱｏＥ予測パラメータ及びクライアント側ネットワーク、デバイス、及び、視聴環境情報を使用するステップと、を含む、方法、システム、又はコンピュータ・プログラムである。全体のシステム・フローチャートは、図１において与えられる。ビデオストリーム準備段階でのビデオストリームのＱｏＥ予測を含むフロー図が図２に示されている。ビデオ・ホスティング・サーバ及び／又はビデオ配信ネットワークでのビデオストリームのＱｏＥ予測を含むフロー図は、本発明の１つの実施例においてストリーミング決定を行うときに及びインスタントＱｏＥ推定を作るときにクライアントサイトでのフロー図をまた与える図３において、与えられる。

本発明のもう１つの実施例は、ネットワーク４１０から受け取られたＱｏＥ予測パラメータを直接的に使用することにより静的にクライアントサイトでＱｏＥ推定を作る。本発明の更にもう１つの実施例において、クライアントサイトでのＱｏＥ推定４１２は、１又は複数のインスタントネットワーク４００及び受信側条件４０２４０４４０６４０８を備えるネットワークから受け取られるＱｏＥ予測パラメータ４１０を動的に組み合わせることにより、実施される。これらの条件は、誤った送信及び／又はデコーディング、初期バッファリング及び再バッファリング、視聴デバイスのピクセル解像度、視聴デバイスの物理的サイズ、デバイス上のビデオ・フレーム・ピクセル解像度、ビデオ時間分解能、デバイス上のビデオ再生速度、視聴環境条件、ユーザー嗜好、ユーザー視覚条件、及びユーザーの期待、の１つ又はそれ以上を含んでよい。ＱｏＥ予測パラメータが重要な役割を果たす、動的なＱｏＥ推定プロセスを示す図は、図４に与えられる。

本発明のもう１つの実施例において、人間の主観的なＱｏＥ測定は、ビデオ準備段階の間のビデオストリームの上で、ビデオ・ホスティング・サイトで、又は、ビデオ配信ネットワークの内側で、実施される。主観的な測定結果から計算される、主観的な意見スコアの標準偏差／分散及び平均意見スコアのような統計的な特徴は、ＱｏＥ予測パラメータとして使用される。

本発明のもう１つの実施例において、ＰＳＮＲ［１］、ＳＳＩＭ［２、３］、ＭＳ−ＳＳＩＭ［４］、ＶＱＭ［５］、ＭＯＶＩＥ［６］、及び、ＳＳＩＭｐｌｕｓ［７、８、９］のような、コンピュータのフルリファレンス、フルリファレンス、リデュースドリファレンス、及び／又は、ノンリファレンス客観的ビデオ品質評価は、知覚ＱｏＥの予測の判断材料のように使用されるかもしれない。

本発明のもう１つの実施例は、知覚ＱｏＥの予測の判断材料として、異なる空間分解能及び／又は時間分解能に渡ってビデオ品質を比べることができるパラメータを生成するフルリファレンス及び／又はリデュースドリファレンス客観的知覚モデルを使用する。大抵の既存の客観的知覚モデルは、この能力を持っていない。この目的を果たす理想的な候補は、ＳＳＩＭｐｌｕｓ手段である。

本発明のもう１つの実施例は、視聴デバイスのタイプ及びセッティング、視聴デバイス上の再生ウィンドウの空間及び時間分解能、及び／又は、クライアントサイトでビデオの視聴条件、に依存する知覚ＱｏＥを予測するパラメータを生成する客観的な知覚ビデオ品質モデルを使用する。大抵の既存の客観的知覚モデルは、この能力を持っていない。この目的を果たす理想的な候補は、ＳＳＩＭｐｌｕｓ手段である。

本発明のもう１つの実施例は、ビデオストリームの送信に先立って、又は、ビデオストリームの送信と共に、メタデータとして、ＱｏＥ予測パラメータを発信する。例えば、ＱｏＥパラメータは、ビデオファイルのヘッダーに含まれるかもしれず、また、そのビデオストリームの送信に先立つＸＭＬファイル内にクライアントに送信されるメタデータの一部として含まれるかもしれない。本発明のもう１つの実施例において、ＱｏＥ予測パラメータは、電子透かし又はデータ隠蔽技術を使用して、ビデオストリーム自身内に埋め込まれるかもしれず、そして、そのようにして、クライアントサイトへビデオストリームと共に発信される。

本発明のもう１つの実施例は、クライアントサイト５０４で各ビデオストリームの各セグメントに対する視聴者ＱｏＥ推定５０２のマトリクスを作り出し、そして、ビデオの次のセグメントの選択のストリーミング決定実行ステップ内にそのマトリクスを使用する。ＱｏＥ推定マトリクス５１２の発生プロセスは、図５に図解されるが、そのＱｏＥ予測パラメータ５００は、全てのストリームにおける全てのセグメントに対する受信側条件５０６（図４において例示されるように）及びインスタントネットワークと更に組み合わされる最も重要なファクターである。

本発明のもう１つの実施例は、ＱｏＥ推定６０４を、ビデオストリーム６００のビットレート、ビデオストリーム６０２の解像度、ネットワーク６１０の利用可能な帯域幅、及び、受信デバイス６１８のパワー、バッファ・サイズ６１２、表示速度６１６、及びデコーディング速度６１４、の１つ又はそれ以上を含む、他の利用可能な情報と、組み合わせるクライアントサイトでのビデオ６０８の次のセグメントの選択時のストリーミング決定実行ステップ６０６を含む。このプロセスを図解するフロー図は、図６に示される。

本発明のもう１つの実施例は、ビデオビットレート、ネットワーク帯域幅、デコード速度、表示速度、バッファ・サイズ、及びデバイスパワー（電力）７０８の制約下で、最大ＱｏＥビデオストリームを取り上げるクライアントサイトでのビデオの次のセグメントの選択のストリーミング決定実行ステップを含む。次のセグメントに対する全ての利用可能なビデオストリーム７０２７０４の全てのそのような制約を適用した後で、これらのビデオストリームのサブセットは、７１０７１２にされる。このプロセスは、このアプリケーション７０６における「ストリーム・フィルター」と呼ばれるが、そのストリーム・フィルターを適用した後に残るストリームは、「アフォーダブル（得ることが可能）なストリーム（ａｆｆｏｒｄａｂｌｅｓｔｒｅａｍｓ）」７１２と呼ばれる。例は、バッファ・サイズが、ビデオストリームを採用した後（再バッファリング又はストーリングの可能性を減少させるため）、閾値レベルを超えて維持されるべきであることであり、そして、高いビットレートを持つストリームの幾つかは、そのような条件を満たすため、アフォーダブル（得ることが可能）ではなく、そして、そのようにしてフィルターで排出される。一般的プロセスを図解するフロー図は、図７に与えられる。

本発明のもう１つの実施例は、ビデオビットレート、ネットワーク帯域幅、デコーディング速度、表示速度、バッファ・サイズ、及びデバイスパワー（電力）の制約下で、最大ＱｏＥストリームを取り出すクライアントサイトでのビデオの次のセグメントの選択のストリーミング決定実行ステップを含む。フロー図は図８に与えられる。従来技術のアプローチは、ＱｏＥ推定情報を利用可能にしないが、より高いビットレートが、より高いＱｏＥに導かれると仮定し、そして、そのようにして、最も高いビットレート８０４のストリームを選択するが、これは、最適なＱｏＥ８０６８１０のために最も良い選択でないかもしれない。本発明は、全てのアフォーダブル（得ることが可能）なストリームの最大ＱｏＥ８０６８１０を見つけることにより異なる決定を可能にする。このことは、以下の３つの有利な点のうち１又はそれ以上を導く。１）ＱｏＥ＿｛最も高いＱｏＥストリーム８１０｝及びＱｏＥ＿｛最も高いビットレートストリーム８０８｝の間の差異により与えられる改良されたＱｏＥ。２）ビットレート＿｛最も高いビットレートストリーム８０８｝及びビットレート＿｛最も高いＱｏＥストリーム８１０｝の間の差異により与えられる減少させられたビットレート。３）ビデオ再生の間に再バッファリング又はストーリングをトリガーするかもしれない低い又は空のバッファ内に走りこむ可能性を減少させる、より大きなバッファにビデオストリームのより低い速度が導くので、再バッファリング／ストーリングのより低い可能性。

本発明のもう１つの実施例は、アフォーダブル（得ることが可能）なより高いビットレート及び／又はより高い解像度ストリームにスイッチする（切り替える）ことを、そのようなスイッチング（切り替え）がなく、ＱｏＥが所定のターゲット閾値レベル９１０で又はその上で維持されるときに、拒絶すること９１４により、帯域幅を節約するために、全体のＱｏＥを改善するために再バッファリングの可能性を減少させるために、及び／又は、ＱｏＥの滑らかさを維持するために、クライアントサイトでビデオの次のセグメントの選択のストリーミング決定実行ステップを含む。フロー図が図９に示される。このことは、そのストリームの実際のＱｏＥにかかわらず、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するためにクライアント側で最善の努力をする従来技術のアプローチとは異なっている。そのような違いは、より多くのビデオ・コンテンツが同じネットワーク帯域幅に対してバッファされ得るので、本発明が、最も高いアフォーダブル（得ることが可能）なビットレートにスイッチングしない（切り替えない）ことによりビットレートを節約することを、及び、再バッファリングの可能性を減少させることを、許す。

本発明のもう１つの実施例は、アフォーダブル（得ることが可能）なより高いビットレート及び／又はより高い解像度ストリームにスイッチする（切り替える）ことを、そのようなスイッチング（切り替え）が閾値１０１０よりも低いＱｏＥの増加という結果になるとき、拒絶すること１０１６により、帯域幅を節約するために、全体のＱｏＥを改善するために再バッファリングの可能性を減少させるために、及び／又は、ＱｏＥの滑らかさを維持するために、クライアントサイトでビデオの次のセグメントの選択のストリーミング決定実行ステップを含む。フロー図は、図１０に示される。このことは、ＱｏＥの改善がそのストリームへのスイッチング（切り替え）によりどれほど達成されるかにかかわらず、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するためにクライアント側で最善の努力をする従来技術のアプローチとは異なっている。そのような違いは、より多くのビデオ・コンテンツが同じネットワーク帯域幅に対してバッファされ得るので、本発明が、最も高いアフォーダブル（得ることが可能）なビットレート・ストリームにスイッチングしない（切り替えない）ことによりビットレートを節約することを、及び、再バッファリングの可能性を減少させることを、許す。

本発明のもう１つの実施例は、より低いビットレート及び／又はより低い解像度ストリームにスイッチングする（切り替える）ことによって、（Ａ）そのようなスイッチング（切り替え）が、閾値１１０８１２０８よりも低いＱｏＥのドロップという結果となるとき、及び／又は、（Ｂ）そのようなスイッチング（切り替え）によりＱｏＥが所定のターゲット閾値ＱｏＥレベル１１０６１２０６で又はそれを超えて維持されるとき、ネットワーク帯域幅又はバッファ・サイズにおけるドロップを見ようが見まいが、帯域幅を節約するために、全体のＱｏＥを改善するために再バッファリングの可能性を減少させるために、及び／又は、ＱｏＥの滑らかさを維持するために、クライアントサイトでビデオの次のセグメントの選択のストリーミング決定実行ステップを含む。２つのフロー図は図１１及び１２に示されるが、それぞれ、上記条件（Ａ）及び（Ｂ）の異なる組合せ１１１８１２１８に関する。このことは、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するためにクライアント側で最善の努力をする従来技術のアプローチとは異なる。このようにして、ネットワーク帯域幅又はバッファ・サイズにおける低下がないとき、従来技術のアプローチは、現在のストリームのビットレートと等しいか又はそれより高いストリームを要求し続けるが、しかし、より低いビットレートのストリームにスイッチする（切り替える）ことはない。このような違いにより、本発明は、同じネットワーク帯域幅に対してより多くのビデオ・コンテンツをバッファリングすることができるので、より低いビットレート・ストリームにスイッチングする（切り替える）ことによってビットレートを節約し、再バッファリングの確率を低下させることを可能にする。

本発明の別の実施例は、ＱｏＥの同じレベル１３１０１３１４を維持するために、現在のビットレートよりも高いものを要求する将来のビデオセグメントを予見するとき、ネットワーク帯域幅又はバッファ・サイズにおける低下を見て若しくは見ることもなく、より低いビットレート及び／又はより低い解像度のストリーム１３１６にスイッチングする（切り替える）ことによって、帯域幅を節約し、再バッファリングの可能性を低下させ、全体ＱｏＥを改善し、及び／又は、ＱｏＥの平滑性を維持するために、クライアントサイトにおけるビデオの次のセグメントの選択に関するストリーミング決定実行ステップを含む。フロー図は、図１３に示される。このことは、ビデオの将来の部分における同じレベルのＱｏＥを維持することにおける難しさに関する知識を持たず、最も高いアフォーダブル（得ることが可能）なビットレートのストリームを要求するためにクライアント側で最善の努力をする従来技術のアプローチとは異なる。その結果として、現時点ではネットワーク帯域幅又はバッファ・サイズにおける低下のないとき、従来技術のアプローチは、現在のストリームのビットレートと等しいか又はそれより高いストリームを要求し続けるであろうが、より低いビットレート・ストリームにはスイッチしない（切り替えない）であろう。本発明のより低いビットレート・ストリームへとスイッチングする（切り替える）能力は、従来技術からの差異をもたらす。このような違いにより、本発明は、より低いビットレート・ストリーム１３１６へのスイッチング（切り替え）により、低複雑性のコンテンツの現時点でのビットレートを節約することを可能にし、そして、ＱｏＥを維持するため、より多くのビットレートを要求し、かつ、より複雑である将来のビデオセグメントのために帯域幅容量を確保することができる。このように、本発明は、ＱｏＥの改善された平滑さ、将来の複雑なセグメントにおける再バッファリング及びストール・イベントの低下させられた可能性、増大された全ＱｏＥへと導く。

ネットワーク帯域幅又はバッファ・サイズにおける増加を見て若しくは見ることなく、より高いビットレートのストリーム及び／又はより高い解像度ストリームにスイッチングする（切り替える）ことにより、そのようなスイッチング（切り替え）がなければＱｏＥが閾値１４０６１４１４よりも低下するとき、及び、より高いビットレート・ストリームと次のセグメントでの現在ストリームとの間のＱｏＥにおける絶対差がもう１つの閾値１４０８１４１６よりも低いとき、ＱｏＥの現在のレベル及び滑らかさを維持するために、クライアントサイトでのビデオの次のセグメントの選択に関するストリーミング決定実行ステップを、本発明のもう１つの実施例は含む。説明に役立つ例を示すフロー図は、図１４に与えられる。現在のストリームＫにおいて、現在のセグメントｉ及び次のセグメントｉ＋１の複雑さ及びＱｏＥ（複数）は、劇的に異なる（ＱｏＥ＿｛ｉ，Ｋ｝−ＱｏＥ＿｛ｉ＋１，Ｋ｝＞Ｔ＿ｈ１４０６）が、そして、そのようにして、次のセグメントのためのストリームＫに留まることは、同じレベルのＱｏＥを維持することができず、そして、経時のＱｏＥの平滑さをも減少させる。従来技術の適応型ストリーミング・アプローチは、ＱｏＥ情報の欠落のためこの事を知らないが、また、ネットワーク帯域幅又はバッファ・サイズにおける増大をそのアプローチが見ないときに、そのアプローチは、より高いビットレート・ストリームへとスイッチする（切り替える）ことがないであろう。対照的に、本発明は、潜在的なＱｏＥ低下を検出し、そして、次のセグメントのＱｏＥを除いて、より高いビットレートをして、現在のセグメントでのストリームＫのＱｏＥとより良くマッチされる（Ａｂｓ（絶対値）［ＱｏＥ＿｛ｉ＋１，Ｊ｝−ＱｏＥ＿｛ｉ，Ｋ｝］＜Ｔ＿ｌ１４０８）、もう１つのストリームＪを見出す。このことにより、本発明は、経時的ＱｏＥの平滑さをより良く維持できるようにし、そして、クライアント・ユーザーのより良い全ＱｏＥを維持できるようにする。

本発明のもう１つの実施例は、ＱｏＥ１５０２の平均の品質及び／又は平滑さを最大化する最良の経路に基づき決定するビタビアルゴリズム（Ｖｉｔｅｒｂｉ’ｓａｌｇｏｒｉｔｈｍ）のような動的なプログラミング最適化を実施することにより、クライアントサイトでのビデオの次の複数のセグメントのシーケンスのジョイント選択（ｊｏｉｎｔｓｅｌｅｃｔｉｏｎｓ）に関するストリーミング決定実行ステップを含む。説明に役立つ例は、図１５に与えられる。従来技術の適応型ストリーミング・アプローチは、利用可能なＱｏＥ情報を有しておらず、従って、帯域幅、バッファ・サイズ、及び／又は、他のファクターの制約の下で、最適な全体ＱｏＥを与えるように、動的なプログラミング最適化手順のようなものを実行することができない。その代わり、本発明の１つの実施例は、固定ネットワーク帯域幅又はネットワーク帯域幅の特定のパターンに関するおそらく追加の仮定を伴う動的なプログラミング最適化を実行するために、ＱｏＥマトリクス１５００を使用する。結果として得られる最適経路１５０２は、最善の全体ＱｏＥ及び／又は最も平滑な可能なＱｏＥを与えるが、それは従来技術のアプローチによっては達成されない。

ここにおいて記述される例は、本発明の可能な実施例を挙げるためだけに提供される。通常の技術を持つ読者は、本発明の他の実施例もまた可能であることを認識するであろう。本技術分野において通常の技術を持つ者により、ここにおいて記述される実施例の他の変形例もまた、本発明の範囲から逸脱することなく、実施できることを理解するであろう。従って、他の変更も可能である。

有益な例は、以下に与えられる。読みやすさを向上させるために、この例は、現実の世界のシナリオから大幅に単純化され、そして、本発明の革新的なステップのサブセットのみを使用する。この例は、本スマート・ストリーミング（ＳＳ）発明の実施例が、従来技術の適応型ストリーミング（ＡＳ）アプローチから如何に異なっているかを示すため、主に教育的目的を果たす。この例は、本発明の広い利用法を制限するために使用されるべきではない。

５００ｋｂｐｓ、１０００ｋｂｐｓ、及び、２０００ｋｂｐｓのビットレートを持つホスティング・サーバーで同じソース・コンテンツからのビデオストリームの３つのレイヤーがあると仮定する。（各ビデオ・フレームの実際のビットレートは変動する）。また、ネットワーク帯域幅が８００ｋｂｐｓで一定であると仮定する。また、クライアント側のプレーヤーが、ビデオを再生する前に、最初に２秒のビデオをバッファリングしたと仮定する。

図１６は、本発明の実施例におけるスマート・ストリーミング・アプローチ１６００及び従来技術の適応型ストリーミング・アプローチのフレーム番号関数として、バッファ・サイズを対比するが、ここでは、従来技術の適応型ストリーミング・アプローチは、それぞれ、より高いビットレート及びより低いビットレートへのスイッチング（切り替え）をトリガーするための２つの閾値として、８秒バッファ及び２秒バッファを使用する。この特定の例において、８００ｋｂｐｓの実際のネットワーク帯域幅が、５００ｋｂｐｓの第１のレイヤ・ビデオストリーム及び１０００ｋｂｐｓの第２のレイヤ・ビデオストリームのビットレートの間にあるので、従来技術の適応型ストリーミング・アプローチは、これらの２つのレイヤの間を交互にスイッチする（切り替える）であろう。結果として得られるスイッチング（切り替え）決定は、図１７（ａ）１７００において、可視化され得るが、結果として得られる実際のビットレートは、フレーム・インデックスの関数として図１８（ａ）１８００に示される。このような実施は、ビットレート対フレーム・インデックスが滑らかであるため、ビデオ品質のインジケータとして、ビットレートを使用する従来技術の適応型ストリーミングにおいて、通常的であり、且つ、理想的である。しかしながら、一定の（又は類似の）ビットレートは、同じビデオ品質又は視覚的なＱｏＥを意味しないが、それは、ビデオ・コンテンツの複雑さに大きく依存する。この特定のケースにおいて、ビデオ・コンテンツの最後の部分は、それより前の部分より、はるかにずっと複雑である。結果として、先行技術の適応型ストリーミング・ビデオの最後の部分は、それより前の部分と比較したとき、類似のビットレートを有するが、視覚的なＱｏＥは顕著により低い。ビデオのより後の部分１９００へ、より前の部分から、劇的に視聴者のＱｏＥが変化することを示す図１９において示される従来技術の適応型ストリーミング・ビデオのＳＳＩＭｐｌｕｓ曲線と、及び、ＳＳＩＭｐｌｕｓのような有効なＱｏＥ手段とを使用して、このことは測定され得る。これにより、全体の視覚的なＱｏＥの大幅な低下がもたらされ得るし、ユーザーの不満及び顧客エンゲージメントに大きく影響され得る。

対照的に、本発明の実施例におけるスマート・ストリーミング・アプローチは、このシナリオにおいて、異なって挙動する。図１６は、フレーム・インデックス１６００の関数として、バッファ・サイズを示し、図１７（ｂ）は、スマート・ストリーミング・ケース１７０２の実際のスイッチング決定を示し、そして、図１８（ｂ）は、フレーム・インデックス１８０２の関数として、結果として得られる実際のビットレートを与える。第１に、ビデオストリームの各レイヤにおける将来のフレームのＱｏＥが利用可能であるので、スマート・ストリーミング・モジュールは、ビデオの中間部分のより高いビットレートへのスイッチング（切り替え）をトリガーしないが、何故ならば、そのようなスイッチング（切り替え）は、ＱｏＥの十分な改善へと導くものでなく、また、スマート・ストリーミング・モジュールが、非常に難しい未来のセグメント（ビデオの最後の部分）を予見するからである。第２に、ビデオの最後の部分に対する視覚的なＱｏＥの平滑さを維持するために、スマート・ストリーミング・モジュールは、ネットワーク帯域幅よりもはるかにより高いビットレートである、２０００ｋｂｐｓのビデオストリームの第３のレイヤへのスイッチ（切り替え）をトリガーする。図１７（ｂ）における結果として得られるスイッチング（切り替え）決定及び図１８（ｂ）におけるフレーム・インデックスの関数としての実際のビットレートは、従来技術の適応型ストリーミング・アプローチにおいては、観察されない効果である、ビデオの再度の部分で最も高いビットレートへと非常に大きなジャンプを示す。そのような新しい意思決定戦略は、図１９におけるＳＳＩＭｐｌｕｓに基づくＱｏＥ曲線へと導くが、ここで、スマート・ストリーミング・カーブは、ＱｏＥにおける顕著により良い平滑さ及び全体のパフォーマンス１９００を備え、全体のビデオを通して高い品質のレベルで維持される。更に、スマート・ストリーミング・ケースの総ビットレートは、その適応型ストリーミング・ケース（図１６１６００における曲線のエンドでのバッファ・サイズによって決定され得るが）のそれよりもずっと低い。図１６におけるスマート・ストリーミング・ケースのバッファ・サイズ曲線は、将来的にも、適応型ストリーミングの曲線よりも高く、このことは、スマート・ストリーミングが、再バッファリング及びイベントのストールを減少させるためにより良く準備されることを意味する１６００。要約すると、本発明の１つの実施例としてスマート・ストリーミング・アプローチの採用のために、従来技術よりも良い全体の及び平滑なユーザーＱｏＥが、より低い全体のビットレートを使用すること及びより健全なバッファを維持することの可能性と共に、得られる。

［参考文献］
［１］Ｚ．ＷａｎｇａｎｄＡ．Ｂｏｖｉｋ，「平均二乗誤差：それを愛するか又はそのままにするか？ −信号の信頼率測定での新しい表情」、ＩＥＥＥＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇＭａｇａｚｉｎｅ，ｖｏｌ．２６，ｐｐ．９８−１１７，Ｊａｎ．２００９．
［２］Ｚ．Ｗａｎｇ，Ａ．Ｃ．Ｂｏｖｉｋ，Ｈ．Ｒ．Ｓｈｅｉｋｈ，ａｎｄＥ．Ｐ．Ｓｉｍｏｎｃｅｌｌｉ，「画像品質評価：エラーの可視性から構造的類似性まで」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１３，ｎｏ．４，ｐｐ．６００−６１２，Ａｐｒ．２００４．
［３］Ｚ．Ｗａｎｇ，Ｌ．Ｌｕ，ａｎｄＡ．Ｃ．Ｂｏｖｉｋ，「構造歪み測定に基づくビデオ品質評価」、ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ：ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，ｖｏｌ．１９，ｐｐ．１２１−１３２，Ｆｅｂ．２００４．
［４］Ｚ．Ｗａｎｇ，Ｅ．Ｐ．Ｓｉｍｏｎｃｅｌｌｉ，ａｎｄＡ．Ｃ．Ｂｏｖｉｋ，「画質評価のためのマルチスケール構造類似性」、ＩＥＥＥＡｓｉｌｏｍａｒＣｏｎｆｅｒｅｎｃｅｏｎＳｉｇｎａｌｓ，ＳｙｓｔｅｍｓａｎｄＣｏｍｐｕｔｅｒｓ，Ｎｏｖ．２００３．
［５］Ｍ．Ｈ．Ｐｉｎｓｏｎ，「客観的にビデオ品質を測定するための新規な標準化された方法」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＢｒｏａｄｃａｓｔｉｎｇ，ｖｏｌ．５０，ｎｏ．３，ｐｐ．３１２−３２２，Ｓｅｐｔ．２００４．
［６］Ｋ．ＳｅｓｈａｄｒｉｎａｔｈａｎａｎｄＡ．Ｃ．Ｂｏｖｉｋ，「ナチュラル・ビデオの動作同調の時空間的品質評価」、“Ｍｏｔｉｏｎｔｕｎｅｄｓｐａｔｉｏ−ｔｅｍｐｏｒａｌｑｕａｌｉｔｙａｓｓｅｓｓｍｅｎｔｏｆｎａｔｕｒａｌｖｉｄｅｏｓ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１９，ｎｏ．２，ｐｐ．３３５−３５０，Ｆｅｂ．２０１０．
［７］Ａ．Ｒｅｈｍａｎ，Ｋ．ＺｅｎｇａｎｄＺ．Ｗａｎｇ，ｈｔｔｐｓ：／／ｅｃｅ．ｕｗａｔｅｒｌｏｏ．ｃａ／〜ｚ７０ｗａｎｇ／ｒｅｓｅａｒｃｈ／ｓｓｉｍｐｌｕｓ／
［８］Ａ．Ｒｅｈｍａｎ，Ｋ．ＺｅｎｇａｎｄＺ．Ｗａｎｇ，「ディスプレイ装置適応型ビデオ体感品質評価」、ＩＳ＆Ｔ−ＳＰＩＥＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇ，ＨｕｍａｎＶｉｓｉｏｎａｎｄＥｌｅｃｔｒｏｎｉｃＩｍａｇｉｎｇＸＸ，Ｆｅｂ．２０１５．
［９］Ｚ．Ｗａｎｇ，Ａ．ＲｅｈｍａｎａｎｄＫ．Ｚｅｎｇ，「知覚による客観的なビデオ品質評価のための方法及びシステム」、米国仮出願番号６１／４９６，９２３，２０１３，ＰＣＴ２０１４．

Claims

ビデオ・ホスティング・サイトから受信側クライアントサイトへビデオ配信ネットワークにおけるビデオソースコンテンツの適応型ビデオストリーミングのための方法であって、
（ａ）同じビデオソースコンテンツから、異なるビットレート及び解像度の複数のビデオストリームを作り出し、そして、そのビデオストリームの各々をタイムセグメントに分割するステップと、
（ｂ）ビデオ・ホスティング・サイトにおいて、及び／又は、ビデオ配信ネットワーク内において、入力の１つとしてビデオソースコンテンツを有して、体感品質予測パラメータを得るため、ビデオ準備段階中において、ビデオストリームの各々のタイムセグメントの各々の体感品質予測を実行するステップと、
（ｃ）受信側クライアントサイトへ、ビデオストリームに先立って又はビデオストリームと共に、体感品質予測パラメータを送信するステップと、
（ｄ）ユーザーの体感品質（ＱｏＥ）推定を得るため受信側クライアントサイトでビデオストリームの各々のタイムセグメントの各々の実際のユーザーの体感品質を動的に再推定するために、受信した体感品質予測パラメータ及びネットワーク、受信デバイス、及び視聴環境情報のクライアント側パラメータを使用するステップと、
（ｅ）クライアントサイトでビデオストリームの各々のタイムセグメントの各々のユーザーのＱｏＥ推定のマトリクスを作るステップと、
（ｆ）そのマトリクスに基づき、クライアントサイトでのビデオストリームの次の複数のタイムセグメントのシーケンスのジョイント選択のための動的なプログラミング最適化を実施することにより、平均の品質及び／又は平滑さを最大化する最適化された経路を決定するステップと、及び
（ｇ）受信側クライアントサイトで、複数のビデオストリームのタイムセグメントから１つのタイムセグメントを選択するため、及び、ビデオストリームの次のタイムセグメントを要求するため、そのビデオストリームの次の複数のタイムセグメントのシーケンスを使用するステップと、
を含む方法。
請求項１の方法であって、その方法は、ネットワークから受信した体感品質予測パラメータを静的に使用することにより、又は、ネットワークから受信した体感品質予測パラメータを１又は複数のインスタントネットワーク及び受信側条件と動的に配合することにより、クライアントサイトでの体感品質推定を行い、その条件が、誤った送信及び／又はデコーディング、初期バッファリング及び再バッファリング、視聴デバイスのピクセル解像度、視聴デバイスの物理的サイズ、デバイス上のビデオ・フレーム・ピクセル解像度、ビデオ時間分解能、デバイス上のビデオ再生速度、視聴環境条件、ユーザー嗜好、ユーザー視覚条件、又は、ユーザーの期待を含むことを特徴とする方法。
請求項１の方法であって、ビデオ準備段階の間に、ビデオ・ホスティング・サイトにおいて、又は、ビデオ配信ネットワーク内において、人間の主観的な体感品質測定を実施するステップと、及び、体感品質の予測の判断材料として主観的評価を使用するステップと、を更に含む方法。
請求項１の方法であって、知覚の体感品質の予測の判断材料として、ＰＳＮＲ、ＳＳＩＭ、ＭＳ−ＳＳＩＭ、ＶＱＭ、ＭＯＶＩＥ及びＳＳＩＭｐｌｕｓのような、コンピュータによるフルリファレンス、リデュースドリファレンス、及び／又はノンリファレンスの客観的ビデオ品質評価のモデルを使用するステップを更に含む方法。
請求項１の方法であって、体感品質の予測の判断材料として、異なる空間分解能及び／又は時間分解能を横切ってビデオ品質を比較することができるパラメータを生成する、フルリファレンス及び／又はリデュースドリファレンス客観的知覚モデルを使用するステップを更に含む方法。
請求項１の方法であって、視聴デバイスのタイプ及びセッティング、視聴デバイス上の再生ウィンドウの解像度、及び／又は、クライアントサイトでのビデオの視聴条件、に依存する知覚の体感品質を予測するパラメータを生成する客観的な知覚ビデオ品質モデルを使用するステップを更に含む方法。
請求項１の方法であって、ビデオストリームの送信に先立って、又は、ビデオストリームの送信と共に、メタデータとして体感品質予測パラメータを送信するステップを更に含む方法。
請求項１の方法であって、透かし若しくは隠れたメッセージとして体感品質予測パラメータをビデオストリーム内に埋め込むことにより、その体感品質予測パラメータを送信するステップを更に含む方法。
請求項１の方法であって、ビデオストリームのビットレート、ビデオストリームの解像度、ネットワークの利用可能な帯域幅、及び、デコード速度、表示速度、バッファ・サイズ、及び受信デバイスのパワー、の１つ又はそれ以上を含む、他の利用可能な情報と、体感品質推定を、組み合わせる、クライアントサイトでのビデオストリームの次のタイムセグメントの選択におけるストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、ビデオビットレート、ネットワーク帯域幅、デコード速度、表示速度、バッファ・サイズ、及びデバイスパワーの制約下で、最大の体感品質ビデオストリームを取り上げるクライアントサイトでのビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、アフォーダブルなより高いビットレート及び／又はより高い解像度ストリームにスイッチすることを、そのようなスイッチングがなく、体感品質が所定のターゲット閾値レベルで又はその上で維持されるとき、拒絶することにより、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトでビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、アフォーダブルなより高いビットレート及び／又はより高い解像度ストリームにスイッチすることを、そのようなスイッチングが閾値よりも低い体感品質の増加という結果になるとき、拒絶することにより、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトでビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、より低いビットレート及び／又はより低い解像度ストリームにスイッチすることによって、そのようなスイッチングが、閾値よりも低い体感品質の低下という結果となるとき、及び／又は、そのようなスイッチングにより体感品質が所定のターゲット閾値体感品質レベルで又はそれを超えて維持されるとき、ネットワーク帯域幅又はバッファ・サイズにおける低下を見ようが見まいが、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトでビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、体感品質の同じレベルを維持するために、現在のビットレートよりも高いものを必要とする将来のビデオセグメントを予見するとき、ネットワーク帯域幅又はバッファ・サイズにおける低下を見て若しくは見ることもなく、より低いビットレート及び／又はより低い解像度のストリームにスイッチすることによって、帯域幅を節約し、再バッファリングの可能性を低下させ、全体の体感品質を改善し、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトでビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、ネットワーク帯域幅又はバッファ・サイズにおける増加を見て若しくは見ることなく、より高いビットレートのストリーム及び／又はより高い解像度ストリームにスイッチすることにより、そのようなスイッチングがなければ体感品質が閾値よりも低下するとき、及び、より高いビットレート・ストリームと次のセグメントでの現在のストリームとの間の体感品質における絶対差がもう１つの閾値よりも低いとき、体感品質の現在のレベル及び滑らかさを維持するために、クライアントサイトでビデオストリームの次のタイムセグメントの選択のストリーミング決定実行ステップを更に含む方法。
請求項１の方法であって、動的なプログラミング最適化は、最適化された経路を決定するビタビアルゴリズムを利用することを特徴とする方法。
ビデオ配信ネットワークにわたる適応型ビデオストリーミングのためのシステムであって、
ビデオ・ホスティング・サーバと、
ビデオＱｏＥの予測の判断材料と、及び
受信側クライアントサイトと、を含み、
（ａ）ビデオ・ホスティング・サーバが、同じビデオソースコンテンツから、異なるビットレート及び解像度の複数のビデオストリームを作り出し、そして、それらをタイムセグメントに分割し、
（ｂ）ビデオＱｏＥの予測の判断材料は、入力の１つとしてビデオソースコンテンツを有して、ビデオ準備段階中において、ビデオ・ホスティング・サイトにおいて、及び／又は、ビデオ配信ネットワーク内において、体感品質予測パラメータを得るため、ビデオストリームの各々のタイムセグメントの各々の体感品質予測を実行し、
（ｃ）受信側クライアントサイトへ、ビデオストリームに先立って又はビデオストリームと共に、体感品質予測パラメータが、送信され、
（ｄ）実際のユーザー体感品質を推定するために、及び、視聴者の体感品質（ＱｏＥ）推定を得るために、受信した体感品質予測パラメータ及びクライアント側ネットワーク、受信デバイス、及び、視聴環境情報が、受信側クライアントサイトで使用され、
（ｅ）ビデオストリームの各々のタイムセグメントの各々に対する視聴者のＱｏＥ推定のマトリクスは、クライアントサイトで作られ、
（ｆ）そのマトリクスに基づき、クライアントサイトでのビデオストリームの次の複数のタイムセグメントのシーケンスのジョイント選択のための動的なプログラミング最適化を実施することにより、平均の品質及び／又は体感品質の平滑さを最大化する、最適化された経路が決定され、及び
（ｇ）受信側クライアントサイトで、複数のビデオストリームのタイムセグメントから１つのタイムセグメントを選択するため、及び、ビデオストリームの次のタイムセグメントを要求するため、ビデオストリームの次の複数のタイムセグメントのシーケンスが使用される、
ことを特徴とするシステム。
ビデオ配信ネットワークにおけるビデオ・ホスティング・サイトから受信側クライアントサイトへ送信されるビデオストリームのためのクライアントサイトでの視聴者の体感品質推定を行うシステムであって、
ネットワークから体感品質（ＱｏＥ）予測パラメータを受信し、ここで、ＱｏＥ予測パラメータは、ビデオストリームのビデオソースコンテンツを有してビデオ準備段階中に推定され、
ネットワーク、受信デバイス、及び、視聴環境情報のクライアント側パラメータを受信し、
ビデオストリームの各々のタイムセグメントの各々の視聴者の体感品質推定を計算するため１つ又はそれ以上のインスタントクライアント側パラメータをネットワークから受信された体感品質予測パラメータに動的に配合し、
クライアントサイトでビデオストリームの各々のタイムセグメントの各々のユーザＱｏＥ推定のマトリクスを作り、
そのマトリクスに基づき、クライアントサイトでのビデオストリームの次の複数のタイムセグメントのシーケンスのジョイント選択のための動的なプログラミング最適化を実施することにより、平均の品質及び／又は体感品質の平滑さを最大化する、最適化された経路を決定し、
スマート・ストリーミング・モジュールを含み、及び
そのクライアント側パラメータが、１つ又はそれ以上の誤った送信及び／又はデコーディング、初期バッファリング及び再バッファリング、受信デバイスのピクセル解像度、受信デバイスの物理的サイズ、受信デバイス上のビデオ・フレーム・ピクセル解像度、ビデオ時間分解能、受信デバイス上のビデオ再生速度、視聴環境条件、ユーザー嗜好、ユーザー視覚条件、又は、ユーザーの期待を含むことを特徴とするシステム。
請求項１７のシステムであって、知覚の体感品質の予測の判断材料として、ＰＳＮＲ、ＳＳＩＭ、ＭＳ−ＳＳＩＭ、ＶＱＭ、ＭＯＶＩＥ及びＳＳＩＭｐｌｕｓのような、コンピュータによるフルリファレンス、リデュースドリファレンス、及び／又はノンリファレンスの客観的ビデオ品質評価のモデルが使用されることを特徴とするシステム。
請求項１７のシステムであって、体感品質の予測の判断材料として、異なる空間分解能及び／又は時間分解能に渡ってビデオ品質を比較することができるパラメータを生成するために、フルリファレンス及び／又はリデュースドリファレンス客観的知覚モデルが使用されることを特徴とするシステム。
請求項１７のシステムであって、視聴デバイスのタイプ及びセッティング、視聴デバイス上の再生ウィンドウの解像度、及び／又は、クライアントサイトでのビデオの視聴条件、に依存する知覚の体感品質を予測するパラメータを生成するために、客観的な知覚ビデオ品質モデルが使用されることを特徴とするシステム。
請求項１７のシステムであって、ビデオストリームの送信に先立って、又は、ビデオストリームの送信と共に、メタデータとして体感品質予測パラメータが送信されることを特徴とするシステム。
請求項１７のシステムであって、透かし若しくは隠れたメッセージとしてビデオストリーム内に埋め込まれる体感品質予測パラメータが送信されることを特徴とするシステム。
請求項１７のシステムであって、クライアントサイトでビデオストリームの次のセグメントの選択に関するストリーミング決定実行ステップが行われ、そして、体感品質推定が、ビデオストリームのビットレート、ビデオストリームの解像度、ネットワークの利用可能な帯域幅、及び、デコード速度、表示速度、バッファ・サイズ、及び受信デバイスのパワー、の１つ又はそれ以上を含む、他の利用可能な情報と組み合わされることを特徴とするシステム。
請求項１７のシステムであって、ビデオビットレート、ネットワーク帯域幅、デコード速度、表示速度、バッファ・サイズ、及びデバイスパワーの制約下で、最大の体感品質ビデオストリームを取り上げるクライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、アフォーダブルなより高いビットレート及び／又はより高い解像度ストリームにスイッチすることを、そのようなスイッチングがなく、体感品質が所定のターゲット閾値レベルで又はその上で維持されるとき、拒絶することにより、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、アフォーダブルなより高いビットレート及び／又はより高い解像度ストリームにスイッチすることを、そのようなスイッチングが閾値よりも低い体感品質の増加という結果になるとき、拒絶することにより、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、より低いビットレート及び／又はより低い解像度ストリームにスイッチすることによって、そのようなスイッチングが、閾値よりも低い体感品質の低下という結果となるとき、及び／又は、そのようなスイッチングにより体感品質が所定のターゲット閾値体感品質レベルで又はそれを超えて維持されるとき、ネットワーク帯域幅又はバッファ・サイズにおける低下を見ようが見まいが、帯域幅を節約するために、全体の体感品質を改善するために再バッファリングの可能性を減少させるために、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、体感品質の同じレベルを維持するために、現在のビットレートよりも高いものを必要とする将来のビデオセグメントを予見するとき、ネットワーク帯域幅又はバッファ・サイズにおける低下を見て若しくは見ることもなく、より低いビットレート及び／又はより低い解像度ストリームにスイッチすることによって、帯域幅を節約し、再バッファリングの可能性を低下させ、全体の体感品質を改善し、及び／又は、体感品質の滑らかさを維持するために、クライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、ネットワーク帯域幅又はバッファ・サイズにおける増加を見て若しくは見ることなく、より高いビットレートのストリーム及び／又はより高い解像度ストリームにスイッチすることにより、そのようなスイッチングがなければ体感品質が閾値よりも低下するとき、及び、より高いビットレート・ストリームと次のセグメントでの現在ストリームとの間の体感品質における絶対差がもう１つの閾値よりも低いとき、体感品質の現在のレベル及び滑らかさを維持するため、クライアントサイトで、ビデオストリームの次のタイムセグメントの選択に関するストリーミング決定実行ステップが行われることを特徴とするシステム。
請求項１７のシステムであって、動的なプログラミング最適化は最適化された経路を決定するビタビアルゴリズムを利用することを特徴とするシステム。