JP6080951B2 - 円滑な品質遷移を可能にする適応ストリーミングアウェアノード、エンコーダ及びクライアント - Google Patents

Description

本発明は、一般に、ビデオセグメント、即ち、利用可能なネットワークリソース及びクライアントリソースに応じて、異なるバージョン又は品質レベルにおいて配信され得る、数秒の典型的な長さを有するビデオアイテムの固定サイズ又は可変サイズのフラグメントの適応ストリーミングに関する。本発明は、特に、ビデオアイテムの要求される品質を変化させる必要があるようにネットワークリソース又はクライアントリソースが変化する場合、ビデオ品質、ビットレート及びプレイアウトバッファの充填レベルにおける変動を円滑にすることを目指す。

ビデオは、例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）適応ストリーミング（ＨＡＳ：ＨＴＴＰ ａｄａｐｔｉｖｅ ｓｔｒｅａｍｉｎｇ）のような、適応ストリーミング（ＡＳ）技術を使用してますます配信されている。ＨＡＳは、当該ＨＡＳが他のプロトコルよりも容易にファイアウォールを通過し、ＴＣＰから継承された固有の輻輳制御を有し、且つ、ＨＴＴＰキャッシングノード及びコンテンツ配信ネットワーク（ＣＤＮ：Ｃｏｎｔｅｎｔ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｎｅｔｗｏｒｋ）ノードなどの利用可能なＨＴＴＰインフラストラクチャを利用するため、容易に配備可能であるという利点を有する。

適応ストリーミングを使用して、ビデオアイテム、例えば、ビデオファイル又はストリームは、異なるバージョンで符号化され、利用可能とされる。異なるバージョンは、異なる品質レベル及び異なるビットレートを表す。特定の時点において、ビデオクライアントは、当該ビデオクライアント自身の測定値に基づいて、持続可能な最高の品質レベルを推定し、この持続可能な最高の品質レベルにおいてビデオアイテムを要求する。２つの連続した切り替え時間の間の間隔は、ビデオセグメントと呼ばれる。当該間隔に対応するビット列は、 − 品質バージョンと同数のビット列が存在することに留意されたい − チャンクと呼ばれる。換言すれば、ビデオクライアントは、利用可能なネットワークスループット、より具体的には、伝送制御プロトコル（ＴＣＰ）によって提供されるスループットを監視し、次のビデオセグメントのビデオビットレートを、当該ビデオセグメントを特定の品質で配信することを要求することによって、利用可能なネットワークスループットに一致させようと試みる。要求されるビットレートは、利用可能なビットレートと厳密には一致し得ないため、ビデオクライアントは、プレイアウトバッファを維持して、プレイアウトの休止又は中断を回避する必要がある。

従来のＨＴＴＰ適応ストリーミングの場合において、各セグメントは、プレイアウトのために利用可能な品質レベル及び必要とされるセグメントの観点からビデオアイテムを記述するマニフェストファイルと共に、ＨＴＴＰサーバを通じて利用可能となる。ビデオクライアントは、ＨＴＴＰサーバからのマニフェストファイルを要求することによって、プレイアウトを開始する。その後、ビデオクライアントは、各セグメントについてＨＴＴＰ−ＧＥＴ要求を送信することによって、ビデオセグメントをダウンロードし始める。所望の品質は、ＨＴＴＰ−ＧＥＴ要求において各ビデオセグメントについて指定される。ビデオクライアントは、各要求されたビデオセグメントの品質レベルを自律的に決めるクライアントヒューリスティックを組み入れている。クライアントヒューリスティックによる品質の選択は、本明細書において上述されたような、監視された利用可能なネットワークのスループットに基づくが、例えば、ディスプレイサイズ、サポートされるデコーダ及びクライアント装置の処理能力、並びにクライアントにおけるバッファの充填レベルなどの進行中のセッションに関連する付加的な情報等、クライアント端末の仕様のような他のパラメータを反映してもよい。

多くの場合、ビデオアイテムの２つの品質バージョン間の切り替えは、視聴者にとってあまりにも顕著な品質におけるジャンプ、あまりにも明白なビットレートにおけるジャンプ、及びあまりにも大きく、その結果、クライアントのヒューリスティックを再度切り替えさせる、プレイアウトバッファの充填レベルにおける変動につながる。２つの隣接する品質バージョンの場合でさえ、より高い品質／ビットレートのバージョンは、利用可能なネットワークのスループットを大きく超えることがある一方で、より低い品質／ビットレートのバージョンは、当該スループットに及ばないことがある。結果として、ビデオクライアントのアルゴリズムは、２つの隣接する品質バージョン間であまりにも頻繁に切り替わり、不快な品質のジャンプ及び視聴者体験につながる。

上記に定義された問題のための直接的な解決策は、ビデオアイテムのより多くの品質バージョンを予見することと、それに応じてビデオクライアントの知能を増加させて、切り替えるビットレートの粒度を洗練することとから成る。しかしながら、この解決策は、各ビデオアイテムのより多くの品質バージョンが、ビデオオンデマンド（ＶｏＤ）の状況では、ビデオサーバ及び中間ノードにおける、より多くの記憶容量を必要とし、又はライブストリーミングの状況では、ビデオクライアントがサービスを提供されるノードへのより高いネットワーク伝送容量を必要とするという不都合を有する。

必要とされる記憶容量及び伝送容量の増加が回避される異なる解決策では、トランスコーディングが、ビデオサーバ又は中間ＣＤＮノードにおいて実施され得る。デコーディング及びエンコーディングを通じて、そのようなトランスコーディング機能は、クライアントによって要求される場合、既存のものから新しい品質バージョンを構築し得る。しかしながら、トランスコーダを有する異なる解決策は、当該トランスコーダにおけるデコーディング及びエンコーディングを可能にするために、ビデオサーバ及び中間ＣＤＮノードにおける処理能力の実質的な増加を必要とする。

本発明の目的は、ビデオサーバ及びＣＤＮノードについての必要とされる記憶容量又は処理能力に実質的に影響を及ぼすことなく、且つ、必要とされるネットワーク転送容量に影響を及ぼすことなく、従来の適応ストリーミングにおけるビットレート、バッファ充填レベル及び品質における高い変動の上記に定義された技術的問題を解決する適応ストリーミングアウェア（ａｗａｒｅ）ネットワークノード、適応ストリーミングアウェアクライアント、及びビデオエンコーダを開示することである。

本発明によれば、上記に定義された目的は、ビデオアイテムのビデオセグメントをクライアントへストリーミングすることが可能な、請求項１によって定義される適応ストリーミングアウェアネットワークノードによって実現され、ビデオアイテムは、複数の品質バージョンにおいて利用可能であり、複数の品質バージョンは、同じ画像アスペクト比を有し、複数の品質バージョンにおける対応するビデオスライスは、等しい画像部分についてのビット列を含むように前処理され、当該適応ストリーミングアウェアネットワークノードは：
− ビデオアイテムのビデオセグメントについてのクライアントからの要求を受信及び解釈するための要求受信手段であって、当該要求は、任意の要求される品質を指定する、要求受信手段と、
− 任意の要求される品質に一致する割合で複数の品質バージョンからビデオセグメントについてのビデオスライスを比例的に選択するためのスライス選択手段と、
− 比例的に選択されたビデオスライスから成るビデオセグメントをクライアントへストリーミングするためのストリーミング手段と、
を備える。

従って、本発明は、ビデオサーバ又は中間ノード内のメカニズムにおいて、要求されたビデオセグメントについて、クライアントによって要求された如何なる任意の品質のビット列又はチャンクも構築することを予期する。ビット列は、要求される任意の品質／ビットレートに一致することを可能にする量又は比で既存の品質バージョンのビデオスライスを選ぶことによって構築される。そのようなビデオスライスは、独立して復号され得るマクロブロックのセットである。マクロブロックは、例えば、１６×１６画素の基本ブロックである。ビデオスライスに対応するビット列は、ネットワーク適合層（ＮＡＬ：Ｎｅｔｗｏｒｋ Ａｄａｐｔａｔｉｏｎ Ｌａｙｅｒ）ユニットと呼ばれる。従って、本発明は、所望の任意の品質レベル、典型的には、そのＮＡＬユニットが選択され、比例的に組み合わされた複数の品質バージョンの中間の品質レベルに一致又は近似する、要求されたビデオセグメントについてのチャンクを構築するために、例えば、ビデオアイテムの２つの隣接する品質バージョンからＮＡＬユニットをインテリジェントに選択する。

本発明によるノードは、利用可能な品質バージョンにおけるビデオスライスを利用するため、デコーディング及びエンコーディングはＮＡＬユニット選択処理において必要とされず、その結果、ビデオサーバ及び／又はＣＤＮノードにおける必要とされる処理能力が悪影響を受けない。ビデオアイテムの付加的な品質バージョンは予期及び記憶されないため、ビデオサーバ及びＣＤＮにおいて必要とされる全体的な記憶容量、並びに全体的なネットワーク伝送容量も影響を受けない。

品質の劣化を回避するために、ビデオスライス又はＮＡＬユニットは、好適には、独立して、即ち、現在復号されるビデオスライス又はＮＡＬユニットとは異なるビデオアイテムの品質／ビットレートのバージョンから選択されている可能性がある、過去に復号されたビデオセグメントのＮＡＬユニットに依拠することなく、復号され得る。独立し復号され得るＮＡＬユニットを有するために、ビデオアイテムの異なる品質バージョンにおけるビデオスライスは、等しい画像部分についてのビット列、即ち、画像内の同じ領域を表すビット列を含むように前処理されることが必要である。換言すれば、スライスはビデオセグメントによって異なり得るが、ビデオスライスは、異なる品質バージョンにわたって揃えられなければならない。下記により詳細に説明されるように、等しい動きベクトルは、異なる品質バージョンの対応するビデオフレームにおいて符号化されること、及び、異なる品質バージョンにおけるフレームモードの遷移は同期されることが、さらに好適である。異なる品質バージョンが同じ画像アスペクト比、即ち、同じ幅／高さのアスペクト比、例えば、４：３又は１６：９を有することは、本発明についてのさらなる必要条件である。

請求項２によって定義される、本発明による適応ストリーミングアウェアネットワークノードの第１の実施形態では、スライス選択手段が、ビデオアイテムの第１の品質バージョン及び第２の品質バージョンから、任意の要求される品質／ビットレートに一致するように決定されたそれぞれの確率で、ビデオスライスをランダムに又は疑似ランダムに選択するように構成される。

従って、第１の実施形態において、ビデオスライスは、ビデオアイテムの第１の品質バージョンからは確率Ｐで、第２の品質バージョンからは確率１−Ｐで、ランダムに又は疑似ランダムに選ばれる。第１の品質バージョン及び第２の品質バージョンは、典型的には、第１の品質バージョンが任意の要求される品質よりも低い品質／ビットレートを有し、第２の品質バージョンが当該任意の要求される品質よりも高い品質／ビットレートを有する、連続する品質バージョンである。Ｐは、第１の品質／第１のビットレートのスライスと第２の品質／第２のビットレートのスライスとの比が、任意の要求される品質に一致又は近似することを可能にするように決定される。

請求項３によって定義される、本発明による適応ストリーミングアウェアネットワークノードの第２の実施形態では、スライス選択手段が、ビデオアイテムの第１の量のビデオスライスを第１の品質バージョンから、ビデオアイテムの第２の量のビデオスライスを第２の品質バージョンから選択するように構成され、当該第１の量及び第２の量は、任意の要求される品質に一致するように決定される。

従って、第２の実施形態において、ビデオスライスは、ビデオアイテムの第１の品質バージョン及び第２の品質バージョンから決定論的手法で選ばれる。ここでも、第１の品質バージョン及び第２の品質バージョンは、典型的には、第１の品質バージョンが任意の要求される品質よりも低い品質／ビットレートを有し、第２の品質バージョンが当該任意の要求される品質よりも高い品質／ビットレートを有する、連続する品質バージョンである。第１の品質／第１のビットレートのスライスと第２の品質／第２のビットレートのスライスとの比は、任意の要求される品質に一致又は近似するように決定される。

請求項４によって定義される、本発明による適応ストリーミングアウェアネットワークノードの第３の実施形態では、スライス選択手段が、第１の意味論的意味を有する第１の量のビデオスライスを第１の品質バージョンのビデオアイテムから、第２の意味論的意味を有する第２の量のビデオスライスを第２の品質バージョンのビデオアイテムから選択するように構成され、当該第１の量及び第２の量は、任意の要求される品質に一致するように決定される。

従って、第３の実施形態において、ビデオスライスは、ビデオアイテムの第１の品質バージョン及び第２の品質バージョンから決定論的手法でも選ばれる。ここでも、第１の品質バージョン及び第２の品質バージョンは、典型的には、第１の品質バージョンが任意の要求される品質よりも低い品質／ビットレートを有し、第２の品質バージョンが当該任意の要求される品質よりも高い品質／ビットレートを有する、連続する品質バージョンである。第３の実施形態において、例えば、前景スライスのような、主観的な品質体験により大きな影響を有するスライスは、第２のより高い品質／ビットレートのバージョンから選択されるのに対して、例えば、背景スライスのような、主観的な品質体験により低い影響を有するスライスは、第１のより低い品質／ビットレートのバージョンから選ばれる。換言すれば、スライスの意味論的意味は、どのスライスを第１のバージョンから選び、どのスライスを第２のバージョンから選ぶかを決定する際に考慮される。第１の品質／第１のビットレートのスライスと第２の品質／第２のビットレートのスライスとの比は、任意の要求される品質に一致又は近似するように決定される。

本発明による適応ストリーミングアウェアネットワークノードの第４の実施形態では、前記ビデオアイテムの第１の品質バージョンと第２の品質バージョンとが、有理数Ｎ’／Ｎだけ異なる解像度を有し、前記第１の品質バージョンにおけるＮ×Ｎ四方のマクロブロック、及び前記第２の品質バージョンにおける対応するＮ’×Ｎ’四方のマクロブロックについて、実質的に等しいコーディング決定が採用される。本発明の文脈において、第１の画像におけるマクロブロックのセットと第２の画像におけるマクロブロックのセットとの双方のセットが画像の表面領域の同じ一部をカバーする場合、第１の画像におけるマクロブロックのセット（それぞれスライスである）は、第２の画像におけるマクロブロックのセット（それぞれスライスである）に対応すると言われる。第４の実施形態におけるスライス選択は、第１、第２又は第３の実施形態と同様に実施され得る。

従って、第４の実施形態において、２つの品質バージョンは、有理数だけ異なる解像度を有すると仮定される。双方の解像度におけるスライス構造は、異なる解像度におけるスライスが双方の解像度において画像の表面領域の同じ一部をカバーするという意味で対応するようにやはり選択される。さらに、第１の品質バージョンにおけるＮ^２四方のマクロブロックの一部を形成するマクロブロック、及び第２の品質バージョンにおけるＮ’^２四方のマクロブロックの一部を形成する対応するマクロブロックについては、実質的に等しいコーディング決定が採用され、例えば、動きベクトルは、できる限り同様のものが選択され、モード選択は、これら全てのマクロブロックについて同じものが選択されるように、エンコーディング処理は、第４の実施形態において制限される。これにより、第１の実施形態と同様に、即ち、確率Ｐでランダムに、第２の実施形態と同様に、即ち、部分的に決定論的手法で、又は、第３の実施形態と同様に、即ち、スライスの意味論的意味を考慮に入れてすることができる、ＮＡＬユニット選定処理からの歪みがより少なくなるという結果になる。

請求項１によって定義されるような適応ストリーミングアウェアネットワークノードに加えて、本発明は、請求項６によって定義されるような、ビデオアイテムのビデオセグメントをクライアントへストリーミングするための対応する方法に関連し、ビデオアイテムは、複数の品質バージョンにおいて利用可能であり、複数の品質バージョンは、同じ画像アスペクト比を有し、複数の品質バージョンにおける対応するビデオスライスは、等しい画像部分についてのビット列を含むように前処理され、当該方法は、
− ビデオアイテムのビデオセグメントについてのクライアントからの要求を受信及び解釈するステップであって、当該要求は、任意の要求される品質を指定する、受信及び解釈するステップと、
− 任意の要求される品質に一致する割合で複数の品質バージョンからビデオセグメントについてのビデオスライスを比例的に選択するステップと、
− 比例的に選択されたビデオスライスから成るビデオセグメントをクライアントへストリーミングするステップと、
を含む。

請求項７によって定義されるように、本発明は、同じ画像アスペクト比を有する複数の品質バージョンにおけるビデオアイテムのビデオセグメントを符号化することが可能な適応ストリーミングビデオエンコーダにさらに関与し、当該適応ストリーミングビデオエンコーダは、複数の品質バージョンの対応するビデオスライスにおいて、等しい画像部分についてのビット列を符号化するように構成される。

実際には、本発明は、ビデオアイテムの複数のバージョンのビデオスライスを組み合わせて、任意の要求される品質に近似させるため、異なるバージョンにおける対応するビデオスライスは、当該ビデオアイテム内の画像の同じ領域を表さなければならない。ビデオスライスによって表される領域は、任意の形状とすることができ、フレームによって変わり得るが、エンコーダは、ビデオアイテムの全てのバージョンにおける対応するスライスが、同じ画像部分又は表面領域についてのビット列又はチャンクを含むような手法で、異なるバージョンを前処理しなければならない。換言すれば、ビデオアイテムの異なる品質バージョンのスライス間には、１対１のマッピングが存在しなければならない。さもなければ、ビデオアイテムの複数のバージョンから選ばれるスライスの任意の選択は、完全な画像又はフレームを表さないであろう。

請求項８によって定義される随意的な態様によれば、本発明による適応ストリーミングビデオエンコーダは、複数の品質バージョンの対応するビデオフレームにおいて、等しい動きベクトルを使用するようにさらに構成され得る。

異なるバージョンは、Ｉフレーム、又は、独立して、即ち、より早期に受信されたフレームを使用せずに、復号され得るフレームを含む。ビデオスライスは異なるバージョン間で揃えられるため、Ｉフレームも揃えられる。他のタイプのフレーム、即ち、Ｐフレーム又はＢフレームは、復号されるために、より早期に受信されたフレームからの情報を使用する。必要とされる、より早期に受信されたフレームは、フレームを伴い、当該より早期に受信されたフレームにおける画素値を指し示す動きベクトルによって参照される。本発明を実施する場合、即ち、複数の品質バージョンからビデオスライスを選択する場合、エンコーディング上の制限は、好適には、異なるバージョンの対応するＰスライス及びＢスライスにおいて、（考慮された品質バージョンの双方の解像度間のスケーリングファクタを考慮に入れて）動きベクトルが同一とされることである。これにより、ビデオアイテムの異なる品質バージョンからの対応するスライスが異なる動きベクトルを含んでおり、その結果として、より早期に受信されたフレームにおいて参照される画素が、選択されたスライスに依存する状況と比較して、ノイズが低減される。

請求項９によって定義される別の随意的な態様によれば、本発明による適応ストリーミングビデオエンコーダは、複数の品質バージョンにおけるフレームモードの遷移を同期させるようにさらに構成され得る。

実際には、Ｐフレームについて容認可能な動きベクトルを見つけることができない場合、例えば、より早期に受信されたフレームからの情報を新たなフレームを生成／復号するために使用することができないシーン変化の場合において、フレームは、独立して復号され得るＩフレームとして符号化される。そのようなフレームモード変化又はフレームモード遷移も、好適には、本発明が適用される場合にノイズを低減するために、異なる品質バージョンにわたって調整される。

請求項７によって定義されるような適応ストリーミングビデオエンコーダに加えて、本発明は、同じ画像アスペクト比を有する複数の品質バージョンにおけるビデオアイテムのビデオセグメントを符号化するための対応する方法にも関連し、当該方法は、複数の品質バージョンの対応するビデオスライスにおいて、等しい画像部分についてのビット列を符号化するステップを含む。この方法は、請求項１０によって定義される。

本発明は、請求項１１によって定義されるような、ビデオアイテムのビデオセグメントを要求し、受信し、復号することが可能な適応ストリーミングアウェアクライアントにもさらに関連し、ビデオアイテムは、複数の品質バージョンにおいて利用可能であり、複数の品質バージョンは、同じ画像アスペクト比を有し、複数の品質バージョンにおける対応するビデオスライスは、等しい画像部分についてのビット列を含むように前処理され、当該適応ストリーミングアウェアクライアントは、
− ビデオアイテムのビデオセグメントについての要求を生成するための要求生成手段であって、当該要求は、複数の品質バージョンのうちのいずれとも一致しない任意の要求される品質を指定する、要求生成手段
を備える。

従って、本発明による適応ストリーミングアウェアクライアントは、如何なる任意の品質のビデオセグメントも要求することが可能とされる。当該適応ストリーミングアウェアクライアントは、もはやマニフェストファイル内に列挙される品質バージョンに制限されず、如何なる中間品質におけるビデオセグメントも配信するように要求することができる。中間バージョンは、本発明によるサーバによって、要求される任意の品質レベルに近似するような相対的比率で、異なる既存の品質バージョンからスライスを選ぶことによって、構築される。クライアントは、監視されたスループット、プレイアウトバッファの充填レベル、及び最終的な他のパラメータに応じて、要求される品質レベルを決定し、もはや算出された所望の品質レベル／ビットレートをマニフェストファイル内に列挙された最も近い利用可能な品質レベルにマッピングする必要はない。

請求項１２によって定義される、本発明による適応ストリーミングアウェアクライアントのさらなる実施形態において、当該クライアントは：
− 複数の品質バージョンにおけるビデオアイテムのビデオスライスの利用可能性を記述するマニフェストファイルを受信及び解釈するためのマニフェストファイル受信手段と、
− ビデオセグメントにおける各ビデオスライスについての要求される品質バージョンを選択するための各スライス品質選択手段であって、当該要求される品質バージョンは、任意の要求される品質に一致する割合で複数の品質バージョンから比例的に選択される、各スライス品質選択手段と、
をさらに備え、
− 要求生成手段が、各ビデオスライスについて要求される品質バージョンを指定する要求を生成するように構成される。

従って、任意の中間品質レベルに近似させるために、異なる品質バージョンからビデオスライスを比例的に選択するためのインテリジェンスが、サーバの代わりにクライアントに統合される本発明の実施形態が予期される。そのようなクライアントは、各ビデオスライスについて、品質レベルを指定する要求を送信しなければならない。そうすることが可能であるために、クライアントは、各ビデオスライスが利用可能な品質レベルを熟知していなければならない。この情報は、マニフェストファイルにおいて指定され得る。各ビデオスライスについて品質バージョンを選択するために、クライアントは、本発明のサーバの実施について上述されたものと同様のアルゴリズムを適用し得る：スライスは、確率を使用して、異なる品質バージョンから比例的に選択されてもよいし、スライスは、決定論的な様式で、異なる品質バージョンから比例的に選択されてもよいし、又は、当該スライスは、それらの意味論的意味を考慮に入れて、異なる品質バージョンから選択されてもよい。

請求項１１によって定義されるような適応ストリーミングアウェアクライアントに加えて、本発明は、請求項１３によって定義されるような、ビデオアイテムのビデオセグメントを要求し、受信し、復号するための対応する方法にも関連し、ビデオアイテムは、複数の品質バージョンにおいて利用可能であり、複数の品質バージョンは、同じ画像アスペクト比を有し、複数の品質バージョンにおける対応するビデオスライスは、等しい画像部分についてのビット列を含むように前処理され、当該方法は：
− ビデオアイテムのビデオセグメントについての要求を生成するステップであって、当該要求は、複数の品質バージョンのうちのいずれとも一致しない任意の要求される品質を指定する、生成するステップ
を含む。

従来技術による、ＨＡＳサーバとＨＡＳクライアントとの間の適応ビデオストリーミングの図である。 本発明によるＨＡＳエンコーダによる前処理を例示する図である。 本発明による、ＨＡＳサーバとＨＡＳクライアントとの間の適応ビデオストリーミングの図である。 本発明によるＨＡＳアウェアサーバの実施形態における、ビデオスライスの意味論的意味ベースの選択を例示する図である。

図１は、従来技術による適応ストリーミングの技術的問題を例示する。図１Ｄは、ビデオアイテムが提示される２つの隣接する品質レベル１１６及び１１７を示す。ＨＡＳサーバ１０１は、ＨＡＳクライアント１０３に、品質レベル１１６及び１１７の存在を、いわゆるマニフェストファイルを介して通知する。幾つかの連続するビデオセグメントの期間中のこれらの品質レベル１１６及び１１７の各々に関連付けられるビットレートは、図１Ａに描かれており、それぞれ１１１及び１１２と参照される。ＨＡＳクライアントは、ネットワーク１０２内の利用可能な帯域幅又はビットレートを推定する。推定された利用可能な帯域幅は、図１Ｂにおいて１１３と参照される。ＨＡＳクライアント１０３は、次いで、推定された利用可能な帯域幅１１３に応じて、それぞれの品質レベルにおける連続するビデオセグメントを要求することによって、ビットレート１１４を利用可能なビットレート１１３に一致させようと試みる。この要求される品質レベル１１８は、図１Ｅによって例示される。

従来技術において、１１６及び１１７のような２つの隣接する品質バージョン間の切り替えは、多くの場合、あまりに粗い。これは、あまりに顕著な１１８における品質のジャンプ、及びあまりに明白なビットレート１１４におけるジャンプを引き起こす。上記２つのうちのより高いビットレートのバージョン１１６は、利用可能なネットワークスループットを大きく超える一方で、当該２つのうちのより低いビットレートのバージョン１１７は、それに及ばない。これは、ＨＡＳクライアント１０３に要求される品質レベルをあまりに頻繁に切り替えさせる、ビデオプレイアウトバッファの大きな変動を引き起こす。

本発明は、ビデオアイテムの異なる品質バージョンにおける対応するマクロブロックのセット又は対応するビデオスライスのために行われるある決定が同様であるように、適応ストリーミングのために複数の品質バージョンにおいて利用可能とされるビデオアイテムのエンコーディング処理を制限する。これは、図２によって例示されており、以下の段落においてさらに説明されるであろう。

１つの品質バージョンにおけるビデオスライスと別の品質バージョンにおけるビデオスライスとの双方のスライスが対応するマクロブロックの同じセットを含む場合、１つの品質バージョンにおけるビデオスライスは、ビデオアイテムの別の品質バージョンにおけるビデオスライスに対応する。これは、ビデオスライスが双方の品質バージョンにおける同じ関連する表面領域をカバーする場合に当てはまる。異なる品質バージョンにおける対応するスライスは対応するマクロブロックを含む必要があるという事実の他に、付加的な制限はない。ビデオスライスは、任意の形状とすることができ、フレームによって変わり得る。例えば、図２において、ビデオアイテムのｉ番目の品質バージョンにおけるフレーム２０１は、画像表面領域の上半分と下半分とをそれぞれカバーする第１のスライス２１１と第２のスライス２１２とを含む。第１のスライス２１１において、マクロブロックのセット２１３及び２１４が描かれている。同じビデオアイテムの（ｉ＋１）番目の品質バージョンにおける対応するフレーム２０２は、フレーム２０１におけるスライス２１１及び２１２にそれぞれ対応する第１のスライス２２１及び第２のスライス２２２を含む。ビデオスライス２２１及び２２２も、それぞれ画像表面領域の上半分と下半分とをカバーする。ビデオスライス２２１において、フレーム２０１におけるマクロブロックのセット２１３及び２１４にそれぞれ対応するマクロブロックのセット２２３及び２２４が描かれている。別の例において、第１のスライスは、例えば、（フレームの上半分の代わりに）前景をカバーし、別のスライスは、例えば、（フレームの下半分の代わりに）背景をカバーし得る。前景及び背景は、フレーム毎に展開し、その結果、スライスによってカバーされる表面領域もフレーム毎に展開し得る。

異なる品質バージョンのアスペクト比、即ち、異なる品質バージョンにおける画像又はフレームの高さ／幅の割合は、同じであると仮定される。さらに、（ｋ，ｌ）及び（ｋ’，ｌ’）は、それぞれビデオアイテムのｉ番目及び（ｉ＋１）番目の品質バージョンにおけるあるマクロブロックの座標であるとさらに仮定される。そのようなマクロブロックは、画素の基本ブロックであり、例えば、４：２：０の画像シーケンスにおける１６×１６四方のルマサンプル及び２つの対応する８×８のクロマサンプルから成る。ｉ番目の品質バージョンにおける画素の座標（ｋ，ｌ）と（ｉ＋１）番目の品質バージョンにおける画素の座標（ｋ’，ｌ’）が、関係：ｋ／Ｎ＝ｋ’／Ｎ’＝ｋ’’及びｌ／Ｎ＝ｌ’／Ｎ’＝ｌ’’に従い、ここで、当該対応に関連付けられるペア（ｋ’’，ｌ’’）は、双方のバージョンにおける画像又はフレームの全表面領域の同じ一部をカバーする領域を指定する場合、ｉ番目の品質バージョンにおけるＮ^２のマクロブロックのセットは、（ｉ＋１）番目の品質バージョンにおけるＮ’ ^２のマクロブロックのセットに一致する。ここで、Ｎ／Ｎ’は、ビデオアイテムのｉ番目と（ｉ＋１）番目の品質バージョンの解像度の割合を表し、ただし、ＮとＮ’とは互いに素であり、即ち、ＮとＮ’とは公約数を持たない整数値である。ＲＳ_ｉ＜ＲＳ_ｉ＋１、ただし、ＲＳ_ｉはｉ番目の品質バージョンの解像度であり、ＲＳ_ｉ＋１は（ｉ＋１）番目の品質バージョンの解像度であると、さらに仮定される。

対応するマクロブロック及びスライスの上記の定義は、Ｎ＝２とＮ’＝３の場合について図２に例示される。例えば、ｉ番目の品質バージョンのフレーム２０１における座標（０，０）、（０，１）、（１，０）及び（１，１）を有するマクロブロックのセット２１３は、（ｉ＋１）番目の品質バージョンのフレーム２０２における座標（０，０）、（０，１）、（０，２）、（１，０）、（１，１）、（１，２）、（２，０）、（２，１）及び（２，２）を有するマクロブロックのセット２２３に一致する。異なる品質バージョンが同じ解像度である場合、即ち、Ｎ＝Ｎ’の場合、対応するマクロブロックは、同じ座標を有するマクロブロックである。

要約すれば、本発明は、ビデオアイテムの異なる品質バージョン間の対応するスライスの１対１のマッピングが存在するように、スライス構造が選択されることを必要とする。特に、異なる品質バージョンにおけるスライスは、対応しなければならない。

ＨＡＳにおいては、各チャンクの最初のフレームがＩＤＲ即ちＩｎｓｔａｎｔａｎｅｏｕｓｌｙ Ｄｅｃｏｄｅｄ Ｒｅｆｒｅｓｈフレームであることが好適であることにさらに留意されたい。そのようなフレームは、Ｉスライスから構成される必要がある。なぜならば、切り替え点において、即ち、セグメントエッジにおいて、フレームは、以前のフレームを参照せずに復号可能であることが必要であるためである。これは、どのバージョンのフレームがクライアントにおいて利用可能となるかが確かではないためである。

本発明の実施は、図３によって例示される。サーバ３０１は、図３Ｄにおける品質３１６及び３１７をそれぞれ有する２つの隣接する品質バージョンのＮＡＬユニット又はスライスを選ぶ。アクセスユニットｋの各スライスｍ_ｋ（ｍ_ｋ＝１．．．Ｍ_ｋ）について、 − アクセスユニットは、１つの画像を復号するために必要とされるビット列を表す − 隣接する品質バージョン３１６及び３１７における２つの対応するＮＡＬユニットのうちのどちらが選択されるかが決められなければならない。この選択処理は、ランダムとするか、又は、下記の異なる実施形態を参照して説明されるように、ある規則によって行われることができる。第１の品質バージョン３１６から選択されるＮＡＬユニット／スライスと、第２の品質バージョン３１７から選択されるＮＡＬユニット／スライスとの割合は、ネットワーク３０２内で監視されるスループットに照らして、クライアント３０３によって要求される品質によって決定される。この監視されたスループット又は帯域幅は、図３Ｂにおいて３１３と参照されるのに対して、連続したビデオセグメントの期間中の品質バージョン３１６及び３１７に対応するビットレートは、図３Ａにおいて３１１及び３１２と参照される。従って、マニフェストファイルにおいて、公称ビットレートＲ_ｉ及びＲ_ｉ＋１（ただし、Ｒ_ｉ＜Ｒ_ｉ＋１）を有する２つの品質／ビットレートのバージョンが告知されることが仮定される。これらの品質バージョンは、それぞれ対応する品質Ｑ_ｉ又は３１７及びＱ_ｉ＋１又は３１６を有する。サーバ３０１による中間チャンクの構築は、各スライスについて公称ビットレートＲ_ｉ＋１を有するバージョンからのＮＡＬユニット、又は公称ビットレートＲｉを有するバージョンから対応するＮＡＬユニットを選ぶことから成る。ＮＡＬユニットの一部分Ｐが第１の品質バージョン３１６から選択され、一部分（１−Ｐ）が第２の品質バージョン３１７から選択される場合、公称ビットレートＰ・Ｒ_ｉ＋１＋（１−Ｐ）・Ｒ_ｉを有するチャンクが構築され、対応する品質は、Ｐ・Ｑ_ｉ＋１＋（１−Ｐ）・Ｑ_ｉに近くなるであろう。サーバ３０１は、２つの隣接するビットレートＲ_ｉとＲ_ｉ＋１との間の任意の公称ビットレートＲを得ることができるように、パラメータＰを決定する。これは、図３Ｃ及び図３Ｅによって例示される。クライアント３０３は、監視されたスループット３１３に照らして、任意の品質／ビットレートを要求する。サーバ３０１は、要求されたビデオセグメントを、要求された任意の品質／ビットレートに近似する品質／ビットレートで配信するために、パラメータＰを決定する。あるビデオセグメントは、第１の品質バージョンのビットレート３１１と第２の品質バージョンのビットレート３１２との間のビットレート３２０で配信される。このビデオセグメントはまた、第１の品質レベル３１６と第２の品質レベル３１７との間の品質３２１で配信される。結果として、品質レベル間で粗い遷移が行われず、ビットレートにおけるジャンプが行われない。

本発明の第１の実施形態において、ビデオアイテムの２つの品質バージョンは同じ解像度を有すると仮定され、スライス／チャンクの選択処理はランダムである。この実施形態では、Ｎ＝Ｎ’＝１であり、対応するスライスは、同じマクロブロックを含む。エンコーディング上の制限は、対応するＰスライス及びＢスライスにおいて、動きベクトルが再利用され、全ての対応するマクロブロックにおけるモード決定、即ち、マクロブロックがタイプＩ、Ｐ若しくはＢであるか否か、又はどのようにマクロブロックをより小さなブロックに分割するか、．．．ができる限り一貫して選択される、というものである。実際には、量子化の方法の決定のみが双方の対応するスライスにおいて異なる。対応するスライス（ｋ＝１．．．Ｋ及びｍ_ｋ＝１．．．Ｍ_ｋ）の各々について、２つのバージョンのうちの１つが、（ｉ＋１）番目の品質バージョンから確率Ｐでランダムに選ばれる。Ｐスライス又はＢスライスに関連付けられたＮＡＬユニットは、一方の品質バージョンから選択され得る一方で、他方の品質バージョンから選択されたＮＡＬユニットに基づいて復号されたフレームをその動きベクトルを介して指し示すため、わずかな品質低下の可能性がある。この特定のスライスの残差信号はエンコーダ内の残差信号と異なるため、付加的な歪みが存在するであろう。しかしながら、上記の規則に従う場合、この歪みは小さくなる。選択されたモードは対応するマクロブロックについて同じである必要があるという要件は緩和され得るが、これにより、新たに構築されるチャンクにおいて付加的な歪みが導入されるであろう。

本発明の第２の実施形態において、２つの品質のバージョンは、同じ解像度を有するものとここでも仮定され、選択処理は、品質における漸進的な増加又は減少を目指す。この第２の実施形態において、エンコーディング上の制限は第１の実施形態のものと同一であるが、ＮＡＬユニット選択処理が異なる。ビットレートの漸進的な増加又は減少も同様に実施される。以下においては、漸進的な減少のみが詳細に説明される。各アクセスユニットｋ（ｋ＝１．．．Ｋ）は、ＮＡＬユニット選択処理期間中に、表示順に１つずつアクセスされる。ｋ番目のアクセスユニット（ｍ_ｋ＝１．．．Ｍ_ｋ）の各ＮＡＬユニットは、確率Ｐ＝１−（ｋ−１）／（Ｋ−１）で（ｉ＋１）番目の品質バージョンから選ばれる。このランダムな選択処理は、部分的に決定論的なものによって置換され得る。各々１０個のスライスを含む、１１個のアクセスユニットがチャンク内に存在すると想定すると、最初のアクセスユニット内の全てのＮＡＬユニットは、（ｉ＋１）番目の品質バージョンから選ばれ得る。その次のアクセスユニットでは、９個から１０個のＮＡＬユニットが（ｉ＋１）番目の品質バージョンから選ばれ、その次のものでは、８個から１０個のＮＡＬユニットが（ｉ＋１）番目の品質バージョンから選ばれる等である。

本発明の第３の実施形態において、２つの品質のバージョンは、同じ解像度を有するものとここでも仮定され、選択処理は、スライスの重要性に依存する。この第３の実施形態において、エンコーダの制限は、ここでも第１の実施形態のものに等しいが、ＮＡＬユニット選択処理が異なる。画像において、スライスは、品質バージョンを選択するために使用されることができる意味論的意味を有するものと仮定される。例えば、図４に例示されるように、前景のスライス及び背景のスライスがあり得る。ｉ番目の品質バージョンにおいて、画像４０１は、背景画素の第１のスライス４１１と前景画素の第２のスライス４１２とを有し得る。（ｉ＋１）番目の品質のバージョンにおいて、対応する画像４０２は、背景画素の対応する第１のスライス４２１と前景画素の対応する第２のスライス４２２とを有する。ｉ番目の品質のバージョンにおける対応するチャンクは、ＮＡＬユニット４３１及び４３２を含む。同様に、（ｉ＋１）番目の品質のバージョンにおける対応するチャンクは、ＮＡＬユニット４４１及び４４２を含む。新たに構築されるスライス／チャンクにおいて、最高品質のＮＡＬユニット４４２が各前景スライスについて選ばれる一方で、背景スライスについては、要求される中間の品質と一致するように尊重されるべき第１の品質レベルのスライス／第２の品質レベルのスライスの割合が必要とする範囲で、最低品質のＮＡＬユニット４３１が選択される。ビデオアイテムの複数の品質バージョンからのスライスの意味論的意味ベースの選択が、第２の実施形態２に関連して本明細書において上述されたような、品質を漸進的に増加又は低下させるための技術と組み合わせられ得ることは明らかである。

第４の実施形態において、２つの品質のバージョンは、有理数だけ異なる解像度を有すると仮定される。双方の解像度におけるスライス構造は、異なる解像度におけるスライスが一致するように選択される。さらに、（ビットレートＲ_ｉの）ｉ番目の品質バージョンにおけるＮ^２四方のマクロブロックの一部を形成するマクロブロック、及び（ビットレートＲ_ｉ＋１の）（ｉ＋１）番目の品質バージョンにおけるＮ’^２四方のマクロブロックの一部を形成する対応するマクロブロックについて、できる限り同様のコーディング決定が採用され、例えば、動きベクトルは、できる限り同様のものが選択され、モード選択は、これら全てのマクロブロックについて同じものが選択されるように、エンコーディング処理は制限される。より多くの決定が共通して行われるほど、本発明によるＮＡＬユニット選定処理に由来する歪みは少なくなるが、コーデックは、最適なレート歪曲線から大きく逸れるであろう。ＮＡＬユニット選択処理は、第１の実施形態と同様に、即ち、確率Ｐによりランダムに、第２の実施形態と同様に、即ち、決定論的手法で、又は、第３の実施形態と同様に、即ち、スライスの意味論的意味を考慮に入れてすることができる。

本発明は、特定の実施形態を参照することによって例示されてきたが、本発明が前述の例示的な実施形態の詳細に限定されないこと、及び、本発明がその範囲から逸脱することなく様々な変更及び変形と共に具現化され得ることは、当業者には明らかであろう。そのため、本実施形態は、あらゆる点において例示のためのものであって、制限するものではないとみなされるべきであり、本発明の範囲は、前述の説明によってではなく、むしろ添付の特許請求の範囲によって示され、そのため、特許請求の範囲と均等の意味及び範囲内に収まる全ての変更は、当該意味及び範囲内に包含されることが意図される。換言すれば、基本的な原理の範囲内に入り、且つ、それらの本質的な属性が本特許出願において請求項に記載されている任意及び全ての変形、バリエーション又は均等物をカバーすることが予期される。さらに、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」又は「ｃｏｍｐｒｉｓｅ（備える、含む）」という用語は他の要素又はステップを排除しないこと、「ａ」又は「ａｎ」という用語は複数を排除しないこと、及びコンピュータシステム、プロセッサ、又は別の一体化されたユニットなどの単一の要素が、特許請求の範囲において記載される幾つかの手段の機能を実現し得ることが、本特許出願の読者によって理解されるであろう。特許請求の範囲における如何なる参照符号も、関与するそれぞれの請求項を限定するものとして解されるべきではない。「第１の」、「第２の」、「第３の」、「ａ」、「ｂ」、「ｃ」等の用語は、明細書又は特許請求の範囲において使用される場合、同様の要素又はステップ間を区別するために導入され、必ずしも順序又は時系列を記載するわけではない。同様に、「上部（ｔｏｐ）」、「底部（ｂｏｔｔｏｍ）」、「上に（ｏｖｅｒ）」、「下に（ｕｎｄｅｒ）」等の用語は、記述的な目的のために導入され、必ずしも相対的な位置を表すために導入されるわけではない。そのように使用される用語は適当な状況下では互換可能であり、本発明の実施形態は、他の順序において、又は上記に記載され若しくは例示された（１つ又は複数の）配向とは異なる配向において、本発明に従って動作することが可能であることが理解されるべきである。

Claims (8)

1. ビデオアイテムのビデオセグメントをクライアント（３０３）へストリーミングすることが可能な適応ストリーミングアウェアネットワークノード（３０１）であって、前記ビデオアイテムは、複数のフレームを有し、各フレームは複数のビデオスライスを有し、前記ビデオアイテムは、複数の品質バージョン（３１６、３１７）において利用可能であり、前記複数の品質バージョン（３１６、３１７）は、同じ画像アスペクト比を有し、前記複数の品質バージョン（３１６、３１７）における対応する各フレームの対応するビデオスライス（４１１、４２１；４１２、４２２）は、等しい画像部分についてのビット列を含むように前処理される、適応ストリーミングアウェアネットワークノード（３０１）において、
   前記ビデオアイテムのビデオセグメントについての前記クライアント（３０３）からの要求を受信及び解釈するための要求受信手段であって、前記要求は、任意の要求される品質を指定する、要求受信手段と、
   前記ビデオセグメントについて、前記任意の要求される品質に一致する割合で前記複数の品質バージョン（３１６、３１７）の前記対応する各フレームからビデオスライス（４３１、４４２）を比例的に選択するためのスライス選択手段と、
   各々の新たなフレームが比例的に選択された前記ビデオスライス（４３１、４４２）から成る、複数の該新たなフレームにより構成される前記ビデオセグメントを前記クライアント（３０３）へストリーミングするためのストリーミング手段と、
   を備える、適応ストリーミングアウェアネットワークノード（３０１）。
2. 前記スライス選択手段が、前記ビデオアイテムの第１の品質バージョン（３１７）及び第２の品質バージョン（３１６）から、前記任意の要求される品質に一致するように決定されたそれぞれの確率で、ビデオスライス（４３１、４４２）をランダム又は疑似ランダムに選択するように構成される、
   請求項１に記載の適応ストリーミングアウェアネットワークノード（３０１）。
3. 前記スライス選択手段が、前記ビデオアイテムの第１の量のビデオスライス（４３１）を第１の品質バージョン（３１７）から、前記ビデオアイテムの第２の量のビデオスライス（４４２）を第２の品質バージョン（３１６）から選択するように構成され、前記第１の量及び前記第２の量は、前記任意の要求される品質に一致するように決定される、
   請求項１に記載の適応ストリーミングアウェアネットワークノード（３０１）。
4. 前記スライス選択手段が、第１の重要性を有する第１の量のビデオスライス（４３１）を第１の品質バージョン（３１７）から、第２の重要性を有する第２の量のビデオスライス（４４２）を第２の品質バージョン（３１６）から選択するように構成され、前記第１の量及び前記第２の量は、前記任意の要求される品質に一致するように決定される、
   請求項１に記載の適応ストリーミングアウェアネットワークノード（３０１）。
5. 前記ビデオアイテムの第１の品質バージョンと第２の品質バージョンとが、有理数Ｎ’／Ｎだけ異なる解像度を有し、
   前記第１の品質バージョンにおけるＮ×Ｎ四方のマクロブロック、及び前記第２の品質バージョンにおける対応するＮ’×Ｎ’四方のマクロブロックについて、実質的に等しいコーディング決定が採用される、
   請求項２又は請求項３又は請求項４に記載の適応ストリーミングアウェアネットワークノード（３０１）。
6. ビデオアイテムのビデオセグメントをクライアント（３０３）へストリーミングするための方法であって、前記ビデオアイテムは、複数のフレームを有し、各フレームは複数のビデオスライスを有し、前記ビデオアイテムは、複数の品質バージョン（３１６、３１７）において利用可能であり、前記複数の品質バージョン（３１６、３１７）は、同じ画像アスペクト比を有し、前記複数の品質バージョン（３１６、３１７）における対応する各フレームの対応するビデオスライス（４１１、４２１；４１２、４２２）は、等しい画像部分についてのビット列を含むように前処理される、方法において、
   前記ビデオアイテムのビデオセグメントについての前記クライアント（３０３）からの要求を受信及び解釈するステップであって、前記要求は、任意の要求される品質を指定する、受信及び解釈するステップと、
   前記ビデオセグメントについて、前記任意の要求される品質に一致する割合で前記複数の品質バージョン（３１６、３１７）の前記対応する各フレームからビデオスライス（４３１、４４２）を比例的に選択するステップと、
   各々の新たなフレームが比例的に選択された前記ビデオスライス（４３１、４４２）から成る、複数の該新たなフレームにより構成される前記ビデオセグメントを前記クライアント（３０３）へストリーミングするステップと、
   を含む、方法。
7. ビデオアイテムのビデオセグメントを要求し、受信し、復号することが可能な適応ストリーミングアウェアクライアント（３０３）であって、前記ビデオアイテムは、複数のフレームを有し、各フレームは複数のビデオスライスを有し、前記ビデオアイテムは、複数の品質バージョン（３１６、３１７）において利用可能であり、前記複数の品質バージョン（３１６、３１７）は、同じ画像アスペクト比を有し、前記複数の品質バージョン（３１６、３１７）における対応する各フレームの対応するビデオスライス（４１１、４２１；４１２、４２２）は、等しい画像部分についてのビット列を含むように前処理される、適応ストリーミングアウェアクライアント（３０３）において、
   前記ビデオアイテムのビデオセグメントについての要求を生成するための要求生成手段であって、前記要求は、前記複数の品質バージョン（３１６、３１７）のうちのいずれとも一致しない任意の要求される品質を指定する、要求生成手段と、
   前記複数の品質バージョン（３１６、３１７）における前記ビデオアイテムのビデオスライスの利用可能性を記述するマニフェストファイルを受信及び解釈するためのマニフェストファイル受信手段と、
   前記ビデオセグメントにおける各ビデオスライスについての要求される品質バージョンを選択するための各スライス品質選択手段であって、前記要求される品質バージョンは、前記任意の要求される品質に一致する割合で前記複数の品質バージョン（３１６、３１７）から比例的に選択される、各スライス品質選択手段と、
   を備え、
   前記要求生成手段が、各ビデオスライスについて前記要求される品質バージョンを指定する要求を生成するように構成される、
   適応ストリーミングアウェアクライアント（３０３）。
8. 前記要求は、前記複数の品質バージョン（３１６、３１７）のうちのいずれとも一致しない任意の要求される品質を指定する、請求項６に記載の方法。

Images