JP2024516366A - ブロック重要性マッピング - Google Patents

Abstract

ピクチャを符号化するための方法が提供される。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側の各ピクチャについて、第１の誤差値Ｅを算出することであって、第１の誤差値Ｅが、現在ピクチャの第１のブロックサイズのブロックのセットのうちの各ブロックについて算出され、現在ピクチャのそれぞれのブロックとピクチャ中の対応するブロックとに基づく、第１の誤差値Ｅを算出することを含む。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側の各ピクチャについて、ピクチャに対応する第２の誤差値Ｅ’を生成するために、第２のブロックサイズのブロック中に含まれている第１のブロックサイズのブロックのセットのうちの各ブロックについて第２のブロックサイズのブロックにわたって第１の誤差値Ｅをアグリゲートすることを含む。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側のピクチャのうちの１つまたは複数に対応する第２の誤差値Ｅ’に少なくとも部分的に基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて重要性スコアを算出することをさらに含む。本方法は、重要性スコアに基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて量子化パラメータ（ＱＰ）値の変化を算出することを含む。本方法は、ＱＰ値の変化をエンコーダにシグナリングすることを含む。【選択図】図５

Description

本開示は、ビデオシーケンスおよび／または静止画像のコーディングおよび復号に関し、より詳細には、ブロック重要性マッピングに関する。

ビデオをコーディングするときの第１のステップは、静止ピクチャをコーディングすることである。次いで、予測のためにそのピクチャを使用することができる将来のピクチャがコーディングされる。次に、予測のために前にコーディングされたピクチャのいずれかを使用することができるピクチャがコーディングされる。この種類の階層的コーディングは、現代のビデオコーデックの基本的特徴である。

階層的コーディングのために、高品質でいくつかのピクチャをコーディングすることは、これらが、いくつかの将来のピクチャを予測するために使用され、それにより、依存するピクチャの品質にも影響を及ぼすことになるので、より重要である。

旧来、これは、異なる階層レベルにおけるピクチャについて異なる量子化パラメータ（ＱＰ）値をセットすることによって行われる。低いＱＰは、高品質および高ビットレートを与え、高いＱＰは、低ビットレートおよび低品質を与える。

実際には、最適なＱＰ値は、異なるピクチャがどのくらい互いに類似しているかに依存することになる。ビデオがほとんど同等のピクチャからなる場合、第１のピクチャについて（高品質を生じる）極めて低いＱＰを使用することが最良である。他方で、ピクチャ間の類似性がない場合、それらは、すべて、同じＱＰを有するべきである。これのために、コーディングされるピクチャに基づいて良好なＱＰ値を見つけることを試みるアルゴリズムが存在する。実際は、各ピクチャについて単一のＱＰ値を単にセットするのではなく、ピクチャの異なる部分が異なるＱＰ値を有することがある。これは、たとえば、迅速に変化する前景よりも低いＱＰにおいて静的背景をコーディングするために有用である。

１つのそのようなアルゴリズムは、「Ａ ｎｏｖｅｌ ｍａｃｒｏｂｌｏｃｋ－ｔｒｅｅ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｈｉｇｈ－ｐｅｒｆｏｒｍａｎｃｅ ｏｐｔｉｍｉｚａｔｉｏｎ ｏｆ ｄｅｐｅｎｄｅｎｔ ｖｉｄｅｏ ｃｏｄｉｎｇ ｉｎ Ｈ．２６４／ＡＶＣ」、Ｊａｓｏｎ Ｇａｒｒｅｔ－Ｇｌａｓｅｒにおいて説明される。手短に言えば、第１のステップは、ビデオ中のすべてのピクチャを通り、それらが、もしあれば、前のピクチャ中のどのエリアから予測することになるかを推定することである。その後、アルゴリズムは、本質的に、すべてのブロックの重要性を１にセットし、次いで、逆方向にビデオを通り、各ブロックの重要性を、それがそこから予測するブロックに加算する。したがって、重要性は、階層に沿って累積し、第１のフレームが最も重要なものとして残ることになる。その後、重要性をＱＰに変換するために式が使用される。

いくつかの現実のエンコーダは、ＱＰ値を動的に選択するための良好なソリューションを有しない。それらのエンコーダが行うとき、ＱＰ値を動的に選択するためのアルゴリズムのいくつかは、現在ピクチャからの情報が使用される可能性があるすべての将来のピクチャを決定することを試みる、遅いプリエンコーディングパスに依拠する。

本明細書の実施形態は、エンコーダの時間フィルタ中ですでに行われている計算に基づいて良好なＱＰ値を選択するためのアルゴリズムを提供する。現在ピクチャを参照し得るすべての将来のピクチャを考慮するのではなく、実施形態は、隣接するピクチャのサブセット、たとえば、４つの隣接するピクチャのみに基づいて将来の重要性を推定する。

本開示の第１の態様によれば、ピクチャを符号化するための方法が提供される。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側の各ピクチャについて、第１の誤差値Ｅを算出することであって、第１の誤差値Ｅが、現在ピクチャの第１のブロックサイズのブロックのセットのうちの各ブロックについて算出され、現在ピクチャのそれぞれのブロックとピクチャ中の対応するブロックとに基づく、第１の誤差値Ｅを算出することを含む。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側の各ピクチャについて、ピクチャに対応する第２の誤差値Ｅ’を生成するために、第２のブロックサイズのブロック中に含まれている第１のブロックサイズのブロックのセットのうちの各ブロックについて第２のブロックサイズのブロックにわたって第１の誤差値Ｅをアグリゲートすることを含む。本方法は、現在ピクチャから１または２離れた距離をもつ、現在ピクチャの両側のピクチャのうちの１つまたは複数に対応する第２の誤差値Ｅ’に少なくとも部分的に基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて重要性スコアを算出することをさらに含む。本方法は、重要性スコアに基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて量子化パラメータ（ＱＰ）値の変化を算出することを含む。本方法は、ＱＰ値の変化をエンコーダにシグナリングすることを含む。

本開示の第２の態様によれば、エンコーダの処理回路によって実行されたとき、エンコーダに、第１の態様による方法を実施させる命令を含むコンピュータプログラムが提供される。

本開示の第３の態様によれば、第２の態様によるコンピュータプログラムを含んでいるキャリアが提供され、キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。

第４の態様によれば、第１の態様によるピクチャを符号化するように設定されたエンコーダが提供される。

実施形態は、時間フィルタと計算を共有することと、それらの計算に基づいてＱＰを変化させることを決めることとを行い、その両方が、現況技術に対する改善である。実施形態は、既存の時間フィルタからの算出を再使用するので、開示される適応ＱＰアルゴリズムの複雑さの影響は無視できる。同時に、コーディングされたビデオのビットレートは、同じ視覚的品質を維持しながら、いくつかの実施形態では、平均してほぼ２％だけ低減され得る。

本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。

一実施形態による、エンコーダの例示的なアーキテクチャを示す図である。 一実施形態による、デコーダの例示的なアーキテクチャを示す図である。 一実施形態によるフローチャートである。 一実施形態による、誤差計算を示す図である。 一実施形態によるフローチャートである。 一実施形態による、エンコーダのブロック図である。

実施形態は、ピクチャ間の差分を計算することを伴う、ＱＰを決定するためのアルゴリズムを提供する。いくつかの実施形態では、これは、時間フィルタ中ですでに実施された差分計算に基づく。階層的コーディングでは、ピクチャは、一般に、時間レイヤに分割され、ここで、最下位時間レイヤがイントラピクチャを含み、最上位時間レイヤが、一般に、参照のために使用されないピクチャのみを含んでいる。実施形態は、時間フィルタがアクティブであるピクチャについてのみＱＰを修正し得、これは、概して、時間階層の最下位の３つのレイヤである。

例示的なエンコーダが図１に示されている。例示的なデコーダが図２に示されている。

図３は、一実施形態による、例示的なアルゴリズムを示す。

図１のステップ１に示されているものなど、所与のブロック（たとえば、８×８ブロック）についての動き補償の後に、時間フィルタは、動き補償の後の、元のブロックの分散、および元のブロックと参照ピクチャ中の対応するブロックとの間の２乗差分和（ＳＳＤ）を算出する。これに基づいて、図３のステップ２に示されているものなど、誤差Ｅが算出される。誤差Ｅは、実施形態では、

として算出され得、ここで、Ｖは、算出された分散を指し、ＳＳＤは、算出されたＳＳＤを指す。

この式は、低いＳＳＤ値ならびに低い相対誤差（ＳＳＤ／分散）を有するブロックに低いＥ値（すなわち、高い重要性）を与えることになる。

Ｅ値は、時間フィルタ中で各参照ピクチャについてブロック（たとえば、８×８ブロック）ごとに算出される。

次に、ここではＥ’と示された、コーディングツリーユニット（ＣＴＵ）（たとえば、１２８×１２８ピクセル）中の平均Ｅ値が、図３のステップ３に示されているように、現在ピクチャの直前および直後のピクチャ（たとえば、現在ピクチャの両側の２つのピクチャ）について計算される。平均Ｅ値、すなわち、Ｅ’値が、たとえば、ＣＴＵ中のサブブロックにわたる（たとえば、ＣＴＵ中の２５６個の８×８ブロックにわたる）単純な平均化によって算出され得る。

所与のＣＴＵについて、図３のステップ４に示されているものなど、値Ｅ１を形成するために現在ピクチャの両側の１の距離をもつピクチャについての２つのＥ’値が平均化され、値Ｅ２を形成するために現在ピクチャの両側の２の距離をもつピクチャについての２つのＥ値が平均化される。これらの誤差値（Ｅ１およびＥ２）は、図３のステップ５に示されているものなど、各ＣＴＵについてＥ４値を生じるために外挿され得る。実施形態では、Ｅ４は、次のように算出され得る。
Ｅ４＝ｍａｘ（Ｅ１，Ｅ２）＋ａｂｓ（Ｅ２－Ｅ１）＊３

Ｅ４値は、重要性がどのくらい急速に減衰するかを考慮に入れるように設計される。Ｅ１が高い重要性を示すがＥ２が低い重要性を示す場合、重要性は急速になくなり、ブロックは、うまく符号化するためにはあまり重要でない。しかしながら、Ｅ１とＥ２の両方が、同じレベルの重要性をシグナリングする場合、これは、重要性がより長くとどまることを示し、ブロックをうまくコーディングすることがより重要である。

時間フィルタは、一般に、すべてのフレームをフィルタ処理するのではなく、最下位時間レイヤに属するフレームのみをフィルタ処理する。これらのうちの最上位時間レイヤについて、すなわち、フィルタ処理される最上位時間レイヤについて、Ｅ４は、図３のステップ６に示されているように修正され得る。たとえば、Ｅ４は、次のように修正され得る。
Ｅ４＝０．６＊Ｅ４＋０．４＊６６
これは、重要性を、より少数の将来のピクチャのための参照として使用されているこれらのピクチャを補償するために、中間の重要性のより近くにセットする。

最終的に、図３のステップ７に示されているように、各ＣＴＵについてデルタＱＰを決めるためにしきい値処理が実施される。たとえば、以下のものなど、表に基づいてデルタＱＰが算出され得る。

上記のデルタＱＰは、ＣＴＵについて最終ＱＰを決定するためにピクチャＱＰに単に加算される。デルタＱＰ値は、規格内の既存の機構を使用してシグナリングされ得る。

図４は、一実施形態による、誤差計算を示す。誤差Ｅ’が、ブロックレベルにおいて（たとえば、各ＣＴＵについて）現在ピクチャおよび近くのピクチャに関して、たとえば、時間フィルタ処理の一部として計算される。図示のように、現在ピクチャから±１および±２離れたピクチャの各々についての誤差Ｅがあり、現在ピクチャから±１離れたピクチャについての誤差Ｅ’の平均Ｅ１があり、現在ピクチャから±２離れたピクチャについての誤差Ｅ’の別の平均Ｅ２がある。

図５は、一実施形態によるフローチャートを示す。プロセス５００は、ピクチャを符号化するための方法である。方法は、ステップｓ５０２から始まり得る。

ステップｓ５０２は、現在ピクチャに隣接するピクチャのセットの各隣接するピクチャについて、第１の誤差値（Ｅ）を算出することであって、第１の誤差値（Ｅ）が、現在ピクチャの第１のブロックサイズのブロックのセットのうちの各ブロックについて算出され、現在ピクチャのそれぞれのブロックと、隣接するピクチャ中の対応するブロックとに基づく、第１の誤差値Ｅを算出することを含む。

ステップｓ５０４は、現在ピクチャに隣接するピクチャのセットの各隣接するピクチャについて、隣接するピクチャに対応する第２の誤差値（Ｅ’）を生成するために、第２のブロックサイズのブロック中に含まれている第１のブロックサイズのブロックのセットのうちの各ブロックについて第２のブロックサイズのブロックにわたって第１の誤差値（Ｅ）をアグリゲートすることを含む。

ステップｓ５０６は、現在ピクチャに隣接するピクチャのうちの１つまたは複数に対応する第２の誤差値（Ｅ’）に少なくとも部分的に基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて重要性スコアを算出することを含む。

ステップｓ５０８は、重要性スコアに基づいて、現在ピクチャ中の第２のブロックサイズのブロックについて量子化パラメータ（ＱＰ）値の変化を算出することを含む。

ステップｓ５１０は、ＱＰ値の変化をエンコーダにシグナリングすることを含む。

いくつかの実施形態では、第１の誤差値（Ｅ）を算出することは、時間フィルタ処理中に実施される。いくつかの実施形態では、隣接するピクチャに対応する第２の誤差値（Ｅ’）を生成するために、第２のブロックサイズのブロック中に含まれている第１のブロックサイズの各ブロックについて第２のブロックサイズのブロックにわたって第１の誤差値（Ｅ）をアグリゲートすることは、第２のブロックサイズのブロック中に含まれている第１のブロックサイズの各ブロックについて第１の誤差値（Ｅ）を平均化することを含む。いくつかの実施形態では、第２のブロックサイズのブロックは、コーディングツリーユニット（ＣＴＵ）を含む。いくつかの実施形態では、第１のブロックサイズのブロックについての第１の誤差値（Ｅ）は、ブロックの分散Ｖ、およびブロックと隣接するピクチャ中の対応するブロックとの間の２乗差分和（ＳＳＤ）に基づく。いくつかの実施形態では、第１のブロックサイズのブロックについての第１の誤差値（Ｅ）は、

によって計算され、ここで、ａ、ｂ、ｃ、およびｄはパラメータである。

いくつかの実施形態では、方法は、第３の誤差値（Ｅ１）を生成するために、現在ピクチャから１の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）をアグリゲートすることをさらに含む。方法は、第４の誤差値（Ｅ２）を生成するために、現在ピクチャから２の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）をアグリゲートすることをさらに含む。方法は、第３の誤差値（Ｅ１）と第４の誤差値（Ｅ２）とに基づいて、第５の誤差値（Ｅ４）を計算することをさらに含む。現在ピクチャ中の第２のブロックサイズのブロックについて重要性スコアを算出することが、第５の誤差値（Ｅ４）に少なくとも部分的に基づく。いくつかの実施形態では、第３の誤差値（Ｅ１）を生成するために、現在ピクチャから１の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）をアグリゲートすることが、第３の誤差値（Ｅ１）を生成するために、現在ピクチャから１の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）を平均化することを含み、第４の誤差値（Ｅ２）を生成するために、現在ピクチャから２の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）をアグリゲートすることが、第４の誤差値（Ｅ２）を生成するために、現在ピクチャから２の距離離れた隣接するピクチャに対応する第２の誤差値（Ｅ’）を平均化することを含む。

いくつかの実施形態では、第３の誤差値（Ｅ１）と第４の誤差値（Ｅ２）とに基づいて、第５の誤差値（Ｅ４）を計算することが、
Ｅ４＝ｍａｘ（Ｅ１，Ｅ２）＋ａｂｓ（Ｅ２－Ｅ１）＊Ａ
を算出することを含み、ここで、Ａはパラメータである。いくつかの実施形態では、第５の誤差値（Ｅ４）は、時間フィルタ処理のレイヤに基づいて修正される。いくつかの実施形態では、時間フィルタ処理を受けるピクチャを含んでいる最上位時間レイヤについて、第５の誤差値（Ｅ４）は、Ｅ４＝ｘ＊Ｅ４＋ｙとして修正され、ここで、ｘおよびｙはパラメータである。いくつかの実施形態では、ＱＰ値の変化は、｛－２，－１，０，＋１，＋２｝のうちの１つである。

図６は、いくつかの実施形態による、ノード６００（たとえば、エンコーダまたはデコーダ）のブロック図である。図６に示されているように、ノード６００は、１つまたは複数のプロセッサ（Ｐ）６５５（たとえば、１つまたは複数の汎用マイクロプロセッサ、および／または、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたは複数の他のプロセッサなど）を含み得る処理回路（ＰＣ）６０２であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る（すなわち、ノード６００が分散コンピューティング装置であり得る）、処理回路（ＰＣ）６０２と、少なくとも１つのネットワークインターフェース６４８（たとえば、物理インターフェースまたはエアインターフェース）であって、ノード６００が、ネットワークインターフェース６４８が（物理的にまたは無線で）接続されるネットワーク６１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）６４５および受信機（Ｒｘ）６４７を備える（たとえば、ネットワークインターフェース６４８は、ノード６００が無線でデータを送信／受信することを可能にするための１つまたは複数のアンテナを備えるアンテナ構成に結合され得る）、少なくとも１つのネットワークインターフェース６４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得るローカル記憶ユニット（別名「データ記憶システム」）６０８とを備え得る。ＰＣ６０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）６４１が提供され得る。ＣＰＰ６４１はコンピュータ可読媒体（ＣＲＭ）６４２を含み、ＣＲＭ６４２は、コンピュータ可読命令（ＣＲＩ）６４４を含むコンピュータプログラム（ＣＰ）６４３を記憶する。ＣＲＭ６４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム６４３のＣＲＩ６４４は、ＰＣ６０２によって実行されたとき、ＣＲＩが、ノード６００に、本明細書で説明されるステップ（たとえば、フローチャートを参照しながら本明細書で説明されるステップ）を実施させるように設定される。他の実施形態では、ノード６００は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、ＰＣ６０２は、単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実装され得る。

本明細書で使用される、ネットワークエレメント、ノード、またはサブシステム（たとえば、エンコーダまたはデコーダ）は、ハードウェアおよびソフトウェアを含む、１つまたは複数のサービスネットワーク機器からなり得、それらは、ネットワーク上の他の機器（たとえば、他のネットワークエレメント、エンドステーションなど）を通信可能に相互接続し、ストリームベースまたはファイルベース機構を使用してメディアコンテンツアセットが分散および配信され得るメディア分散ネットワークにおいてコンテンツを受信／消費するように動作可能である複数のサブスクライバおよび関連するユーザ機器（ＵＥ）ノードに関して、仮想化環境／非仮想化環境のいずれかにおいて、１つまたは複数のアプリケーションまたはサービスをホストするように適応される。したがって、いくつかのネットワークエレメントは、ワイヤレス無線ネットワーク環境中に配設され得、他のネットワークエレメントは、パブリックコンテンツ配信ネットワーク（ＣＤＮ）、プライベートＣＤＮ、または混合ＣＤＮを備え得る、好適なＣＤＮインフラストラクチャを含むかまたはさもなければ伴う、バプリックパケット交換ネットワークインフラストラクチャ中に配設され得る。さらに、本明細書に記載される１つまたは複数の実施形態を含む好適なネットワークエレメントは、地上波および／または衛星ブロードバンド配信インフラストラクチャ、たとえば、デジタル加入者回線（ＤＳＬ）ネットワークアーキテクチャ、データオーバケーブルサービスインターフェース仕様（ＤＯＣＳＩＳ）準拠ケーブルモデム終端システム（ＣＭＴＳ）アーキテクチャ、交換デジタルビデオ（ＳＤＶ）ネットワークアーキテクチャ、ハイブリッドファイバー同軸（ＨＦＣ）ネットワークアーキテクチャ、好適な衛星アクセスネットワークアーキテクチャ、あるいはセルラおよび／またはＷｉＦｉコネクティビティを介したブロードバンド無線アクセスネットワークアーキテクチャを伴い得る。したがって、いくつかのネットワークエレメントは、複数のアプリケーションサービス（たとえば、様々な品質または規定における（３６０度ビデオアセットまたは単に３６０ビデオアセットとも呼ばれる）３６０°没入型ビデオアセットを含むデータおよびマルチメディアアプリケーション）のサポートを提供することに加えて、複数のネットワークベース機能（たとえば、３６０°没入型Ａ／Ｖメディア準備配信ポリシ管理、セッション制御、ＱｏＳポリシ施行、帯域幅スケジューリング管理、コンテンツプロバイダ優先度ポリシ管理、ストリーミングポリシ管理など）のサポートを提供する、「複数サービスネットワークエレメント」を備え得る。例示的なサブスクライバエンドステーションまたはクライアントデバイスは、いくつかの実施形態において、あるタイプのレート適応を伴い得る、ストリーミングおよび／またはファイルベースのダウンロード技術を使用して、メディアコンテンツアセットを消費または配信し得る、テザリングされるまたはテザリングされない様々なデバイスを備え得る。したがって、例示的なクライアントデバイスまたはＵＥデバイスは、とりわけ、ＨＴＴＰ、ＨＴＴＰＳ、ＲＴＰなどを使用して、たとえば、ブロードバンドアクセスネットワークを介して、１つまたは複数のコンテンツプロバイダからの、仮想現実（ＶＲ）メディア、拡張現実（ＡＲ）メディア、複合現実（ＭＲ）メディアを備え得る、３６０ビデオコンテンツ、ライブメディアおよび／または静的／オンデマンドメディアを受信、記録、記憶、および／または復号／レンダリングするための１つまたは複数のクライアントアプリケーションを実行するように設定された任意のデバイスを含み得る。したがって、そのようなクライアントデバイスは、次世代ＩＰベースＳＴＢ、ネットワーク化されたＴＶ、パーソナル／デジタルビデオレコーダ（ＰＶＲ／ＤＶＲ）、ネットワーク化されたメディアプロジェクタ、ポータブルラップトップコンピュータ、ネットブック、パームトップ、タブレット、スマートフォン、マルチメディア／ビデオフォン、モバイル／無線ユーザ機器、ポータブルメディアプレーヤ、３Ｄディスプレイデバイスと協働して動作する（Ｗｉｉ（登録商標）、Ｐｌａｙ Ｓｔａｔｉｏｎ ３（登録商標）などの）ポータブルゲーミングシステムまたはコンソールなどを含み得、これらは、本明細書に記載される１つまたは複数の実施形態に従って帯域幅および体感品質（ＱｏＥ）方式が提供され得る、好適なメディア分散ネットワークを介して提供される３６０度コンテンツ／サービスにアクセスするかまたはそれを消費し得る。

本特許開示の１つまたは複数の実施形態は、ソフトウェア、ファームウェア、および／またはハードウェアの異なる組合せを使用して実装され得る。したがって、図（たとえば、フローチャート）に示されている技法のうちの１つまたは複数が、１つまたは複数の電子デバイスまたはノード（たとえば、サブスクライバクライアントデバイスまたはエンドステーション、ネットワークエレメントなど）に記憶され、その上で実行される、コードおよびデータを使用して実装され得る。そのような電子デバイスは、非一時的コンピュータ可読記憶媒体（たとえば、磁気ディスク、光ディスク、ランダムアクセスメモリ、読取り専用メモリ、フラッシュメモリデバイス、相変化メモリなど）、一時的コンピュータ可読伝送媒体（たとえば、搬送波、赤外線信号、デジタル信号など、伝搬信号の電気、光学、音響または他の形態）など、コンピュータ可読媒体を使用して、コードおよびデータを記憶および（内部でおよび／またはネットワークを介して他の電子デバイスとともに）通信し得る。さらに、そのようなネットワークエレメントは、一般に、１つまたは複数の記憶デバイス（たとえば、非一時的機械可読記憶媒体）ならびに（１つまたは複数の）記憶データベース、ユーザ入出力デバイス（たとえば、キーボード、タッチスクリーン、ポインティングデバイス、および／またはディスプレイ）、ならびにシグナリングおよび／またはベアラメディア送信を実現するためのネットワーク接続など、１つまたは複数の他の構成要素に結合された１つまたは複数のプロセッサのセットを含み得る。プロセッサのセットと他の構成要素との結合は、一般に、任意の知られている（たとえば、対称的／共有多重処理）またはこれまで知られていないアーキテクチャにおいて構成された、１つまたは複数のバスおよび（バスコントローラとも呼ばれる）ブリッジを通したものであり得る。したがって、所与の電子デバイスまたはネットワークエレメントの記憶デバイスまたは構成要素は、本開示の１つまたは複数の技法を実装する目的で、そのエレメント、ノードまたは電子デバイスの１つまたは複数のプロセッサ上での実行のためのコードおよび／またはデータを記憶するように設定され得る。

当業者は、上記の一般化された例示的なネットワーク環境が、たとえば、ソースストリームスティッチング、プロジェクションマッピング、ソースメディア圧縮、タイル／ＡＢＲエンコーディング／トランスコーディング、パッケージングなど、ならびに、１つまたは複数のオペレータ、コンテンツ配信ネットワーク（ＣＤＮ）、エッジネットワークなどを伴う、異なる階層レベルにおいて配設された異なるネットワーク部分において行われる分散／アップローディングおよびエッジノードプロセスを含む、メディアキャプチャおよび準備の様々な態様とともに、階層ネットワークアーキテクチャにおいて実装され得ることを、認識されよう。さらに、いくつかの実装形態では、上記の装置およびプロセスのうちの少なくともいくつかが、クラウドベースであり得る。いくつかの構成では、ＣＤＮは、インターネットまたは他のパブリック／プライベート通信ネットワークに接続された複数のデータセンタにおいて展開されるサーバの大きい分散システムであり得る。ＣＤＮは、管理されたまたは管理されないネットワークであり得、管理されたまたは管理されないネットワークの連合でもあり得る。

上記の例示的なネットワーク環境内に動作可能に関連するメディアサーバ／ソースシステムの例示的な一実施形態は、したがって、ライブソースおよび／または静的ファイルソース、たとえば、Ｈｕｌｕ（登録商標）、Ｎｅｔｆｌｉｘ（登録商標）、ＹｏｕＴｕｂｅ（登録商標）、またはＡｍａｚｏｎ（登録商標）Ｐｒｉｍｅなどのオンラインコンテンツプロバイダ、ならびに、たとえば、Ｄｉｓｎｅｙ、Ｗａｒｎｅｒ、Ｓｏｎｙなど、ＶＯＤカタログまたはコンテンツプロバイダまたはスタジオなどから、メディアコンテンツを受け取るように、たとえば、グローバルヘッドエンドとして、設定され得る。ライブソースからのメディアコンテンツは、任意のタイプのイベント、たとえば、スポーツ／エンターテインメント／ゲーミングイベント、コンサート、ライブＴＶショー、たとえば、全国放送事業者（たとえば、ＮＢＣ、ＡＢＣなど）などのライブニュース放送ソース、ならびに、広告メディアチャネルなどの任意の２次メディア挿入物を含む、ＣＮＮ、ＥＳＰＮ、ＣＮＢＣなど、およびローカル放送事業者などの、Ｔｉｍｅ Ｗａｒｎｅｒチャネルのようなケーブル放送事業者チャネルに関してキャプチャされたライブプログラミングを備え得る。

様々な実施形態が、本明細書で（および任意の付属書類において）説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。

さらに、上記で説明され、図面に示されたプロセスは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

Claims (17)

1. ピクチャを符号化するための方法であって、前記方法は、
   現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の各ピクチャについて、第１の誤差値Ｅを算出することであって、前記第１の誤差値Ｅが、前記現在ピクチャの第１のブロックサイズのブロックのセットのうちの各ブロックについて算出され、前記現在ピクチャのそれぞれのブロックと前記ピクチャ中の対応するブロックとに基づく、第１の誤差値Ｅを算出することと、
   前記現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の各ピクチャについて、前記ピクチャに対応する第２の誤差値Ｅ’を生成するために、第２のブロックサイズのブロック中に含まれている前記第１のブロックサイズのブロックの前記セットのうちの各ブロックについて前記第２のブロックサイズの前記ブロックにわたって前記第１の誤差値Ｅをアグリゲートすることと、
   前記現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の前記ピクチャのうちの１つまたは複数に対応する前記第２の誤差値Ｅ’に少なくとも部分的に基づいて、前記現在ピクチャ中の前記第２のブロックサイズの前記ブロックについて重要性スコアを算出することと、
   前記重要性スコアに基づいて、前記現在ピクチャ中の前記第２のブロックサイズの前記ブロックについて量子化パラメータ（ＱＰ）値の変化を算出することと、
   ＱＰ値の前記変化をエンコーダにシグナリングすることと
   を含む、方法。
2. 前記第１の誤差値Ｅを算出することが、時間フィルタ処理中に実施される、請求項１に記載の方法。
3. 前記ピクチャに対応する第２の誤差値Ｅ’を生成するために、前記第２のブロックサイズの前記ブロック中に含まれている前記第１のブロックサイズの各ブロックについて前記第２のブロックサイズの前記ブロックにわたって前記第１の誤差値Ｅをアグリゲートすることが、前記第２のブロックサイズの前記ブロック中に含まれている前記第１のブロックサイズの各ブロックについて前記第１の誤差値Ｅを平均化することを含む、請求項１または２に記載の方法。
4. 前記第２のブロックサイズの前記ブロックが、コーディングツリーユニット（ＣＴＵ）を含む、請求項１から３のいずれか一項に記載の方法。
5. 前記第１のブロックサイズのブロックについての前記第１の誤差値Ｅが、前記ブロックの分散Ｖ、および前記ブロックと前記ピクチャ中の前記対応するブロックとの間の２乗差分和（ＳＳＤ）に基づく、請求項１から４のいずれか一項に記載の方法。
6. 前記第１のブロックサイズのブロックについての前記第１の誤差値Ｅが、
   

   

   によって計算され、ここで、ａ、ｂ、ｃ、およびｄがパラメータである、請求項５に記載の方法。
7. 第３の誤差値Ｅ１を生成するために、前記現在ピクチャから１の距離離れたピクチャに対応する前記第２の誤差値Ｅ’をアグリゲートすることと、
   第４の誤差値Ｅ２を生成するために、前記現在ピクチャから２の距離離れたピクチャに対応する前記第２の誤差値Ｅ’をアグリゲートすることと、
   前記第３の誤差値Ｅ１と前記第４の誤差値Ｅ２とに基づいて、第５の誤差値Ｅ４を計算することと
   をさらに含み、
   前記現在ピクチャ中の前記第２のブロックサイズの前記ブロックについて重要性スコアを算出することが、前記第５の誤差値Ｅ４に少なくとも部分的に基づく、請求項１から６のいずれか一項に記載の方法。
8. 第３の誤差値Ｅ１を生成するために、前記現在ピクチャから１の距離離れたピクチャに対応する前記第２の誤差値Ｅ’をアグリゲートすることが、第３の誤差値Ｅ１を生成するために、前記現在ピクチャから１の距離離れたピクチャに対応する前記第２の誤差値Ｅ’を平均化することを含み、第４の誤差値Ｅ２を生成するために、前記現在ピクチャから２の距離離れたピクチャに対応する前記第２の誤差値Ｅ’をアグリゲートすることが、第４の誤差値Ｅ２を生成するために、前記現在ピクチャから２の距離離れたピクチャに対応する前記第２の誤差値Ｅ’を平均化することを含む、請求項７に記載の方法。
9. 第２の誤差値Ｅ１と前記第４の誤差値Ｅ２とに基づいて第５の誤差値Ｅ４を計算することが、
   Ｅ４＝ｍａｘ（Ｅ１，Ｅ２）＋ａｂｓ（Ｅ２－Ｅ１）＊Ａ
   を算出することを含み、ここで、Ａがパラメータである、請求項７または８に記載の方法。
10. 前記第５の誤差値Ｅ４が、時間フィルタ処理のレイヤに基づいて修正される、請求項７から９のいずれか一項に記載の方法。
11. 時間フィルタ処理の最上位レイヤについて、前記第５の誤差値Ｅ４が、Ｅ４＝ｘ＊Ｅ４＋ｙとして修正され、ここで、ｘおよびｙがパラメータである、請求項１０に記載の方法。
12. ＱＰ値の前記変化が、｛－２，－１，０，＋１，＋２｝のうちの１つである、請求項１から１１のいずれか一項に記載の方法。
13. エンコーダの処理回路によって実行されたとき、前記エンコーダに、請求項１から１２のいずれか一項に記載の方法を実施させる命令を含む、コンピュータプログラム。
14. 請求項１３に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである、キャリア。
15. エンコーダであって、前記エンコーダが、
    処理回路と、
    メモリと
    を備え、前記メモリが、前記処理回路によって実行可能な命令を含んでおり、それにより、前記エンコーダが、請求項１から１２のいずれか一項に記載の方法を実施するように設定された、エンコーダ。
16. ピクチャを符号化するように設定されたエンコーダであって、前記エンコーダは、
    現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の各ピクチャについて、第１の誤差値Ｅを算出することであって、前記第１の誤差値Ｅが、前記現在ピクチャの第１のブロックサイズのブロックのセットのうちの各ブロックについて算出され、前記現在ピクチャのそれぞれのブロックと前記ピクチャ中の対応するブロックとに基づく、第１の誤差値Ｅを算出することと、
    前記現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の各ピクチャについて、前記ピクチャに対応する第２の誤差値Ｅ’を生成するために、第２のブロックサイズのブロック中に含まれている前記第１のブロックサイズのブロックの前記セットのうちの各ブロックについて前記第２のブロックサイズの前記ブロックにわたって前記第１の誤差値Ｅをアグリゲートすることと、
    前記現在ピクチャから１または２離れた距離をもつ、前記現在ピクチャの両側の前記ピクチャのうちの１つまたは複数に対応する前記第２の誤差値Ｅ’に少なくとも部分的に基づいて、前記現在ピクチャ中の前記第２のブロックサイズの前記ブロックについて重要性スコアを算出することと、
    前記重要性スコアに基づいて、前記現在ピクチャ中の前記第２のブロックサイズの前記ブロックについて量子化パラメータ（ＱＰ）値の変化を算出することと、
    ＱＰ値の前記変化をエンコーダにシグナリングすることと
    を行うように設定された、エンコーダ。
17. 前記エンコーダが、請求項２から１２のいずれか一項に記載の方法を実施するようにさらに設定された、請求項１６に記載のエンコーダ。

Images