JP2023524944A

JP2023524944A - 圧縮されたピクチャインピクチャシグナリング

Info

Publication number: JP2023524944A
Application number: JP2022564214A
Authority: JP
Inventors: リキャルドショバーリ，; マルティンペッテション，; ミトラダムガニアン，
Original assignee: テレフオンアクチーボラゲットエルエムエリクソン（パブル）
Priority date: 2020-04-22
Filing date: 2021-03-24
Publication date: 2023-06-14
Also published as: CN115462074A; WO2021215978A1; EP4140130A4; US20240040130A1; EP4140130A1

Abstract

ビットストリームからピクチャ中のサブピクチャ（ＳＰ）についての位置およびサイズを復号するための方法が提供される。本方法は、ビットストリーム中の第１のシンタックスエレメントＳ１からコーディングツリーユニット（ＣＴＵ）サイズを復号することを含む。本方法は、スケールファクタ値Ｆを取得することであって、Ｆが１よりも大きい、スケールファクタ値Ｆを取得することを含む。本方法は、サブピクチャＳＰについてのスケーリングされた位置値を導出することであって、スケーリングされた位置値を導出することが、ｉ）ビットストリーム中の情報に基づいて位置値を取得することと、ｉｉ）スケーリングされた位置値を位置値とＦとの積に等しくセットすることとを含む、スケーリングされた位置値を導出することをさらに含む。本方法は、スケーリングされた位置値に基づいてサブピクチャのサイズを導出することを含む。
【選択図】図５

Description

ピクチャインピクチャシグナリングに関係する実施形態が開示される。

１．ＨＥＶＣおよびＶＶＣ

高効率ビデオコーディング（ＨＥＶＣ）は、時間予測と空間予測の両方を利用する、ＩＴＵ－ＴおよびＭＰＥＧによって規格化されたブロックベースビデオコーデックである。空間予測は、現在ピクチャ内からのイントラ（Ｉ）予測を使用して達成される。時間予測は、前に復号された参照ピクチャから、ブロックレベルでの単方向（Ｐ）予測または双方向インター（Ｂ）予測を使用して達成される。エンコーダでは、残差と呼ばれる、元のピクセルデータと予測されたピクセルデータとの間の差は、周波数ドメインに変換され、量子化され、次いで、同じくエントロピーコーディングされる、予測モードおよび動きベクトルなど、必要な予測パラメータとともに送信される前に、エントロピーコーディングされる。デコーダは、エントロピー復号と、逆量子化と、逆方向変換とを実施して残差を取得し、次いで、その残差をイントラ予測またはインター予測に追加してピクチャを再構築する。

ＭＰＥＧおよびＩＴＵ－Ｔは、ジョイントビデオエキスプロラトリチーム（ＪＶＥＴ：ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｏｒｙＴｅａｍ）内でＨＥＶＣの後継に取り組んでいる。開発中のこのビデオコーデックの名前は、多用途ビデオコーディング（ＶＶＣ）である。本文を書いているときのＶＶＣドラフト仕様の現在のバージョンは、ＪＶＥＴ－Ｑ２００１－ｖＤである。

２．成分

ビデオ（別名、ビデオシーケンス）は、各ピクチャ（別名、画像）が１つまたは複数の成分からなる一連のピクチャからなる。各成分は、サンプル値の２次元矩形アレイとして説明され得る。ビデオシーケンス中のピクチャは、３つの成分、すなわち、サンプル値がルーマ値である１つのルーマ成分Ｙと、サンプル値がクロマ値である２つのクロマ成分ＣｂおよびＣｒとからなることが一般的である。また、クロマ成分の次元は、各次元においてルーマ成分よりも１／２だけ小さいことが一般的である。たとえば、ＨＤピクチャのルーマ成分のサイズは１９２０×１０８０となり、クロマ成分は、各々、９６０×５４０の次元を有するであろう。成分は色成分と呼ばれることがある。

３．ブロックおよびユニット

ブロックは、サンプルの１つの２次元アレイである。ビデオコーディングでは、各成分がブロックにスプリットされ、コード化ビデオビットストリームは一連のコード化ブロックからなる。ビデオコーディングでは、画像は、画像の特定のエリアをカバーするユニットにスプリットされることが一般的である。各ユニットは、その特定のエリアをなす、すべての成分からのすべてのブロックからなり、各ブロックは、１つのユニットに完全に属する。Ｈ．２６４におけるマクロブロック、およびＨＥＶＣにおけるコーディングユニット（ＣＵ）が、ユニットの例である。

ＶＶＣでは、ピクチャがコーディングツリーユニット（ＣＴＵ）に区分され、ビットストリーム中のコード化ピクチャは、ピクチャ中のすべてのＣＴＵがコーディングされるような、一連のコード化ＣＴＵからなる。ＣＴＵの走査順序は、ピクチャが、以下で説明されるスライスおよびタイルなど、より高いレベルの区分ツールによってどのように区分されるかに依存する。ＶＶＣＣＴＵが、１つのルーマブロックと、随意に（ただし、通常）２つの空間的にコロケート（ｃｏ－ｌｏｃａｔｅｄ）されたクロマブロックとからなる。ＣＴＵのルーマブロックのサイズは、正方形であり、サイズは、設定可能であり、ビットストリーム中のシンタックスエレメントによって伝達される。デコーダがビットストリームを復号しているとき、デコーダは、復号のために使用すべきＣＴＵサイズのルーマブロックのサイズを導出するためにシンタックスエレメントを復号する。このサイズは、通常、ＣＴＵサイズと呼ばれる。

４．パラメータセット

ＨＥＶＣおよびＶＶＣは、３つのタイプのパラメータセット、すなわち、ピクチャパラメータセット（ＰＰＳ）と、シーケンスパラメータセット（ＳＰＳ）と、ビデオパラメータセット（ＶＰＳ）とを指定する。ＰＰＳは、ピクチャ全体について共通であるデータを含んでおり、ＳＰＳは、コード化ビデオシーケンス（ＣＶＳ）について共通であるデータを含んでおり、ＶＰＳは、複数のＣＶＳについて共通であるデータ、たとえば、ビットストリーム中の複数のレイヤについてのデータを含んでいる。

５．復号能力情報（ＤＣＩ）

ＤＣＩは、復号セッション中に変化しないことがあり、デコーダが知るのに良好であり得る、情報、たとえば許容されるサブレイヤの最大数を指定する。ＤＣＩ中の情報は、復号プロセスの動作のために必要でない。ＶＶＣ仕様の前のドラフトでは、ＤＣＩは、復号パラメータセット（ＤＰＳ）と呼ばれた。

復号能力情報は、コーディングツール、ＮＡＬユニットのタイプなどに関してビットストリームから何を予想すべきかのデコーダ情報を与えるビットストリームについての一般的な制約のセットをも含んでいる。ＶＶＣの現在のバージョンでは、一般的な制約情報はまた、ＶＰＳまたはＳＰＳ中でシグナリングされ得る。

６．ピクチャヘッダ

ＶＶＣの現在のバージョンでは、コード化ピクチャは、ピクチャヘッダを含んでいる。ピクチャヘッダは、関連するピクチャのすべてのスライスについて共通であるシンタックスエレメントを含んでいる。

７．スライス

スライスが、ピクチャを独立してコーディングされたスライスに分割し、ここで、ピクチャ中の１つのスライスの復号は、同じピクチャの他のスライスから独立している。スライスの１つの目的は、データ損失の場合に再同期を可能にすることである。

ＶＶＣの現在のバージョンでは、ピクチャが、ラスタ走査スライスまたは矩形スライスのいずれかに区分され得る。ラスタ走査スライスは、ラスタ走査順序におけるいくつかの完全なタイルからなる。矩形スライスは、ピクチャ中の矩形領域、または１つのタイルの内部の連続する数のＣＴＵ行を一緒に占有する、タイルのグループからなる。各スライスは、シンタックスエレメントを備えるスライスヘッダを有する。これらのシンタックスエレメントからの復号されたスライスヘッダ値が、スライスを復号するときに使用される。ＶＶＣでは、スライスは、ＣＴＵのセットである。

８．タイル

ドラフトＶＶＣビデオコーディング規格は、ピクチャを矩形の空間的に独立した領域に分割する、タイルと呼ばれるツールを含む。ドラフトＶＶＣコーディング規格におけるタイルは、ＨＥＶＣにおいて使用されるタイルと同様である。タイルを使用して、ＶＶＣにおけるピクチャがＣＴＵの行および列に区分され得、ここで、タイルは行と列との交差部である。図１Ａは、ピクチャのための合計２０個のタイルを生じる、４つのタイル行と５つのタイル列とを使用するタイル区分の一例を示す。

タイル構造は、行の厚さと列の幅とを指定することによって、ピクチャパラメータセット（ＰＰＳ）中でシグナリングされる。個々の行および列は、異なるサイズを有することができるが、区分は、常に、それぞれ左から右に、および上から下に、ピクチャ全体にわたってスパンする。

同じピクチャのタイル間に復号依存性はない。これは、イントラ予測と、エントロピーコーディングのためのコンテキスト選択と、動きベクトル予測とを含む。１つの例外は、ループ内フィルタ処理依存性が概してタイル間で許容されることである。

ＶＶＣにおける矩形スライスモードでは、タイルは、さらに、各スライスが、１つのタイルの内部の連続する数のＣＴＵ行からなる、複数のスライスにスプリットされ得る。図１Ｂは、ＶＶＣにおけるタイル区分およびタイル区分を使用した矩形スライス区分の一例を示す。

９．サブピクチャ

サブピクチャは、ＶＶＣの現在のバージョンにおいてサポートされる。サブピクチャは、サブピクチャが、ピクチャの矩形領域をまとめてカバーする１つまたは複数のスライスを含んでいるような、ピクチャ内の１つまたは複数の矩形スライスの矩形領域として規定される。ＶＶＣ仕様の現在のバージョンでは、サブピクチャロケーションおよびサイズは、ＳＰＳ中でシグナリングされる。表１は、ＶＶＣの現在のバージョンにおけるＳＰＳ中のサブピクチャシンタックスを示す。

以下の表２は、ＶＶＣドラフトテキストにおける対応するセマンティクスを含んでいる。

要約すると、矩形スライスは、整数個のＣＴＵからなる。サブピクチャは、整数個のＣＴＵからなり、したがって、サブピクチャはまた、整数個のＣＴＵからなる。

ＶＶＣ規格化への提案、ＪＶＥＴ－Ｒ０１３５－ｖ４では、表１に示されている情報のより効率的なシグナリングのための方法が提案された。方法は、サブピクチャユニットの幅および高さをシグナリングすることからなり、それは、次いで、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｘ［ｉ］、ｓｕｂｐｉｃ＿ｃｔｕ＿ｔｏｐ＿ｌｅｆｔ＿ｙ［ｉ］、ｓｕｂｐｉｃ＿ｗｉｄｔｈ＿ｍｉｎｕｓ１［ｉ］、およびｓｕｂｐｉｃ＿ｈｅｉｇｈｔ＿ｍｉｎｕｓ１［ｉ］シンタックスエレメントをシグナリングするためのグラニュラリティとして使用される。

現在、いくつかの課題が存在する。たとえば、ＪＶＥＴ－Ｒ０１３５－ｖ４のソリューションに関する１つの問題は、方法が、ピクチャ幅および高さがサブピクチャユニットの倍数であるときに機能するにすぎないことである。これは、方法が多くのピクチャサイズおよびサブピクチャレイアウトに適用され得ないので、方法の有用性を著しく低減する。

したがって、本開示は、ＪＶＥＴ－Ｒ０１３５－ｖ４において説明されるサブピクチャユニットと同様の１つまたは複数のスケールファクタを導入する。サブピクチャの左上コーナーの位置も、ＪＶＥＴ－Ｒ０１３５－ｖ４方法と同様に計算される。

しかしながら、ＪＶＥＴ－Ｒ０１３５方法とは対照的に、本明細書で開示される提案される方法は、最初に、復号されたスケールファクタ値と復号されたサブピクチャ幅値とを乗算することによって、サブピクチャについての初期幅値を算出する。次いで、サブピクチャについての初期幅値＋サブピクチャの左上コーナー位置の水平位置がＣＴＵの数におけるピクチャ幅よりも大きい場合、サブピクチャの幅は、ピクチャ幅－左上コーナーの水平位置に等しくセットされる。他の場合、サブピクチャの幅は、サブピクチャについての初期幅値に等しくセットされる。提案される方法はまた、画像の高さを使用して、および同じ復号されたスケールファクタ値または別の復号されたスケールファクタ値のいずれかを使用して、サブピクチャの高さを導出するために使用され得る。利点は、この方法が、ピクチャ幅または高さがサブピクチャユニットまたはスケールファクタの倍数でないサブピクチャレイアウトに適用され得ることである。

本開示の第１の態様によれば、ビットストリームからピクチャ中のサブピクチャ（ＳＰ）についての位置を復号するための方法が提供される。本方法は、ビットストリーム中の第１のシンタックスエレメントＳ１からＣＴＵサイズを復号することを含む。本方法は、スケールファクタ値Ｆを取得することであって、Ｆが１よりも大きい、スケールファクタ値Ｆを取得することを含む。本方法は、サブピクチャＳＰについてのスケーリングされた位置値を導出することであって、スケーリングされた位置値を導出することが、ｉ）ビットストリーム中の情報に基づいて位置値を取得することと、ｉｉ）スケーリングされた位置値を位置値とＦとの積に等しくセットすることとを含む、スケーリングされた位置値を導出することを含む。

本開示の第２の態様によれば、処理回路によって実行されたとき、処理回路に、第１の態様による方法を実施させる命令を備えるコンピュータプログラムが提供される。

本開示の第３の態様によれば、第２の態様によるコンピュータプログラムを含んでいるキャリアが提供され、キャリアは、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体のうちの１つである。

本開示の第４の態様によれば、装置が提供され、装置は、第１の態様による方法を実施するように適応される。

本明細書に組み込まれ、明細書の一部をなす添付の図面は、様々な実施形態を示している。

４つのタイル行と５つのタイル列とを使用するタイル区分の一例を示す図である。ＶＶＣにおけるタイル区分およびタイル区分を使用した矩形スライス区分の一例を示す図である。例示的な一実施形態による、システムを示す図である。一実施形態による、エンコーダの概略ブロック図である。一実施形態による、デコーダの概略ブロック図である。一実施形態による、プロセスを示すフローチャートである。一実施形態による、装置のブロック図である。

図２は、例示的な一実施形態による、システム２００を示す。システム２００は、ネットワーク２１０（たとえば、インターネットまたは他のネットワーク）を介してデコーダ２０４と通信しているエンコーダ２０２を含む。

図３は、一実施形態による、ビデオシーケンスのビデオフレーム（ピクチャ）中のピクセル値のブロック（以下「ブロック」）を符号化するためのエンコーダ２０２の概略ブロック図である。同じフレーム中のまたは前のフレーム中のすでに提供されたブロックから、動き推定器３５０によって動き推定を実施することによって、現在ブロックが予測される。動き推定の結果は、インター予測の場合、参照ブロックに関連する動きベクトルまたは変位ベクトルである。動きベクトルは、ブロックのインター予測を出力するために動き補償器３５０によって利用される。イントラ予測器３４９が、現在ブロックのイントラ予測を算出する。動き推定器／補償器３５０からの出力と、イントラ予測器３４９からの出力とは、現在ブロックについてイントラ予測またはインター予測のいずれかを選択するセレクタ３５１中に入力される。セレクタ３５１からの出力は、加算器３４１の形態の誤差計算器に入力され、加算器３４１は、現在ブロックのピクセル値をも受信する。加算器３４１は、ブロックとそのブロックの予測との間のピクセル値の差として残差誤差を計算および出力する。誤差は、離散コサイン変換などによって、変換器３４２中で変換され、量子化器３４３によって量子化され、その後、エントロピーエンコーダなどによるエンコーダ３４４におけるコーディングが続く。インターコーディングでは、推定された動きベクトルも、現在ブロックのコード化表現を生成するためにエンコーダ３４４にもたらされる。また、現在ブロックのための変換および量子化された残差誤差は、元の残差誤差を取り出すために、逆量子化器３４５と逆方向変換器３４６とに提供される。この誤差は、次のブロックの予測およびコーディングにおいて使用され得る参照ブロックを作成するために、動き補償器３５０またはイントラ予測器３４９から出力されたブロック予測に加算器３４７によって加算される。この新しい参照ブロックは、任意のブロッキングアーティファクトをなくすためにデブロッキングフィルタ処理を実施するために、実施形態に従って、デブロッキングフィルタユニット３３０によって最初に処理される。次いで、処理された新しい参照ブロックは、フレームバッファ３４８に一時的に記憶され、ここで、処理された新しい参照ブロックは、イントラ予測器３４９および動き推定器／補償器３５０にとって利用可能である。

図４は、いくつかの実施形態による、デコーダ２０４の対応する概略ブロック図である。デコーダ２０４は、量子化および変換された残差誤差のセットを得るためにブロックの符号化表現を復号するための、エントロピーデコーダなどのデコーダ４６１を備える。これらの残差誤差は、逆量子化器４６２において量子化解除され、逆方向変換器４６３によって逆方向変換されて、残差誤差のセットを得る。これらの残差誤差は、加算器４６４において参照ブロックのピクセル値に加算される。参照ブロックは、インター予測が実施されるのかイントラ予測が実施されるのかに応じて、動き推定器／補償器４６７またはイントラ予測器４６６によって決定される。それにより、セレクタ４６８が加算器４６４と動き推定器／補償器４６７とイントラ予測器４６６とに相互接続される。加算器４６４から出力された得られた復号されたブロックは、任意のブロッキングアーティファクトをデブロッキングフィルタ処理するために、実施形態によるデブロッキングフィルタユニット３３０に入力される。フィルタ処理されたブロックは、デコーダ５０４から出力され、さらに、好ましくは、フレームバッファ４６５に一時的に提供され、復号されるべき後続のブロックのための参照ブロックとして使用され得る。フレームバッファ４６５は、それにより、動き推定器／補償器４６７に接続されて、ピクセルの記憶されたブロックを動き推定器／補償器４６７にとって利用可能にする。加算器４６４からの出力はまた、好ましくは、イントラ予測器４６６に入力されて、フィルタ処理されていない参照ブロックとして使用される。

実施形態

以下の説明では、上記で説明された問題のうちの１つまたは複数を解決する様々な実施形態が説明される。２つまたはそれ以上の実施形態、または実施形態の一部が組み合わせられて、依然として本開示によってカバーされる新しいソリューションを形成し得ることが、当業者によって理解されるべきである。

以下で説明される実施形態では、本方法は、ピクチャのレイアウトまたはサブピクチャへのピクチャの区分のシグナリングに適用される。この場合、サブピクチャは、複数の矩形スライスのセットからなり得る。矩形スライスはＣＴＵからなり得る。矩形スライスはタイルからなり得、タイルはＣＴＵからなり得る。

実施形態における方法は、スライス、矩形スライスまたはタイルあるいはセグメントへのピクチャの任意の他のセグメンテーションなど、任意のタイプのピクチャ区分をシグナリングするために使用され得る。すなわち、任意の区分が、区分のリストまたはセットを使用してシグナリングされ得、ここで、各区分が、その区分の左上コーナーといった、１のコーナー位置の空間位置と、その区分の高さおよび幅と、によってシグナリングされる。

ＣＴＵは、より小さいかまたはサブピクチャに等しい任意のタイプの矩形ピクチャユニットであり得る。ＣＴＵ以外の他のピクチャユニットの例は、コーディングユニット（ＣＵ）、予測ユニットおよびマクロブロック（ＭＢ）を含む。

代替形態１

第１の実施形態では、ピクチャは、少なくとも２つのサブピクチャ、すなわち、第１のサブピクチャと第２のサブピクチャとからなる。各サブピクチャについて、サブピクチャの空間レイアウトが、サブピクチャの左上コーナーの位置＋サブピクチャの幅および高さを指定する情報によって、ビットストリーム中でデコーダ２０４に伝達される。

ビットストリームからコード化ピクチャを復号するデコーダ２０４は、最初に、ビットストリーム中の１つまたは複数のシンタックスエレメントからピクチャを復号するために使用すべきＣＴＵサイズを復号する。ＣＴＵは、正方形であると見なされ、したがって、ＣＴＵサイズは、ここでは、ＣＴＵのルーマ平面の一方の側の長さを表す１つの数である。これは、本開示では、１次元ＣＴＵサイズと呼ばれる。

デコーダは、さらに、ビットストリームから１つまたは複数のスケールファクタ値を復号する。スケールファクタは、好ましくは、１よりも大きい正の整数値である。同じＣＴＵサイズ値およびスケールファクタが、ピクチャのすべてのサブピクチャについての空間ロケーションを復号するために使用される。この第１の実施形態では、単一のスケールファクタが使用される。

デコーダ２０４は、各サブピクチャについて、以下にリストされるステップを実施することによって、少なくとも２つのサブピクチャについての空間ロケーションを復号する。

ステップ１：サブピクチャについてのスケーリングされた水平位置値（Ｈ）を、ビットストリーム中のあるシンタックスエレメントを復号し、それにより、水平位置値を取得し、その水平位置値にスケールファクタを乗算して、スケーリングされた水平位置値（Ｈ）を作り出すことによって、導出する。

ステップ２：サブピクチャのスケーリングされた垂直位置値（Ｖ）を、ビットストリーム中の別のシンタックスエレメントを復号し、それにより、垂直位置値を取得し、垂直位置値にスケールファクタを乗算し、それにより、スケーリングされた垂直位置値（Ｖ）を作り出すことによって、導出する。

ステップ３：サブピクチャについての第１の幅値を、特定のシンタックスエレメントを復号することによって、導出し、取得された第１の幅値にスケールファクタを乗算することによって初期幅値を算出する。次いで、初期幅値＋スケーリングされた水平位置値（Ｈ）に等しい値が、ピクチャ幅と比較される。この値（すなわち、初期幅＋スケーリングされた水平位置）がピクチャ幅よりも大きい場合、サブピクチャの幅は、最右サブピクチャ境界が右ピクチャ境界と整合するように、ピクチャ幅－スケーリングされた水平位置（Ｈ）に等しくセットされ、他の場合、サブピクチャの幅は、初期幅に等しくセットされる。

サブピクチャ高さを導出するために同様のステップが行われる。

最初に、シンタックスエレメントを復号することによって、サブピクチャについての第１の高さ値が導出される。次いで、第１の高さ値にスケールファクタを乗算することによって、初期高さ値が算出される。次いで、初期高さ値＋スケーリングされた垂直位置値（Ｖ）に等しい値が、ピクチャ高さと比較される。この値（すなわち、初期高さ＋スケーリングされた垂直位置（Ｖ））がピクチャ高さよりも大きい場合、サブピクチャの高さは、下部サブピクチャ境界が下部ピクチャ境界と整合するように、ピクチャ高さ－スケーリングされた垂直位置（Ｖ）に等しくセットされ、他の場合、サブピクチャの高さは、初期高さに等しくセットされる。

したがって、以下のステップが、ビットストリームからピクチャ中のサブピクチャＳＰについての位置およびサイズを復号するためにデコーダ２０４によって実施され得る。
・ビットストリーム中のシンタックスエレメントＳ１から１次元ＣＴＵサイズを復号すること、
・ビットストリーム中の１つまたは複数のシンタックスエレメントＳ３から１つまたは複数のスケールファクタ値Ｆを復号することであって、スケールファクタ値Ｆが１よりも大きい値である、１つまたは複数のスケールファクタ値Ｆを復号すること、
・以下によって、ＣＴＵサイズの単位でサブピクチャＳＰの水平位置Ｈを導出すること、
○ ビットストリーム中のシンタックスエレメントＳ４を復号することであって、シンタックスエレメントＳ４の値が、ユニットサイズの数における水平位置を表し、ユニットサイズが、スケールファクタ値ＦにＣＴＵサイズを乗算したものに等しい、シンタックスエレメントＳ４を復号すること、および
○ 水平位置Ｈを、シンタックスエレメントＳ４の値にスケールファクタ値Ｆを乗算したものにセットすること、
・以下によって、ＣＴＵサイズの単位でサブピクチャＳＰの垂直位置Ｖを導出すること、
○ ビットストリーム中のシンタックスエレメントＳ５を復号することであって、シンタックスエレメントＳ５の値が、ユニットサイズの数における垂直位置を表す、シンタックスエレメントＳ５を復号すること、および
○ 垂直位置Ｖを、シンタックスエレメントＳ５の値にスケールファクタ値Ｆを乗算したものにセットすること、
・以下によって、ＣＴＵサイズの単位でサブピクチャＳＰの幅を導出すること、
○ ビットストリーム中のシンタックスエレメントＳ６を復号することであって、シンタックスエレメントＳ６の値が、ユニットサイズの数における幅値を表す、シンタックスエレメントＳ６を復号すること、
○ サブピクチャＳＰの初期幅Ｉｗを、シンタックスエレメントＳ６の値にスケールファクタ値Ｆを乗算したものとして算出すること、および
○ サブピクチャＳＰの初期幅Ｉｗ＋水平位置ＨがＣＴＵサイズの単位でのピクチャ幅よりも大きい場合、サブピクチャＳＰの幅を、ＣＴＵサイズの単位でのピクチャ幅－ＣＴＵサイズの単位での水平位置Ｈに等しくセットすること。他の場合、サブピクチャＳＰの幅を初期幅Ｉｗに等しくセットする、
・以下によって、ＣＴＵサイズの単位でサブピクチャＳＰの高さを導出すること、
○ ビットストリーム中のシンタックスエレメントＳ７を復号することであって、シンタックスエレメントＳ７の値が、ユニットサイズの数における高さ値を表す、ビットストリーム中のシンタックスエレメントＳ７を復号すること、
○ サブピクチャＳＰの初期高さＩｈを、シンタックスエレメントＳ７の値にスケールファクタ値Ｆを乗算したものとして算出すること、および
○ サブピクチャＳＰの初期高さＩｈ＋垂直位置Ｖが、ＣＴＵサイズの単位でのピクチャ高さよりも大きい場合、サブピクチャＳＰの高さを、ＣＴＵサイズの単位でのピクチャ高さ－ＣＴＵサイズの単位での垂直位置Ｖに等しくセットすること。他の場合、サブピクチャＳＰの高さを初期高さＩｈに等しくセットする。

サブピクチャは、ここでは、整数個の１つまたは複数の完全なスライスからなり、それにより、サブピクチャは、ピクチャの矩形領域をカバーするコード化データを備え、ここで、その領域はピクチャ全体とは限らない。

実施形態の好ましいバージョンでは、シンタックスエレメントＳ１、Ｓ３、Ｓ４、Ｓ５、Ｓ６およびＳ７がＳＰＳから復号される。この実施形態の他のバージョンでは、シンタックスエレメントＳ１、Ｓ３、Ｓ４、Ｓ５、Ｓ６およびＳ７のうちの１つまたは複数が、ＰＰＳ、ピクチャヘッダ、スライスヘッダから、または復号能力情報（ＤＣＩ）から復号され得る。

値を導出するためにシンタックスエレメントを復号することは、ビットストリーム中で表される値が、その値が復号されるときに１の値だけ増加されるような、「プラス１」動作を含み得る。これは、ＶＶＣにおいて通常使用され、シンタックスエレメントの名前で使用される「ｍｉｎｕｓ１」サフィックスによって指示される。本明細書では、シンタックスエレメントが＋１動作を受けることも受けないこともある。

代替形態２

別の実施形態では、１つではなく２つのスケールファクタが使用される。これは、ビットストリームから、２つの異なるスケールファクタ、すなわち、サブピクチャの水平位置および幅など、水平値を導出するための１つと、サブピクチャの垂直位置および高さなど、垂直値を導出するための１つと、が復号されることを意味する。

図６は、いくつかの実施形態による、デコーダ２０４および／またはエンコーダ２０２を実装するための装置６００のブロック図である。装置６００がデコーダを実装するとき、装置６００は「復号装置６００」と呼ばれることがあり、装置６００がエンコーダを実装するとき、装置６００は「符号化装置６００」と呼ばれることがある。図６に示されているように、装置６００は、１つまたは複数のプロセッサ（Ｐ）６５５（たとえば、汎用マイクロプロセッサ、および／または、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など、１つまたは複数の他のプロセッサなど）を含み得る処理回路（ＰＣ）６０２であって、そのプロセッサが、単一のハウジングにおいてまたは単一のデータセンタにおいて共同サイト式であり得るかあるいは地理的に分散され得る（すなわち、装置６００が分散コンピューティング装置であり得る）、処理回路（ＰＣ）１２０２と、少なくとも１つのネットワークインターフェース６４８であって、装置６００が、ネットワークインターフェース６４８が（直接または間接的に）接続されるネットワーク１１０（たとえば、インターネットプロトコル（ＩＰ）ネットワーク）に接続された他のノードにデータを送信し、他のノードからデータを受信することを可能にするための送信機（Ｔｘ）６４５および受信機（Ｒｘ）６４７を備える（たとえば、ネットワークインターフェース６４８はネットワーク１１０に無線で接続され得、その場合、ネットワークインターフェース６４８はアンテナ構成に接続される）、少なくとも１つのネットワークインターフェース６４８と、１つまたは複数の不揮発性記憶デバイスおよび／または１つまたは複数の揮発性記憶デバイスを含み得る記憶ユニット（別名「データ記憶システム」）６０８とを備え得る。ＰＣ６０２がプログラマブルプロセッサを含む実施形態では、コンピュータプログラム製品（ＣＰＰ）６４１が提供され得る。ＣＰＰ６４１はコンピュータ可読媒体（ＣＲＭ）６４２を含み、ＣＲＭ６４２は、コンピュータ可読命令（ＣＲＩ）６４４を備えるコンピュータプログラム（ＣＰ）６４３を記憶する。ＣＲＭ６４２は、磁気媒体（たとえば、ハードディスク）、光媒体、メモリデバイス（たとえば、ランダムアクセスメモリ、フラッシュメモリ）など、非一時的コンピュータ可読媒体であり得る。いくつかの実施形態では、コンピュータプログラム６４３のＣＲＩ６４４は、ＰＣ６０２によって実行されたとき、ＣＲＩが、装置６００に、本明細書で説明されるステップ（たとえば、フローチャートを参照しながら本明細書で説明されるステップ）を実施させるように設定される。他の実施形態では、装置６００は、コードの必要なしに本明細書で説明されるステップを実施するように設定され得る。すなわち、たとえば、ＰＣ６０２は、単に１つまたは複数のＡＳＩＣからなり得る。したがって、本明細書で説明される実施形態の特徴は、ハードウェアおよび／またはソフトウェアで実装され得る。

様々な実施形態が本明細書で説明されたが、それらの実施形態は、限定ではなく、例として提示されたにすぎないことを理解されたい。したがって、本開示の広さおよび範囲は、上記で説明された例示的な実施形態のいずれによっても限定されるべきでない。その上、本明細書で別段に指示されていない限り、またはコンテキストによって明確に否定されていない限り、上記で説明されたエレメントのそれらのすべての考えられる変形形態における任意の組合せが、本開示によって包含される。

さらに、上記で説明され、図面に示されたプロセスは、ステップのシーケンスとして示されたが、これは、説明のためにのみ行われた。したがって、いくつかのステップが追加され得、いくつかのステップが省略され得、ステップの順序が並べ替えられ得、いくつかのステップが並行して実施され得ることが企図される。

Claims

ビットストリームからピクチャ中のサブピクチャ（ＳＰ）についての位置およびサイズを復号するための方法（５００）であって、前記方法は、
前記ビットストリーム中の第１のシンタックスエレメントＳ１からコーディングツリーユニット（ＣＴＵ）サイズを復号することと、
スケールファクタ値Ｆを取得することであって、Ｆが１よりも大きい、スケールファクタ値Ｆを取得することと、
前記サブピクチャＳＰについてのスケーリングされた位置値を導出することであって、前記スケーリングされた位置値を導出することが、ｉ）前記ビットストリーム中の情報に基づいて位置値を取得することと、ｉｉ）前記スケーリングされた位置値を前記位置値とＦとの積に等しくセットすることとを含む、スケーリングされた位置値を導出することと、
前記スケーリングされた位置値に基づいて前記サブピクチャのサイズを導出することと
を含む、方法（５００）。
ｉ）前記位置値が、水平位置値ｈであり、前記スケーリングされた位置値が、スケーリングされた水平位置値Ｈ＝ｈ×Ｆであり、前記サブピクチャの前記サイズが、前記サブピクチャの幅Ｗｓｐである、および
ｉｉ）前記位置値が、垂直位置値ｖであり、前記スケーリングされた位置値が、スケーリングされた垂直位置値Ｖ＝ｖ×Ｆであり、前記サブピクチャの前記サイズが、前記サブピクチャの高さＨｓｐである、
のうちの少なくとも１つである、請求項１に記載の方法。
前記サブピクチャの前記サイズを導出することが、Ｈに基づいて前記サブピクチャの幅Ｗｓｐを導出することを含み、Ｈに基づいてＷｓｐを導出することは、
ｉ）前記ビットストリーム中の情報に基づいて第１の幅値ｗ１を取得することと、
ｉｉ）初期幅値Ｉｗを、Ｉｗ＝（ｗ１）×（Ｆ）を算出することによって取得することと、
ｉｉｉ）（Ｉｗ＋Ｈ）をＰｗと比較することであって、Ｐｗが、前記ピクチャの幅を指定する、（Ｉｗ＋Ｈ）をＰｗと比較することと、
ｉｖ）（Ｉｗ＋Ｈ＞Ｐｗ）である場合、Ｗｓｐを（Ｐｗ－Ｈ）に等しくセットし、他の場合、ＷｓｐをＩｗに等しくセットすることと
を含む、請求項２に記載の方法。
前記サブピクチャの前記サイズを導出することが、Ｖに基づいて前記サブピクチャの高さＨｓｐを導出することを含み、Ｖに基づいてＨｓｐを導出することは、
ｉ）前記ビットストリーム中の情報に基づいて第１の高さ値ｈ１を取得することと、
ｉｉ）初期高さ値Ｉｈを、Ｉｈ＝（ｈ１）×（Ｆ）を算出することによって取得することと、
ｉｉｉ）（Ｉｈ＋Ｖ）をＰｈと比較することであって、Ｐｈが、前記ピクチャの高さを指定する、（Ｉｈ＋Ｖ）をＰｈと比較することと、
ｉｖ）（Ｉｈ＋Ｖ＞Ｐｈ）である場合、Ｈｓｐを（Ｐｈ－Ｖ）に等しくセットし、他の場合、ＨｓｐをＩｈに等しくセットすることと
を含む、請求項２に記載の方法。
前記ビットストリーム中の情報に基づいて前記水平位置値ｈを取得することは、
ｈを取得するために前記ビットストリーム中のシンタックスエレメントＳ４を復号することであって、前記シンタックスエレメントＳ４の値が、ユニットサイズの数における水平位置を表し、前記ユニットサイズが、前記スケールファクタ値Ｆに前記ＣＴＵサイズを乗算したものに等しい、シンタックスエレメントＳ４を復号すること
を含む、請求項１から４のいずれか一項に記載の方法。
前記ビットストリーム中の情報に基づいて前記垂直位置値ｖを取得することは、
ｖを取得するために前記ビットストリーム中のシンタックスエレメントＳ５を復号することであって、前記シンタックスエレメントＳ５の値が、ユニットサイズの数における垂直位置を表す、シンタックスエレメントＳ５を復号すること
を含む、請求項１から５のいずれか一項に記載の方法。
異なる値を有する２つの別個のスケールファクタ値Ｆ１およびＦ２が取得され、
一方のスケールファクタ値Ｆ１が、前記サブピクチャの前記水平位置および前記サブピクチャの前記幅のうちの少なくとも１つを導出するためのスケールファクタ値Ｆとして使用され、
他方のスケールファクタ値Ｆ２が、前記サブピクチャの前記垂直位置および前記サブピクチャの前記高さのうちの少なくとも１つを導出するためのスケールファクタ値Ｆとして使用される、
請求項１から６のいずれか一項に記載の方法。
前記シンタックスエレメントＳ１、Ｓ４およびＳ５のうちの１つまたは複数が、シーケンスパラメータセット（ＳＰＳ）から復号される、請求項１から７のいずれか一項に記載の方法。
前記シンタックスエレメントＳ１、Ｓ４およびＳ５のうちの１つまたは複数が、ピクチャパラメータセット（ＰＰＳ）、ピクチャヘッダ、スライスヘッダから、または復号能力情報（ＤＣＩ）から復号され得る、請求項１から８のいずれか一項に記載の方法。
処理回路（６０２）によって実行されたとき、前記処理回路（６０２）に、請求項１から９のいずれか一項に記載の方法を実施させる命令（６４４）を備える、コンピュータプログラム（６４３）。
請求項１０に記載のコンピュータプログラムを含んでいるキャリアであって、前記キャリアが、電子信号、光信号、無線信号、およびコンピュータ可読記憶媒体（６４２）のうちの１つである、キャリア。
請求項１から９のいずれか一項に記載の方法を実施するように適合された、装置（６００）。
装置（６００）であって、前記装置が、
処理回路（６０２）と、
メモリ（６４２）と
を備え、前記メモリが、前記処理回路によって実行可能な命令（６４４）を含んでおり、それにより、前記装置が、請求項１から９のいずれか一項に記載の方法を実施するように動作可能である、装置（６００）。