JP2023521295A - 映像符号化データをシグナリングするための方法 - Google Patents

映像符号化データをシグナリングするための方法 Download PDF

Info

Publication number
JP2023521295A
JP2023521295A JP2022556109A JP2022556109A JP2023521295A JP 2023521295 A JP2023521295 A JP 2023521295A JP 2022556109 A JP2022556109 A JP 2022556109A JP 2022556109 A JP2022556109 A JP 2022556109A JP 2023521295 A JP2023521295 A JP 2023521295A
Authority
JP
Japan
Prior art keywords
picture
wraparound
motion compensation
offset
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022556109A
Other languages
English (en)
Inventor
チェン,ジエ
ルオ,ジャンコン
イエ,ヤン
Original Assignee
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2023521295A publication Critical patent/JP2023521295A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/563Motion estimation with padding, i.e. with filling of non-object values in an arbitrarily shaped picture block or region for estimation purposes

Abstract

本開示はラップアラウンド動き補償のためのシステム及び方法を提供する。1つの例示的な方法は、ラップアラウンド動き補償フラグを受信することと、ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、を含む。

Description

関連出願の相互参照
[0001] 本開示は、2020年3月26日に出願された、米国仮特許出願第63/000,443号に対する優先権、及びそれに対する優先権の利益を主張する。同仮出願はその全体が本明細書において参照により組み込まれる。
技術分野
[0002] 本開示は、概して、映像データ処理に関し、より詳細には、ラップアラウンド動き補償、スライスレイアウト、及びスライスアドレスに関する情報をシグナリングするための方法及び装置に関する。
背景
[0003] 映像は、視覚情報を取り込んだ静的ピクチャ(又は「フレーム」)のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは通常、符号化と称され、復元プロセスは通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング(High Efficiency Video Coding)(例えばHEVC/H.265)規格、多用途ビデオコーディング(Versatile Video Coding)(例えばVVC/H.266)、及び標準AVS規格などの映像符号化規格が、標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率はますます高くなる。
開示の概要
[0004] 本開示の実施形態は、映像符号化データをシグナリングするための方法であって、該方法が、ラップアラウンド動き補償フラグを受信することと、ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、を含む方法を提供する。
[0005] 本開示の実施形態は、映像符号化データをシグナリングするための方法であって、該方法が、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を含む方法をさらに提供する。
[0006] 本開示の実施形態は、映像符号化データをシグナリングするための方法であって、該方法が、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含むことと、(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を含む方法をさらに提供する。
[0007] 本開示の実施形態は、映像符号化データをシグナリングするための方法をさらに提供し、該方法は、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、ピクチャのためのピクチャヘッダシンタックス構造が、1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、変数に従ってスライスアドレスをシグナリングすることと、を含む。
[0008] 本開示の実施形態は、映像データ処理を実行するためのシステムをさらに提供し、システムは、命令のセットを記憶するメモリと、プロセッサと、を備え、プロセッサは、命令のセットを実行し、システムに、ラップアラウンド動き補償フラグを受信することと、ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、を実行させるように構成されている。
[0009] 本開示の実施形態は、映像データ処理を実行するためのシステムをさらに提供し、システムは、命令のセットを記憶するメモリと、プロセッサと、を備え、プロセッサは、命令のセットを実行し、システムに、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を実行させるように構成されている。
[0010] 本開示の実施形態は、映像データ処理を実行するためのシステムをさらに提供し、システムは、命令のセットを記憶するメモリと、プロセッサと、を備え、プロセッサは、命令のセットを実行し、システムに、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含むことと、(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を実行させるように構成されている。
[0011] 本開示の実施形態は、映像データ処理を実行するためのシステムをさらに提供し、システムは、命令のセットを記憶するメモリと、プロセッサと、を備え、プロセッサは、命令のセットを実行し、システムに、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、ピクチャのためのピクチャヘッダシンタックス構造が、1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、変数に従ってスライスアドレスをシグナリングすることと、を実行させるように構成されている。
[0012] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読媒体をさらに提供し、命令のセットは、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法は、ラップアラウンド動き補償フラグを受信することと、ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、を含む。
[0013] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読媒体をさらに提供し、命令のセットは、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法は、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を含む。
[0014] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読媒体をさらに提供し、命令のセットは、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法は、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含むことと、(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、を含む。
[0015] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読媒体をさらに提供し、命令のセットは、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、ピクチャのためのピクチャヘッダシンタックス構造が、1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、変数に従ってスライスアドレスをシグナリングすることと、を含む。
図面の簡単な説明
[0016] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図面において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
[0017]図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す。 [0018]図2Aは、本開示のいくつかの実施形態に係る、例示的な符号化プロセスの概略図を示す。 [0019]図2Bは、本開示のいくつかの実施形態に係る、別の例示的な符号化プロセスの概略図を示す。 [0020]図3Aは、本開示のいくつかの実施形態に係る、例示的な復号化プロセスの概略図を示す。 [0021]図3Bは、本開示のいくつかの実施形態に係る、別の例示的な復号化プロセスの概略図を示す。 [0022]図4は、本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図を示す。 [0023]図5Aは、本開示のいくつかの実施形態に係る、再構成された正距円筒図を生成するための例示的な融合動作の概略図を示す。 [0024]図5Bは、本開示のいくつかの実施形態に係る、再構成された正距円筒図を生成するための例示的なトリミング演算の概略図を示す。 [0025]図6Aは、本開示のいくつかの実施形態に係る、正距円筒図のための例示的な水平ラップアラウンド動き補償プロセスの概略図を示す。 [0026]図6Bは、本開示のいくつかの実施形態に係る、パディング正距円筒図のための例示的な水平ラップアラウンド動き補償プロセスの概略図を示す。 [0027]図7は、本開示のいくつかの実施形態に係る、例示的な高レベルラップアラウンドオフセットのシンタックスを示す。 [0028]図8は、本開示のいくつかの実施形態に係る、例示的な高レベルラップアラウンドオフセットのセマンティクスを示す。 [0029]図9は、本開示のいくつかの実施形態に係る、ピクチャの例示的なスライス及びサブピクチャ分割の概略図を示す。 [0030]図10は、本開示のいくつかの実施形態に係る、異なるスライス及びサブピクチャを有するピクチャの例示的なスライス及びサブピクチャ分割の概略図を示す。 [0031]図11は、本開示のいくつかの実施形態に係る、タイルマッピング及びスライスレイアウトのための例示的なピクチャパラメータセットのシンタックスを示す。 [0032]図12は、本開示のいくつかの実施形態に係る、タイルマッピング及びスライスレイアウトのための例示的なピクチャパラメータセットのセマンティクスを示す。 [0032]図12は、本開示のいくつかの実施形態に係る、タイルマッピング及びスライスレイアウトのための例示的なピクチャパラメータセットのセマンティクスを示す。 [0033]図13は、本開示のいくつかの実施形態に係る、例示的なスライスヘッダのシンタックスを示す。 [0034]図14は、本開示のいくつかの実施形態に係る、例示的なスライスヘッダのセマンティクスを示す。 [0035]図15は、本開示のいくつかの実施形態に係る、例示的な改善されたピクチャパラメータセットのシンタックスを示す。 [0036]図16は、本開示のいくつかの実施形態に係る、例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0037]図17は、本開示のいくつかの実施形態に係る、変数wraparound_offset_typeを有する例示的なピクチャパラメータセットのシンタックスを示す。 [0038]図18は、本開示のいくつかの実施形態に係る、変数wraparound_offset_typeを有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0039]図19は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus2を有する例示的なピクチャパラメータセットのシンタックスを示す。 [0040]図20は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus2を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0040]図20は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus2を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0041]図21は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus_subpic_num_minus1を有する例示的なピクチャパラメータセットのシンタックスを示す。 [0042]図22は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus_subpic_num_minus1を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0042]図22は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus_subpic_num_minus1を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。 [0043]図23は、本開示のいくつかの実施形態に係る、例示的な更新されたスライスヘッダのシンタックスを示す。 [0044]図24は、本開示のいくつかの実施形態に係る、映像フレームの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。 [0045]図25は、本開示のいくつかの実施形態に係る、(映像フレーム内のスライスの数-2)をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。 [0046]図26は、本開示のいくつかの実施形態に係る、(映像フレーム内のスライスの数-映像フレーム内のサブピクチャの数-1)を示す変数をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。 [0047]図27は、本開示のいくつかの実施形態に係る、ピクチャヘッダシンタックス構造が、映像フレームのスライスヘッダ内に存在するかどうかを示す変数を用いる例示的な映像符号化方法のフローチャートを示す。
詳細な説明
[0048] 次に、添付の図面に例が示された、例示的な実施形態を詳細に参照する。以下の説明は添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本発明に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本発明に関連する態様に従う装置及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び/又は定義と矛盾する場合には、本明細書において提供される用語及び定義が優先する。
[0049] ITU-Tビデオコーディングエキスパートグループ(ITU-T VCEG(ITU-T Video Coding Expert Group))及びISO/IECムービングピクチャエクスパートグループ(ISO/IECMPEG(ISO/IEC Moving Picture Expert))のジョイントビデオエクスパーツチーム(JVET(Joint Video Experts Team))は、現在、多用途ビデオコーディング(VVC/H.266)規格を開発している。VVC規格は、その前身、高効率ビデオコーディング(HEVC/H.265)規格の圧縮効率を2倍にすることを目指している。換言すれば、VVCの目標は、半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成することである。
[0050] 半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成するために、ジョイントビデオエクスパーツチーム(「JVET(Joint Video Experts Team)」)は、共同探索モデル(「JEM(Joint exploration model)」)参照ソフトウェアを用いてHEVCを超える技術を開発している。符号化技術がJEMに組み込まれたため、JEMはHEVCよりも実質的に高い符号化性能を達成した。VCEG及びMPEGも、HEVCを超える次世代映像圧縮規格の開発を正式に開始した。
[0051] VVC規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。
[0052] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ(又はフレーム)のセットである。映像取り込みデバイス(例えば、カメラ)を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末)を、このようなピクチャを時系列で表示するために用いることができる。また、用途によっては、映像取り込みデバイスが、取り込まれた映像を、監視、会議開催、又は生放送などのために、映像再生デバイス(例えば、モニタを有するコンピュータ)へリアルタイムに伝送することができる。
[0053] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮することができる。例えば、映像は記録前と送信前に圧縮し及び表示前に復元することができる。圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)によって実行されるソフトウェア、又は特殊ハードウェアによって実施され得る。圧縮のためのモジュール回路構成は一般的に「符号器」と称され、復元のためのモジュール又は回路構成は一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせのうちの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(「DSP(digital signal processor)」)、特定用途向け集積回路(「ASIC(application-specific integrated circuit)」)、フィールドプログラマブルゲートアレイ(「FPGA(field-programmable gate array)」)、個別論理、又はこれらの任意の組み合わせなどの、回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ、又は同様のものなどの、様々なアルゴリズム又は規格によって実施され得る。用途によっては、コーデックは映像を第1の符号化規格から復元し、復元された映像を、第2の符号化規格を用いて再圧縮することができる。この場合には、コーデックは「トランスコーダ」と称され得る。
[0054] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持することができる。映像符号化プロセスにおいて無視された情報を完全に再構成することができない場合には、符号化プロセスは「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。
[0055] 多くの場合、符号化中のピクチャ(「現在のピクチャ」と称される)の有用な情報は、参照ピクチャ(例えば、以前に符号化又は再構成されたピクチャ)に対する変化を含むことができる。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができる。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。
[0056] 別のピクチャを参照することなく符号化されたピクチャ(すなわち、それがそれ自身の参照ピクチャである)は「Iピクチャ」と称される。ピクチャ内の一部又は全てのブロック(例えば、概して映像ピクチャの部分を参照するブロック)が、1つの参照ピクチャを用いたイントラ予測又はインター予測を用いて予測される場合には(例えば、単方向予測)、ピクチャは「Pピクチャ」と称される。ピクチャ内の少なくとも1つのブロックが2つの参照ピクチャを用いて予測される場合には(例えば、双方向予測)、ピクチャは「Bピクチャ」と称される。
[0057] 図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す。図1に示されるように、映像シーケンス100は、ライブ映像、又は取り込まれ、アーカイブされた映像であることができる。映像100は、現実の映像、コンピュータ生成映像(例えば、コンピュータゲーム映像)、又はこれらの組み合わせ(例えば、拡張現実感エフェクトを伴う現実の映像)であることができる。映像シーケンス100は、映像取り込みデバイス(例えば、カメラ)、以前に取り込まれた映像を包含する映像アーカイブ(例えば、記憶デバイス内に記憶された映像ファイル)、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース(例えば、映像放送トランシーバ)から入力され得る。
[0058] 図1に示されるように、映像シーケンス100は、ピクチャ102、104、106、及び108を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ102~106は連続しており、ピクチャ106及び108の間にはさらなるピクチャが存在する。図1において、ピクチャ102はIピクチャであり、その参照ピクチャはピクチャ102自身である。ピクチャ104はPピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ102である。ピクチャ106はBピクチャであり、その参照ピクチャは、矢印によって示されるように、ピクチャ104及び108である。実施形態によっては、ピクチャ(例えば、ピクチャ104)の参照ピクチャは当該ピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャはピクチャ102の前のピクチャであることができる。ピクチャ102~106の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、図1に示される例として限定しないことに留意されたい。
[0059] 典型的に、映像コーデックは、このようなタスクの計算の複雑性のゆえに、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらはピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット(「BPU(basic processing unit)」)と称される。例えば、図1における構造110は映像シーケンス100のピクチャ(例えば、ピクチャ102~108のうちの任意のもの)の例示的な構造を示す。構造110においては、ピクチャが4×4基本処理ユニットに分割され、それらの境界は破線として示されている。実施形態によっては、基本処理ユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「マクロブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーユニット」(「CTU(coding tree unit)」)と称され得る。基本処理ユニットは、128×128、64×64、32×32、16×16、4×8、16×32などの、ピクチャにおける可変サイズ、或いはピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。
[0060] 基本処理ユニットは、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであることができる。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分(Y)、色情報を表現する1つ以上のクロマ成分(例えば、Cb及びCr)、並びに関連シンタックス要素を含むことができ、ここで、ルマ及びクロマ成分は基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーブロック」(「CTB(coding tree block)」)と称され得る。基本処理ユニットに対して実行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し実行され得る。
[0061] 映像符号化は複数の演算段階を有し、図2A~図2B及び図3A~図3Bにその例が示されている。段階ごとに、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、それゆえ、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。実施形態によっては、基本処理サブユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「ブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ユニット」(「CU」)と称され得る。基本処理サブユニットは、基本処理ユニットと同じ、又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットもまた、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データ(例えば、Y、Cb、Cr、及び関連シンタックス要素)のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して実行される任意の動作はそのルマ及びクロマ成分の各々に対して繰り返し実行され得る。このような分割は処理の必要に応じてさらなるレベルまで実行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。
[0062] 例えば、モード決定段階(図2Bにその一例が示されている)において、符号器は、どのような予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は、基本処理ユニットを複数の基本処理サブユニット(例えば、H.265/HEVC又はH.266/VVCの場合のように、CU)に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。
[0063] 別の例として、予測段階(図2A~図2Bにその例が示されている)において、符号器は基本処理サブユニット(例えば、CU)のレベルで予測演算を実行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「予測ブロック(prediction block)」又は「PB」と称される)にさらに分割することができ、そのレベルで予測演算が実行され得る。
[0064] 別の例として、変換段階(図2A~図2Bにその例が示されている)において、符号器は残差基本処理サブユニット(例えば、CU)のための変換演算を実行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「変換ブロック(transform block)」又は「TB」と称される)にさらに分割することができ、そのレベルで変換演算が実行され得る。同じ基本処理サブユニットの分割方式が、予測段階及び変換段階において異なってもよいことに留意されたい。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックが異なるサイズ及び数を有してもよい。
[0065] 図1の構造110においては、基本処理ユニット112は3×3基本処理サブユニットにさらに分割され、それらの境界は点線として示されている。同じピクチャの異なる基本処理ユニットは、異なる方式で基本処理サブユニットに分割されてもよい。
[0066] 実装形態によっては、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャのある領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることによって、コーデックはピクチャの異なる領域を並行して処理することができ、それゆえ、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損した、又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、それゆえ、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは2種類の領域:「スライス」及び「タイル」を提供する。また、映像シーケンス100の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。
[0067] 例えば、図1では、構造110は3つの領域114、116、及び118に分割され、それらの境界は構造110の内部の実線として示されている。領域114は4つの基本処理ユニットを含む。領域116及び118の各々は6つの基本処理ユニットを含む。図1における構造110の基本処理ユニット、基本処理サブユニット、及び領域は単なる例に過ぎず、本開示はその実施形態を限定しないことに留意されたい。
[0068] 図2Aは、本開示のいくつかの実施形態に係る、例示的な符号化プロセスの概略を示す。例えば、図2Aに示される符号化プロセス200Aは符号器によって実行され得る。図2Aに示されるように、符号器は、プロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。図1における映像シーケンス100と同様に、映像シーケンス202は、時間的順序で配列されたピクチャ(「原ピクチャ」と称される)のセットを含むことができる。図1における構造110と同様に、映像シーケンス202の各原ピクチャは、符号器によって処理のために基本処理ユニット、基本処理サブユニット、又は領域に分割され得る。実施形態によっては、符号器は、映像シーケンス202の原ピクチャごとに基本処理ユニットのレベルでプロセス200Aを実行することができる。例えば、符号器は、プロセス200Aを反復的な仕方で実行することができ、その場合、符号器は、基本処理ユニットをプロセス200Aの1回の反復において符号化することができる。実施形態によっては、符号器は、プロセス200Aを映像シーケンス202の各原ピクチャの領域(例えば、領域114~118)のために並行して実行することができる。
[0069] 図2Aにおいて、符号器は、映像シーケンス202の原ピクチャの基本処理ユニット(「原BPU」と称される)を予測段階204に供給し、予測データ206及び予測BPU208を生成することができる。符号器は、予測BPU208を原BPUから減算し、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214に供給し、量子化変換係数216を生成することができる。符号器は、予測データ206及び量子化変換係数216を2値符号化段階226に供給し、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226、及び228は「順方向経路」と称され得る。プロセス200Aの間、量子化段階214の後に、符号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復のために予測段階204において用いられる、予測基準224を生成することができる。プロセス200Aの構成要素218、220、222、及び224は「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。
[0070] 符号器は、原ピクチャの各原BPUを(順方向経路内で)符号化し、原ピクチャの次の原BPUを符号化するための予測基準224を(再構成経路内で)生成するために、プロセス200Aを反復的に実行することができる。原ピクチャの全ての原BPUを符号化した後に、符号器は、映像シーケンス202内の次のピクチャを符号化するために進むことができる。
[0071] プロセス200Aを参照すると、符号器は、映像取り込みデバイス(例えば、カメラ)によって生成された映像シーケンス202を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること、又はデータを入力するための任意の仕方による任意の行為を指すことができる。
[0072] 予測段階204では、現在の反復において、符号器は、原BPU及び予測基準224を受信し、予測演算を実行し、予測データ206及び予測BPU208を生成することができる。予測基準224は、プロセス200Aの以前の反復の再構成経路から生成され得る。予測段階204の目的は、予測データ206を抽出することによって、情報冗長性を低減することであり、予測データ206は、予測データ206及び予測基準224から原BPUを予測BPU208として再構成するために用いることができる。
[0073] 理想的には、予測BPU208は原BPUと同一であることができる。しかし、非理想的な予測及び再構成演算のゆえに、予測BPU208は、概して、原BPUとは若干異なる。このような差を記録するために、予測BPU208を生成した後に、符号器はそれを原BPUから減算し、残差BPU210を生成することができる。例えば、符号器は、予測BPU208のピクセルの値(例えば、グレースケール値又はRGB値)を原BPUの対応するピクセルの値から減算することができる。残差BPU210の各ピクセルは、原BPU及び予測BPU208の対応するピクセルの間のこのような減算の結果としての残差値を有することができる。原BPUと比べて、予測データ206及び残差BPU210はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく原BPUを再構成するために用いられ得る。それゆえ、原BPUは圧縮される。
[0074] 残差BPU210をさらに圧縮するために、変換段階212において、符号器は、それを2次元「基底パターン」のセットに分解することによって、残差BPU210の空間的冗長性を低減することができ、各基底パターンは「変換係数」に関連付けられている。基底パターンは同じサイズ(例えば、残差BPU210のサイズ)を有することができる。各基底パターンは、残差BPU210の変化周波数(例えば、輝度変化の周波数)成分を表現することができる。基底パターンはいずれも、いかなる他の基底パターンのいかなる結合(例えば、線形結合)からも再現することができない。換言すれば、分解は残差BPU210の変化を周波数領域に分解することができる。このような分解は関数の離散フーリエ変換と類似しており、この場合、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。
[0075] 異なる変換アルゴリズムは異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなどの、様々な変換アルゴリズムを変換段階212において用いることができる。変換段階212における変換は逆演算可能である。すなわち、符号器は、変換の逆演算(「逆変換」と称される)によって残差BPU210を回復することができる。例えば、残差BPU210のピクセルを回復するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は両方とも同じ変換アルゴリズム(それゆえ、同じ基底パターン)を用いることができる。それゆえ、符号器は変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差BPU210を再構成することができる。残差BPU210と比べて、変換係数はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく残差BPU210を再構成するために用いられ得る。それゆえ、残差BPU210はさらに圧縮される。
[0076] 符号器は、量子化段階214において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは異なる変化周波数(例えば、輝度変化周波数)を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化スケールパラメータ」と称される)で除算し、商をその最近傍の整数に丸めることによって、量子化変換係数216を生成することができる。このような演算の後に、高周波数基底パターンの一部の変換係数は0に変換され得、低周波数基底パターンの変換係数はより小さい整数に変換され得る。符号器は0値の量子化変換係数216を無視することができ、これによって変換係数はさらに圧縮される。量子化プロセスもまた逆演算可能であり、この場合、量子化変換係数216は量子化の逆演算(「逆量子化」と称される)において変換係数に再構成され得る。
[0077] 符号器はこのような除算の剰余を丸め演算において無視するため、量子化段階214は非可逆になり得る。典型的に、量子化段階214はプロセス200Aにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数216が必要とし得るビットは少なくなる。異なる情報損失レベルを得るために、符号器は、量子化スケール因子又は量子化プロセスの任意の他のパラメータの異なる値を用いることができる。
[0078] 2値符号化段階226において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの2値符号化技法を用いて、予測データ206及び量子化変換係数216を符号化することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、符号器は、例えば、予測段階204において用いられる予測モード、予測演算のパラメータ、変換段階212における変換の種類、量子化プロセスのパラメータ(例えば、量子化スケール因子)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなどの他の情報を、2値符号化段階226において符号化することができる。符号器は、2値符号化段階226の出力データを用いて映像ビットストリーム228を生成することができる。実施形態によっては、映像ビットストリーム228をネットワーク伝送のためにさらにパケット化することができる。
[0079] プロセス200Aの再構成経路を参照すると、逆量子化段階218において、符号器は、量子化変換係数216に対して逆量子化を実行し、再構成変換係数を生成することができる。逆変換段階220において、符号器は、再構成変換係数に基づいて再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復において用いられることになる予測基準224を生成することができる。
[0080] プロセス200Aの他の変形を、映像シーケンス202を符号化するために用いることもできることに留意されたい。実施形態によっては、プロセス200Aの段階は、符号器によって、異なる順序で実行され得る。実施形態によっては、プロセス200Aの1つ以上の段階を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aの単一の段階を複数の段階に分割することができる。例えば、変換段階212及び量子化段階214を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aは追加の段階を含むことができる。実施形態によっては、プロセス200Aは、図2Aにおける1つ以上の段階を省略することができる。
[0081] 図2Bは、本開示のいくつかの実施形態に係る、別の例示的な符号化プロセスの概略を示す。図2Bに示されるように、プロセス200Bはプロセス200Aから変更され得る。例えば、プロセス200Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した符号器によって用いられ得る。プロセス200Aと比べて、プロセス200Bの順方向経路はモード決定段階230を追加的に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分割する。プロセス200Bの再構成経路は、ループフィルタ段階232及びバッファ234を追加的に含む。
[0082] 概して、予測技法は2つの種類:空間的予測及び時間的予測に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現在のBPUを予測するために、同じピクチャ内の1つ以上のすでに符号化された隣接BPUからのピクセルを用いることができる。すなわち、空間的予測における予測基準224は隣接BPUを含むことができる。空間的予測は、ピクチャの固有の空間的冗長性を低減することができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現在のBPUを予測するために、1つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測基準224は符号化ピクチャを含むことができる。時間的予測は、ピクチャの固有の時間的冗長性を低減することができる。
[0083] プロセス200Bを参照すると、順方向経路内において、符号器は、予測演算を空間的予測段階2042及び時間的予測段階2044において実行する。例えば、空間的予測段階2042において、符号器はイントラ予測を実行することができる。符号化中のピクチャの原BPUのために、予測基準224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上の隣接BPUを同じピクチャ内に含むことができる。符号器は、隣接BPUを外挿することによって予測BPU208を生成することができる。外挿技法は、例えば、線形外挿若しくは補間、多項式外挿若しくは補間、又は同様のものを含むことができる。実施形態によっては、符号器は、予測BPU208のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで実行することができる。外挿のために用いられる隣接BPUは、(例えば、原BPUの上の)鉛直方向、(例えば、原BPUの左の)水平方向、(例えば、原BPUの左下、右下、左上、若しくは右上の)対角方向、又は用いられる映像符号化規格において定義される任意の方向などの、様々な方向から原BPUに対して位置することができる。イントラ予測のために、予測データ206は、例えば、用いられる隣接BPUの場所(例えば、座標)、用いられる隣接BPUのサイズ、外挿のパラメータ、原BPUに対する用いられる隣接BPUの方向、又は同様のものを含むことができる。
[0084] 別の例として、時間的予測段階2044において、符号器はインター予測を実行することができる。現在のピクチャの原BPUのために、予測基準224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上のピクチャ(「参照ピクチャ」と称される)を含むことができる。実施形態によっては、参照ピクチャはBPUごとに符号化され、再構成され得る。例えば、符号器は、再構成残差BPU222を予測BPU208に加算し、再構成BPUを生成することができる。同じピクチャの全ての再構成BPUが生成されたとき、符号器は、再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と称される)内のマッチング領域を探索するために「動き推定」の演算を実行することができる。参照ピクチャ内の探索窓の場所は、現在のピクチャの原BPUの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、現在のピクチャ内の原BPUと同じ座標を有する場所に中心を有することができ、所定の距離にわたって外へ拡張され得る。符号器が(例えば、画素再帰(pel-recursive)アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって)探索窓内の原BPUと同様の領域を識別したとき、符号器は、このような領域をマッチング領域と決定することができる。マッチング領域は、原BPUとは異なる(例えば、原BPUよりも小さい、それに等しい、それよりも大きい、又は異なる形状の)寸法を有することができる。参照ピクチャ及び現在のピクチャが(例えば、図1に示されるように)タイムライン内で時間的に分離されているため、時間が経過するにつれてマッチング領域は原BPUの場所へ「移動する」と見なすことができる。符号器は、このような動きの方向及び距離を「動きベクトル」として記録することができる。(例えば、図1におけるピクチャ106のように)複数の参照ピクチャが用いられるときには、符号器は、参照ピクチャごとにマッチング領域を探索し、その関連動きベクトルを決定することができる。実施形態によっては、符号器は、それぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。
[0085] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなどの、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ206は、例えば、マッチング領域の場所(例えば、座標)、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。
[0086] 予測BPU208を生成するために、符号器は「動き補償」の演算を実行することができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて予測BPU208を再構成するために用いることができる。例えば、符号器は、動きベクトルに従って、参照ピクチャのマッチング領域を移動させることができ、その場合、符号器は、現在のピクチャの原BPUを予測することができる。(例えば、図1におけるピクチャ106のように)複数の参照ピクチャが用いられるときには、符号器は、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。実施形態によっては、符号器がそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与した場合には、符号器は、ピクセル値の加重和を、移動させられたマッチング領域に加算することができる。
[0087] 実施形態によっては、インター予測は一方向性又は双方向性であることができる。一方向性インター予測は、現在のピクチャに対して同じ時間方向の1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ104は、参照ピクチャ(すなわち、ピクチャ102)がピクチャ104に先行する、一方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両方の時間方向にある1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ106は、参照ピクチャ(すなわち、ピクチャ104及び108)がピクチャ104に対して両方の時間方向にある、双方向インター予測ピクチャである。
[0088] プロセス200Bの順方向経路をなおも参照すると、空間的予測段階2042及び時間的予測段階2044の後に、モード決定段階230において、符号器は、予測モード(例えば、イントラ予測又はインター予測のうちの一方)をプロセス200Bの現在の反復のために選択することができる。例えば、符号器はレート-歪み最適化技法を実行することができる。本技法では、符号器は、候補予測モードのビットレート、及び候補予測モード下での再構成参照ピクチャの歪みに依存するコスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測BPU208及び予測データ206を生成することができる。
[0089] プロセス200Bの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合には、予測基準224(例えば、現在のピクチャにおいて符号化され、再構成された現在のBPU)を生成した後に、符号器は、予測基準224を後の使用のために(例えば、現在のピクチャの次のBPUの外挿のために)空間的予測段階2042に直接供給することができる。符号器は、予測基準224をループフィルタ段階232に供給することができ、そこで、符号器は、ループフィルタを予測基準224に適用し、予測基準224の符号化中に導入された歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなどの、様々なループフィルタ技法をループフィルタ段階232において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像シーケンス202の将来のピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(又は「復号化ピクチャバッファ」)内に記憶され得る。符号器は、1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、符号器は、ループフィルタのパラメータ(例えば、ループフィルタ強度)を、量子化変換係数216、予測データ206、及び他の情報と共に、2値符号化段階226において符号化することができる。
[0090] 図3Aは、本開示のいくつかの実施形態に係る、例示的な復号化プロセスの概略を示す。図3Aに示されるように、プロセス300Aは、図2Aにおける圧縮プロセス200Aに対応する復元プロセスであることができる。実施形態によっては、プロセス300Aは、プロセス200Aの再構成経路と似たものであることができる。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号化することができる。映像ストリーム304は映像シーケンス202とよく似たものであることができる。しかし、圧縮及び復元プロセス(例えば、図2A~図2Bにおける量子化段階214)における情報損失のゆえに、概して、映像ストリーム304は映像シーケンス202と同一ではない。図2A~図2Bにおけるプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化されたピクチャごとに基本処理ユニット(BPU)のレベルでプロセス300Aを実行することができる。例えば、復号器はプロセス300Aを反復的な仕方で実行することができ、その場合、復号器は、基本処理ユニットをプロセス300Aの1回の反復において復号化することができる。実施形態によっては、復号器は、プロセス300Aを、映像ビットストリーム228内に符号化された各ピクチャの領域(例えば、領域114~118)のために並列に実行することができる。
[0091] 図3Aにおいて、復号器は、符号化ピクチャの基本処理ユニット(「符号化BPU」と称される)に関連付けられた映像ビットストリーム228の部分を2値復号化段階302に供給することができる。2値復号化段階302において、復号器は、当該部分を予測データ206及び量子化変換係数216に復号化することができる。復号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。復号器は、予測データ206を予測段階204に供給し、予測BPU208を生成することができる。復号器は、再構成残差BPU222を予測BPU208に加算し、予測基準224を生成することができる。実施形態によっては、予測基準224をバッファ(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶することができる。復号器は、予測演算をプロセス300Aの次の反復において実行するために予測基準224を予測段階204に供給することができる。
[0092] 復号器は、符号化ピクチャの各符号化BPUを復号化し、符号化ピクチャの次の符号化BPUを符号化するための予測基準224を生成するために、プロセス300Aを反復的に実行することができる。符号化ピクチャの全ての符号化BPUを復号化した後に、復号器は、ピクチャを表示のために映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化ピクチャを復号化するために進むことができる。
[0093] 2値復号化段階302において、復号器は、符号器によって用いられた2値符号化技法(例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆圧縮アルゴリズム)の逆演算を実行することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、復号器は、例えば、予測モード、予測演算のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化スケール因子)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)、又は同様のものなどの、他の情報を2値復号化段階302において復号化することができる。実施形態によっては、映像ビットストリーム228がネットワークを通じてパケットの形で伝送される場合には、復号器は映像ビットストリーム228を、それを2値復号化段階302に供給する前にデパケット化することができる。
[0094] 図3Bは、本開示のいくつかの実施形態に係る、別の例示的な復号化プロセスの概略を示す。図3Bに示されるように、プロセス300Bはプロセス300Aから変更され得る。例えば、プロセス300Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した復号器によって用いられ得る。プロセス300Aと比べて、プロセス300Bは、予測段階204を空間的予測段階2042及び時間的予測段階2044に追加的に分割し、ループフィルタ段階232及びバッファ234を追加的に含む。
[0095] プロセス300Bにおいて、復号化中の符号化ピクチャ(「現在のピクチャ」と称される)の符号化基本処理ユニット(「現在のBPU」と称される)のために、復号器によって2値復号化段階302から復号化された予測データ206は、いかなる予測モードが符号器によって現在のBPUを符号化するために用いられたのかに依存して、様々な種類のデータを含むことができる。例えば、イントラ予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、イントラ予測、イントラ予測演算のパラメータ、又は同様のものを示す予測モードインジケータ(例えば、フラグ値)を含むことができる。イントラ予測演算のパラメータは、例えば、参照として用いられる1つ以上の隣接BPUの場所(例えば、座標)、隣接BPUのサイズ、外挿のパラメータ、原BPUに対する隣接BPUの方向、又は同様のものを含むことができる。別の例として、インター予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、インター予測、インター予測演算のパラメータ、又は同様のものを示す予測モードインジケータ(例えば、フラグ値)を含むことができる。インター予測演算のパラメータは、例えば、現在のBPUに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の1つ以上のマッチング領域の場所(例えば、座標)、マッチング領域にそれぞれ関連付けられた1つ以上の動きベクトル、又は同様のものを含むことができる。
[0096] 予測モードインジケータに基づいて、復号器は、空間的予測段階2042において空間的予測(例えば、イントラ予測)を実行するべきか、又は時間的予測段階2044において時間的予測(例えば、インター予測)を実行するべきかを決定することができる。このような空間的予測又は時間的予測を実行することの詳細は図2Bにおいて説明されており、以下、繰り返されない。このような空間的予測又は時間的予測を実行した後に、復号器は予測BPU208を生成することができる。復号器は、図3Aにおいて説明されたように、予測BPU208及び再構成残差BPU222を加算し、予測基準224を生成することができる。
[0097] プロセス300Bにおいて、復号器は、予測演算をプロセス300Bの次の反復において実行するために、予測基準224を空間的予測段階2042又は時間的予測段階2044に供給することができる。例えば、現在のBPUが空間的予測段階2042においてイントラ予測を用いて復号化される場合には、予測基準224(例えば、復号化された現在のBPU)を生成した後に、復号器は、予測基準224を後の使用のために(例えば、現在のピクチャの次のBPUの外挿のために)空間的予測段階2042に直接供給することができる。現在のBPUが時間的予測段階2044においてインター予測を用いて復号化される場合には、予測基準224(例えば、全てのBPUが復号化された参照ピクチャ)を生成した後に、復号器は、予測基準224をループフィルタ段階232に供給し、歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。復号器は、図2Bにおいて説明されたとおりの仕方でループフィルタを予測基準224に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶され得る。復号器は、1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、予測データはループフィルタのパラメータ(例えば、ループフィルタ強度)をさらに含むことができる。実施形態によっては、予測データ206の予測モードインジケータが、現在のBPUを符号化するためにインター予測が用いられたことを示すときには、予測データはループフィルタのパラメータを含む。
[0098] 4種類のループフィルタが存在し得る。例えば、ループフィルタは、デブロッキングフィルタ、サンプル適応オフセット(「SAO(sample adaptive offset)」)フィルタ、クロマスケーリングを伴うルママッピング(「LMCS(luma mapping with chroma scaling)」)フィルタ、及び適応ループフィルタ(「ALF(adaptive loop filter)」)を含むことができる。4種類のループフィルタを適用する順序は、LMCSフィルタ、デブロッキングフィルタ、SAOフィルタ、及びALFであることができる。LMCSフィルタは2つの主要構成要素を含むことができる。第1の構成要素は、適応区分線形モデルに基づくルマ成分のループ内マッピングであることができる。第2の構成要素はクロマ成分のためのものであることができ、ルマ依存クロマ残差スケーリングが適用され得る。
[0099] 図4は、本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図を示す。図4に示されるように、装置400はプロセッサ402を含むことができる。プロセッサ402が、本明細書において説明される命令を実行したとき、装置400は映像符号化又は復号化のための特殊機械になることができる。プロセッサ402は、情報を操作又は処理する能力を有する任意の種類の回路機構であることができる。例えば、プロセッサ402は、中央処理装置(又は「CPU(central processing unit)」)、グラフィック処理装置(又は「GPU(graphics processing unit)」)、ニューラル処理装置(「NPU(neural processing unit)」)、マイクロコントローラユニット(「MCU(microcontroller unit)」)、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP(intellectual property))コア、プログラマブル論理アレイ(PLA(Programmable Logic Array))、プログラマブルアレイ論理(PAL(Programmable Array Logic))、ジェネリックアレイ論理(GAL(Generic Array Logic))、複合プログラマブル論理装置(CPLD(Complex Programmable Logic Device))、フィールドプログラマブルゲートアレイ(FPGA(Field-Programmable Gate Array))、システムオンチップ(SoC(System On Chip))、特定用途向け集積回路(ASIC(Application-Specific Integrated Circuit))、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。実施形態によっては、プロセッサ402はまた、単一の論理構成要素としてグループ化されたプロセッサのセットであることもできる。例えば、図4に示されるように、プロセッサ402は、プロセッサ402a、プロセッサ402b、及びプロセッサ402nを含む、複数のプロセッサを含むことができる。
[00100] 装置400はまた、データ(例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの)を記憶するように構成されたメモリ404を含むことができる。例えば、図4に示されるように、記憶されるデータは、プログラム命令(例えば、プロセス200A、200B、300A、又は300Bにおける段階を実施するためのプログラム命令)、並びに処理のためのデータ(例えば、映像シーケンス202、映像ビットストリーム228、又は映像ストリーム304)を含むことができる。プロセッサ402は(例えば、バス410を介して)プログラム命令、及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を実行することができる。メモリ404は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。実施形態によっては、メモリ404は、ランダムアクセスメモリ(RAM(random-access memory))、リードオンリーメモリ(ROM(read-only memory))、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD(security digital))カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF(compact flash))カード、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。メモリ404はまた、単一の論理構成要素としてグループ化されたメモリのグループ(図4には示されていない)であることもできる。
[00101] バス410は、内部バス(例えば、CPU-メモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート)、又は同様のものなどの、装置400の内部の構成要素の間でデータを転送する通信デバイスであることができる。
[00102] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ402及び他のデータ処理回路は本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、或いはソフトウェア、ハードウェア、又はファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は単一の独立モジュールであることができるか、或いは装置400の任意の他の構成要素に完全に、又は部分的に組み合わせられ得る。
[00103] 装置400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの)との有線又は無線通信を提供するためのネットワークインターフェース406をさらに含むことができる。実施形態によっては、ネットワークインターフェース406は、ネットワークインターフェースコントローラ(NIC(network interface controller))、無線周波数(RF(radio frequency))モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC(near-field communication)」)アダプタ、セルラーネットワークチップ、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。
[00104] 実施形態によっては、装置400は、1つ以上の周辺デバイスへの接続を提供するための周辺インターフェース408をさらに含むことができる。図4に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス(例えば、マウス、タッチパッド、又はタッチスクリーン)、キーボード、ディスプレイ(例えば、陰極線管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ)、映像入力デバイス(例えば、カメラ、又は映像アーカイブに通信可能に結合された入力インターフェース)、或いは同様のものを含むことができる。
[00105] 映像コーデック(例えば、プロセス200A、200B、300A、又は300Bを実行するコーデック)は装置400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、メモリ404内にロードされ得るプログラム命令などの、装置400の1つ以上のソフトウェアモジュールとして実施され得る。別の例として、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、特殊データ処理回路(例えば、FPGA、ASIC、NPU、又は同様のもの)などの、装置400の1つ以上のハードウェアモジュールとして実施され得る。
[00106] 量子化及び逆量子化機能ブロック(例えば、図2A又は図2Bの量子化214及び逆量子化218、図3A又は図3Bの逆量子化218)では、量子化パラメータ(QP(quantization parameter))が、予測残差に適用される量子化(及び逆量子化)の量を決定するために用いられる。ピクチャ又はスライスの符号化のために用いられる初期QP値は、例えば、ピクチャパラメータセット(PPS(Picture Parameter Set))内のinit_qp_minus26シンタックス要素を用いて、及びスライスヘッダ内のslice_qp_deltaシンタックス要素を用いて、高レベルでシグナリングされ得る。さらに、QP値は、量子化グループの細分さで送信されたデルタQP値を用いてCUごとに局所レベルで適応させることができる。
[00107] 正距円筒図(「ERP(Equirectangular Projection)」)フォーマットは、360度映像及び画像を表現するために用いられる一般的な投影フォーマットである。投影図は、子午線を一定間隔の鉛直直線に、及び緯度円を一定間隔の水平直線にマッピングする。マップ上の画像ピクセルの位置と球上のその対応する地理的場所との間の極めて単純な関係であるため、ERPは、360度映像及び画像のために用いられる最も一般的な投影図のうちの1つである。
[00108] JVETによって出された、投影フォーマット変換のアルゴリズム記述、及び映像品質メトリックは、イントロダクション及びERPと球との間の座標変換を与える。2D-3D座標変換については、サンプリング位置(m,n)を所与とすると、以下の式(1)及び(2)に基づいて(u,v)を算出することができる。
u=(m+0.5)/W,0≦m<W 式(1)
v=(n+0.5)/H,0≦n<H 式(2)
[00109] 次に、以下の式(3)及び(4)に基づいて(u,v)から球内の経度及び緯度(φ,θ)を算出することができる。
φ=(u-0.5)×(2×π) 式(3)
θ=(0.5-v)×π 式(4)
[00110] 以下の式(5)~(7)に基づいて3D座標(X,Y,Z)を算出することができる。
X=cos(θ)cos(φ)式(5)
Y=sin(θ) 式(6)
Z=-cos(θ)sin(φ) 式(7)
[00111] 3D-2D座標変換については、(X,Y,Z)から出発して、以下の式(8)及び(9)に基づいて(φ,θ)を算出することができる。次に、式(3)及び(4)に基づいて(u,v)を算出する。最後に、式(1)及び(2)に基づいて2D座標(m,n)を算出することができる。
φ=tan-1(-Z/X) 式(8)
θ=sin-1(Y/(X+Y+Z1/2) 式(9)
[00112] ERPピクチャの左側及び右側境界を包含する再構成されたビューポート内のシームアーチファクトを低減するために、ERPピクチャの左側及び右側の各々のサンプルをパディングすることによって、パディング正距円筒図(「PERP(padded equirectangular projection)」)と呼ばれる新たなフォーマットが提供される。
[00113] PERPが、360度映像を表現するために用いられるときには、PERPピクチャが符号化される。復号化後に、再構成されたPERPは、複製されたサンプルを融合すること、又はパディング区域をトリミングすることによって、元の再構成されたERPに変換される。
[00114] 図5Aは、本開示のいくつかの実施形態に係る、再構成正距円筒図を生成するための例示的な融合動作の概略図を示す。特に明記しない限り、「recPERP」は、後処理前の再構成されたPERPを表すために用いられ、「recERP」は、後処理後の再構成されたERPを表すために用いられる。図5Aにおいて、A1及びB2はERPピクチャ内の境界区域であり、B1及びA2は、A2がA1からパディングされ、B1がB2からパディングされた、パディング区域である。図5Aに示されるように、recPERPの複製されたサンプルは、距離ベースの加重平均演算を適用することによって融合することができる。例えば、領域Aは、領域A1をA2と融合することによって生成され得、領域Bは、領域B1をB2と融合することによって生成される。
[00115] 以下の説明において、パディングされていないrecERPの幅及び高さはそれぞれ「W」及び「H」と表される。左側及び右側のパディング幅はそれぞれ「P」及び「P」と表される。総パディング幅は、P及びPの合計であることができる、「Pw」と表される。実施形態によっては、recPERPは融合演算を介してrecERPに変換することができる。例えば、A内のサンプルrecERP(j,i)のために(ここで、(j,i)はERPピクチャ内の座標であり、iは[0,P-1]内であり、jは[0,H-1]内である)、recERP(j,i)を以下の式に従って決定することができる。
A=w×A1+(1-w)×A2、ここで、wはP/Pから1までの値である 式(10)
A内のrecERP(j,i)=(recPERP(j,i+P)×(i+P)+recPERP(j,i+P+W)×(P-i)+(P≫1))/P 式(11)
ここで、recPERP(y,x)は、再構成されたPERPピクチャ上のサンプルであり、(y,x)はPREPピクチャ内の当該サンプルの座標である。
[00116] 実施形態によっては、B内のサンプルrecERP(j,i)のために(ここで、(j,i)はERPピクチャ内の座標であり、iは[W-P,W-1]内であり、jは[0,H-1]内である)、recERP(j,i)を以下の式に従って生成することができる。
B=k×B1+(1-k)×B2、ここで、kは0からP/Pまでの値である 式(12)
B内のrecERP(j,i)=(recPERP(j,i+P)×(P-i+W)+recPERP(j,i+P-w)×(i-W+P)+(Pw≫1))/P 式(13)
ここで、recPERP(y,x)は、再構成されたPERPピクチャ上のサンプルであり、(y,x)はPREPピクチャ内の当該サンプルの座標である。
[00117] 図5Bは、本開示のいくつかの実施形態に係る、再構成正距円筒図を生成するための例示的なトリミング演算の概略図を示す。図5Bにおいて、A1及びB2はERPピクチャ内の境界区域であり、B1及びA2は、A2がA1からパディングされ、B1がB2からパディングされた、パディング区域である。図5Bに示されるように、トリミングプロセスの間に、recPERP内のパディングされたサンプルは、recERPを得るために直接破棄することができる。例えば、パディングされたサンプルB1及びA2を破棄することができる。
[00118] 実施形態によっては、水平ラップアラウンド動き補償を、ERPの符号化性能を改善するために用いることができる。例えば、水平ラップアラウンド動き補償は、VVC規格において、ERPフォーマット又はPERPフォーマットによる再構成された360度映像の視覚品質を改善するために設計された360特化符号化ツールとして用いられ得る。従来の動き補償では、動きベクトルが、参照ピクチャのピクチャ境界を越えたサンプルを参照するときには、対応するピクチャ境界上のそれらの最近傍のものをコピーすることによって境界外サンプルの値を導出するために、反復パディングが適用される。360度映像については、この反復パディング方法は適さず、再構成されたビューポート映像内に「シームアーチファクト」と呼ばれる視覚アーチファクトを生じさせ得るであろう。360度映像は球上に取り込まれ、本質的に「境界」を有しないため、投影領域内の参照ピクチャの境界外にある参照サンプルは球面領域内の近傍サンプルから得ることができる。一般的な投影フォーマットにとって、球面領域内の対応する近傍サンプルを導出することは、それが、2D-3D及び3D-2D座標変換、並びに分数サンプル位置のためのサンプル補間を要するため、困難になり得る。この問題はERP又はPERP投影フォーマットの左側及び右側境界については解決され得る。なぜなら、左側ピクチャ境界の外部の球面近傍点は右側ピクチャ境界の内部のサンプルから得ることができ、その逆もしかりであるからである。ERP又はPERP投影フォーマットが広く利用されていること、及び実施が比較的容易であることを考慮して、ERP又はPERP投影フォーマットで符号化された360度映像の視覚品質を改善するために水平ラップアラウンド動き補償がVVCに採用された。
[00119] 図6Aは、本開示のいくつかの実施形態に係る、正距円筒図のための例示的な水平ラップアラウンド動き補償プロセスの概略図を示す。図6Aに示されるように、参照ブロックの部分が投影領域内の参照ピクチャの左側(又は右側)境界の外部にあるときには、反復パディングの代わりに、参照ピクチャ内において投影領域内の右側(又は左側)境界の方に位置する対応する球面近傍点から「境界外」部分を取得することができる。実施形態によっては、反復パディングが上部及び下部ピクチャ境界のために用いられ得る。
[00120] 図6Bは、本開示のいくつかの実施形態に係る、パディング正距円筒図のための例示的な水平ラップアラウンド動き補償プロセスの概略図を示す。図6Bに示されるように、水平ラップアラウンド動き補償は、360度映像符号化においてしばしば用いられる非規定パディング方法と組み合わせることができる。実施形態によっては、これは、パディング前のERPピクチャ幅に設定することができる、ラップアラウンド動き補償オフセットを示すための高レベルシンタックス要素をシグナリングすることによって達成される。このシンタックスは、水平ラップアラウンドの位置を適宜調整するために用いることができる。実施形態によっては、このシンタックスは左側又は右側ピクチャ境界上の特定の量のパディングによって影響を受けない。その結果、このシンタックスはERPピクチャの非対称パディングを当然にサポートすることができる。ERPピクチャの非対称パディングでは、左側及び右側のパディングは異なり得る。実施形態によっては、ラップアラウンド動き補償は以下の式に従って決定することができる:
Figure 2023521295000002

ここで、オフセットは、ビットストリームにおいてシグナリングされるラップアラウンド動き補償オフセットであることができ、picWは、符号化前のパディング区域を含むピクチャ幅であることができ、posは、現在のブロック位置及び動きベクトルによって決定された参照位置であることができ、式の出力pos_wrapは、ラップアラウンド動き補償において参照ブロックが始まる実際の参照位置であることができる。ラップアラウンド動き補償オフセットのシグナリングオーバヘッドを節減するために、それは最小ルマ符号化ブロックを単位としたものとすることができ、それゆえ、オフセットはoffset×MinCbSizeYと置換することができる。ここで、offsetは、ビットストリームにおいてシグナリングされる最小ルマ符号化ブロックを単位としたラップアラウンド動き補償オフセットであり、MinCbSizeYは最小ルマ符号化ブロックのサイズである。対照的に、伝統的な動き補償では、参照ブロックが始まる実際の参照位置は、posを0~(picW-1)の範囲内にクリップすることによって、直接導出され得る。
[00121] 参照サンプルが参照ピクチャの左側及び右側境界の外部にあるとき、水平ラップアラウンド動き補償は、動き補償のためのより意味のある情報を提供することができる。360度映像の共通試験条件下において、このツールは、レート-歪の面だけでなく、再構成された360度映像の低減されたシームアーチファクト及び主観的品質の面においても圧縮性能を改善することができる。水平ラップアラウンド動き補償はまた、調整正積図法などの、水平方向における一定のサンプリング密度を有する他の単面投影フォーマットのために用いることもできる。
[00122] VVC(例えば、VVCドラフト8)では、ラップアラウンド動き補償は、ラップアラウンドオフセットを示すための高レベルシンタックス変数pps_ref_wraparound_offsetをシグナリングすることによって達成することができる。時として、ラップアラウンドオフセットは、パディング前のERPピクチャ幅に設定されなければならない。このシンタックスは、水平ラップアラウンド動き補償の位置を適宜調整するために用いることができる。このシンタックスは、左側又は右側ピクチャ境界上の特定の量のパディングによって影響を受け得ない。その結果、このシンタックスは、(例えば、左側及び右側パディングが異なるときに)ERPピクチャの非対称パディングを当然にサポートすることができる。参照サンプルが参照ピクチャの左側及び右側境界の外部にあるとき、水平ラップアラウンド動き補償は、動き補償のためのより意味のある情報を提供することができる。
[00123] 図7は、本開示のいくつかの実施形態に係る、例示的な高レベルラップアラウンドオフセットのシンタックスを示す。図7に示されるシンタックスはVVC(例えば、VVCドラフト8)において用いることができることが理解される。図7に示されるように、ラップアラウンド動き補償が有効にされているときには(例えば、pps_ref_wraparound_enabled_flag==1)、ラップアラウンドオフセットpps_ref_wraparound_offsetを直接シグナリングすることができる。図7に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されている。
[00124] 図8は、本開示のいくつかの実施形態に係る、例示的な高レベルラップアラウンドオフセットのセマンティクスを示す。図8に示されるセマンティクスは、図7に示されるシンタックスに対応することができることが理解される。実施形態によっては、図8に示されるように、pps_ref_wraparound_enabled_flagが1の値を有することは、水平ラップアラウンド動き補償がインター予測において適用されることを意味する。pps_ref_wraparound_enabled_flagが0の値を有する場合には、水平ラップアラウンド動き補償は適用されない。CtbSizeY/MinCbSizeY+1の値がpic_width_in_luma_samples/MinCbSizeY-1よりも大きいときには、pps_ref_wraparound_enabled_flagの値は0に等しくなければならない。sps_ref_wraparound_enabled_flagが0に等しいときには、pps_ref_wraparound_enabled_flagの値は0に等しくなければならない。CtbSizeYはルマ符号化ツリーブロックのサイズである。
[00125] 実施形態によっては、図8に示されるように、pps_ref_wraparound_offset+(CtbSizeY/MinCbSizeY)+2の値は、MinCbSizeYのルマサンプルを単位とした水平ラップアラウンド位置を計算するために用いられるオフセットを指定することができる。pps_ref_wraparound_offsetの値は、0以上、((pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下の範囲内であることができる。変数PpsRefWraparoundOffsetは、pps_ref_wraparound_offset+(CtbSizeY/MinCbSizeY)+2に等しいように設定することができる。実施形態によっては、変数PpsRefWraparoundOffsetは、(例えば、VVCドラフト8において)サブブロックのルマの場所を決定するために用いることができる。
[00126] VVC(例えば、VVCドラフト8)では、ピクチャを1つ以上のタイル行又は1つ以上のタイル列に分割することができる。タイルは、ピクチャの長方形領域を覆う一連の符号化ツリーユニット(「CTU(coding tree unit)」)であることができる。スライスは、整数個の完全なタイル、又はピクチャのタイル内の整数個の連続した完全なCTU行を含むことができる。
[00127] スライスの2つのモード、すなわち、ラスタ走査スライスモード及び長方形スライスモードがサポートされ得る。ラスタ走査スライスモードでは、スライスはピクチャのタイルラスタ走査における一連の完全なタイルを含むことができる。長方形スライスモードでは、スライスは、ピクチャの長方形領域を集合的に形成する多数の完全なタイル、又はピクチャの長方形領域を集合的に形成する1つのタイルの多数の連続した完全なCTU行のどちらかを含むことができる。長方形スライス内のタイルは、そのスライスに対応する長方形領域内においてタイルラスタ走査順序で走査される。
[00128] サブピクチャは、ピクチャの長方形領域を集合的に覆う1つ以上のスライスを含むことができる。図9は、本開示のいくつかの実施形態に係る、ピクチャの例示的なスライス及びサブピクチャ分割の概略図を示す。図9に示されるように、ピクチャは、5つのタイル列及び4つのタイル行を有する、20個のタイルに分割される。左側には、4×4のCTUの1つのスライスを各々覆う、12個のタイルが存在する。右側には、2×2のCTUの2つの鉛直に積み重ねられたスライスを各々覆う、8つのタイルが存在する。全体で、様々な寸法の28個のスライス及び28個のサブピクチャが存在する(例えば、各スライスはサブピクチャであることができる)。
[00129] 図10は、本開示のいくつかの実施形態に係る、異なるスライス及びサブピクチャを有するピクチャの例示的なスライス及びサブピクチャ分割の概略図を示す。図10に示されるように、ピクチャは、5つのタイル列及び4つのタイル行を有する、20個のタイルに分割される。左側には、4×4のCTUの1つのスライスを各々覆う、12個のタイルが存在する。右側には、2×2のCTUの2つの鉛直に積み重ねられたスライスを各々覆う、8つのタイルが存在する。全体で、28個のスライスが存在する。左側の12個のスライスについては、各スライスがサブピクチャである。右側の16個のスライスについては、各々の4つのスライスがサブピクチャを形成する。その結果、全体で、同じ寸法を有する16個のサブピクチャが存在する。
[00130] VVC(例えば、VVCドラフト8)では、スライスレイアウトに関する情報をピクチャパラメータセット(「PPS(picture parameter set)」)においてシグナリングすることができる。実施形態によっては、ピクチャパラメータセットは、各ピクチャヘッダ内に見出されるシンタックス要素によって決定されるとおりの0個以上の符号化ピクチャ全体に適用されるシンタックス要素又は変数を含むシンタックス構造である。図11は、本開示のいくつかの実施形態に係る、タイルマッピング及びスライスレイアウトのための例示的なピクチャパラメータセットのシンタックスを示す。図11に示されるシンタックスはVVC(例えば、VVCドラフト8)において用いることができることが理解される。図11に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されている。図11に示されるように、現在のピクチャ内のタイルの数が1よりも大きく、長方形スライスモード(例えば、rect_slice_flag==1)が用いられる場合には、各サブピクチャが1つのスライスのみを含むことを示すためのsingle_slice_per_subpic_flagと呼ばれるフラグをまずシグナリングすることができる。この場合(例えば、single_slice_per_subpic_flag==1)、スライスのレイアウト情報をさらにシグナリングする必要はない。なぜなら、それは、シーケンスパラメータセット(「SPS(sequence parameter set)」)においてすでにシグナリングされたサブピクチャレイアウトと同じであり得るからである。実施形態によっては、SPSは、各ピクチャヘッダ内に見出されるシンタックス要素によって参照されるピクチャパラメータセット内に見出されるシンタックス要素の内容によって決定されるとおりの0個以上の符号化層映像シーケンス(「CLVS(coded layer video sequence)」)全体に適用されるシンタックス要素を含むシンタックス構造である。実施形態によっては、ピクチャヘッダは、符号化ピクチャの全てのスライスに適用されるシンタックス要素を含むシンタックス構造である。実施形態によっては、図11に示されるように、single_slice_per_subpic_flagが0の値を有する場合には、ピクチャ内のスライスの数(例えば、num_slices_in_pic_minus1)をまずシグナリングし、それに続いて、スライスごとのスライス位置及び寸法情報をシグナリングすることができる。
[00131] 実施形態によっては、スライスの数をシグナリングするために、スライス数を直接シグナリングする代わりに、(スライス数-1)(例えば、num_slices_in_pic_minus1)をシグナリングすることができる。なぜなら、ピクチャ内には少なくとも1つのスライスが存在するからである。概して、より小さい正の値をシグナリングすることは、必要なビットがより少数となり、映像処理を実行する全体的効率を改善することができる。
[00132] 図12は、本開示のいくつかの実施形態に係る、タイルマッピング及びスライスレイアウトのための例示的なピクチャパラメータセットのセマンティクスを示す。図12に示されるセマンティクスは、図11に示されるシンタックスに対応することができることが理解される。実施形態によっては、図12に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00133] 実施形態によっては、図12に示されるように、変数rect_slice_flagが0に等しいことは、各スライス内のタイルがラスタ走査順序によるものであることを意味し、スライス情報はPPSにおいてシグナリングされない。変数rect_slice_flagが1に等しいときには、各スライス内のタイルはピクチャの長方形領域を覆うことができ、スライス情報をPPSにおいてシグナリングすることができる。実施形態によっては、存在しないときには、変数rect_slice_flagは、1に等しいと推測され得る。実施形態によっては、変数subpic_info_present_flagが1に等しいときには、rect_slice_flagの値は1に等しくなければならない。
[00134] 実施形態によっては、図12に示されるように、変数single_slice_per_subpic_flagが1に等しいことは、各サブピクチャが唯一の長方形スライスを含むことができることを意味する。変数single_slice_per_subpic_flagが0に等しいときには、各サブピクチャは1つ以上の長方形スライスを含み得る。実施形態によっては、変数single_slice_per_subpic_flagが1に等しいときには、変数num_slices_in_pic_minus1は、変数sps_num_subpics_minus1に等しいと推測され得る。実施形態によっては、存在しないときには、single_slice_per_subpic_flagの値は、0に等しいと推測され得る。
[00135] 実施形態によっては、図12に示されるように、変数num_slices_in_pic_minus1+1は、PPSを参照する各ピクチャ内の長方形スライスの数である。実施形態によっては、num_slices_in_pic_minus1の値は、0以上、(MaxSlicesPerPicture-1)以下の範囲内であることができる。実施形態によっては、変数no_pic_partition_flagが1に等しいときには、num_slices_in_pic_minus1の値は、0に等しいと推測され得る。
[00136] 実施形態によっては、図12に示されるように、変数tile_idx_delta_present_flagが0に等しい場合には、tile_idx_deltaの値はPPS内に存在せず、PPSを参照するピクチャ内の全ての長方形スライスはラスタ順序で指定される。実施形態によっては、変数tile_idx_delta_present_flagが1に等しいときには、tile_idx_deltaの値がPPS内に存在し得、PPSを参照するピクチャ内の全ての長方形スライスは、tile_idx_deltaの値によって示される順序で指定される。実施形態によっては、存在しないときには、tile_idx_delta_present_flagの値は、0に等しいと推測され得る。
[00137] 実施形態によっては、図12に示されるように、変数slice_width_in_tiles_minus1[i]+1は、タイル列を単位としたi番目の長方形スライスの幅を指定する。実施形態によっては、slice_width_in_tiles_minus1[i]の値は、0以上、(NumTileColumns-1)以下の範囲内でなければならない。実施形態によっては、slice_width_in_tiles_minus1[i]が存在しない場合には、以下のことを適用することができる:NumTileColumnsが1に等しい場合には、slice_width_in_tiles_minus1[i]の値は、0に等しいと推測され得、さもなければ、slice_width_in_tiles_minus_1[i]の値は、VVCドラフト(例えば、VVCドラフト8)の条項において指定されたものとして推測され得る。
[00138] 実施形態によっては、図12に示されるように、変数slice_height_in_tiles_minus1+1は、タイル行を単位としたi番目の長方形スライスの高さを指定する。実施形態によっては、slice_height_in_tiles_minus1[i]の値は、0以上、(NumTileRows-1)以下の範囲内でなければならない。実施形態によっては、変数slice_height_in_tiles_minus1[i]が存在しないときには、以下のことが適用される:NumTileRowsが1に等しいか、又は変数tile_idx_delta_present_flagが0に等しく、tileIdx % NumTileColumnsが0よりも大きい場合には、slice_height_in_tiles_minus1[i]の値は、0に等しいと推測され、さもなければ(例えば、NumTileRowsが1に等しくなく、tile_idx_delta_present_flagが1に等しいか、又はtileIdx % NumTileColumnsが0に等しい)、tile_idx_delta_present_flagが1に等しいか、又はtileIdx % NumTileColumnsが0に等しいときには、slice_height_in_tiles_minus1[i]の値は、slice_height_in_tiles_minus1[i-1]に等しいと推測され得る。
[00139] 実施形態によっては、図12に示されるように、num_exp_slices_in_tile[i]の値は、1つを超える長方形スライスを含む現在のタイル内の明示的に提供されたスライスの高さの数を指定する。実施形態によっては、num_exp_slices_in_tile[i]の値は、0以上、(RowHeight[tileY]-1)以下の範囲内でなければならない。ここで、tileYは、i番目のスライスを含むタイル行インデックスである。実施形態によっては、存在しないときには、num_exp_slices_in_tile[i]の値は、0に等しいと推測され得る。実施形態によっては、num_exp_slices_in_tile[i]が0に等しいときには、変数NumSliceInTile[i]の値は、1に等しいと導出される。
[00140] 実施形態によっては、図12に示されるように、exp_slice_height_in_ctus_minus1[j]+1の値は、CTU行を単位とした現在のタイル内のj番目の長方形スライスの高さを指定する。実施形態によっては、exp_slice_height_in_ctus_minus1[j]の値は、0以上、(RowHeight[tileY]-1)以下の範囲内でなければならない。ここで、tileYは現在のタイルのタイル行インデックスである。
[00141] 実施形態によっては、図12に示されるように、変数num_exp_slices_in_tile[i]が0よりも大きいときには、変数NumSlicesInTile[i]、及び0~(NumSlicesInTile[i]-1)の範囲内のkについてのSliceHeightInCtusMinus1[i+k]が導出され得る。実施形態によっては、図8に示されるように、num_exp_slices_in_tile[i]の値が0よりも大きいときには、NumSlicesInTile[i]及びSliceHeightInCtusMinus1[i+k]の値が導出され得る。
[00142] 実施形態によっては、図12に示されるように、tile_idx_delta[i]の値は、i番目の長方形スライス内の第1のタイルのタイルインデックスと(i+1)番目の長方形スライス内の第1のタイルのタイルインデックスとの差を指定する。tile_idx_delta[i]の値は、(-NumTilesInPic+1)以上、(NumTilesInPic-1)以下の範囲内でなければならない。実施形態によっては、存在しないときには、tile_idx_delta[i]の値は、0に等しいと推測され得る。実施形態によっては、存在するときには、tile_idx_delta[i]の値は、0に等しくないと推測され得る。
[00143] VVC(例えば、VVCドラフト8)では、ピクチャ内の各スライスの場所を特定するために、1つ以上のスライスアドレスをスライスヘッダにおいてシグナリングすることができる。図13は、本開示のいくつかの実施形態に係る、例示的なスライスヘッダのシンタックスを示す。図13に示されるシンタックスはVVC(例えば、VVCドラフト8)において用いることができることが理解される。図11に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されている。図13に示されるように、変数picture_header_in_slice_header_flagが1に等しい場合には、ピクチャヘッダシンタックス構造がスライスヘッダ内に存在する。
[00144] 図14は、本開示のいくつかの実施形態に係る、例示的なスライスヘッダのセマンティクスを示す。図14に示されるセマンティクスは、図13に示されるシンタックスに対応することができることが理解される。実施形態によっては、図14に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00145] 実施形態によっては、図14に示されるように、picture_header_in_slice_header_flagの値がCLVS内の全ての符号化スライスと同じでなければならないことがビットストリーム規格適合性の要件となる。
[00146] 実施形態によっては、図14に示されるように、変数picture_header_in_slice_header_flagが符号化スライスのために1に等しいときには、PH_NUTに等しいnal_unit_typeを有する映像符号化層(「VCL(video coding layer)」)ネットワーク抽象化層(「NAL(network abstraction layer)」)ユニットがCLVS内に存在してはならないことがビットストリーム規格適合性の要件となる。
[00147] 実施形態によっては、図14に示されるように、picture_header_in_slice_header_flagが0に等しいときには、現在のピクチャ内の全ての符号化スライスは、0に等しいpicture_header_in_slice_header_flagを有しなければならず、現在のPUは、PH NALユニットを有しなければならない。
[00148] 実施形態によっては、図14に示されるように、変数slice_addressはスライスのスライスアドレスを指定することができる。実施形態によっては、存在しないときには、slice_addressの値は、0に等しいと推測され得る。変数rect_slice_flagが1に等しく、NumSliceInSubpic[CurrSubpicIdx]が1に等しいときには、slice_addressの値は、0に等しいと推測される。
[00149] 実施形態によっては、図14に示されるように、変数rect_slice_flagが0に等しい場合には、以下のことが適用され得る:スライスアドレスはラスタ走査タイルインデックスであることができ、slice_addressの長さはceil(Log2(NumTilesInPic))ビットであることができ、slice_addressの値は、0以上、(NumTilesInPic-1)以下の範囲内でなければならない。
[00150] 実施形態によっては、図14に示されるように、以下の制約が適用されることがビットストリーム規格適合性の要件となる:変数rect_slice_flagが0に等しいか、又は変数subpic_info_present_flagが0に等しい場合には、slice_addressの値は、同じ符号化ピクチャのどの他の符号化スライスNALユニットのslice_addressの値にも等しくてはならない;さもなければ、slice_subpic_id及びslice_addressの値の対は、同じ符号化ピクチャのどの他の符号化スライスNALユニットのslice_subpic_id及びslice_addressの値の対にも等しくてはならない。
[00151] 実施形態によっては、図14に示されるように、ピクチャのスライスの形状は、各CTUが、復号化されたときに、その左側境界全体及び上部境界全体がピクチャ境界を含むか、又は以前に復号化されたCTUの境界を含まなければならない、というものでなければならない。
[00152] 実施形態によっては、図14に示されるように、変数slice_addressは、以下の2つの条件のうちの一方が満足される場合にのみシグナリングされ得る:長方形スライスモードが用いられ、現在のサブピクチャ内のスライスの数が1よりも大きい;又は長方形スライスモードが用いられず、現在のピクチャ内のタイルの数が1よりも大きい。実施形態によっては、上述の2つの条件がいずれも満足されない場合には、現在のサブピクチャ又は現在のピクチャ内のどちらかに1つのスライスのみが存在する。その場合には、サブピクチャ全体又はピクチャ全体が単一のスライスであるため、スライスアドレスをシグナリングする必要がない。
[00153] VVCの現在の設計には多くの課題がある。第1に、ラップアラウンドオフセットpps_ref_wraparound_offsetがビットストリームにおいてシグナリングされ、それはパディング前にERPピクチャ幅に設定されなければならない。ビットを節減するために、ラップアラウンドオフセットの最小値(例えば、CtbSizeY/MinCbSizeY)+2)がシグナリング前にラップアラウンドオフセットから減算される。しかし、パディング区域の幅は原ERPピクチャの幅よりもはるかに小さい。これは、特に、パディング区域の幅が0であり得るERPピクチャを符号化することに当てはまる。符号化又は復号化されるべきピクチャの総幅が既知であることを所与とすると、原ERP部分の幅をシグナリングすることは、パディング区域の幅をシグナリングするよりも多くのビットを要し得る。その結果、MinCbSizeYを単位とした原ERP幅をシグナリングするラップアラウンドオフセットの現在のシグナリングは効率的でない。
[00154] さらに、スライスレイアウトのシグナリングも改善され得る。例えば、ピクチャ内のスライスの数は常に1以上であり、より小さい正の値をシグナリングする方が、要するビットがより少ないため、スライスの数をシグナリングする前に1がスライスの数から減算される。しかし、現在のVVC(例えば、VVCドラフト8)では、サブピクチャは整数個の完全なスライスを含む。その結果、ピクチャ内のスライスの数はピクチャ内のサブピクチャの数以上である。現在のVVC(例えば、VVCドラフト8)では、num_slices_in_pic_minus1は、変数single_slice_per_subpic_flagが0であるときにのみシグナリングされ、変数single_slice_per_subpic_flagが0に等しいことは、1つを超えるスライスを包含する少なくとも1つのサブピクチャが存在することを意味する。したがって、この場合には、スライス数は、最小値が1であるサブピクチャ数よりも大きくなければならない。その結果、num_slices_in_pic_minus1の最小値は0よりも大きい。範囲が0から始まらない非負の値をシグナリングすることは効率的でない。
[00155] さらに、スライスアドレスのシグナリングには他の課題がある。現在のピクチャ内に1つのスライスのみが存在するときには、サブピクチャ全体又はピクチャ全体が単一のスライスであるため、スライスアドレスをシグナリングする必要がなくなり得る。スライスアドレスは、0であると推測され得る。しかし、スライスアドレスのシグナリングをスキップするための2つの条件は完全ではない。例えば、ラスタ走査スライスモードでは、さらには、タイルの数が1よりも大きく、ピクチャ内の全てのタイルを含む1つのスライスのみが存在することができ、この場合にも、スライスアドレスのシグナリングを回避することができる。
[00156] 本開示の実施形態は、上述された課題に取り組むための方法を提供する。実施形態によっては、パディング区域の幅は、通例、ラップアラウンド動き補償におけるラップアラウンドオフセットと同じであり得る原ERPピクチャの幅よりも小さいため、符号化ピクチャの幅と原ERPピクチャ幅との差をビットストリームにおいてシグナリングすることを提案することができる。例えば、符号化ピクチャの幅とラップアラウンド動き補償オフセットとの差をビットストリームにおいてシグナリングし、シグナリングされた差をシンタックス解析した後に推論(deduction)を実行し、ラップアラウンドオフセットを復号器側で得ることを提案することができる。符号化ピクチャの幅とラップアラウンドオフセットとの差は、通例、ラップアラウンドオフセット自体よりも小さいため、本方法は、シグナリングされるビットを節減することができる。
[00157] 図15は、本開示のいくつかの実施形態に係る、例示的な改善されたピクチャパラメータセットのシンタックスを示す。図15に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されており、以前のVVC(例えば、図7に示されるシンタックス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図15に示されるように、新たな変数pps_pic_width_minus_wraparound_offsetを作成することができる。変数pps_pic_width_minus_wraparound_offsetの値はpps_ref_wraparound_enabled_flagの値に従ってシグナリングすることができる。実施形態によっては、新たな変数pps_pic_width_minus_wraparound_offsetが原VVC(例えば、VVCドラフト8)における変数pps_ref_wraparound_offsetに取って代わることができる。
[00158] 図16は、本開示のいくつかの実施形態に係る、例示的な改善されたピクチャパラメータセットのセマンティクスを示す。図16に示されるように、以前のVVC(例えば、図8に示されるセマンティクス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図16に示されるセマンティクスは、図15に示されるシンタックスに対応することができることが理解される。実施形態によっては、図16に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00159] 図16に示されるように、新たな変数pps_pic_width_minus_wraparound_offsetのためのセマンティクスは、(例えば、図8に示されるとおりの)変数pps_ref_wraparound_offsetとは異なる。変数pps_pic_width_minus_wraparound_offsetは、MinCbSizeYのルマサンプルを単位とした、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を指定することができる。実施形態によっては、図16に示されるように、pps_pic_width_minus_wraparound_offsetの値は、((pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下でなければならない。実施形態によっては、変数PpsRefWraparoundOffsetは、pic_width_in_luma_samples/MinCbSizeY-pps_pic_width_minus_wraparound_offsetに等しいように設定することができる。
[00160] 実施形態によっては、シグナリングされたラップアラウンドオフセット値が原ERPピクチャの幅であるのか、又は符号化ピクチャの幅と原ERPピクチャの幅との差であるのかを示すためのフラグwraparound_offset_typeをシグナリングすることができる。符号器は、これらの2つの値からより小さいものを選択し、それをビットストリームにおいてシグナリングし得、これにより、シグナリングオーバヘッドはさらに低減され得る。図17は、本開示のいくつかの実施形態に係る、変数wraparound_offset_typeを有する例示的なピクチャパラメータセットのシンタックスを示す。図17に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されており、以前のVVC(例えば、図7に示されるシンタックス)からの変更はイタリック体で示されている。図17に示されるように、PpsRefWraparoundOffsetを決定するために用いられる値を指定するための新たな変数pps_ref_wraparound_offsetを追加することができる。
[00161] 図18は、本開示のいくつかの実施形態に係る、変数wraparound_offset_typeを有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。図18に示されるように、以前のVVC(例えば、図8に示されるセマンティクス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図18に示されるセマンティクスは、図17に示されるシンタックスに対応することができることが理解される。実施形態によっては、図18に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00162] 実施形態によっては、図18に示されるように、変数pps_ref_wraparound_offsetの種類を指定するための新たな変数wraparound_offset_typeを追加することができる。pps_ref_wraparound_offsetの値は0~(((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)/2)の範囲内でなければならない。
[00163] 実施形態によっては、図18に示されるように、変数PpsRefWraparoundOffsetの値を導出することができる。例えば、変数wraparound_offset_typeが0に等しいときには、シグナリングされるラップアラウンドオフセット値は原ERPピクチャの幅である。その結果、変数PpsRefWraparoundOffsetは、pps_ref_wraparound_offset+(CrbSizeY/MinCbSizeY)+2に等しい。変数wraparound_offset_typeが0に等しくないときには、シグナリングされるラップアラウンドオフセット値は符号化ピクチャの幅と原ERPピクチャの幅との差である。その結果、変数PpsRefWraparoundOffsetは、pps_pic_width_in_luma_samples/MinCbSizeY-pps_ref_wraparound_offsetに等しい。
[00164] 以前のVVC(例えば、VVCドラフト8)では、1つを超えるスライスを包含する少なくとも1つのサブピクチャが存在することを意味する、変数single_slice_per_subpic_flagが0であるときには、スライスの数がPPSにおいてシグナリングされる。この場合には、各サブピクチャが1つ以上の完全なスライスを包含しなければならないことを考慮して、スライスの数はサブピクチャの数よりも大きい必要があり、これは、したがって、スライスの最小数が2になるという結果をもたらす。これは、1つのピクチャ内には少なくとも1つのサブピクチャが存在するためである。
[00165] 本開示の実施形態は、スライス数のシグナリングを改善するための方法を提供する。図19は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus2を有する例示的なピクチャパラメータセットのシンタックスを示す。図19に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されており、以前のVVC(例えば、図11に示されるシンタックス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図19に示されるように、PpsRefWraparoundOffsetを決定するために用いられる値を指定するための新たな変数num_slices_in_pic_minus2を追加することができる。
[00166] 図20は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus2を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。図20に示されるように、以前のVVC(例えば、図12に示されるセマンティクス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図20に示されるセマンティクスは、図19に示されるシンタックスに対応することができることが理解される。実施形態によっては、図20に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00167] 実施形態によっては、図20に示されるように、変数num_slices_in_pic_minus2+2の値は、PPSを参照する各ピクチャ内の長方形スライスの数を指定することができる。実施形態によっては、図20に示されるように、変数num_slices_in_pic_minus2は、変数num_slices_in_pic_minus_1に取って代わることができる。実施形態によっては、num_slices_in_pic_minus2+2の値は、0以上、(MaxSlicesPerPicture-2)以下の範囲内でなければならない。ここで、MaxSlicesPerPictureは、VVC(例えば、VVCドラフト8)において指定される。変数no_pic_partition_flagが1に等しいときには、num_slices_in_pic_minus2の値は、-1に等しいと推測される。
[00168] 実施形態によっては、スライス数は、スライス数-サブピクチャ数-1(例えば、num_slices_in_pic_minus_subpic_num_minus1)の変数を用いてシグナリングすることができる。図21は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus_subpic_num_minus1を有する例示的なピクチャパラメータセットのシンタックスを示す。図21に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されており、以前のVVC(例えば、図11に示されるシンタックス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。
[00169] 図22は、本開示のいくつかの実施形態に係る、変数num_slices_in_pic_minus_subpic_num_minus1を有する例示的な改善されたピクチャパラメータセットのセマンティクスを示す。図22に示されるように、以前のVVC(例えば、図12に示されるセマンティクス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。図22に示されるセマンティクスは、図21に示されるシンタックスに対応することができることが理解される。実施形態によっては、図22に示されるセマンティクスはVVC(例えば、VVCドラフト8)に対応する。
[00170] VVC(例えば、VVCドラフト8)では、スライスの数は、1つを超えるスライスを包含する少なくとも1つのサブピクチャが存在すると言うことと同等であり得る、変数single_slice_per_subpic_flagが0に等しい場合にのみ、PPSにおいてシグナリングされる。したがって、サブピクチャは1つ以上の完全なスライスを包含しなければならないため、スライスの数はサブピクチャの数よりも大きくなければならない。その結果、最小スライス数は、サブピクチャの数+1に等しい。図21及び図22に示されるように、シグナリングされるビット数を低減するために、スライス数-1(例えば、num_slices_in_pic_minus1)の代わりに、スライス数-サブピクチャ数-1(例えば、num_slices_in_pic_minus_subpic_num_minus1)がシグナリングされる。
[00171] 実施形態によっては、図22に示されるように、num_slices_in_pic_minus_subpic_num_minus1+サブピクチャ数+1の値は、PPSを参照する各ピクチャ内の長方形スライスの数を指定することができる。実施形態によっては、num_slices_in_pic_minus_subpic_num_minus1の値は、0以上、(MaxSlicesPerPicture-sps_num_subpics_minus1-2)以下の範囲内でなければならない。ここで、MaxSlicesPerPictureは、VVC(例えば、VVCドラフト8)において指定され得る。実施形態によっては、変数no_pic_partition_flagが1に等しいときには、num_slices_in_pic_minus_subpic_num_minus1の値は、(sps_num_subpics_minus1+1)に等しいと推測され得る。実施形態によっては、変数SliceNumInPicは、SliceNumInPic=num_slices_in_pic_minus_subpic_num_minus1+sps_num_subpics_minus1+2として導出され得る。
[00172] 本開示の実施形態は、スライスアドレスをシグナリングする新規の仕方をさらに提供する。図23は、本開示のいくつかの実施形態に係る、例示的な更新されたスライスヘッダのシンタックスを示す。図23に示されるように、ビットストリーム内のシンタックス要素又は変数は太字で示されており、以前のVVC(例えば、図13に示されるシンタックス)からの変更はイタリック体で示されており、提案される削除されたシンタックスが取り消し線でさらに示されている。
[00173] 実施形態によっては、図23に示されるように、PHシンタックス構造がスライスヘッダ内に存在するかどうかを示すための変数picture_header_in_slice_header_flagをスライスヘッダにおいてシグナリングすることができる。VVC(例えば、VVCドラフト8)では、スライスヘッダ内のPHシンタックス構造の存在と、1つのピクチャ内のスライスの数とに対する制約がある。PHシンタックス構造がスライスヘッダ内に存在するときには、ピクチャは1つのスライスのみを有しなければならない。したがって、スライスアドレスをシグナリングする必要もない。その結果、スライスアドレスのシグナリングはpicture_header_in_slice_header_flagを条件とすることができる。図23に示されるように、picture_header_in_slice_header_flagの値を、変数slice_addressをシグナリングするべきか否か判定するための別の条件として用いることができる。picture_header_in_slice_header_flagが1に等しいときには、変数slice_addressのシグナリングはスキップされる。実施形態によっては、変数slice_addressがシグナリングされないときには、それは、0であると推測され得る。
[00174] 本開示の実施形態は、映像符号化を実行するための方法をさらに提供する。図24は、本開示のいくつかの実施形態に係る、映像フレームの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。実施形態によっては、図24に示される方法24000は、図4に示される装置400によって実行され得る。実施形態によっては、図24に示される方法24000は、図15に示されるシンタックス又は図16に示されるセマンティクスに従って実行され得る。実施形態によっては、図24に示される方法24000は、VVC規格に従って実行されるラップアラウンド動き補償プロセスを含む。実施形態によっては、図24に示される方法24000は、360度映像シーケンスを入力として用いて実行され得る。
[00175] ステップS24010において、ラップアラウンド動き補償フラグを受信する。ラップアラウンド動き補償フラグはピクチャに関連付けられている。例えば、図15又は図16に示されるように、ラップアラウンド動き補償フラグは、変数pps_ref_wraparound_enabled_flagであることができる。実施形態によっては、ピクチャはビットストリーム内にある。実施形態によっては、ピクチャは360度映像の一部である。
[00176] ステップS24020において、ラップアラウンド動き補償フラグが有効にされているかどうかを決定する。例えば、図15に示されるように、変数pps_ref_wraparound_enabled_flagが1に等しいかどうかを決定する。
[00177] ステップS24030において、ラップアラウンド動き補償フラグが有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を受信する。例えば、図15に示されるように、変数pps_ref_wraparound_enabled_flagが1に等しいと決定したときには、変数pps_pic_width_minus_wraparound_offsetを受信又はシグナリングすることができる。実施形態によっては、差は、(ピクチャの幅を最小ルマ符号化ブロックのサイズで除算したもの-ルマ符号化ツリーブロックのサイズを最小ルマ符号化ブロックのサイズで除算したもの-2)以下である。
[00178] 実施形態によっては、S24030において、上記差を受信することは、ラップアラウンドオフセットタイプフラグを受信することを含む。例えば、図17及び図18に示されるように、シグナリングされたラップアラウンドオフセット値が原ERPピクチャの幅であるのか、又は符号化ピクチャの幅と原ERPピクチャの幅との差であるのかを示すためのフラグwraparound_offset_typeをシグナリングすることができる。実施形態によっては、図17及び図18に示されるように、フラグwraparound_offset_typeは、値0又は1のものであることができる。
[00179] ステップS24040において、ラップアラウンド動き補償フラグ及び上記差に従ってピクチャに対する動き補償を実行する。例えば、ピクチャに対する動き補償は、図15及び図16に示される変数pps_ref_wraparound_enabled_flag及びpps_pic_width_minus_wraparound_offsetに従って実行することができる。実施形態によっては、動き補償を実行することはまた、ピクチャの幅及び上記差に従って、ラップアラウンド動き補償オフセットを決定し、ラップアラウンド動き補償オフセットに従って、ピクチャに対する動き補償を実行することも含む。実施形態によっては、ラップアラウンド動き補償オフセットは、(ピクチャの幅を最小ルマ符号化ブロックのサイズで除算したもの-上記差)として決定することができる。
[00180] 図25は、本開示のいくつかの実施形態に係る、(映像フレーム内のスライスの数-2)をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。実施形態によっては、図25に示される方法25000は、図4に示される装置400によって実行され得る。実施形態によっては、図25に示される方法25000は、図19に示されるシンタックス又は図20に示されるセマンティクスに従って実行され得る。実施形態によっては、図25に示される方法25000はVVC規格に従って実行され得る。
[00181] ステップS25010において、ピクチャを符号化のために受信する。実施形態によっては、ピクチャは1つ以上のスライスを含むことができる。実施形態によっては、ピクチャはビットストリーム内にある。実施形態によっては、1つ以上のスライスは長方形スライスである。
[00182] ステップS25020において、(ピクチャ内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングする。例えば、変数は、図19又は図20に示されるnum_slices_in_pic_minus2であることができる。実施形態によっては、(変数+2)の値は、各ピクチャ内の長方形スライスの数を指定することができる。実施形態によっては、変数はPPSの部分である。実施形態によっては、図20に示されるセマンティクスと同様に、変数num_slices_in_pic_minus2は、変数num_slices_in_pic_minus_1に取って代わることができる。
[00183] 図26は、本開示のいくつかの実施形態に係る、(映像フレーム内のスライスの数-映像フレーム内のサブピクチャの数-1)を示す変数をシグナリングする変数を用いる例示的な映像符号化方法のフローチャートを示す。実施形態によっては、図26に示される方法26000は、図4に示される装置400によって実行され得る。実施形態によっては、図26に示される方法26000は、図21に示されるシンタックス又は図22に示されるセマンティクスに従って実行され得る。実施形態によっては、図26に示される方法26000はVVC規格に従って実行され得る。
[00184] ステップS26010において、ピクチャを符号化のために受信する。実施形態によっては、ピクチャは1つ以上のスライス及び1つ以上のサブピクチャを含むことができる。実施形態によっては、映像フレームはビットストリーム内にある。実施形態によっては、1つ以上のスライスは長方形スライスである。
[00185] ステップS26020において、(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングする。例えば、変数は、図21又は図22に示されるnum_slices_in_pic_minus_subpic_num_minus1であることができる。実施形態によっては、最小スライス数は、(サブピクチャの数+1)に等しいものであることができる。実施形態によっては、図21及び図22に示されるように、シグナリングされるビット数を低減するために、(スライス数-1)(例えば、num_slices_in_pic_minus1)の代わりに、(スライス数-サブピクチャ数-1)(例えば、num_slices_in_pic_minus_subpic_num_minus1)をシグナリングすることができる。実施形態によっては、変数はPPSの一部である。実施形態によっては、図22に示されるように、(num_slices_in_pic_minus_subpic_num_minus1+サブピクチャ数+1)の値は、PPSを参照する各ピクチャ内の長方形スライスの数を指定することができる。実施形態によっては、図20に示されるセマンティクスと同様に、変数num_slices_in_pic_minus2は、変数num_slices_in_pic_minus_1に取って代わることができる。
[00186] 実施形態によっては、ステップS26020に示されるように、(映像フレーム内のスライスの数-映像フレーム内のサブピクチャの数-1)を示す変数に従って、ピクチャ内のスライスの数を示す変数を決定することができる。例えば、図21及び図22に示されるように、変数num_slices_in_pic_minus_subpic_num_minus1に従って、フラグ又は変数SliceNumInPicを導出することができる。
[00187] 図27は、本開示のいくつかの実施形態に係る、ピクチャヘッダシンタックス構造が映像フレームのスライスヘッダ内に存在するかどうかを示す変数を用いる例示的な映像符号化方法のフローチャートを示す。実施形態によっては、図27に示される方法27000は、図4に示される装置400によって実行され得る。実施形態によっては、図27に示される方法27000は、図23に示されるシンタックスに従って実行され得る。実施形態によっては、図27に示される方法27000は、VVC規格に従って実行され得る。
[00188] ステップS27010において、ピクチャを符号化のために受信する。ピクチャは1つ以上のスライスを含む。実施形態によっては、ピクチャはビットストリーム内にある。実施形態によっては、1つ以上のスライスは長方形スライスである。
[00189] ステップS27020において、ピクチャのためのピクチャヘッダシンタックス構造が1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングする。例えば、変数は、図23に示されるpicture_header_in_slice_header_flagであることができる。実施形態によっては、図23に示されるように、PHシンタックス構造がスライスヘッダ内に存在するときには、ピクチャは1つのスライスのみを有し得る。したがって、スライスアドレスをシグナリングする必要もない。その結果、スライスアドレスのシグナリングは、変数picture_header_in_slice_header_flagを条件とすることができる。実施形態によっては、変数はPPSの一部である。
[00190] 実施形態によっては、また、命令を含む非一時的コンピュータ可読記憶媒体が提供され、上述の方法を実行するために、命令はデバイス(本開示の符号器及び復号器など)によって実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、CD-ROM、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM、及びEPROM、FLASH(登録商標)-EPROM又は任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、1つ以上のプロセッサ(CPU)、入力/出力インターフェース、ネットワークインターフェース、及び/又はメモリを含み得る。
[00191] 「第1(first)」及び「第2(second)」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作の間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「備える(comprising)」、「有する(having)」、「包含する(containing)」、及び「含む(including)」、並びに他の同様の形式は、意味が同等であり、これらの単語のうちの任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されない、又は列挙された要素若しくは要素群のみに限定されることを意味されないという点で、オープンエンドなものであることを意図される。
[00192] 本明細書において使用するとき、別途特に断りのない限り、用語「又は(or)」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、データベースがA又はBを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、A、B、A及びBを含み得る。第2の例として、データベースがA、B、又はCを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、A、B、C、A及びB、A及びC、B及びC、A及びB及びCを含み得る。
[00193] 上述の実施形態は、ハードウェア、又はソフトウェア(プログラムコード)、或いはハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合には、それは上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたときに、本開示の方法を実行することができる。本開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、或いはハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール/ユニットのうちの複数のものを1つのモジュール/ユニットとして組み合わせることができ、上述のモジュール/ユニットの各々を複数のサブモジュール/サブユニットにさらに分割し得ることも理解するであろう。
[00194] 上述の明細書において、実施形態は、実装形態ごとに異なり得る数多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応及び変更を行うことができる。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。明細書及び実施例は例としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は添付の請求項によって示される。また、図に示されるステップの配列は単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。それゆえ、当業者は、これらのステップは、同じ方法を実施しながらも、異なる順序で実行され得ることを理解することができる。
[00195] 実施形態は、以下の条項を用いてさらに記述され得る:
1.映像復号化のための方法であって、
ラップアラウンド動き補償フラグを受信することと、
ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を含む方法。
2.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項1に記載の方法。
3.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項2に記載の方法。
4.動き補償を実行することが、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
をさらに含む、条項1に記載の方法。
5.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することが、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
をさらに含む、条項4に記載の方法。
6.差を示すデータを受信することが、
ラップアラウンドオフセットタイプフラグを受信することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいか、又は第2の値に等しいかを決定することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンドオフセットタイプフラグが第2の値に等しいとの決定に応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータを受信することと、
をさらに含む、条項1に記載の方法。
7.第1の値及び第2の値の各々が0又は1である、条項6に記載の方法。
8.動き補償が多用途ビデオコーディング規格に従って実行される、条項1に記載の方法。
9.ピクチャが360度映像シーケンスの部分である、条項1に記載の方法。
10.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項1に記載の方法。
11.映像復号化のための方法であって、
ラップアラウンド動き補償が有効にされているかどうかを示すラップアラウンド動き補償フラグをシグナリングすることと、
ラップアラウンド動き補償フラグが、ラップアラウンド動き補償が有効にされていることを示すことに応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を含む方法。
12.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項11に記載の方法。
13.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項12に記載の方法。
14.動き補償を実行することが、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
をさらに含む、条項11に記載の方法。
15.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することが、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
をさらに含む、条項14に記載の方法。
16.差を示すデータをシグナリングすることが、
ラップアラウンドオフセットタイプフラグをシグナリングすることであって、ラップアラウンドオフセットタイプフラグの値が第1の値又は第2の値であることができることと、
ラップアラウンドオフセットタイプフラグの値が第1の値に等しいことに応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンドオフセットタイプフラグの値が第2の値に等しいことに応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータをシグナリングすることと、
をさらに含む、条項11に記載の方法。
17.第1の値及び第2の値の各々が0又は1である、条項16に記載の方法。
18.動き補償が多用途ビデオコーディング規格に従って実行される、条項11に記載の方法。
19.ピクチャが360度映像シーケンスの部分である、条項11に記載の方法。
20.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項11に記載の方法。
21.映像符号化のための方法であって、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を含む方法。
22.ピクチャがビットストリーム内にある、条項21に記載の方法。
23.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項21に記載の方法。
24.1つ以上のスライスが長方形スライスである、条項21に記載の方法。
25.映像符号化のための方法であって、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含むことと、
(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を含む方法。
26.ピクチャがビットストリーム内にある、条項25に記載の方法。
27.(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数に従って、ピクチャ内のスライスの数を示す変数を決定することをさらに含む、条項25に記載の方法。
28.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項25に記載の方法。
29.1つ以上のスライスが長方形スライスである、条項25に記載の方法。
30.映像符号化のための方法であって、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
ピクチャのためのピクチャヘッダシンタックス構造が1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、
変数に従ってスライスアドレスをシグナリングすることと、
を含む方法。
31.ピクチャがビットストリーム内にある、条項30に記載の方法。
32.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項30に記載の方法。
33.1つ以上のスライスが長方形である、条項30に記載の方法。
34.映像データ処理を実行するためのシステムであって、システムが、
命令のセットを記憶するメモリと、
プロセッサと、
を備え、プロセッサが、命令のセットを実行し、システムに、
ラップアラウンド動き補償フラグを受信することと、
ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を実行させるように構成されている、システム。
35.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項34に記載のシステム。
36.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項35に記載のシステム。
37.動き補償を実行する際に、プロセッサが、命令のセットを実行し、システムに、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
を実行させるように構成されている、条項34に記載のシステム。
38.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定する際に、プロセッサが、命令のセットを実行し、システムに、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
を実行させるように構成されている、条項37に記載のシステム。
39.差を示すデータを受信する際に、プロセッサが、命令のセットを実行し、システムに、
ラップアラウンドオフセットタイプフラグを受信することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいか、又は第2の値に等しいかを決定することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンドオフセットタイプフラグが第2の値に等しいとの決定に応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータを受信することと、
を実行させるように構成されている、条項34に記載のシステム。
40.第1の値及び第2の値の各々が0又は1である、条項39に記載のシステム。
41.動き補償が多用途ビデオコーディング規格に従って実行される、条項34に記載のシステム。
42.ピクチャが360度映像シーケンスの部分である、条項34に記載のシステム。
43.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項34に記載のシステム。
44.映像データ処理を実行するためのシステムであって、システムが、
命令のセットを記憶するメモリと、
プロセッサと、
を備え、プロセッサが、命令のセットを実行し、システムに、
ラップアラウンド動き補償が有効にされているかどうかを示すラップアラウンド動き補償フラグをシグナリングすることと、
ラップアラウンド動き補償フラグが、ラップアラウンド動き補償が有効にされていることを示すことに応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を実行させるように構成されている、システム。
45.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項44に記載のシステム。
46.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項45に記載のシステム。
47.動き補償を実行する際に、プロセッサが、命令のセットを実行し、システムに、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
を実行させるように構成されている、条項44に記載のシステム。
48.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定する際に、プロセッサが、命令のセットを実行し、システムに、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
を実行させるように構成されている、条項47に記載のシステム。
49.差を示すデータを受信する際に、プロセッサが、命令のセットを実行し、システムに、
ラップアラウンドオフセットタイプフラグをシグナリングすることであって、ラップアラウンドオフセットタイプフラグの値が第1の値又は第2の値であることができることと、
ラップアラウンドオフセットタイプフラグの値が第1の値に等しいことに応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンドオフセットタイプフラグの値が第2の値に等しいことに応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータをシグナリングすることと、
を実行させるように構成されている、条項44に記載のシステム。
50.第1の値及び第2の値の各々が0又は1である、条項49に記載のシステム。
51.動き補償が多用途ビデオコーディング規格に従って実行される、条項44に記載のシステム。
52.ピクチャが360度映像シーケンスの部分である、条項44に記載のシステム。
53.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項44に記載のシステム。
54.映像符号化を実行するためのシステムであって、システムが、
命令のセットを記憶するメモリと、
プロセッサと、
を備え、プロセッサが、命令のセットを実行し、システムに、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を実行させるように構成されている、システム。
55.ピクチャがビットストリーム内にある、条項54に記載のシステム。
56.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項54に記載のシステム。
57.1つ以上のスライスが長方形スライスである、条項54に記載のシステム。
58.映像符号化を実行するためのシステムであって、システムが、
命令のセットを記憶するメモリと、
プロセッサと、
を備え、プロセッサが、命令のセットを実行し、システムに、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含むことと、
(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を実行させるように構成されている、システム。
59.ピクチャがビットストリーム内にある、条項58に記載のシステム。
60.プロセッサが、命令のセットを実行し、システムに、
(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数に従って、ピクチャ内のスライスの数を示す変数を決定すること
を実行させるように構成されている、条項58に記載のシステム。
61.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項58に記載のシステム。
62.1つ以上のスライスが長方形スライスである、条項58に記載のシステム。
63.映像符号化を実行するためのシステムであって、システムが、
命令のセットを記憶するメモリと、
プロセッサと、
を備え、プロセッサが、命令のセットを実行し、システムに、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
ピクチャのためのピクチャヘッダシンタックス構造が1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、
変数に従ってスライスアドレスをシグナリングすることと、
を実行させるように構成されている、システム。
64.ピクチャがビットストリーム内にある、条項63に記載のシステム。
65.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項63に記載のシステム。
66.1つ以上のスライスが長方形である、条項63に記載のシステム。
67.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、
ラップアラウンド動き補償フラグを受信することと、
ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
ラップアラウンド動き補償が有効にされているとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を含む、非一時的コンピュータ可読媒体。
68.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項67に記載の非一時的コンピュータ可読媒体。
69.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項68に記載の非一時的コンピュータ可読媒体。
70.動き補償を実行することが、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
をさらに含む、条項67に記載の非一時的コンピュータ可読媒体。
71.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することが、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
をさらに含む、条項70に記載の非一時的コンピュータ可読媒体。
72.差を示すデータを受信することが、
ラップアラウンドオフセットタイプフラグを受信することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいか、又は第2の値に等しいかを決定することと、
ラップアラウンドオフセットタイプフラグが第1の値に等しいとの決定に応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータを受信することと、
ラップアラウンドオフセットタイプフラグが第2の値に等しいとの決定に応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータを受信することと、
をさらに含む、条項67に記載の非一時的コンピュータ可読媒体。
73.第1の値及び第2の値の各々が0又は1である、条項72に記載の非一時的コンピュータ可読媒体。
74.動き補償が多用途ビデオコーディング規格に従って実行される、条項67に記載の非一時的コンピュータ可読媒体。
75.ピクチャが360度映像シーケンスの部分である、条項67に記載の非一時的コンピュータ可読媒体。
76.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項67に記載の非一時的コンピュータ可読媒体。
77.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、映像データ処理を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、
ラップアラウンド動き補償が有効にされているかどうかを示すラップアラウンド動き補償フラグをシグナリングすることと、
ラップアラウンド動き補償フラグが、ラップアラウンド動き補償が有効にされていることを示すことに応じて、ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンド動き補償フラグ及び差に従って動き補償を実行することと、
を含む、非一時的コンピュータ可読媒体。
78.差が最小ルマ符号化ブロックのサイズを単位としたものである、条項77に記載の非一時的コンピュータ可読媒体。
79.差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、ここで、pps_pic_width_in_luma_samplesは、ルマサンプルを単位としたピクチャの幅であり、MinCbSizeYは最小ルマ符号化ブロックのサイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、条項78に記載の非一時的コンピュータ可読媒体。
80.動き補償を実行することが、
ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することと、
ラップアラウンド動き補償オフセットに従って、動き補償を実行することと、
をさらに含む、条項77に記載の非一時的コンピュータ可読媒体。
81.ピクチャの幅、及び差に従って、ラップアラウンド動き補償オフセットを決定することが、
ルマサンプルを単位としたピクチャの幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
ラップアラウンド動き補償オフセットを、(第1の値-差)に等しいものとして決定することと、
をさらに含む、条項80に記載の非一時的コンピュータ可読媒体。
82.差を示すデータを受信することが、
ラップアラウンドオフセットタイプフラグをシグナリングすることであって、ラップアラウンドオフセットタイプフラグの値が第1の値又は第2の値であることができることと、
ラップアラウンドオフセットタイプフラグの値が第1の値に等しいことに応じて、ピクチャの幅と、水平ラップアラウンド位置を計算するために用いられるオフセットとの差を示すデータをシグナリングすることと、
ラップアラウンドオフセットタイプフラグの値が第2の値に等しいことに応じて、水平ラップアラウンド位置を計算するために用いられるオフセットを示すデータをシグナリングすることと、
をさらに含む、条項77に記載の非一時的コンピュータ可読媒体。
83.第1の値及び第2の値の各々が0又は1である、条項82に記載の非一時的コンピュータ可読媒体。
84.動き補償が多用途ビデオコーディング規格に従って実行される、条項77に記載の非一時的コンピュータ可読媒体。
85.ピクチャが360度映像シーケンスの部分である、条項77に記載の非一時的コンピュータ可読媒体。
86.ラップアラウンド動き補償フラグ及び差がピクチャパラメータセット(PPS)においてシグナリングされる、条項77に記載の非一時的コンピュータ可読媒体。
87.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、映像符号化を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
(映像フレーム内のスライスの数-2)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を含む、非一時的コンピュータ可読媒体。
88.ピクチャがビットストリーム内にある、条項87に記載の非一時的コンピュータ可読媒体。
89.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項87に記載の非一時的コンピュータ可読媒体。
90.1つ以上のスライスが長方形スライスである、条項87に記載の非一時的コンピュータ可読媒体。
91.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、映像符号化を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライス及び1つ以上のサブピクチャを含む、受信することと、
(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数をピクチャのピクチャパラメータセットにおいてシグナリングすることと、
を含む、非一時的コンピュータ可読媒体。
92.ピクチャがビットストリーム内にある、条項91に記載の非一時的コンピュータ可読媒体。
93.
(ピクチャ内のスライスの数-ピクチャ内のサブピクチャの数-1)を示す変数に従って、ピクチャ内のスライスの数を示す変数を決定することをさらに含む、条項91に記載の非一時的コンピュータ可読媒体。
94.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項91に記載の非一時的コンピュータ可読媒体。
95.1つ以上のスライスが長方形スライスである、条項91に記載の非一時的コンピュータ可読媒体。
96.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットが、映像符号化を実行するための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、方法が、
ピクチャを符号化のために受信することであって、ピクチャが1つ以上のスライスを含むことと、
ピクチャのためのピクチャヘッダシンタックス構造が1つ以上のスライスのためのスライスヘッダ内に存在するかどうかを示す変数をシグナリングすることと、
変数に従ってスライスアドレスをシグナリングすることと、
を含む、非一時的コンピュータ可読媒体。
97.ピクチャがビットストリーム内にある、条項96に記載の非一時的コンピュータ可読媒体。
98.ピクチャが多用途ビデオコーディング規格に従って符号化される、条項96に記載の非一時的コンピュータ可読媒体。
99.1つ以上のスライスが長方形である、条項96に記載の非一時的コンピュータ可読媒体。
[00196] 図面及び明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対して多くの変形及び変更を行うことができる。したがって、特定の用語が採用されていても、これらは単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。

Claims (20)

  1. 映像復号化のための方法であって、
    ラップアラウンド動き補償フラグを受信することと、
    前記ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
    前記ラップアラウンド動き補償が有効にされているとの決定に応じて、前記ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
    前記ラップアラウンド動き補償フラグ及び前記差に従って動き補償を実行することと、
    を含む方法。
  2. 前記差が最小ルマ符号化ブロックのサイズを単位としたものである、請求項1に記載の方法。
  3. 前記差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、pps_pic_width_in_luma_samplesは、ルマサンプルを単位とした前記ピクチャの前記幅であり、MinCbSizeYは前記最小ルマ符号化ブロックの前記サイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、請求項2に記載の方法。
  4. 前記動き補償を実行することが、
    前記ピクチャの前記幅、及び前記差に従って、ラップアラウンド動き補償オフセットを決定することと、
    前記ラップアラウンド動き補償オフセットに従って、前記動き補償を実行することと、
    をさらに含む、請求項1に記載の方法。
  5. 前記ピクチャの前記幅、及び前記差に従って、前記ラップアラウンド動き補償オフセットを決定することが、
    ルマサンプルを単位とした前記ピクチャの前記幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
    前記ラップアラウンド動き補償オフセットを、(前記第1の値-前記差)に等しいものとして決定することと、
    をさらに含む、請求項4に記載の方法。
  6. 前記差を示す前記データを受信することが、
    ラップアラウンドオフセットタイプフラグを受信することと、
    前記ラップアラウンドオフセットタイプフラグが第1の値に等しいか、又は第2の値に等しいかを決定することと、
    前記ラップアラウンドオフセットタイプフラグが前記第1の値に等しいとの決定に応じて、前記ピクチャの前記幅と、水平ラップアラウンド位置を計算するために用いられる前記オフセットとの前記差を示す前記データを受信することと、
    前記ラップアラウンドオフセットタイプフラグが前記第2の値に等しいとの決定に応じて、水平ラップアラウンド位置を計算するために用いられる前記オフセットを示す前記データを受信することと、
    をさらに含む、請求項1に記載の方法。
  7. 前記第1の値及び前記第2の値の各々が0又は1である、請求項6に記載の方法。
  8. 前記動き補償が多用途ビデオコーディング規格に従って実行される、請求項1に記載の方法。
  9. 前記ピクチャが360度映像シーケンスの部分である、請求項1に記載の方法。
  10. 前記ラップアラウンド動き補償フラグ及び前記差がピクチャパラメータセット(PPS)においてシグナリングされる、請求項1に記載の方法。
  11. 映像データ処理を実行するためのシステムであって、前記システムが、
    命令のセットを記憶するメモリと、
    1つ以上のプロセッサと、
    を備え、前記1つ以上のプロセッサが、前記命令のセットを実行し、前記システムに、
    ラップアラウンド動き補償フラグを受信することと、
    前記ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
    前記ラップアラウンド動き補償が有効にされているとの決定に応じて、前記ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
    前記ラップアラウンド動き補償フラグ及び前記差に従って動き補償を実行することと、
    を実行させるように構成されている、システム。
  12. 前記差が最小ルマ符号化ブロックのサイズを単位としたものである、請求項11に記載のシステム。
  13. 前記差が((pps_pic_width_in_luma_samples/MinCbSizeY)-(CtbSizeY/MinCbSizeY)-2)以下であり、pps_pic_width_in_luma_samplesは、ルマサンプルを単位とした前記ピクチャの前記幅であり、MinCbSizeYは前記最小ルマ符号化ブロックの前記サイズであり、CtbSizeYはルマ符号化ツリーブロックのサイズである、請求項12に記載のシステム。
  14. 前記動き補償を実行する際に、前記1つ以上のプロセッサが、前記命令のセットを実行し、前記システムに、
    前記ピクチャの前記幅、及び前記差に従って、ラップアラウンド動き補償オフセットを決定することと、
    前記ラップアラウンド動き補償オフセットに従って、前記動き補償を実行することと、
    を実行させるように構成されている、請求項11に記載のシステム。
  15. 前記ピクチャの前記幅、及び前記差に従って、前記ラップアラウンド動き補償オフセットを決定する際に、前記1つ以上のプロセッサが、前記命令のセットを実行し、前記システムに、
    ルマサンプルを単位とした前記ピクチャの前記幅を最小ルマ符号化ブロックのサイズで除算し、第1の値を生成することと、
    前記ラップアラウンド動き補償オフセットを、(前記第1の値-前記差)に等しいものとして決定することと、
    を実行させるように構成されている、請求項14に記載のシステム。
  16. 前記差を示す前記データを受信する際に、前記1つ以上のプロセッサが、前記命令のセットを実行し、前記システムに、
    ラップアラウンドオフセットタイプフラグを受信することと、
    前記ラップアラウンドオフセットタイプフラグが第1の値に等しいか、又は第2の値に等しいかを決定することと、
    前記ラップアラウンドオフセットタイプフラグが前記第1の値に等しいとの決定に応じて、前記ピクチャの前記幅と、水平ラップアラウンド位置を計算するために用いられる前記オフセットとの前記差を示す前記データを受信することと、
    前記ラップアラウンドオフセットタイプフラグが前記第2の値に等しいとの決定に応じて、水平ラップアラウンド位置を計算するために用いられる前記オフセットを示す前記データを受信することと、
    を実行させるように構成されている、請求項11に記載のシステム。
  17. 前記第1の値及び前記第2の値の各々が0又は1である、請求項16に記載のシステム。
  18. 前記動き補償が多用途ビデオコーディング規格に従って実行される、請求項11に記載のシステム。
  19. 前記ラップアラウンド動き補償フラグ及び前記差がピクチャパラメータセット(PPS)においてシグナリングされる、請求項11に記載のシステム。
  20. 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、映像データ処理を実行するための方法を装置に開始させるために、前記装置の1つ以上のプロセッサによって実行可能であり、前記方法が、
    ラップアラウンド動き補償フラグを受信することと、
    前記ラップアラウンド動き補償フラグに基づいて、ラップアラウンド動き補償が有効にされているかどうかを決定することと、
    前記ラップアラウンド動き補償が有効にされているとの決定に応じて、前記ピクチャの幅と、水平ラップアラウンド位置を決定するために用いられるオフセットとの差を示すデータを受信することと、
    前記ラップアラウンド動き補償フラグ及び前記差に従って動き補償を実行することと、
    を含む、非一時的コンピュータ可読媒体。
JP2022556109A 2020-03-26 2021-03-26 映像符号化データをシグナリングするための方法 Pending JP2023521295A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063000443P 2020-03-26 2020-03-26
US63/000,443 2020-03-26
PCT/US2021/024447 WO2021195546A1 (en) 2020-03-26 2021-03-26 Methods for signaling video coding data

Publications (1)

Publication Number Publication Date
JP2023521295A true JP2023521295A (ja) 2023-05-24

Family

ID=77856684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022556109A Pending JP2023521295A (ja) 2020-03-26 2021-03-26 映像符号化データをシグナリングするための方法

Country Status (6)

Country Link
US (1) US11785237B2 (ja)
EP (1) EP4128776A4 (ja)
JP (1) JP2023521295A (ja)
KR (1) KR20220160038A (ja)
CN (1) CN115398906A (ja)
WO (1) WO2021195546A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020347030A1 (en) * 2019-09-10 2022-03-31 Xris Corporation Image signal encoding/decoding method and device therefor
US11863789B2 (en) * 2020-03-31 2024-01-02 Tencent America LLC Method for signaling rectangular slice partitioning in coded video stream
WO2024002185A1 (en) * 2022-06-29 2024-01-04 Douyin Vision (Beijing) Co., Ltd. Method, apparatus, and medium for video processing

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194613A1 (en) 2010-02-11 2011-08-11 Qualcomm Incorporated Video coding with large macroblocks
KR101387467B1 (ko) 2010-06-07 2014-04-22 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9282328B2 (en) 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
CA2873487A1 (en) 2012-05-14 2013-11-21 Luca Rossato Decomposition of residual data during signal encoding, decoding and reconstruction in a tiered hierarchy
JP6559337B2 (ja) 2015-09-23 2019-08-14 ノキア テクノロジーズ オーユー 360度パノラマビデオの符号化方法、符号化装置、及びコンピュータプログラム
US11212438B2 (en) 2018-02-14 2021-12-28 Qualcomm Incorporated Loop filter padding for 360-degree video coding
TWI731364B (zh) * 2018-07-02 2021-06-21 大陸商北京字節跳動網絡技術有限公司 Hmvp+非相鄰運動
JP2022500914A (ja) * 2018-09-14 2022-01-04 ヴィド スケール インコーポレイテッド フレキシブルグリッドリージョンのための方法および装置
TWI822863B (zh) * 2018-09-27 2023-11-21 美商Vid衡器股份有限公司 360度視訊寫碼樣本導出
US11689724B2 (en) 2018-11-02 2023-06-27 Sharp Kabushiki Kaisha Systems and methods for reference offset signaling in video coding
US11252434B2 (en) 2018-12-31 2022-02-15 Tencent America LLC Method for wrap-around padding for omnidirectional media coding
US11095916B2 (en) * 2019-07-23 2021-08-17 Qualcomm Incorporated Wraparound motion compensation in video coding
US11539939B2 (en) * 2019-11-27 2022-12-27 Hfi Innovation Inc. Video processing methods and apparatuses for horizontal wraparound motion compensation in video coding systems
US11425420B2 (en) * 2019-12-27 2022-08-23 Qualcomm Incorporated Wraparound offsets for reference picture resampling in video coding
US11418804B2 (en) * 2019-12-31 2022-08-16 Tencent America LLC Method for wrap around motion compensation with reference picture resampling
US11368708B2 (en) * 2020-01-08 2022-06-21 Tencent America LLC Method for combination of wrap-around offset and reference picture resampling

Also Published As

Publication number Publication date
KR20220160038A (ko) 2022-12-05
US20210306648A1 (en) 2021-09-30
EP4128776A1 (en) 2023-02-08
WO2021195546A1 (en) 2021-09-30
EP4128776A4 (en) 2024-01-10
CN115398906A (zh) 2022-11-25
US11785237B2 (en) 2023-10-10

Similar Documents

Publication Publication Date Title
US11671613B2 (en) Methods for signaling virtual boundaries and wrap-around motion compensation
US11785237B2 (en) Methods for signaling video coding data
US11956463B2 (en) Methods for performing wrap-around motion compensation
US11412253B2 (en) Methods for combining decoder side motion vector refinement with wrap-around motion compensation
CN116506635B (zh) 用于对图像执行逐步解码刷新处理的方法和系统
KR20220143859A (ko) 크로마 신호를 처리하기 위한 방법
KR20220062655A (ko) 비디오 데이터의 무손실 코딩
KR20230013103A (ko) 비디오 처리에서의 타일 및 슬라이스 파티셔닝
JP2023519216A (ja) ループフィルタの高レベルシンタックス制御
KR20220158002A (ko) 비디오 레코딩의 부호 데이터 은닉
JP2023509838A (ja) サブピクチャ分割情報をシグナリングするための方法及び機器
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
US20220182617A1 (en) Method for using adaptive loop filter and system thereof
US20210368170A1 (en) High level control of pdpc and intra reference sample filtering of video coding
KR20220057620A (ko) 변환-스킵 모드에서 비디오 데이터를 코딩하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240308