JP2023526585A - 映像の符号化における参照ピクチャ処理のための方法 - Google Patents

映像の符号化における参照ピクチャ処理のための方法 Download PDF

Info

Publication number
JP2023526585A
JP2023526585A JP2022567879A JP2022567879A JP2023526585A JP 2023526585 A JP2023526585 A JP 2023526585A JP 2022567879 A JP2022567879 A JP 2022567879A JP 2022567879 A JP2022567879 A JP 2022567879A JP 2023526585 A JP2023526585 A JP 2023526585A
Authority
JP
Japan
Prior art keywords
reference picture
index
picture list
list
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022567879A
Other languages
English (en)
Other versions
JPWO2021237165A5 (ja
Inventor
チェン,ジエ
イエ,ヤン
リャオ,ルーリン
Original Assignee
アリババ グループ ホウルディング リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アリババ グループ ホウルディング リミテッド filed Critical アリババ グループ ホウルディング リミテッド
Publication of JP2023526585A publication Critical patent/JP2023526585A/ja
Publication of JPWO2021237165A5 publication Critical patent/JPWO2021237165A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/58Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、映像処理のためのコンピュータ実施方法を提供する。この方法は、シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して、参照ピクチャリスト構造の総数にメモリを割り当てること、及び割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理することを含む。

Description

関連出願の相互参照
[0001] 本開示は、全体が本明細書において参照により組み込まれる、2020年5月21日に出願された、米国仮特許出願第63/028,509号に対する優先権の利益を主張する。
技術分野
[0002] 本開示は一般に映像処理に関し、より詳細には参照ピクチャを処理するための方法、装置、及び非一時的コンピュータ可読記憶媒体に関する。
背景
[0003] 映像は、視覚情報を取り込んだ静的ピクチャ(又は「フレーム」)のセットである。記憶メモリ及び伝送帯域幅を低減するために、映像を記憶又は伝送前に圧縮し、表示前に復元することができる。圧縮プロセスは通常、符号化と称され、復元プロセスは通常、復号化と称される。最も一般的には、予測、変換、量子化、エントロピー符号化、及びインループフィルタリングに基づく、標準化映像符号化技術を用いる様々な映像符号化フォーマットが存在する。特定の映像符号化フォーマットを指定する、高効率ビデオコーディング(High Efficiency Video Coding)(HEVC/H.265)規格、多用途ビデオコーディング(Versatile Video Coding)(VVC/H.266)、及び標準AVS規格などの、映像符号化規格が標準化機関によって開発されている。進化した映像符号化技術が映像規格に次々と採用されるに従って、新たな映像符号化規格の符号化効率はますます高くなる。
開示の概要
[0004] 本開示の実施形態は、映像処理のための方法を提供する。実施形態によっては、この方法は、シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数にメモリを割り当てること、及び割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理することを含む。
[0005] 実施形態によっては、この方法は、ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び参照ピクチャリストに基づいて現在のピクチャを符号化することを含む。
[0006] 実施形態によっては、この方法は、映像ビットストリームを受信すること、現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化することを含む。
[0007] 実施形態によっては、この方法は、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすることを含む。
[0008] 実施形態によっては、この方法は、スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化することを含む。
[0009] 実施形態によっては、この方法は、スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは、現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及びコロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは、時間的動きベクトル予測に使用されることを含む。
[0010] 本開示の実施形態は、映像処理を行うための装置を提供する。実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数にメモリを割り当てること、及び割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理することを装置に行わせるために命令を実行するように構成される。
[0011] 実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び参照ピクチャリストに基づいて現在のピクチャを符号化すること、を装置に行わせるために命令を実行するように構成される。
[0012] 実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、映像ビットストリームを受信すること、現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化すること、を装置に行わせるために命令を実行するように構成される。
[0013] 実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすること、を装置に行わせるために命令を実行するように構成される。
[0014] 実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化すること、を装置に行わせるために命令を実行するように構成される。
[0015] 実施形態によっては、この装置は、命令を記憶するように構成されるメモリと、1つ以上のプロセッサとを含み、1つ以上のプロセッサは、スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは、現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及びコロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは、時間的動きベクトル予測に使用されること、を装置に行わせるために命令を実行するように構成される。
[0016] 本開示の実施形態は、命令のセットを記憶する非一時的コンピュータ可読記憶媒体を提供する。命令のセットは、映像処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能である。実施形態によっては、この方法は、シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数にメモリを割り当てること、及び割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理することを含む。
[0017] 実施形態によっては、この方法は、ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び参照ピクチャリストに基づいて現在のピクチャを符号化することを含む。
[0018] 実施形態によっては、この方法は、映像ビットストリームを受信すること、現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、参照ピクチャリスト0に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定することを含むこと、第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化することを含む。
[0019] 実施形態によっては、この方法は、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすることを含む。
[0020] 実施形態によっては、この方法は、スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化することを含む。
[0021] 実施形態によっては、この方法は、スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは、現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及びコロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは、時間的動きベクトル予測に使用されることを含む。
図面の簡単な説明
[0022] 本開示の実施形態及び様々な態様が以下の詳細な説明及び添付の図面において例示される。図に示される様々な特徴は、原寸に比例して描かれていない。
[0023]図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンスの構造を示す概略図である。 [0024]図2Aは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な符号化プロセスを示す概略図である。 [0025]図2Bは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な符号化プロセスを示す概略図である。 [0026]図3Aは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な復号化プロセスを示す概略図である。 [0027]図3Bは、本開示の実施形態に従う、ハイブリッド映像符号化システムの例示的な復号化プロセスを示す概略図である。 [0028]図4は、本開示のいくつかの実施形態に係る、映像を符号化又は復号化するための例示的な装置のブロック図である。 [0029]本開示のいくつかの実施形態に係る、参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0030]本開示のいくつかの実施形態に係る、変数FullPocLt[i][j]の導出を含む例示的な疑似コードを示す。 [0031]本開示のいくつかの実施形態に係る、参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0032]本開示のいくつかの実施形態に係る、変数NumLtrpEntries[listIdx][rplsIdx]の導出を含む例示的な疑似コードを示す。 [0033]本開示のいくつかの実施形態に係る、変数AbsDeltaPocSt[listIdx][rplsIdx][i]の導出を含む例示的な疑似コードを示す。 [0034]本開示のいくつかの実施形態に係る、変数DeltaPocValSt[listIdx][rplsIdx]の導出を含む例示的な疑似コードを示す。 [0035]本開示のいくつかの実施形態に係る、シーケンスパラメータセット内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0036]本開示のいくつかの実施形態に係る、ピクチャパラメータセット内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0037]本開示のいくつかの実施形態に係る、ピクチャヘッダ構造内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0038]本開示のいくつかの実施形態に係る、変数MaxNumSubblockMergeCandの導出を含む疑似コードの一例を示す。 [0039]本開示のいくつかの実施形態に係る、スライスヘッダ内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。 [0040]本開示のいくつかの実施形態に係る、変数NumRefIdxActive[i]の導出を含む例示的な疑似コードを示す。 [0041]本開示のいくつかの実施形態に係る、PHシンタックス構造内のフラグをシグナリングするための例示的な映像符号化方法のフローチャートを示す。 [0042]本開示のいくつかの実施形態に係る、PHシンタックス構造内のフラグをシグナリングするための例示的な映像復号化方法のフローチャートを示す。 [0043]本開示のいくつかの実施形態に係る、ph_collocated_from_l0_flag及びph_mvd_l1_zero_flagの更新されたシグナリングを含む例示的なシンタックスを示す。 [0044]本開示のいくつかの実施形態に係る、ピクチャ順序カウントを使用してコロケーテッドピクチャを示すための例示的な映像符号化方法のフローチャートを示す。 [0045]本開示のいくつかの実施形態に係る、ピクチャ順序カウントを使用してコロケーテッドピクチャを示すための例示的な映像符号化方法のフローチャートを示す。 [0046]本開示のいくつかの実施形態に係る、コロケーテッドピクチャを示すための例示的な映像符号化方法の別のフローチャートを示す。 [0047]本開示のいくつかの実施形態に係る、ピクチャ順序カウントを使用してコロケーテッドピクチャを示すための例示的な映像復号化方法のフローチャートを示す。 [0048]本開示のいくつかの実施形態に係る、ピクチャ順序カウントを使用してコロケーテッドピクチャを示すための例示的な映像復号化方法のフローチャートを示す。 [0049]本開示のいくつかの実施形態に係る、ピクチャパラメータセット内の更新された参照ピクチャリストを含む例示的なシンタックスを示す。 [0050]本開示のいくつかの実施形態に係る、更新されたスライスヘッダを含む例示的なシンタックスを示す。 [0051]本開示のいくつかの実施形態に係る、AbsDeltaPocStColの導出を含む例示的な疑似コードを示す。 [0052]本開示のいくつかの実施形態に係る、DeltaPocValStColの導出を含む例示的な疑似コードを示す。 [0053]本開示のいくつかの実施形態に係る、復号化方法において使用されるコロケーテッドピクチャを導出するための例示的な疑似コードを示す。 [0053]本開示のいくつかの実施形態に係る、復号化方法において使用されるコロケーテッドピクチャを導出するための例示的な疑似コードを示す。 [0054]本開示のいくつかの実施形態に係る、参照ピクチャリスト内のアクティブエントリの数を使用してSH内のコロケーテッドピクチャのインデックスを推論するための例示的な映像符号化方法のフローチャートを示す。 [0055]本開示のいくつかの実施形態に係る、参照ピクチャリスト内のアクティブエントリの数を使用してSH内のコロケーテッドピクチャのインデックスを推論するための例示的な映像復号化方法のフローチャートを示す。 [0056]本開示のいくつかの実施形態に係る、更新されたシンタックス要素sh_collocated_ref_idxのための例示的なセマンティクスを示す。 [0057]本開示のいくつかの実施形態に係る、メモリを割り当てる復号器のための例示的な映像処理方法のフローチャートを示す。 [0058]本開示のいくつかの実施形態に係る、メモリを割り当てるための例示的なセマンティクスを示す。 [0059]本開示のいくつかの実施形態に係る、参照ピクチャリスト内のインデックスを推論するための例示的な映像符号化方法のフローチャートを示す。 [0060]本開示のいくつかの実施形態に係る、参照ピクチャリスト内のインデックスを推論するための例示的な映像復号化方法のフローチャートを示す。 [0061]本開示のいくつかの実施形態に係る、更新された変数rpl_idx[i]のための例示的なセマンティクスを示す。 [0062]本開示のいくつかの実施形態に係る、スライスヘッダ内のアクティブ参照インデックスのオーバーライド数が存在するかどうかを示すための例示的な映像符号化方法のフローチャートを示す。 [0063]本開示のいくつかの実施形態に係る、スライスヘッダ内のアクティブ参照インデックスのオーバーライド数が存在するかどうかを示すための例示的な映像復号化方法のフローチャートを示す。 [0064]本開示のいくつかの実施形態に係る、更新されたシンタックス要素sh_num_ref_idx_active_override_flagのための例示的なセマンティクスを示す。 [0065]本開示のいくつかの実施形態に係る、IスライスのためのSH内のコロケーテッドピクチャのインデックスを定めるための例示的な映像処理方法のフローチャートを示す。 [0066]本開示のいくつかの実施形態に係る、シンタックス要素sh_collocated_ref_idxのための更新されたビットストリーム準拠制約のための例示的なセマンティクスを示す。
詳細な説明
[0067] 次に、添付の図面に例が示された、例示的な実施形態を詳細に参照する。以下の説明は添付の図面を参照し、図面において、異なる図面における同じ符号は、別途示されない限り、同じ又は同様の要素を表す。例示的な実施形態の以下の説明において示される実装形態は、本発明に従う全ての実装形態を表すものではない。むしろ、それらは、添付の請求項において列挙されるとおりの本発明に関連する態様に従う装置及び方法の単なる例にすぎない。本開示の特定の態様が以下においてより詳細に説明される。参照により組み込まれる用語及び/又は定義と矛盾する場合には、本明細書において提供される用語及び定義が優先する。
[0068] ITU-Tビデオコーディングエキスパートグループ(ITU-T VCEG(ITU-T Video Coding Expert Group))及びISO/IECムービングピクチャエクスパートグループ(ISO/IECMPEG(ISO/IEC Moving Picture Expert))のジョイントビデオエクスパーツチーム(JVET(Joint Video Experts Team))は、現在、多用途ビデオコーディング(VVC/H.266)規格を開発している。VVC規格は、その前身、高効率ビデオコーディング(HEVC/H.265)規格の圧縮効率を2倍にすることを目指している。換言すれば、VVCの目標は、半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成することである。
[0069]半分の帯域幅を用いてHEVC/H.265と同じ主観的品質を達成するために、JVETは、共同探索モデル(JEM(joint exploration model))参照ソフトウェアを用いてHEVCを超える技術を開発している。符号化技術がJEMに組み込まれたため、JEMはHEVCよりも実質的に高い符号化性能を達成した。
[0070] VVC規格は最近開発されたものであり、より優れた圧縮性能をもたらすより多くの符号化技術を組み込み続けている。VVCは、HEVC、H.264/AVC、MPEG2、H.263等などの現代的な映像圧縮規格において用いられてきた同じハイブリッド映像符号化システムに基づく。
[0071] 映像は、視覚情報を記憶するために時系列で配列された静的ピクチャ(又は「フレーム」)のセットである。映像取り込みデバイス(例えば、カメラ)を、それらのピクチャを時系列で取り込んで記憶するために用いることができ、映像再生デバイス(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ、又は表示機能を有する任意のエンドユーザ端末)を、このようなピクチャを時系列で表示するために用いることができる。また、用途によっては、映像取り込みデバイスが、取り込まれた映像を、監視、会議開催、又は生放送などのために、映像再生デバイス(例えば、モニタを有するコンピュータ)へリアルタイムに伝送することができる。
[0072] このような用途によって必要とされる記憶空間及び伝送帯域幅を低減するために、映像を記憶及び伝送前に圧縮し、表示前に復元することができる。圧縮及び復元は、プロセッサ(例えば、汎用コンピュータのプロセッサ)によって実行されるソフトウェア、又は特殊ハードウェアによって実施され得る。圧縮のためのモジュールは一般的に「符号器」と称され、復元のためのモジュールは一般的に「復号器」と称される。符号器及び復号器はまとめて「コーデック」と称され得る。符号器及び復号器は、種々の好適なハードウェア、ソフトウェア、又はこれらの組み合わせのうちの任意のものとして実施することができる。例えば、符号器及び復号器のハードウェア実装形態は、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP(digital signal processor))、特定用途向け集積回路(ASIC(application-specific integrated circuit))、フィールドプログラマブルゲートアレイ(FPGA(field-programmable gate array))、個別ロジック、又はこれらの任意の組み合わせなどの、回路機構を含むことができる。符号器及び復号器のソフトウェア実装形態は、プログラムコード、コンピュータ実行可能命令、ファームウェア、又はコンピュータ可読媒体内に固定された任意の好適なコンピュータ実施アルゴリズム若しくはプロセスを含むことができる。映像圧縮及び復元は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ、又は同様のものなどの、様々なアルゴリズム又は規格によって実施され得る。用途によっては、コーデックは映像を第1の符号化規格から復元し、復元された映像を、第2の符号化規格を用いて再圧縮することができる。この場合には、コーデックは「トランスコーダ」と称され得る。
[0073] 映像符号化プロセスは、ピクチャを再構成するために用いることができる有用な情報を識別して維持し、再構成のために重要でない情報を無視することができる。無視された重要でない情報を完全に再構成することができない場合には、このような符号化プロセスは「非可逆」と称され得る。さもなければ、それは「可逆」と称され得る。大抵の符号化プロセスは非可逆であり、これは、必要とされる記憶空間及び伝送帯域幅を低減するためのトレードオフである。
[0074] 符号化中のピクチャ(「現在のピクチャ」と称される)の有用な情報は、参照ピクチャ(例えば、以前に符号化され、再構成されたピクチャ)に対する変化を含む。このような変化は、ピクセルの位置の変化、明るさの変化、又は色の変化を含むことができ、これらの中でも、位置の変化に最も重要である。オブジェクトを表現するピクセルのグループの位置の変化は、参照ピクチャと現在のピクチャとの間のオブジェクトの動きを反映することができる。
[0075] 別のピクチャを参照することなく符号化されたピクチャ(すなわち、それがそれ自身の参照ピクチャである)は「Iピクチャ」と称される。ピクチャは、ピクチャ内の一部又は全てのブロック(例えば映像ピクチャの一部を概して指すブロック)が1つの参照ピクチャを用いてイントラ予測又はインター予測を使用して予測される場合(例えば単方向予測)は「Pピクチャ」と呼ばれる。ピクチャは、ピクチャ内の少なくとも1つのブロックが2つの参照ピクチャを用いて予測される場合(例えば双方向予測)は「Bピクチャ」と呼ばれる。
[0076] 図1は、本開示のいくつかの実施形態に係る、例示的な映像シーケンス100の構造を示す。映像シーケンス100は、ライブ映像、又は取り込まれ、アーカイブされた映像であることができる。映像シーケンス100は、現実の映像、コンピュータ生成映像(例えば、コンピュータゲーム映像)、又はこれらの組み合わせ(例えば、拡張現実感効果を伴う現実の映像)であることができる。映像シーケンス100は、映像取り込みデバイス(例えば、カメラ)、以前に取り込まれた映像を含む映像アーカイブ(例えば、記憶デバイス内に記憶された映像ファイル)、又は映像コンテンツプロバイダからの映像を受信するための映像供給インターフェース(例えば、映像放送トランシーバ)から入力され得る。
[0077] 図1に示されるように、映像シーケンス100は、ピクチャ102、104、106、及び108を含む、タイムラインに沿って時間的に配列された一連のピクチャを含むことができる。ピクチャ102~106は連続しており、ピクチャ106及び108の間にはさらなるピクチャが存在する。図1において、ピクチャ102はIピクチャであり、その参照ピクチャはピクチャ102自身である。ピクチャ104はPピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ102である。ピクチャ106はBピクチャであり、その参照ピクチャは、矢印によって指示されるように、ピクチャ104及び108である。実施形態によっては、ピクチャ(例えば、ピクチャ104)の参照ピクチャは当該ピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャはピクチャ102の前のピクチャであることができる。ピクチャ102~106の参照ピクチャは単なる例にすぎず、本開示は参照ピクチャの実施形態を、図1に示される例として限定しないことに留意されたい。
[0078] 典型的に、映像コーデックは、このようなタスクの計算の複雑性のゆえに、ピクチャ全体を一度に符号化又は復号化しない。むしろ、それらはピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号化することができる。このような基本セグメントは本開示において基本処理ユニット(「BPU(basic processing unit)」)と称される。例えば、図1における構造110は映像シーケンス100のピクチャ(例えば、ピクチャ102~108のうちの任意のもの)の例示的な構造を示す。構造110においては、ピクチャが4×4基本処理ユニットに分割され、それらの境界は破線として示されている。実施形態によっては、基本処理ユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「マクロブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーユニット」(「CTU(coding tree unit)」)と称され得る。基本処理ユニットは、128×128、64×64、32×32、16×16、4×8、16×32などの、ピクチャにおける可変サイズ、或いはピクセルの任意の随意の形状及びサイズを有することができる。基本処理ユニットのサイズ及び形状は、ピクチャのために、符号化効率と、基本処理ユニットにおいて維持されるべき詳細さのレベルとのバランスに基づいて選択することができる。
[0079] 基本処理ユニットは、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データのグループを含むことができる、論理ユニットであることができる。例えば、カラーピクチャの基本処理ユニットは、無色の輝度情報を表現するルマ成分(Y)、色情報を表現する1つ以上のクロマ成分(例えば、Cb及びCr)、並びに関連シンタックス要素を含むことができ、ここで、ルマ及びクロマ成分は基本処理ユニットの同じサイズを有することができる。ルマ及びクロマ成分は、いくつかの映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ツリーブロック」(「CTB(coding tree block)」)と称され得る。基本処理ユニットに対して遂行される任意の演算はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。
[0080] 映像符号化は複数の演算段階を有し、図2A~図2B及び図3A~図3Bにその例が示されている。段階ごとに、基本処理ユニットのサイズは依然として処理のために大きすぎるものになり得、それゆえ、本開示において「基本処理サブユニット」と称されるセグメントにさらに分割され得る。実施形態によっては、基本処理サブユニットは、いくつかの映像符号化規格(例えば、MPEGファミリー、H.261、H.263、又はH.264/AVC)では、「ブロック」と、或いはいくつかの他の映像符号化規格(例えば、H.265/HEVC又はH.266/VVC)では、「符号化ユニット」(「CU」)と称され得る。基本処理サブユニットは、基本処理ユニットと同じ、又はそれよりも小さいサイズを有することができる。基本処理ユニットと同様に、基本処理サブユニットもまた、コンピュータメモリ内に(例えば、映像フレームバッファ内に)記憶された異なる種類の映像データ(例えば、Y、Cb、Cr、及び関連シンタックス要素)のグループを含むことができる、論理ユニットである。基本処理サブユニットに対して遂行される任意の動作はそのルマ及びクロマ成分の各々に対して繰り返し遂行され得る。このような分割は処理の必要に応じてさらなるレベルまで遂行され得ることに留意されたい。また、異なる段階は、異なる方式を用いて基本処理ユニットを分割することができることにも留意されたい。
[0081] 例えば、モード決定段階(図2Bにその一例が示されている)において、符号器は、どのような予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を基本処理ユニットのために用いるかを決定することができるが、基本処理ユニットは、このような決定を行うには大きすぎるものになり得る。符号器は、基本処理ユニットを複数の基本処理サブユニット(例えば、H.265/HEVC又はH.266/VVCの場合のように、CU)に分割し、個々の基本処理サブユニットごとに予測の種類を決めることができる。
[0082] 別の例として、予測段階(図2A~図2Bにその例が示されている)において、符号器は基本処理サブユニット(例えば、CU)のレベルで予測演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「予測ブロック(prediction block)」又は「PB」と称される)にさらに分割することができ、そのレベルで予測演算が遂行され得る。
[0083] 別の例として、変換段階(図2A及び図2Bにその例が示されている)において、符号器は残差基本処理サブユニット(例えば、CU)のための変換演算を遂行することができる。しかし、場合によっては、基本処理サブユニットは、依然として、処理するには大きすぎるものになり得る。符号器は、基本処理サブユニットをより小さいセグメント(例えば、H.265/HEVC又はH.266/VVCでは「変換ブロック(transform block)」又は「TB」と称される)にさらに分割することができ、そのレベルで変換演算が遂行され得る。同じ基本処理サブユニットの分割方式が予測段階及び変換段階において異なってもよいことに留意されたい。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックが異なるサイズ及び数を有してもよい。
[0084] 図1の構造110においては、基本処理ユニット112は3×3基本処理サブユニットにさらに分割され、それらの境界は点線として示されている。同じピクチャの異なる基本処理ユニットは異なる方式で基本処理サブユニットに分割されてもよい。
[0085] 実装形態によっては、並列処理及び誤り耐性の能力を映像符号化及び復号化にもたらすために、ピクチャを処理のための領域に分割することができ、これにより、符号化又は復号化プロセスは、ピクチャ領域に関して、ピクチャのいかなる他の領域からの情報にも依存しなくてすむ。換言すれば、ピクチャの各領域は独立して処理され得る。そうすることによって、コーデックはピクチャの異なる領域を並行して処理することができ、それゆえ、符号化効率を増大させる。また、領域のデータが処理中に破損したか、又はネットワーク伝送中に失われたときには、コーデックは、破損した、又は失われたデータを頼ることなく、同じピクチャの他の領域を正しく符号化又は復号化することもでき、それゆえ、誤り耐性の能力をもたらす。いくつかの映像符号化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは2種類の領域:「スライス」及び「タイル」を提供する。また、映像シーケンス100の異なるピクチャは、ピクチャを領域に分割するための異なる区分方式を有することができることにも留意されたい。
[0086] 例えば、図1では、構造110は3つの領域114、116、及び118に分割され、それらの境界は構造110の内部の実線として示されている。領域114は4つの基本処理ユニットを含む。領域116及び118の各々は6つの基本処理ユニットを含む。図1における構造110の基本処理ユニット、基本処理サブユニット、及び領域は単なる例にすぎず、本開示はその実施形態を限定しないことに留意されたい。
[0087] 図2Aは、本開示の実施形態に従う、例示的な符号化プロセス200Aの概略図を示す。例えば、符号化プロセス200Aは符号器によって遂行され得る。図2Aに示されるように、符号器はプロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。図1における映像シーケンス100と同様に、映像シーケンス202は、時間的順序で配列されたピクチャ(「原ピクチャ」と称される)のセットを含むことができる。図1における構造110と同様に、映像シーケンス202の各原ピクチャは符号器によって処理のために基本処理ユニット、基本処理サブユニット、又は領域に分割され得る。実施形態によっては、符号器は映像シーケンス202の原ピクチャごとに基本処理ユニットのレベルでプロセス200Aを遂行することができる。例えば、符号器はプロセス200Aを反復的な仕方で遂行することができ、その場合、符号器は基本処理ユニットをプロセス200Aの1回の反復において符号化することができる。実施形態によっては、符号器は、プロセス200Aを映像シーケンス202の各原ピクチャの領域(例えば、領域114~118)のために並行して遂行することができる。
[0088] 図2Aにおいて、符号器は、映像シーケンス202の原ピクチャの基本処理ユニット(「原BPU」と称される)を予測段階204に供給し、予測データ206及び予測BPU208を生成することができる。符号器は、予測BPU208を原BPUから減算し、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214に供給し、量子化変換係数216を生成することができる。符号器は、予測データ206及び量子化変換係数216を2値符号化段階226に供給し、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226、及び228は「順方向経路」と称され得る。プロセス200Aの間、量子化段階214の後に、符号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復のために予測段階204において用いられる、予測基準224を生成することができる。プロセス200Aの構成要素218、220、222、及び224は「再構成経路」と称され得る。再構成経路は、符号器及び復号器の両方が同じ参照データを予測のために用いることを確実にするために用いられ得る。
[0089] 符号器は、原ピクチャの各原BPUを(順方向経路内で)符号化し、原ピクチャの次の原BPUを符号化するための予測基準224を(再構成経路内で)生成するために、プロセス200Aを反復的に遂行することができる。原ピクチャの全ての原BPUを符号化した後に、符号器は、映像シーケンス202内の次のピクチャを符号化するために進むことができる。
[0090] プロセス200Aを参照すると、符号器は、映像取り込みデバイス(例えば、カメラ)によって生成された映像シーケンス202を受信することができる。本明細書において用いられる用語「受信する」は、受信すること、入力すること、獲得すること、取得すること、得ること、読み込むこと、アクセスすること、又はデータを入力するための任意の仕方による任意の行為を指すことができる。
[0091] 予測段階204において、現在の反復では、符号器は、原BPU及び予測基準224を受信し、予測演算を遂行し、予測データ206及び予測BPU208を生成することができる。予測基準224はプロセス200Aの以前の反復の再構成経路から生成され得る。予測段階204の目的は、予測データ206を抽出することによって、情報冗長性を低減することであり、予測データ206は、予測データ206及び予測基準224から原BPUを予測BPU208として再構成するために用いることができる。
[0092] 理想的には、予測BPU208は原BPUと同一であることができる。しかし、非理想的な予測及び再構成演算のゆえに、予測BPU208は、概して、原BPUとは若干異なる。このような差を記録するために、予測BPU208を生成した後に、符号器は、それを原BPUから減算し、残差BPU210を生成することができる。例えば、符号器は、予測BPU208のピクセルの値(例えば、グレースケール値又はRGB値)を原BPUの対応するピクセルの値から減算することができる。残差BPU210の各ピクセルは、原BPU及び予測BPU208の対応するピクセルの間のこのような減算の結果としての残差値を有することができる。原BPUと比べて、予測データ206及び残差BPU210はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく原BPUを再構成するために用いられ得る。それゆえ、原BPUは圧縮される。
[0093] 残差BPU210をさらに圧縮するために、変換段階212において、符号器は、それを2次元「基底パターン」のセットに分解することによって、残差BPU210の空間的冗長性を低減することができ、各基底パターンは「変換係数」に関連付けられている。基底パターンは同じサイズ(例えば、残差BPU210のサイズ)を有することができる。各基底パターンは残差BPU210の変化周波数(例えば、輝度変化の周波数)成分を表現することができる。基底パターンはいずれも、いかなる他の基底パターンのいかなる結合(例えば、線形結合)からも再現することができない。換言すれば、分解は残差BPU210の変化を周波数領域に分解することができる。このような分解は関数の離散フーリエ変換と類似しており、この場合、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)と類似しており、変換係数は、基底関数に関連付けられた係数と類似している。
[0094] 異なる変換アルゴリズムは異なる基底パターンを用いることができる。例えば、離散余弦変換、離散正弦変換、又は同様のものなどの、様々な変換アルゴリズムを変換段階212において用いることができる。変換段階212における変換は逆演算可能である。すなわち、符号器は、変換の逆演算(「逆変換」と称される)によって残差BPU210を復元することができる。例えば、残差BPU210のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値にそれぞれの関連係数を乗算し、積を加算していき、加重和を生成することができる。映像符号化規格のために、符号器及び復号器は両方とも同じ変換アルゴリズム(それゆえ、同じ基底パターン)を用いることができる。それゆえ、符号器は変換係数のみを記録することができ、復号器は、基底パターンを符号器から受信することなく、変換係数から残差BPU210を再構成することができる。残差BPU210と比べて、変換係数はより少数のビットを有することができるが、それらは、著しい品質劣化を伴うことなく残差BPU210を再構成するために用いられ得る。それゆえ、残差BPU210はさらに圧縮される。
[0095] 符号器は量子化段階214において変換係数をさらに圧縮することができる。変換プロセスにおいて、異なる基底パターンは異なる変化周波数(例えば、輝度変化周波数)を表現することができる。人間の眼は、概して、低周波数変化を認識することがより得意であるため、符号器は、復号化において著しい品質劣化を生じさせることなく高周波数変化の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化スケール因子」と称される)で除算し、商をその最近傍の整数に丸めることによって、量子化変換係数216を生成することができる。このような演算の後に、高周波数基底パターンの一部の変換係数は0に変換され得、低周波数基底パターンの変換係数はより小さい整数に変換され得る。符号器は、0値の量子化変換係数216を無視することができ、これによって変換係数はさらに圧縮される。量子化プロセスもまた逆演算可能であり、この場合、量子化変換係数216は、量子化の逆演算(「逆量子化」と称される)において変換係数に再構成され得る。
[0096] 符号器はこのような除算の剰余を丸め演算において無視するため、量子化段階214は非可逆になり得る。典型的に、量子化段階214はプロセス200Aにおいて最大の情報損失に寄与し得る。情報損失が大きいほど、量子化変換係数216が必要とし得るビットは少なくなる。異なる情報損失レベルを得るために、符号器は、量子化シンタックス要素又は量子化プロセスの任意の他のシンタックス要素の異なる値を用いることができる。
[0097] 2値符号化段階226において、符号器は、例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆若しくは非可逆圧縮アルゴリズムなどの、2値符号化技法を用いて、予測データ206及び量子化変換係数216を符号化することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、符号器は、例えば、予測段階204において用いられる予測モード、予測演算のシンタックス要素、変換段階212における変換の種類、量子化プロセスのシンタックス要素(例えば、量子化シンタックス要素)、符号器制御シンタックス要素(例えば、ビットレート制御シンタックス要素)、又は同様のものなどの、他の情報を2値符号化段階226において符号化することができる。符号器は2値符号化段階226の出力データを用いて映像ビットストリーム228を生成することができる。実施形態によっては、映像ビットストリーム228をネットワーク伝送のためにさらにパケット化することができる。
[0098] プロセス200Aの再構成経路を参照すると、逆量子化段階218において、符号器は、量子化変換係数216に対して逆量子化を遂行し、再構成変換係数を生成することができる。逆変換段階220において、符号器は、再構成変換係数に基づいて再構成残差BPU222を生成することができる。符号器は、再構成残差BPU222を予測BPU208に加算し、プロセス200Aの次の反復において用いられることになる予測基準224を生成することができる。
[0099] プロセス200Aの他の変形を、映像シーケンス202を符号化するために用いることもできることに留意されたい。実施形態によっては、プロセス200Aの段階は符号器によって、異なる順序で遂行され得る。実施形態によっては、プロセス200Aの1つ以上の段階を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aの単一の段階を複数の段階に分割することができる。例えば、変換段階212及び量子化段階214を単一の段階に組み合わせることができる。実施形態によっては、プロセス200Aは追加の段階を含むことができる。実施形態によっては、プロセス200Aは図2Aにおける1つ以上の段階を省略することができる。
[0100] 図2Bは、本開示の実施形態に従う、別の例示的な符号化プロセス200Bの概略図を示す。プロセス200Bはプロセス200Aから変更され得る。例えば、プロセス200Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した符号器によって用いられ得る。プロセス200Aと比べて、プロセス200Bの順方向経路はモード決定段階230を追加的に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分割する。プロセス200Bの再構成経路はループフィルタ段階232及びバッファ234を追加的に含む。
[0101] 概して、予測技法は2つの種類:空間的予測及び時間的予測に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現在のBPUを予測するために、同じピクチャ内の1つ以上のすでに符号化された隣接BPUからのピクセルを用いることができる。すなわち、空間的予測における予測基準224は隣接BPUを含むことができる。空間的予測はピクチャの固有の空間的冗長性を低減することができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現在のBPUを予測するために、1つ以上のすでに符号化されたピクチャからの領域を用いることができる。すなわち、時間的予測における予測基準224は符号化ピクチャを含むことができる。時間的予測はピクチャの固有の時間的冗長性を低減することができる。
[0102] プロセス200Bを参照すると、順方向経路内において、符号器は予測演算を空間的予測段階2042及び時間的予測段階2044において遂行する。例えば、空間的予測段階2042において、符号器はイントラ予測を遂行することができる。符号化中のピクチャの原BPUのために、予測基準224は、同じピクチャ内で(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上の隣接BPUを含むことができる。符号器は、隣接BPUを外挿することによって予測BPU208を生成することができる。外挿技法は、例えば、線形外挿若しくは補間、多項式外挿若しくは補間、又は同様のものを含むことができる。実施形態によっては、符号器は、予測BPU208のピクセルごとに、対応するピクセルの値を外挿することによるなどして、外挿をピクセルレベルで遂行することができる。外挿のために用いられる隣接BPUは、(例えば、原BPUの上の)鉛直方向、(例えば、原BPUの左の)水平方向、(例えば、原BPUの左下、右下、左上、若しくは右上の)対角方向、又は用いられる映像符号化規格において定義される任意の方向などの、様々な方向から原BPUに対して位置することができる。イントラ予測のために、予測データ206は、例えば、用いられる隣接BPUの場所(例えば、座標)、用いられる隣接BPUのサイズ、外挿のシンタックス要素、原BPUに対する用いられる隣接BPUの方向、又は同様のものを含むことができる。
[0103] 別の例として、時間的予測段階2044において、符号器はインター予測を遂行することができる。現在のピクチャの原BPUのために、予測基準224は、(順方向経路内で)符号化され、(再構成経路内で)再構成された1つ以上のピクチャ(「参照ピクチャ」と称される)を含むことができる。実施形態によっては、参照ピクチャはBPUごとに符号化され、再構成され得る。例えば、符号器は、再構成残差BPU222を予測BPU208に加算し、再構成BPUを生成することができる。同じピクチャの全ての再構成BPUが生成されたとき、符号器は、再構成ピクチャを参照ピクチャとして生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と称される)内のマッチング領域を探索するために「動き推定」の演算を遂行することができる。参照ピクチャ内の探索窓の場所は、現在のピクチャの原BPUの場所に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内の、現在のピクチャ内の原BPUと同じ座標を有する場所に中心を有することができ、所定の距離にわたって外へ拡張され得る。符号器が(例えば、画素再帰(pel-recursive)アルゴリズム、ブロックマッチングアルゴリズム、又は同様のものを用いることによって)探索窓内の原BPUと類似する領域を識別したとき、符号器はこのような領域をマッチング領域と決定することができる。マッチング領域は、原BPUとは異なる(例えば、原BPUよりも小さい、それに等しい、それよりも大きい、又は異なる形状の)寸法を有することができる。参照ピクチャ及び現在のピクチャが(例えば、図1に示されるように)タイムライン内で時間的に分離されているため、時間が経過するにつれてマッチング領域は原BPUの場所へ「移動する」と見なすことができる。符号器はこのような動きの方向及び距離を「動きベクトル」として記録することができる。(例えば、図1におけるピクチャ106のように)複数の参照ピクチャが用いられるときには、符号器は、参照ピクチャごとにマッチング領域を探索し、その関連動きベクトルを決定することができる。実施形態によっては、符号器はそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与することができる。
[0104] 動き推定は、例えば、並進、回転、ズーミング、又は同様のものなどの、様々な種類の動きを識別するために用いることができる。インター予測のために、予測データ206は、例えば、マッチング領域の場所(例えば、座標)、マッチング領域に関連付けられた動きベクトル、参照ピクチャの数、参照ピクチャに関連付けられた重み、又は同様のものを含むことができる。
[0105] 予測BPU208を生成するために、符号器は「動き補償」の演算を遂行することができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて予測BPU208を再構成するために用いることができる。例えば、符号器は、動きベクトルに従って参照ピクチャのマッチング領域を移動させることができ、その場合、現在のピクチャの原BPUを予測することができる。(例えば、図1におけるピクチャ106のように)複数の参照ピクチャが用いられるときには、符号器は、それぞれの動きベクトルに従って参照ピクチャのマッチング領域を移動させ、マッチング領域のピクセル値を平均することができる。実施形態によっては、符号器がそれぞれのマッチング参照ピクチャのマッチング領域のピクセル値に重みを付与した場合には、符号器は、ピクセル値の加重和を、移動させられたマッチング領域に加算することができる。
[0106] 実施形態によっては、インター予測は一方向性又は双方向性であることができる。一方向性インター予測は現在のピクチャに対して同じ時間方向の1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ104は、参照ピクチャ(すなわち、ピクチャ102)がピクチャ104に先行する一方向インター予測ピクチャである。双方向インター予測は、現在のピクチャに対して両方の時間方向にある1つ以上の参照ピクチャを用いることができる。例えば、図1におけるピクチャ106は、参照ピクチャ(すなわち、ピクチャ104及び108)がピクチャ104に対して両方の時間方向にある双方向インター予測ピクチャである。
[0107] プロセス200Bの順方向経路をなおも参照すると、空間的予測2042及び時間的予測段階2044の後に、モード決定段階230において、符号器は予測モード(例えば、イントラ予測又はインター予測のうちの一方)をプロセス200Bの現在の反復のために選択することができる。例えば、符号器はレート-歪み最適化技法を遂行することができる。本技法では、符号器は、候補予測モードのビットレート、及び候補予測モード下での再構成参照ピクチャの歪みに依存するコスト関数の値を最小化するための予測モードを選択することができる。選択された予測モードに応じて、符号器は、対応する予測BPU208及び予測データ206を生成することができる。
[0108] プロセス200Bの再構成経路内において、イントラ予測モードが順方向経路内で選択された場合には、予測基準224(例えば、現在のピクチャにおいて符号化され、再構成された現在のBPU)を生成した後に、符号器は、予測基準224を後の使用のために(例えば、現在のピクチャの次のBPUの外挿のために)空間的予測段階2042に直接供給することができる。符号器は、予測基準224をループフィルタ段階232に供給することができ、そこで、符号器は、ループフィルタを予測基準224に適用し、予測基準224の符号化中に導入された歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。符号器は、例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ、又は同様のものなどの、様々なループフィルタ技法をループフィルタ段階232において適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像シーケンス202の将来のピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(又は「復号化ピクチャバッファ」)内に記憶され得る。符号器は1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、符号器は、ループフィルタのシンタックス要素(例えば、ループフィルタ強度)を、量子化変換係数216、予測データ206、及び他の情報と共に、2値符号化段階226において符号化することができる。
[0109] 図3Aは、本開示の実施形態に従う、例示的な復号化プロセス300Aの概略図を示す。プロセス300Aは、図2Aにおける圧縮プロセス200Aに対応する復元プロセスであることができる。実施形態によっては、プロセス300Aはプロセス200Aの再構成経路と似たものであることができる。復号器はプロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号化することができる。映像ストリーム304は映像シーケンス202とよく似たものであることができる。しかし、圧縮及び復元プロセス(例えば、図2A及び図2Bにおける量子化段階214)における情報損失のゆえに、概して、映像ストリーム304は映像シーケンス202と同一ではない。図2A及び図2Bにおけるプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化されたピクチャごとに基本処理ユニット(BPU)のレベルでプロセス300Aを遂行することができる。例えば、復号器はプロセス300Aを反復的な仕方で遂行することができ、その場合、復号器は基本処理ユニットをプロセス300Aの1回の反復において復号化することができる。実施形態によっては、復号器は、プロセス300Aを、映像ビットストリーム228内に符号化された各ピクチャの領域(例えば、領域114~118)のために並行して遂行することができる。
[0110] 図3Aにおいて、復号器は、符号化ピクチャの基本処理ユニット(「符号化BPU」と称される)に関連付けられた映像ビットストリーム228の部分を2値復号化段階302に供給することができる。2値復号化段階302において、復号器は、当該部分を予測データ206及び量子化変換係数216に復号化することができる。復号器は、量子化変換係数216を逆量子化段階218及び逆変換段階220に供給し、再構成残差BPU222を生成することができる。復号器は、予測データ206を予測段階204に供給し、予測BPU208を生成することができる。復号器は、再構成残差BPU222を予測BPU208に加算し、予測基準224を生成することができる。実施形態によっては、予測基準224をバッファ(例えば、コンピュータメモリ内の復号化ピクチャバッファ)内に記憶することができる。復号器は、予測演算をプロセス300Aの次の反復において遂行するために予測基準224を予測段階204に供給することができる。
[0111] 復号器は、符号化ピクチャの各符号化BPUを復号化し、符号化ピクチャの次の符号化BPUを符号化するための予測基準224を生成するために、プロセス300Aを反復的に遂行することができる。符号化ピクチャの全ての符号化BPUを復号化した後に、復号器はピクチャを表示のために映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化ピクチャを復号化するために進むことができる。
[0112] 2値復号化段階302において、復号器は、符号器によって用いられた2値符号化技法(例えば、エントロピー符号化、可変長符号化、算術符号化、ハフマン符号化、コンテキスト適応2値算術符号化、又は任意の他の可逆圧縮アルゴリズム)の逆演算を遂行することができる。実施形態によっては、予測データ206及び量子化変換係数216のほかに、復号器は、例えば、予測モード、予測演算のシンタックス要素、変換の種類、量子化プロセスのシンタックス要素(例えば、量子化シンタックス要素)、符号器制御シンタックス要素(例えば、ビットレート制御シンタックス要素)、又は同様のものなどの、他の情報を、2値復号化段階302において復号化することができる。実施形態によっては、映像ビットストリーム228がネットワークを通じてパケットの形で伝送される場合には、復号器は映像ビットストリーム228を、それを2値復号化段階302に供給する前にデパケット化することができる。
[0113] 図3Bは、本開示の実施形態に従う、別の例示的な復号化プロセス300Bの概略図を示す。プロセス300Bはプロセス300Aから変更され得る。例えば、プロセス300Bは、ハイブリッド映像符号化規格(例えば、H.26xシリーズ)に準拠した復号器によって用いられ得る。プロセス300Aと比べて、プロセス300Bは予測段階204を空間的予測段階2042及び時間的予測段階2044に追加的に分割し、ループフィルタ段階232及びバッファ234を追加的に含む。
[0114] プロセス300Bにおいて、復号化中の符号化ピクチャ(「現在のピクチャ」と称される)の符号化基本処理ユニット(「現在のBPU」と称される)のために、復号器によって2値復号化段階302から復号化された予測データ206は、いかなる予測モードが符号器によって現在のBPUを符号化するために用いられたのかに依存して、様々な種類のデータを含むことができる。例えば、イントラ予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、イントラ予測、イントラ予測演算のシンタックス要素、又は同様のものを指示する予測モードインジケータ(例えば、フラグ値)を含むことができる。イントラ予測演算のシンタックス要素は、例えば、参照として用いられる1つ以上の隣接BPUの場所(例えば、座標)、隣接BPUのサイズ、外挿のシンタックス要素、原BPUに対する隣接BPUの方向、又は同様のものを含むことができる。別の例として、インター予測が符号器によって現在のBPUを符号化するために用いられた場合には、予測データ206は、インター予測、インター予測演算のシンタックス要素、又は同様のものを指示する予測モードインジケータ(例えば、フラグ値)を含むことができる。インター予測演算のシンタックス要素は、例えば、現在のBPUに関連付けられた参照ピクチャの数、参照ピクチャにそれぞれ関連付けられた重み、それぞれの参照ピクチャ内の1つ以上のマッチング領域の場所(例えば、座標)、マッチング領域にそれぞれ関連付けられた1つ以上の動きベクトル、又は同様のものを含むことができる。
[0115] 予測モードインジケータに基づいて、復号器は、空間的予測段階2042において空間的予測(例えば、イントラ予測)を遂行するべきか、又は時間的予測段階2044において時間的予測(例えば、インター予測)を遂行するべきかを決定することができる。このような空間的予測又は時間的予測を遂行することの詳細は図2Bにおいて説明されており、以下、繰り返されない。このような空間的予測又は時間的予測を遂行した後に、復号器は予測BPU208を生成することができる。復号器は、図3Aにおいて説明されたように、予測BPU208及び再構成残差BPU222を加算し、予測基準224を生成することができる。
[0116] プロセス300Bにおいて、復号器は、予測演算をプロセス300Bの次の反復において遂行するために予測基準224を空間的予測段階2042又は時間的予測段階2044に供給することができる。例えば、現在のBPUが空間的予測段階2042においてイントラ予測を用いて復号化される場合には、予測基準224(例えば、復号化された現在のBPU)を生成した後に、復号器は、予測基準224を後の使用のために(例えば、現在のピクチャの次のBPUの外挿のために)空間的予測段階2042に直接供給することができる。現在のBPUが時間的予測段階2044においてインター予測を用いて復号化される場合には、予測基準224(例えば、全てのBPUが復号化された参照ピクチャ)を生成した後に、復号器は、予測基準224をループフィルタ段階232に供給し、歪み(例えば、ブロッキングアーチファクト)を低減又は解消することができる。復号器は、図2Bにおいて説明されたとおりの仕方でループフィルタを予測基準224に適用することができる。ループフィルタリングされた参照ピクチャは、後の使用のために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測基準ピクチャとして用いられるために)バッファ234(例えば、コンピュータメモリ内の復号化ピクチャバッファ(DPB))内に記憶され得る。復号器は1つ以上の参照ピクチャを、時間的予測段階2044において用いられるためにバッファ234内に記憶することができる。実施形態によっては、予測データはループフィルタのシンタックス要素(例えばループフィルタ強度)をさらに含み得る。実施形態によっては、現在のBPUを符号化するためにインター予測が使用されたことを予測データ206の予測モードインジケータが示す場合、予測データはループフィルタのシンタックス要素を含む。
[0117] 図4は、本開示の実施形態に従う、映像を符号化又は復号化するための例示的な装置400のブロック図である。図4に示されるように、装置400はプロセッサ402を含むことができる。プロセッサ402が、本明細書において説明される命令を実行したとき、装置400は映像符号化又は復号化のための専用マシンになることができる。プロセッサ402は、情報を操作又は処理する能力を有する任意の種類の回路機構であることができる。例えば、プロセッサ402は、中央処理装置(又は「CPU(central processing unit)」)、グラフィック処理装置(又は「GPU(graphics processing unit)」)、ニューラル処理装置(「NPU(neural processing unit)」)、マイクロコントローラユニット(「MCU(microcontroller unit)」)、光プロセッサ、プログラマブル論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP(intellectual property))コア、プログラマブル論理アレイ(PLA(Programmable Logic Array))、プログラマブルアレイ論理(PAL(Programmable Array Logic))、ジェネリックアレイ論理(GAL(Generic Array Logic))、複合プログラマブル論理装置(CPLD(Complex Programmable Logic Device))、フィールドプログラマブルゲートアレイ(FPGA(Field-Programmable Gate Array))、システムオンチップ(SoC(System On Chip))、特定用途向け集積回路(ASIC(Application-Specific Integrated Circuit))、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。実施形態によっては、プロセッサ402はまた、単一の論理構成要素としてグループ化されたプロセッサのセットであることもできる。例えば、図4に示されるように、プロセッサ402は、プロセッサ402a、プロセッサ402b、及びプロセッサ402nを含む、複数のプロセッサを含むことができる。
[0118] 装置400はまた、データ(例えば、命令のセット、コンピュータコード、中間データ、又は同様のもの)を記憶するように構成されたメモリ404を含むことができる。例えば、図4に示されるように、記憶されるデータは、プログラム命令(例えば、プロセス200A、200B、300A、又は300Bにおける段階を実施するためのプログラム命令)、並びに処理のためのデータ(例えば、映像シーケンス202、映像ビットストリーム228、又は映像ストリーム304)を含むことができる。プロセッサ402は、(例えば、バス410を介して)プログラム命令、及び処理のためのデータにアクセスし、プログラム命令を実行し、処理のためのデータに対する演算又は操作を遂行することができる。メモリ404は高速ランダムアクセス記憶デバイス又は不揮発性記憶デバイスを含むことができる。実施形態によっては、メモリ404は、ランダムアクセスメモリ(RAM(random-access memory))、リードオンリーメモリ(ROM(read-only memory))、光ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD(security digital))カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF(compact flash))カード、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。メモリ404はまた、単一の論理構成要素としてグループ化されたメモリのグループ(図4には示されていない)であることもできる。
[0119] バス410は、内部バス(例えば、CPU-メモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、ペリフェラルコンポーネントインターコネクトエクスプレスポート)、又は同様のものなどの、装置400の内部の構成要素の間でデータを転送する通信デバイスであることができる。
[0120] 曖昧さを生じさせることなく説明を容易にするために、プロセッサ402及び他のデータ処理回路は本開示においてまとめて「データ処理回路」と称される。データ処理回路は、完全にハードウェアとして、或いはソフトウェア、ハードウェア、又はファームウェアの組み合わせとして実施され得る。加えて、データ処理回路は単一の独立モジュールであることができるか、或いは装置400の任意の他の構成要素に完全に、又は部分的に組み合わせられ得る。
[0121] 装置400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク、又は同様のもの)との有線又は無線通信を提供するためのネットワークインターフェース406をさらに含むことができる。実施形態によっては、ネットワークインターフェース406は、ネットワークインターフェースコントローラ(NIC(network interface controller))、無線周波数(RF(radio frequency))モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetooth(登録商標)アダプタ、赤外線アダプタ、近距離無線通信(「NFC(near-field communication)」)アダプタ、セルラーネットワークチップ、又は同様のもののうちの任意の数の任意の組み合わせを含むことができる。
[0122] 実施形態によっては、任意選択的に、装置400は、1つ以上の周辺デバイスへの接続を提供するための周辺インターフェース408をさらに含むことができる。図4に示されるように、周辺デバイスは、限定するものではないが、カーソル制御デバイス(例えば、マウス、タッチパッド、又はタッチスクリーン)、キーボード、ディスプレイ(例えば、陰極線管ディスプレイ、液晶ディスプレイ、又は発光ダイオードディスプレイ)、映像入力デバイス(例えば、カメラ、又は映像アーカイブに結合された入力インターフェース)、或いは同様のものを含むことができる。
[0123] 映像コーデック(例えば、プロセス200A、200B、300A、又は300Bを遂行するコーデック)は装置400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実施され得ることに留意されたい。例えば、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、メモリ404内にロードされ得るプログラム命令などの、装置400の1つ以上のソフトウェアモジュールとして実施され得る。別の例として、プロセス200A、200B、300A、又は300Bの一部又は全ての段階は、特殊データ処理回路(例えば、FPGA、ASIC、NPU、又は同様のもの)などの、装置400の1つ以上のハードウェアモジュールとして実施され得る。
[0124] 映像の符号化では、インター予測における参照ピクチャとして識別したり、DPBから出力されるピクチャとして識別したり、動きベクトル予測のための時間的コロケーテッドピクチャとして識別するなど、複数の目的でピクチャを識別する必要がある。ピクチャを識別する最も一般的なやり方は、ピクチャ順序カウント(「POC」)を使用するものである。
[0125] インター予測における参照ピクチャ、動きベクトル(「MV」)時間的予測、及びスケーリングにおける時間的コロケーテッドピクチャを識別するために、参照ピクチャリスト(AVC、HEVC、及びVVCにあるように通常2つ)を導出することができる。例えば参照ピクチャリスト0及び参照ピクチャリスト1を導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB内の再構成ピクチャのリストを含む。現在のブロックのための参照ピクチャを識別するために、参照ピクチャリストに対する参照インデックスがブロックレベルでシグナリングされ得る。無用に大量のDPBメモリを必要とすることなしにDPB内の参照ピクチャを正しく維持するために、参照ピクチャの印付けが必要である。
[0126] VVC(例えばVVCドラフト9)では、参照ピクチャリスト0及び参照ピクチャリスト1という2つの参照ピクチャリスト(「RPL」)が使用される。これらは直接シグナリングされ導出される。2つの参照ピクチャリストに関する情報は、シーケンスパラメータセット(「SPS」)、ピクチャパラメータセット(「PPS」)、ピクチャヘッダ(「PH」)、及びスライスヘッダ(「SH」)内のシンタックス要素及びシンタックス構造によってシグナリングされる。PH又はSH内の参照による使用のために既定の参照ピクチャリスト構造がSPS内でシグナリングされる。参照ピクチャリスト0及び参照ピクチャリスト1を導出するために、新たな参照ピクチャリスト構造がPH又はSH内でシグナリングされてもよい。参照ピクチャリスト情報がPH又はSH内でシグナリングされるかどうかは、PPS内でシグナリングされるフラグによって決定される。
[0127] VVC(例えばVVCドラフト9)では、2つの参照ピクチャリストが全種類のスライス(例えばB、P、及びIスライス)について生成される。Iスライスでは、2つの参照ピクチャリスト、参照ピクチャリスト0も参照ピクチャリスト1も復号化に使用することができない。Pスライスでは、参照ピクチャリスト0だけが復号化に使用され得る。Bスライスでは、両方の参照ピクチャリスト、参照ピクチャリスト0及び参照ピクチャリスト1が復号化に使用され得る。2つの参照ピクチャリストは、参照ピクチャリスト初期化プロセス又は参照ピクチャリスト修正プロセスを使用せずに構成される。
[0128] 現在のピクチャ又はスライスの参照ピクチャとして、参照ピクチャリスト内の全てのピクチャが使用されるわけではない。参照ピクチャリストのアクティブエントリだけがスライスデータの復号化プロセスにおいて使用され得る。アクティブエントリの既定数は、VVC(例えばVVCドラフト9)ではPPS内でシグナリングされ、現在のスライスのためのスライスヘッダによってオーバーライドされ得る。
[0129] RPLを構成するためのDPB内のピクチャを識別するために、最上位ビット(「MSB」)及び最下位ビット(「LSB」)を含むPOCが使用される。VVC(例えばVVCドラフト9)では、POCのLSBがPH内でシグナリングされ、MSBはPH内で明示的にシグナリングされ又は現在のピクチャのPOC LSBと1つ以上の前のピクチャのPOC LSBとを比較することによって導出され得る。
[0130] VVC(例えばVVCドラフト9)では、DPB内の復号化ピクチャが「参照に未使用」、「短期参照に使用中」、又は「長期参照に使用中」として印付けされ得る。復号化ピクチャは、復号化プロセスの動作中の任意の所与の瞬間においてこれらの3つのうちの1つとしてのみ印付けされ得る。これらの印付けの1つをピクチャに割り当てることは、適用できる場合に他の印付けを暗に除去する。ピクチャが「参照に使用中」として印付けされているものとして言及される場合、これはそのピクチャが「短期参照に使用中」であること又は「長期参照に使用中」であることとして印付けされているが、その両方ではないことも指す。
[0131] 短期参照ピクチャ(「STRP」)及びインターレイヤ参照ピクチャ(「ILRP」)は、そのNAL(ネットワーク抽象化レイヤ)ユニットID及びPOC値によって識別される。長期参照ピクチャ(「LTRP」)は、そのNALユニットID及びそのPOC値のLSBの数によって識別される。
[0132] 図5Aは、本開示のいくつかの実施形態に係る、参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。図5Aに示すシンタックスはVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。
[0133] 図5Aに示すように、参照ピクチャリストのためのシンタックス構造500A(例えばref_pic_lists())がPHシンタックス構造又はSH内にあり得る。
[0134] 図5Aに示すように、1に等しいシンタックス要素510A(例えばrpl_sps_flag[i])は、参照ピクチャリストのためのシンタックス構造(例えばref_pic_lists())内の参照ピクチャリストi(例えばiは0又は1であり得る)が、SPS内の参照ピクチャリスト構造のためのシンタックス構造(例えばlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx))の1つに基づいて導出されることを指定する。0に等しいシンタックス要素510Aは、参照ピクチャリストi(例えばiは0又は1であり得る)が、参照ピクチャリストのためのシンタックス構造(例えばref_pic_lists())内に直接含まれる参照ピクチャリスト構造のためのシンタックス構造(例えばlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx))に基づいて導出されることを指定する。
[0135] シンタックス要素510Aがない場合は以下の内容が適用される。まず、SPS内の参照ピクチャリストの数(例えばsps_num_ref_pic_lists[i])が0に等しい場合、シンタックス要素510Aの値は0に等しいと推論される。第2に、SPS内の参照ピクチャリストの数(例えばsps_num_ref_pic_lists[i])が0に等しくない場合(例えばSPS内の参照ピクチャリストの数が0を上回る場合)、シンタックス要素520A(例えばpps_rpl1_idx_present_flag)が0に等しくiが1に等しい場合、SPS内の参照ピクチャリスト1のためのシンタックス要素510A(例えばrpl_sps_flag[1]))の値はSPS内の参照ピクチャリスト0のためのシンタックス要素510A(例えばrpl_sps_flag[0])の値に等しいと推論される。
[0136] シンタックス要素530A(例えばrpl_idx[i])は、現在のピクチャの参照ピクチャリストiを導出するために使用されるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx)の、SPS内に含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx)のリストに対するインデックスを指定する。シンタックス要素530Aの長さは、SPS内のref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の数の底を2とする対数以上の最小整数を有するビット数であり、これはCeil(Log(sps_num_ref_pic_lists[i]))ビットによって表すことができる。シンタックス要素530Aの値は、0以上、SPS内の参照ピクチャリストの数-1(例えばsps_num_ref_pic_lists[i]-1)以下の範囲内にあり得る。シンタックス要素530Aがないとき、シンタックス要素510Aが1に等しくシンタックス要素520Aが0に等しい場合、rpl_idx[1]の値はrpl_idx[0]の値に等しいと推論され、さもなければrpl_idx[1]の値は0に等しいと推論される。
[0137] 変数RplsIdx[i]は以下のように導出することができる:
RplsIdx[i]=rpl_sps_flag[i]?rpl_idx[i]:sps_num_ref_pic_lists[i]。
[0138] シンタックス要素540A(例えばpoc_lsb_lt[i][j])は、ref_pic_lists()内のi番目の参照ピクチャリスト内のj番目のLTRPエントリのピクチャ順序カウントモジュロMaxPicOrderCntLsbの値を指定する。シンタックス要素540Aの長さは、POCビット内の最大LSBの底を2とする対数に等しい(例えばsps_log2_max_pic_order_cnt_lsb_minus4+4ビット)。
[0139] 変数PocLsbLt[i][j]は以下のように導出することができる:
PocLsbLt[i][j]=ltrp_in_header_flag[i][RplsIdx[i]]?poc_lsb_lt[i][j]:rpls_poc_lsb_lt[listIdx][RplsIdx[i]][j]。
[0140] 1に等しいシンタックス要素550A(例えばdelta_poc_msb_cycle_present_flag[i][j])は、シンタックス要素560A(例えばdelta_poc_msb_cycle_lt[i][j])があることを指定する。0に等しいシンタックス要素550Aは、シンタックス要素560がないことを指定する。
[0141] ref_pic_lists()シンタックス構造を参照するスライスヘッダ又はピクチャヘッダと同じnuh_layer_idを有し、どちらも0に等しいTemporalID及びph_non_ref_pic_flagを有し、RASL(ランダムアクセススキップリーディング)又はRADL(ランダムアクセス復号可能リーディング)ピクチャではない、復号化順における前のピクチャは、prevTid0Picとして表すことができる。nuh_layer_idは、VCL(映像符号化レイヤ)NAL(ネットワーク抽象化レイヤ)ユニットが属するレイヤの識別子、又は非VCL NALユニットが適用されるレイヤの識別子を指定するシンタックス要素である。TemporalIDはピクチャの時間的識別子である。setOfPrevPocValsとして表される前のPOC値のセットは以下を含むセットである:
-prevTid0PicのPOC値(例えばPicOrderCntVal)
-prevTid0Picの参照ピクチャリスト0(例えばRefPicList[0])又は参照ピクチャリスト1(例えばRefPicList[1])内のエントリによって参照され、現在のピクチャと同じnuh_layer_idを有する各ピクチャのPOC値(例えばPicOrderCntVal)
-復号化順でprevTid0Picに続き、現在のピクチャと同じnuh_layer_idを有し、復号化順で現在のピクチャに先行する各ピクチャのPOC値(例えばPicOrderCntVal)。
[0142] 値モジュロMaxPicOrderCntLsbが変数PocLsbLt[i][j]に等しいsetOfPrevPocVals内の複数の値がある場合、シンタックス要素550A(例えばdelta_poc_msb_cycle_present_flag[i][j])の値は1に等しい。
[0143] 図5Bは、本開示のいくつかの実施形態に係る、変数FullPocLt[i][j]の導出を含む例示的な疑似コードを示す。図5Bに示すように、シンタックス要素560A(例えばdelta_poc_msb_cycle_lt[i][j])は変数FullPocLt[i][j]の値を指定する。シンタックス要素560A(例えばdelta_poc_msb_cycle_lt[i][j])の値は、0以上、2(32-sps_log2_max_pic_order_cnt_lsb_minus4-4)以下の範囲内にあり得る。シンタックス要素560がない場合、シンタックス要素560の値は0に等しいと推論される。
[0144] 図6Aは、本開示のいくつかの実施形態に係る、参照ピクチャリスト構造のためのシンタックス構造を含む例示的なシンタックスを示す。図6Aに示すシンタックス構造はVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。図6Aに示すように、ref_pic_list_struct(listIdx,rplsIdx)はSPS内に、PHシンタックス構造内に、又はSH内にあり得る。シンタックス構造がSPS内に含まれるのか、PHシンタックス構造内に含まれるのか、又はSH内に含まれるのかに応じて以下の内容が適用される:
-ref_pic_list_struct(listIdx,rplsIdx)がPHシンタックス構造又はSH内にある場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は現在のピクチャ(例えばPHシンタックス構造又はSHを含む符号化ピクチャ)の参照ピクチャリストlistIdxを指定する。
-ref_pic_list_struct(listIdx,rplsIdx)がPHシンタックス構造又はSH内にない(例えばSPS内にある)場合、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造は参照ピクチャリストlistIdxの候補を指定し、この項目の残りの部分で指定されるセマンティクスにおける「現在のピクチャ」という用語は、以下の各ピクチャを指す:1)SPS内に含まれるref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のリスト内へのインデックスに等しいrpl_idx[listIdx]を含むPHシンタックス構造又は1つ以上のスライスを有し、2)SPSを参照する符号化されたレイヤワイズ映像シーケンス(CLVS)内にあるピクチャ。
[0145] 図6Aに示すように、シンタックス要素610A(例えばnum_ref_entries[listIdx][rplsIdx])はref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のエントリの数を指定する。パラメータ610Aの値は0以上、(MaxDpbSize+13)以下の範囲内にあることができ、MaxDpbSizeは映像符号化規格(例えばVVCドラフト9)のレベルで指定されているとおりである。
[0146] 0に等しいシンタックス要素620A(例えばltrp_in_header_flag[listIdx][rplsIdx])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内で示されるLTRPエントリのPOC LSBが同じシンタックス構造内にあることを指定する。1に等しいシンタックス要素620Aは、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内で示されるLTRPエントリのPOC LSBが同じシンタックス構造内にないことを指定する。sps_long_term_ref_pics_flagが1に等しく、rplsIdxがsps_num_ref_pic_lists[listIdx]に等しい場合、シンタックス要素620Aの値は1に等しいと推論される。
[0147] 1に等しいシンタックス要素630A(例えばinter_layer_ref_pic_flag[listIdx][rplsIdx][i])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリがILRPエントリであることを指定する。0に等しいシンタックス要素630Aは、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリがILRPエントリではないことを指定する。シンタックス要素630Aがない場合、シンタックス要素630Aの値は0に等しいと推論される。
[0148] 1に等しいシンタックス要素640A(例えばst_ref_pic_flag[listIdx][rplsIdx][i])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリがSTRPエントリであることを指定する。0に等しいシンタックス要素640Aは、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリがLTRPエントリであることを指定する。シンタックス要素630Aが0に等しくシンタックス要素640Aがない場合、シンタックス要素640Aの値は1に等しいと推論される。
[0149] 図6Bは、本開示のいくつかの実施形態に係る、LTRPエントリの数に関する導出(例えば変数NumLtrpEntries[listIdx][rplsIdx])を含む例示的な疑似コードを示す。変数NumLtrpEntries[listIdx][rplsIdx](例えば図5Aの変数570A)は図6Bに示すように導出され得る。
[0150] 図6Cは、本開示のいくつかの実施形態に係る、変数AbsDeltaPocSt[listIdx][rplsIdx][i]の導出を含む例示的な疑似コードを示す。シンタックス要素650A(例えばabs_delta_poc_st[listIdx][rplsIdx][i])は、図6Cに示すように変数AbsDeltaPocSt[listIdx][rplsIdx][i](例えば変数690A)の値を指定する。シンタックス要素650A(例えばabs_delta_poc_st[listIdx][rplsIdx][i])の値は0以上、(215-1)以下の範囲内にあり得る。
[0151] 1に等しいシンタックス要素660A(例えばstrp_entry_sign_flag[listIdx][rplsIdx][i])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリが0以上の値を有することを指定する。0に等しいシンタックス要素660Aは、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリが0未満の値を有することを指定する。シンタックス要素660Aがない場合、シンタックス要素660Aの値は1に等しいと推論される。
[0152] 図6Dは、本開示のいくつかの実施形態に係る、変数DeltaPocValSt[listIdx][rplsIdx]の導出を含む例示的な疑似コードを示す。DeltaPocValSt[listIdx][rplsIdx]は図6Dに示すように導出され得る。
[0153] 再び図6Aを参照し、シンタックス要素670A(例えばrpls_poc_lsb_lt[listIdx][rplsIdx][i])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリによって参照されるピクチャのピクチャ順序カウントモジュロMaxPicOrderCntLsbの値を指定する。シンタックス要素670Aの長さはsps_log2_max_pic_order_cnt_lsb_minus4+4ビットである。
[0154] シンタックス要素680A(例えばilrp_idx[listIdx][rplsIdx][i])は、ref_pic_list_struct(listIdx,rplsIdx)シンタックス構造内のi番目のエントリのILRPの直接参照レイヤのリストに対するインデックスを指定する。シンタックス要素680Aの値は0以上、(NumDirectRefLayers[GeneralLayerIdx[nuh_layer_id]]-1)以下の範囲内にあることができ、NumDirectRefLayers[LayerIdx]はLayerIdxに等しいインデックスを有するレイヤの直接参照レイヤの数を意味する。
[0155] 図7は、本開示のいくつかの実施形態に係る、シーケンスパラメータセット内の参照ピクチャリスト構造のためのシンタックス構造を含む例示的なシンタックスを示す。図7に示すシンタックスはVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。
[0156] 図7に示すように、0に等しいシンタックス要素710(例えばsps_long_term_ref_pics_flag)は、CLVS内の任意の符号化ピクチャのインター予測にLTRPが使用されないことを指定する。1に等しいシンタックス要素710は、CLVS内の1つ以上の符号化ピクチャのインター予測にLTRPが使用され得ることを指定する。
[0157] 0に等しいシンタックス要素720(例えばsps_inter_layer_ref_pics_present_flag)は、CLVS内の任意の符号化ピクチャのインター予測にILRPが使用されないことを指定する。1に等しいシンタックス要素720は、CLVS内の1つ以上の符号化ピクチャのインター予測にILRPが使用され得ることを指定する。sps_video_syntax element_set_idが0に等しく、つまりSPSがVPS(映像パラメータセット)を参照せず、SPSを参照する各CLVSを復号化するとき、VPSが参照されない(1つのレイヤしかない)場合、シンタックス要素720の値は0に等しいと推論される。vps_independent_layer_flag[GeneralLayerIdx[nuh_layer_id]]が1に等しく、つまりインデックスGeneralLayerIdx[nuh_layer_id]を有するレイヤがインターレイヤ予測を使用しない場合、シンタックス要素720の値は0に等しい。
[0158] 1に等しいシンタックス要素730(例えばsps_idr_rpl_present_flag)は、IDR(瞬時復号リフレッシュ)ピクチャのスライスヘッダ内に参照ピクチャリストシンタックス要素があることを指定する。0に等しいシンタックス要素730は、IDRピクチャのスライスヘッダ内に参照ピクチャリストシンタックス要素がないことを指定する。
[0159] 1に等しいシンタックス要素740(例えばsps_rpl1_same_as_rpl0_flag)は、シンタックス要素sps_num_ref_pic_lists[1]及びシンタックス構造ref_pic_list_struct(1,rplsIdx)がなく、以下の内容が適用されることを指定し、以下の内容とはつまりsps_num_ref_pic_lists[1]の値はsps_num_ref_pic_lists[0]の値に等しいと推論され、ref_pic_list_struct(1,rplsIdx)内のシンタックス要素のそれぞれの値は、0からsps_num_ref_pic_lists[0]-1に及ぶrplsIdxについてref_pic_list_struct(0,rplsIdx)内の対応するシンタックス要素の値に等しいと推論されることである。
[0160] シンタックス要素750(例えばsps_num_ref_pic_lists[i])は、SPS内に含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の数を指定する。シンタックス要素750の値は0以上、64以下の範囲内にあり得る。listIdxの(0又は1に等しい)値ごとに、復号器は(例えば図3Aのプロセス300A又は図3Bのプロセス300Bにより)SPS内のRPLの数に1を加えた総数(例えばsps_num_ref_pic_lists[i]+1)を有するref_pic_list_struct(listIdx,rplsIdx)シンタックス構造に対してメモリを割り当てることができ、これは現在のピクチャのスライスヘッダ内で直接シグナリングされる1つのref_pic_list_struct(listIdx,rplsIdx)シンタックス構造があり得るからである。
[0161] 図8は、本開示のいくつかの実施形態に係る、ピクチャパラメータセット内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。図8に示すシンタックスはVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。
[0162] 図8に示すように、シンタックス要素810(例えばpps_num_ref_idx_default_active_minus1[i])プラス1は、iが0に等しいとき、すなわち、参照ピクチャリスト0のためのものであるとき、0に等しいsh_num_ref_idx_active_override_flagと共にPスライス又はBスライスのための変数NumRefIdxActive[0]の推論値を指定する。シンタックス要素810プラス1は、iが1に等しいとき、すなわち、参照ピクチャリスト1のためのものであるtき、0に等しいsh_num_ref_idx_active_override_flagと共にBスライスのための変数NumRefIdxActive[1]の推論値を指定する。シンタックス要素810の値は0以上、14以下の範囲内にあり得る。
[0163] 0に等しいシンタックス要素820(例えばpps_rpl1_idx_present_flag)は、PPSを参照するピクチャのPHシンタックス構造又はスライスヘッダ内にrpl_sps_flag[1]及びrpl_idx[1]がないことを指定する。1に等しいシンタックス要素820は、PPSを参照するピクチャのPHシンタックス構造又はスライスヘッダ内にrpl_sps_flag[1]及びrpl_idx[1]があり得ることを指定する。
[0164] 1に等しいシンタックス要素830(例えばpps_rpl_info_in_ph_flag)は、参照ピクチャリスト情報がPHシンタックス構造内にあり、PHシンタックス構造を含まないPPSを参照するスライスヘッダ内にないことを指定する。0に等しいシンタックス要素830は、参照ピクチャリスト情報がPHシンタックス構造内になく、PPSを参照するスライスヘッダ内にあり得ることを指定する。シンタックス要素830がない場合、シンタックス要素830の値は0に等しいと推論される。
[0165] 図9Aは、本開示のいくつかの実施形態に係る、ピクチャヘッダ構造内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。図9Aに示すシンタックスはVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。
[0166] 図9Aに示すように、シンタックス要素910A(例えばph_pic_output_flag)は、復号化ピクチャの出力及び除去プロセスに影響を及ぼす。シンタックス要素910Aがない場合、シンタックス要素910Aは1に等しいと推論される。1に等しいph_non_reference_picture_flag及び0に等しいシンタックス要素910Aを有するビットストリーム内のピクチャはない。1に等しい要素ph_non_reference_picture_flagは、現在のピクチャが参照ピクチャとして決して使用されないことを指定する。0に等しい要素ph_non_ref_pic_flagは、現在のピクチャが参照ピクチャとして使用される場合もされない場合もあることを指定する。
[0167] 0に等しいシンタックス要素920A(例えばph_temporal_mvp_enabled_flag)は、現在のピクチャ内のスライスの復号化において時間的動きベクトル予測子が無効にされ、使用されないことを指定する。1に等しいシンタックス要素920Aは、現在のピクチャ内のスライスの復号化において時間的動きベクトル予測子が有効にされ、使用され得ることを指定する。シンタックス要素920Aがない場合、シンタックス要素920Aの値は0に等しいと推論される。他の既存の制約により、シンタックス要素920Aの値は、以下の条件の1つ又は複数が真のとき準拠ビットストリーム内で0に等しくなることしかできず、以下の条件とはつまり1)DPB内のどの参照ピクチャも現在のピクチャと同じ空間解像度及び同じスケーリングウィンドウオフセットを有さないこと、及び2)現在のピクチャ内の全てのスライスのRPLのアクティブエントリ内にDPB内の参照ピクチャがないことである。シンタックス要素920Aが0に等しくなることしかできないという、列挙されていない他の状況、複雑な条件があり得る。
[0168] 図9Bは、本開示のいくつかの実施形態に係る、変数MaxNumSubblockMergeCandの導出を含む例示的な疑似コードを示す。図9Bに示すように、MaxNumSubblockMergeCandの値はサブブロックベースのマージングMVP(動きベクトル予測子)候補の最大数を指す。MaxNumSubblockMergeCandの値は0以上、5以下の範囲内にあり得る。
[0169] 再び図9Aを参照し、1に等しいシンタックス要素930A(例えばph_collocated_from_l0_flag)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0から導出されることを指定する。0に等しいシンタックス要素930Aは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト1から導出されることを指定する。シンタックス要素920A及びシンタックス要素830A(例えばpps_rpl_info_in_ph_flag)がどちらも1に等しく、num_ref_entries[1][RplsIdx[1]]が0に等しい場合、シンタックス要素930Aの値は1に等しいと推論される。
[0170] シンタックス要素940A(例えばph_collocated_ref_idx)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを指定する。シンタックス要素930Aが1に等しい場合、シンタックス要素940Aは参照ピクチャリスト0内のエントリを参照し、シンタックス要素940Aの値は0以上、(num_ref_entries[0][RplsIdx[0]]-1)以下の範囲内にあり得る。シンタックス要素930Aが0に等しい場合、シンタックス要素940Aは参照ピクチャリスト1内のエントリを参照し、シンタックス要素940Aの値は0以上、(num_ref_entries[1][RplsIdx[1]]-1)以下の範囲内にあり得る。シンタックス要素940Aがない場合、シンタックス要素940Aの値は0に等しいと推論される。
[0171] 1に等しいシンタックス要素950A(例えばph_mvd_l1_zero_flag)は、動きベクトル差(例えばmvd_coding(x0,y0,1,cpIdx))シンタックス構造がパーズされず、compIdx=0..1及びcpIdx=0..2についてMvdL1[x0][y0][compIdx]及びMvdCpL1[x0][y0][cpIdx][compIdx]が0に等しく設定されることを指定する。0に等しいシンタックス要素950Aは、mvd_coding(x0,y0,1,cpIdx)シンタックス構造がパーズされることを指定する。シンタックス要素950Aがない場合、シンタックス要素950Aの値は1であると推論される。MvdL1は、参照ピクチャリスト1内の参照ピクチャに関連するビットストリームから復号化される動きベクトル差である。MvdCpL1は、参照ピクチャリスト1内の参照ピクチャに関連するビットストリームから復号化される制御点動きベクトル差である。これはアフィン動き補償を使用する符号化ブロック用である。x0,y0は現在の符号化ブロックの左上の位置であり、compIdxはコンポーネントインデックスであり、cpIdxは制御点のインデックスである。
[0172] 図10Aは、本開示のいくつかの実施形態に係る、スライスヘッダ内の参照ピクチャリストのためのシンタックス構造を含む例示的なシンタックスを示す。図10Aに示すシンタックスはVVC規格(例えばVVCドラフト9)の一部とすることができ、又は他の映像符号化技術に含まれ得る。
[0173] 図10Aに示すように、1に等しいシンタックス要素1010A(例えばsh_num_ref_idx_active_override_flag)は、シンタックス要素sh_num_ref_idx_active_minus1[0]がPスライス及びBスライスについて存在し、シンタックス要素sh_num_ref_idx_active_minus1[1]がBスライスについて存在することを指定する。0に等しいシンタックス要素1010Aは、シンタックス要素sh_num_ref_idx_active_minus1[0]及びsh_num_ref_idx_active_minus1[1]がないことを指定する。シンタックス要素1010Aがない場合、シンタックス要素1010Aの値は1に等しいと推論される。
[0174] シンタックス要素1020A(例えばsh_num_ref_idx_active_minus1[i])は、変数NumRefIdxActive[i]の導出に使用される。シンタックス要素1020Aの値は0以上、14以下の範囲内にあり得る。0又は1に等しいiについて、現在のスライスがBスライスであるときシンタックス要素1010Aは1に等しく、シンタックス要素1020Aがない場合、シンタックス要素1020Aは0に等しいと推論される。
[0175] 図10Bは、本開示のいくつかの実施形態に係る、変数NumRefIdxActive[i]の導出を含む例示的な疑似コードを示す。図10Bに示すように、NumRefIdxActive[i]-1の値はスライスを復号化するために使用され得る参照ピクチャリストiのための最大参照インデックスを指定する。図10Bの方程式(1)によって示すように、シンタックス要素1020AはNumRefIdxActive[i]の導出に使用される。NumRefIdxActive[i]の値が0に等しい場合、スライスを復号化するために参照ピクチャリストiのための参照インデックスを使用することができない。現在のスライスがPスライスである場合、NumRefIdxActive[0]の値は0を上回る。現在のスライスがBスライスである場合、NumRefIdxActive[0]及びNumRefIdxActive[1]の両方が0を上回る。
[0176] 図10Aに示すように、シンタックス要素1030A(例えばsh_cabac_init_flag)は、コンテキスト変数のための初期化プロセスに使用される初期化テーブルを決定するための方法を指定する。シンタックス要素1030Aがない場合、シンタックス要素1030Aは0に等しいと推論される。
[0177] 1に等しいシンタックス要素1040A(例えばsh_collocated_from_l0_flag)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0から導出されることを指定する。0に等しいシンタックス要素1040Aは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト1から導出されることを指定する。sh_slice_typeがB又はPに等しい場合、シンタックス要素920A(例えばph_temporal_mvp_enabled_flag)は1に等しく、シンタックス要素1040Aは存在せず、以下の内容が適用され、以下の内容とはつまりsh_slice_typeがBに等しい場合、シンタックス要素1040Aがシンタックス要素930A(例えばph_collocated_from_l0_flag)に等しいと推論され、sh_slice_typeがPに等しくない(例えばsh_slice_typeがPに等しい)場合、シンタックス要素1040Aの値は1に等しいと推論されることである。
[0178] シンタックス要素1050A(例えばsh_collocated_ref_idx)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを指定する。sh_slice_typeがPに等しい場合又はsh_slice_typeがBに等しくシンタックス要素1040Aが1に等しい場合、シンタックス要素1050Aは参照ピクチャリスト0内のエントリを参照し、シンタックス要素1050Aの値は0以上、(NumRefIdxActive[0]-1)以下の範囲内にあり得る。sh_slice_typeがBに等しくシンタックス要素1040Aが0に等しい場合、シンタックス要素1050Aは参照ピクチャリスト1内のエントリを参照し、シンタックス要素1050Aの値は0以上、(NumRefIdxActive[1]-1)以下の範囲内にあり得る。シンタックス要素1050Aがない場合、以下の内容が適用され、以下の内容とはつまりシンタックス要素830(例えばpps_rpl_info_in_ph_flag)が1に等しい場合、シンタックス要素1050Aの値はシンタックス要素940A(例えばph_collocated_ref_idx)に等しいと推論され、シンタックス要素830が1に等しくない(例えばシンタックス要素830が0に等しい)場合、シンタックス要素1050Aの値は0に等しいと推論されることである。シンタックス要素1050Aによって参照されるピクチャが符号化ピクチャの全てのスライスについて同じであり、RprConstraintsActive[sh_collocated_from_l0_flag?0:1][sh_collocated_ref_idx]が0に等しいことが、ビットストリーム準拠の要件である。この制約は、コロケーテッドピクチャが現在のピクチャと同じ空間解像度及び同じスケーリングウィンドウオフセットを有することを要求する。
[0179] VVC(例えばVVCドラフト9)では、シンタックス要素930A(例えばph_collocated_from_l0_flag)及びシンタックス要素950A(例えばph_mvd_l1_zero_flag)は、PH内でシグナリングされる2つのフラグである。シンタックス要素930Aは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストからのものであるのかを示す。シンタックス要素950Aは、参照ピクチャリスト1に関してmvd_coding()シンタックス構造がパーズされるかどうかを示す。その結果、これらの2つのフラグは、参照ピクチャリスト1内のアクティブエントリの数が0を上回る場合にのみ関連する。しかし図10Aに示すように、参照ピクチャリスト内のアクティブエントリの数がsh_num_ref_idx_active_minus1[i]によってスライスヘッダ内でオーバーライドされるので、シンタックス要素930A及びシンタックス要素950AがPH内でシグナリングされる場合、復号器は参照ピクチャリスト1のアクティブエントリの正確な数についての知識を有さない。従ってVVC(例えばVVCドラフト9)では、図9Aに示すようにこれらの2つのフラグをシグナリングするための条件として参照ピクチャリスト1内のエントリの総数が使用される。
[0180] 本開示は値が0又は1に等しいことに基づいて推論を提供する様々なシンタックス要素に言及するが、値は適切な推論を与えるための任意のやり方(例えば1又は0)で構成され得ることが理解されよう。
[0181] VVC(例えばVVCドラフト9)では、Iスライスでは2つの参照ピクチャリスト両方のアクティブエントリの数が0に等しいことが保証される。Pスライスでは、参照ピクチャリスト0内のアクティブエントリの数は0を上回り、参照ピクチャリスト1内のアクティブエントリの数は0に等しい。Bスライスでは、2つの参照ピクチャリスト両方のアクティブエントリの数は0を上回る。参照ピクチャリスト内のエントリの総数に関する保証はない。例えばIスライスでは、2つの参照ピクチャリストのいずれかにおけるエントリの数が0を上回り得る。その結果、参照ピクチャリスト1内のエントリの総数が0を上回るシグナリング条件がシンタックス要素930A及びシンタックス要素950Aについて緩和されすぎ、それらの2つのシンタックス要素の不要なシグナリングを引き起こす。
[0182] 従来の符号化技術でのこの欠点を克服するために、(図11Aから図11Cにおいて以下で示すような)本開示の実施形態によっては、参照ピクチャリスト0内のエントリの数が0に等しい場合の不要なシグナリングが回避される。
[0183] 図11Aは、本開示のいくつかの実施形態に係る、PHシンタックス構造内のフラグをシグナリングするための例示的な映像符号化方法1100Aのフローチャートを示す。方法1100Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1100Aを実行し得る。実施形態によっては、方法1100Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図11Aを参照し、方法1100Aは以下のステップ1102A及び1104Aを含み得る。
[0184] ステップ1102Aにおいて、符号器がコロケーテッドピクチャに基づいて現在のピクチャを符号化する。例えば参照ピクチャ0及び参照ピクチャリスト1によって参照ピクチャを導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB(例えば図3B内のバッファ234)内の再構成ピクチャのリストを含む。現在のピクチャは時間的動きベクトル予測に使用される。
[0185] ステップ1104Aにおいて、参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回る場合、シンタックス要素ph_collocated_from_l0_flag(例えばシンタックス要素930A)及びシンタックス要素ph_mvd_l1_zero_flag(例えばシンタックス要素950A)をシグナリングする。シンタックス要素ph_collocated_from_l0_flagは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストからのものであるのかを示し、つまり時間的動きベクトル予測に使用されるコロケーテッドピクチャは第1のフラグによって示される参照ピクチャリストからのものである。シンタックス要素ph_mvd_l1_zero_flagは、参照ピクチャリスト1に関連する動きベクトル差シンタックス構造がシグナリングされるかどうかを示す。このようにして、2つのフラグをシグナリングするとき、参照ピクチャリスト1及び参照ピクチャ0の両方のエントリが保証される。従って、参照ピクチャリスト0内のエントリの数が0に等しい場合の不要なシグナリングが回避され、復号化の効率が改善される。
[0186] 図11Bは、本開示のいくつかの実施形態に係る、PHシンタックス構造内のフラグを復号化するための例示的な映像復号化方法1100Bのフローチャートを示す。方法1100Bは、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1100Bを実行し得る。実施形態によっては、方法1100Bは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図11Bを参照し、方法1100Bは以下のステップ1102B~1106Bを含み得る。
[0187] ステップ1102Bにおいて、復号器が映像ビットストリーム(例えば図3Bの映像ビットストリーム228)を受信し、映像ビットストリームはインター予測を使用して符号化され得る。
[0188] ステップ1104Bにおいて、参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回る場合、シンタックス要素ph_collocated_from_l0_flag(例えばシンタックス要素930A)及びシンタックス要素ph_mvd_l1_zero_flag(例えばシンタックス要素950A)が復号器によってビットストリームから復号化される。シンタックス要素ph_collocated_from_l0_flagは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストからのものであるのかを示し、つまり時間的動きベクトル予測に使用されるコロケーテッドピクチャは第1のフラグによって示される参照ピクチャリストからのものである。シンタックス要素ph_mvd_l1_zero_flagは、参照ピクチャリスト1に関連する動きベクトル差シンタックス構造がビットストリーム内にあるかどうかを示す。このようにして、2つのフラグをシグナリングするとき、参照ピクチャリスト1及び参照ピクチャ0の両方のエントリが保証される。
[0189] ステップ1106Bにおいて、現在のピクチャがコロケーテッドピクチャに基づいて復号化される。従って、参照ピクチャリスト0内のエントリの数が0に等しい場合の不要なシグナリングが回避され、効率が改善される。
[0190] 図11Cは、本開示のいくつかの実施形態に係る、例示的なピクチャヘッダシンタックス構造1100Cの一部を示す。ピクチャヘッダ(PH)シンタックス構造1100Cは方法1100A内で使用され得る。PHシンタックス構造1100Bは図9Aのシンタックス構造900Aに基づいて修正され、以前のVVCからの変更をブロック1110C及び1120C内にイタリック体で示す。
[0191] 1110Cを参照し、実施形態によっては、num_ref_entries[0][RplsIdx[0]]が0を上回り、num_refe_entries[1][RplsIdx[1]]が0を上回る場合、シンタックス要素ph_collocated_from_l0_flag(例えばシンタックス要素930A)がシグナリングされる。1120Cを参照し、num_refe_entries[1][RplsIdx[1]]が0を上回る状態で、pps_rpl_info_in_ph_flagが0に等しくなく又はnum_ref_entries[0][RplsIdx[0]]が0を上回る場合、シンタックス要素ph_mvd_l1_zero_flag(例えばシンタックス要素950A)がシグナリングされる。従って、参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1の数がどちらも0を上回る場合、シンタックス要素930A及びシンタックス要素950Aがシグナリングされ得る。参照ピクチャリスト0内のエントリの数が0に等しい場合の不要なシグナリングが回避され、符号化の効率が改善される。
[0192] VVC(例えばVVCドラフト9)では、コロケーテッドピクチャがPH又はSH内で示され得る。参照ピクチャリスト情報がPH内でシグナリングされる場合、コロケーテッドピクチャがシンタックス要素930A(例えばph_collocated_from_l0_flag)及びシンタックス要素940A(例えばph_collocated_ref_idx)によってPH内で示される。参照ピクチャリスト情報がSH内でシグナリングされる場合、コロケーテッドピクチャがシンタックス要素1040A(例えばsh_collocated_from_l0_flag)及びシンタックス要素1050A(例えばsh_collocated_ref_idx)によってSH内で示される。1に等しいシンタックス要素930Aは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0から導出されることを指定する。0に等しいシンタックス要素930Aは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト1から導出されることを指定する。シンタックス要素930AがPH内でシグナリングされる場合、シグナリング条件は参照ピクチャリスト1内のエントリの数が0を上回ることである。しかし、参照ピクチャリスト内のアクティブエントリの数はスライスレベル内でオーバーライドされ得る。従って、たとえシンタックス要素930Aが0であるようにシグナリングされても、コロケーテッドピクチャが参照ピクチャリスト1から選択可能であることは保証できず、それはSHが参照ピクチャリスト1内のアクティブエントリの数を0であるようにオーバーライドし得るからである。同様に、シンタックス要素940AがPH内でシグナリングされる場合、最大許容値は参照ピクチャリスト内のエントリの数マイナス1である。SHがアクティブエントリの数をシンタックス要素940A未満の値にオーバーライドする場合、それは不当なビットストリームである。
[0193] そのような不当なシナリオを回避するために、VVC(例えばVVCドラフト9)はいくつかのビットストリーム準拠制約を課す。しかし、かかる制約は符号器が全ての制約を満たす負担を与える。実際的に、そのような不当な事例が生じるときビットストリームをどのように扱うのかを復号器も検討すべきである。
[0194] 従来の符号化技術でのこの欠点を克服するために、(図12A~図12Jにおいて以下で示すような)本開示の実施形態によっては、参照ピクチャリストに対するインデックスをシグナリングすることなしにコロケーテッドピクチャが示され、それにより不当なシナリオがよりロバストなやり方で回避される。
[0195] 図12Aは、本開示のいくつかの実施形態に係る、参照ピクチャリストに対するインデックスをシグナリングすることなしにコロケーテッドピクチャを示すための例示的な映像符号化方法1200Aのフローチャートを示す。方法1200Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1200Aを実行し得る。実施形態によっては、方法1200Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図12Aを参照し、方法1200Aは以下のステップ1202A及び1204Aを含み得る。
[0196] ステップ1202Aにおいて、符号器がコロケーテッドピクチャに基づいて現在のピクチャをビットストリームに符号化し、コロケーテッドピクチャは時間的動きベクトル予測に使用される。ステップ1204Aにおいて、参照ピクチャリストのインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャが示される。コロケーテッドピクチャが参照ピクチャリスト内のエントリを参照せずにインデックスによって示されるので、たとえSHが参照ピクチャリスト1内のアクティブエントリの数を0であるようにオーバーライドしても、コロケーテッドピクチャが正当に示され得る。従って符号化プロセスのロバスト性が改善される。
[0197] 図12Bは、本開示のいくつかの実施形態に係る符号化方法1200Bの例示的なフローチャートを示す。方法1200Bは、図12Aの方法1200A内のステップ1204の一部であり得ることが理解されよう。図12Cは、本開示のいくつかの実施形態に係る、コロケーテッドピクチャを示すための例示的な映像符号化方法1200Bの別のフローチャートを示す。図12B及び図12Cを参照し、実施形態によっては方法1200Bが以下のステップ1202B~1206Bをさらに含み得る。
[0198] ステップ1202Bにおいて、コロケーテッドピクチャがインターレイヤ参照ピクチャである場合、コロケーテッドピクチャを示すための第1のパラメータをシグナリングする。第1のパラメータは、現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示す。例えばインデックスはシンタックス要素inter_layer_col_pic_idxであり得る。従って、参照ピクチャリストを使用することなしにコロケーテッドピクチャが示される。SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。ステップ1202Bの前に、コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示すフラグをシグナリングすることができる。ステップ1202Bは、図12Cの1201C及び1202Cと呼ぶこともできる。
[0199] ステップ1204Bにおいて、コロケーテッドピクチャが短期参照ピクチャ(STRP)である場合、デルタピクチャ順序カウント(デルタPOC)をシグナリングする。さらに、デルタPOCによってPOCが導出され得る。このシナリオでは、参照ピクチャリストを使用することなしにコロケーテッドピクチャがPOCを使用して示される。従って、SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。ステップ1204Bは、図12Cの1203C及び1204Cと呼ぶこともできる。
[0200] ステップ1206Bにおいて、コロケーテッドピクチャが長期参照ピクチャ(LTRP)である場合、POCの最下位ビット(LSB)及びPOCの最上位ビット(MSB)をシグナリングする。さらに、LSB及びMSBによってPOCが導出され得る。このシナリオでは、参照ピクチャリストを使用することなしにコロケーテッドピクチャがPOCを使用して示される。従って、SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。ステップ1206Bは、図12Cの1203C及び1205Cと呼ぶこともできる。POCを使用してコロケーテッドピクチャを示すことは、コロケーテッドピクチャを決定するためのロバスト性を効率的に高めることができる。実施形態によっては、ステップ1204B及び1206Bの前に、コロケーテッドピクチャが短期参照ピクチャかどうかを示すフラグをシグナリングすることができる。
[0201] 図12Dは、本開示のいくつかの実施形態に係る、参照ピクチャリストに対するインデックスを復号化することなしにコロケーテッドピクチャを示すための例示的な映像復号化方法1200Dのフローチャートを示す。方法1200Dは、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1200Dを実行し得る。実施形態によっては、方法1200Dは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図12Dを参照し、方法1200Dは以下のステップ1202D~1206Dを含み得る。
[0202] ステップ1202Dにおいて、復号器が処理するための映像ビットストリーム(例えば図3Bの映像ビットストリーム228)を受信し、映像ビットストリームはインター予測を使用して符号化され得る。例えば参照ピクチャ0及び参照ピクチャリスト1によって参照ピクチャを導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB(例えば図3B内のバッファ234)内の再構成ピクチャのリストを含む。
[0203] ステップ1204Dにおいて、時間的動きベクトル予測に使用されるコロケーテッドピクチャを、ビットストリームに基づいて、参照ピクチャリストに対するインデックスを復号化することなしに決定する。
[0204] ステップ1206Dにおいて、コロケーテッドピクチャに基づいて現在のピクチャを復号化する。コロケーテッドピクチャは参照ピクチャリスト構造を使用せずに示されるので、たとえSHが参照ピクチャリスト1内のアクティブエントリの数を0であるようにオーバーライドしてもコロケーテッドピクチャが正当に示され得る。従って復号化プロセスのロバスト性が改善される。
[0205] コロケーテッドピクチャは参照ピクチャリスト構造を使用せずに示されるので、たとえSHが参照ピクチャリスト1内のアクティブエントリの数を0であるようにオーバーライドしても、コロケーテッドピクチャが正当に示され得る。従って復号化プロセスのロバスト性が改善される。
[0206] 図12Eは、本開示のいくつかの実施形態に係る復号化方法1200Eの例示的なフローチャートを示す。方法1200Eは、図12Dの方法1200D内のステップ1204Dの一部であり得ることが理解されよう。
[0207] ステップ1202Eにおいて、コロケーテッドピクチャがインターレイヤ参照ピクチャである場合、コロケーテッドピクチャを示すための第1のパラメータを復号化する。第1のパラメータは、現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示す。例えばインデックスはシンタックス要素inter_layer_col_pic_idxであり得る。従って、参照ピクチャリストを使用することなしにコロケーテッドピクチャが示される。SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。実施形態によっては、ステップ1202Eの前に、コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示す第1のフラグが復号化され、コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかが第1のフラグに基づいて決定される。
[0208] ステップ1204Eにおいて、コロケーテッドピクチャが短期参照ピクチャ(STRP)である場合、デルタピクチャ順序カウント(デルタPOC)を復号化する。さらに、デルタPOCによってPOCが導出され得る。このシナリオでは、参照ピクチャリストを使用することなしに、コロケーテッドピクチャがPOCを使用して示される。従って、SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。
[0209] ステップ1206Eにおいて、コロケーテッドピクチャが長期参照ピクチャ(LTRP)である場合、POCの最下位ビット(LSB)及びPOCの最上位ビット(MSB)を復号化する。さらに、LSB及びMSBによってPOCが導出され得る。このシナリオでは、参照ピクチャリストを使用することなしに、コロケーテッドピクチャがPOCを使用して示される。従って、SHが参照ピクチャリスト内のアクティブエントリの数をオーバーライドする場合の不当なシナリオを回避することができる。実施形態によっては、ステップ1204E及び1206Eの前に、コロケーテッドピクチャが短期参照ピクチャかどうかを示す第2のフラグが復号化され、コロケーテッドピクチャが短期参照ピクチャかどうかが第2のフラグに基づいて決定される。
[0210] 図12F及び図12Gは、本開示のいくつかの実施形態に係る、例示的なピクチャパラメータセットシンタックス構造1200Fの一部及び例示的なスライスヘッダシンタックス構造1200Gの一部を示す。スライスヘッダシンタックス構造1200Gと共にピクチャパラメータセットシンタックス構造1200Fは、方法1200A、1200B、1200D、及び1200E内で使用され得る。ピクチャパラメータセットシンタックス構造1200Fは図9Aのシンタックス構造900Aの部分960Aに基づいて修正され、以前のVVCからの変更をイタリック体で示し、提案する削除シンタックスが取り消し線によってさらに示されている。スライスヘッダシンタックス構造1200Gは図10Aのシンタックス構造1000Aの部分1060Aに基づいて修正され、提案する削除シンタックスが取り消し線によってさらに示されている。図12F及び図12Gに示すように、シンタックス要素ph_collocated_from_l0_flag、ph_collocated_ref_idx、sh_collocated_from_l0_flag、及びsh_collocated_ref_idxは、PPS又はSH内でもはやシグナリングされない。
[0211] 図12Fに示すように、1に等しいシンタックス要素1210F(例えばinter_layer_col_pic_flag)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト内のILRPエントリによって参照されることを指定する。0に等しいシンタックス要素1210Fは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト内のILRPエントリによって参照されないことを指定する。シンタックス要素1210Fがない場合、シンタックス要素1210Fの値は0に等しいと推論される。シンタックス要素1210Fは、コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを決定するための1201C内でシグナリングされ得る。
[0212] 1に等しいシンタックス要素1220F(例えばst_col_pic_flag)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト内のSTRPエントリによって参照されることを指定する。0に等しいシンタックス要素1220Fは、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト内のLTRPエントリによって参照されることを指定する。シンタックス要素1210Fが0に等しくシンタックス要素1220Fがない場合、シンタックス要素1220Fの値は1に等しいと推論される。シンタックス要素1220Fは、コロケーテッドピクチャが短期参照ピクチャかどうかを決定するための1203C内でシグナリングされ得る。シンタックス要素1220Fが1に等しい(例えば図12Cの1203Cが真である)場合、(図12Bに示す)ステップ1204Bが処理され、デルタピクチャ順序カウント(デルタPOC)が(例えば図12Cの1204C内で)シグナリングされる。シンタックス要素1220Fが0に等しい(例えば図12Cの1203Cが偽である)場合、(図12Bに示す)ステップ1206Bが処理され、POCの最下位ビット(LSB)及びPOCの最上位ビット(MSB)が(例えば図12Cの1205C内で)シグナリングされる。
[0213] シンタックス要素1230F(例えばabs_delta_poc_st_col)は変数AbsDeltaPocStColの値を指定する。図12Hは、本開示のいくつかの実施形態に係るAbsDeltaPocStColの導出を含む疑似コードの一例を示す。シンタックス要素1230F(例えばabs_delta_poc_st_col)の値は0以上、(215-1)以下の範囲内にあり得る。
[0214] 図12Fを参照し、1に等しいシンタックス要素1240F(例えばsign_delta_poc_st_col_flag)は、変数DeltaPocValStColの値が0以上であることを指定する。0に等しいシンタックス要素1240Fは、変数DeltaPocValStColの値が0未満であることを指定する。シンタックス要素1240Fがない場合、シンタックス要素1240Fの値は1に等しいと推論される。図12Iは、本開示のいくつかの実施形態に係る、DeltaPocValStColの導出を含む疑似コードの一例を示す。変数DeltaPocValStColは図12Iに示すように導出することができる。
[0215] 再び図12Fを参照し、実施形態によっては、シンタックス要素1250F(例えばpoc_lsb_lt_col)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャのピクチャ順序カウントモジュロMaxPicOrderCntLsbの値を指定する。シンタックス要素1250Fの長さはsps_log2_max_pic_order_cnt_lsb_minus4+4ビットである。
[0216] シンタックス要素1260F(例えばdelta_poc_msb_cycle_lt_col)は、変数FullPocLtColの値を以下のように指定する:
FullPocLtCol=PicOrderCntVal-delta_poc_msb_cycle_lt_col * MaxPicOrderCntLsb
(PicOrderCntVal&(MaxPicOrderCntLsb-1))+poc_lsb_lt_col
[0217] 1に等しいシンタックス要素1270F(例えばdelta_poc_msb_cycle_col_present_flag)は、シンタックス要素1260F(例えばdelta_poc_msb_cycle_lt_col)があることを指定する。0に等しいシンタックス要素1270Bは、シンタックス要素1260Fがないことを指定する。
[0218] さらにシンタックス要素1270Fについて、prevTid0Picが、ref_pic_lists ()シンタックス構造を参照するスライス又はピクチャヘッダと同じnuh_layer_idを有し、0に等しいTemporalIdを有し、RASL又はRADLピクチャではない復号化順の前のピクチャであると仮定する。setOfPrevPocValsが、以下で構成されるセットであると仮定する:
-prevTid0PicのPicOrderCntVal
-prevTid0PicのRefPicList[0]又はRefPicList[1]内のエントリによって参照され、現在のピクチャと同じnuh_layer_idを有する各ピクチャのPicOrderCntVal
-復号化順でprevTid0Picの後に続き、現在のピクチャと同じnuh_layer_idを有し、復号化順で現在のピクチャに先行する各ピクチャのPicOrderCntVal。
[0219] setOfPrevPocVals内に複数の値があり、当該値モジュロMaxPicOrderCntLsbがシンタックス要素1250F(例えばpoc_lsb_lt_col)に等しい場合、delta_poc_msb_cycle_present_flag[i][j]の値は1に等しいものとする。
[0220] シンタックス要素1280F(例えばinter_layer_col_pic_idx)は、時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト内のILRPエントリによって参照されるとき、時間的動きベクトルに使用されるコロケーテッドピクチャの直接参照レイヤのリストに対するインデックスを指定する。シンタックス要素1280Fの値は、0以上、(NumDirectRefLayers[GeneralLayerIdx[nuh_layer_id]]-1)以下の範囲内にあり得る。
[0221] 図12Fに示すように、sps_inter_layer_ref_pics_present_flag(例えばシンタックス要素720)が1に等しい場合、シンタックス要素1210Fがシグナリングされ、つまりCLVS内の1つ以上の符号化ピクチャのインター予測にILRPが使用されてもよく、どのインターレイヤ参照ピクチャがコロケーテッドピクチャとして扱われるのかを示すためのインデックス(例えばシンタックス要素1280F inter_layer_col_pic_idx)がシグナリングされ、これは図12B内のステップ1202Bに対応する。コロケーテッドピクチャが短期参照ピクチャである、つまりシンタックス要素1220F(例えばst_col_pic_flag)が1に等しい場合、デルタPOC(例えばシンタックス要素1230F)がシグナリングされ、これは図12B内のステップ1204Bに対応する。コロケーテッドピクチャが長期参照ピクチャである、つまりシンタックス要素1220F(例えばst_col_pic_flag)が0に等しい場合、POCのLSB(例えばシンタックス要素1250F及びPOCのデルタMSB(例えばシンタックス要素1260F)がシグナリングされ、これは図12B内のステップ1206Bに対応する。さらに、POCのMSBはデルタMSBによって導出されてもよく、POCはMSB及びLSBによって導出され得る。従って、コロケーテッドピクチャが参照ピクチャリスト構造とは独立に示され得る。
[0222] ピクチャ内の全てのスライスによって参照されるコロケーテッドピクチャが同じピクチャであるべきであるという制約をVVC(例えばVVCドラフト9)が有することを考慮し、更新されたシンタックス構造1200F及び1200Gによれば、コロケーテッドピクチャはSH内ではなくPH内でのみ示され得る。その結果、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有することを保証することができ、制約は不要であり、従ってコロケーテッドピクチャを示すための効率及びロバスト性が高まる。
[0223] 図12Jは、方法1200A、1200B、1200C、及び1200D内で使用される、colPicとして示すコロケーテッドピクチャ及びフラグcolPicFlagを導出するための疑似コードの一例を示す。図12Jに示すように、(シナリオ1210Jに示すように)コロケーテッドピクチャが参照ピクチャリスト内のSTRPエントリによって参照されること、(シナリオ1220Jに示すように)コロケーテッドピクチャが参照ピクチャリスト内のLTRPエントリによって参照されること、(シナリオ1230Jに示すように)コロケーテッドピクチャが参照ピクチャリスト内のILPRエントリによって参照されることなど、コロケーテッドピクチャの様々なシナリオに関して、ピクチャ内の全てのスライスが同じコロケーテッドピクチャ(例えばpicA)を有する。従って、コロケーテッドピクチャを決定するためのロバスト性が改善される。
[0224] 実施形態によっては、以下の制約、つまりph_temporal_mvp_enabled_flagが1に等しいとき、colPicが「非参照ピクチャ」ではなく、RefPicList[0]又はRefPicList[1]内のアクティブエントリによって参照され、colPicFlagが0に等しいことが適用されるビットストリーム準拠の要件がある。「非参照ピクチャ」は、RPL内に参照ピクチャがないことを示すための印と見なすことができる。0に等しいcolPicFlagは、現在のピクチャとコロケーテッドピクチャとが同じピクチャサイズ及び同じスケーリングウィンドウを有することを示す。換言すれば、時間的MVPが有効にされる場合、コロケーテッドピクチャは参照ピクチャリスト内にあるべきであり、参照ピクチャリスト0又は参照ピクチャリスト1内のアクティブエントリによって参照される。従って、コロケーテッドピクチャのためのロバスト性が改善される。
[0225] VVC(例えばVVCドラフト9)では、ref_pic_list_struct()及びコロケーテッドピクチャを識別するために使用されるシンタックス要素(例えばPH内のシンタックス要素930A(例えばph_collocated_from_l0_flag)及びシンタックス要素940A(例えばph_collocated_ref_idx)並びにSH内のシンタックス要素1040A(例えばsh_collocated_from_l0_flag)及びシンタックス要素1050A(例えばsh_colocated_ref_idx))は、pps_rpl_info_ph_flagの値に応じてPH又はSH内でシグナリングされ得る。pps_rpl_info_ph_flagの値が1に等しい場合、シンタックス要素930A、シンタックス要素940A、及びref_pic_list_struct()がPH内でシグナリングされ、シンタックス要素1040A及びシンタックス要素1050Aはシグナリングされない。この場合、シンタックス要素1040A及びシンタックス要素1050Aの値は、シンタックス要素930A、シンタックス要素940A、及び現在のスライスのスライスタイプに応じて推論される。Bスライスである場合、シンタックス要素1040Aはシンタックス要素930Aに等しいと推論される。Pスライスである場合、シンタックス要素930Aの値に関係なく、シンタックス要素1040Aが1に等しいと直接推論される。シンタックス要素1050Aは、Pスライス及びBスライスの両方についてシンタックス要素940Aに等しいと推論される。但し、PH内でシグナリングされるシンタックス要素940Aでは、最大許容値は参照ピクチャリスト内のエントリの数マイナス1だが、シンタックス要素1050Aでは、最大許容値はスライスヘッダ内でオーバーライドされ得る参照ピクチャリスト内のアクティブエントリの数マイナス1である。その結果、シンタックス要素1050Aがシンタックス要素940Aに等しいと推論される場合、かかる推論は最大値の制約に違反し得る。
[0226] 例えばシンタックス要素930Aが0としてシグナリングされる場合、参照ピクチャリスト1内のエントリの数(ref_pic_list_structure()内でシグナリングされるnum_ref_entries[1])はNであり、ph_colocated_ref_idxはN-1としてシグナリングされ、この場合、シンタックス要素1040Aは0に等しいと推論され、シンタックス要素1050AはN-1に等しいと推論される。しかし、参照ピクチャリスト1内のアクティブエントリの数はN未満の数としてオーバーライドされ得る。その場合、そのビットストリームは不当である。
[0227] 別の例では、シンタックス要素930Aが0としてシグナリングされる場合、参照ピクチャリスト1内のエントリの数(ref_pic_list_structure()内でシグナリングされるnum_ref_entries[1])はNであり、シンタックス要素940AはN-1としてシグナリングされ、アクティブエントリの数はスライスヘッダ内でオーバーライドされない(アクティブエントリの数は両方の参照ピクチャリスト内のエントリの数と同じであると仮定する)。しかし現在のスライスがPスライスである場合、シンタックス要素940Aは1に等しいと推論され、シンタックス要素1050AはN-1に等しいと推論される。しかし、参照ピクチャリスト0内のエントリの数(ref_pic_list_structure()内でシグナリングされるnum_ref_entries[0])はN未満であり得る。その結果、この場合のビットストリームも不当である。
[0228] 従来の符号化技術でのこの欠点を克服するために、(図13A~図13Cにおいて以下で示すような)本開示の実施形態によっては、参照ピクチャリスト内のアクティブエントリの数にも基づいてSH内のコロケーテッドピクチャが推論される。
[0229] 図13Aは、本開示のいくつかの実施形態に係る、参照ピクチャリスト内のアクティブエントリの数を使用してSH内のコロケーテッドピクチャのインデックスを決定するための例示的な映像符号化方法1300Aのフローチャートを示す。方法1300Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1300Aを実行し得る。実施形態によっては、方法1300Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図13Aを参照し、方法1300Aは以下のステップ1302A~1306Aを含み得る。
[0230] ステップ1302Aにおいて、コロケーテッドピクチャの参照インデックスを示すためのパラメータをスライスヘッダ内でシグナリングするかどうかを決定する。VVCでは、スライスヘッダ内のコロケーテッドピクチャの参照インデックスを示すためのパラメータはシンタックス要素sh_collocated_ref_idxであり得る。
[0231] ステップ1304において、パラメータがスライスヘッダ内でシグナリングされない場合、ピクチャヘッダ内でシグナリングされるコロケーテッドピクチャの参照インデックス(例えばph_collocated_ref_idx)の値と、標的参照ピクチャリスト内のアクティブエントリの数マイナス1(例えばNumRefIdxActive[!sh_collocated_from_l0_flag]-1)とのうちの、小さい方に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定する。参照ピクチャリスト内の標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される。従って、シンタックス要素1050A(例えばsh_collocated_ref_idx)の値を推論するとき、参照ピクチャ内のアクティブエントリの数が考慮に入れられる。PH内でシグナリングされるシンタックス要素940A(例えばph_collocated_ref_idx)の値が標的参照ピクチャリスト内のアクティブエントリの数以上である場合、シンタックス要素1050A(例えばsh_collocated_ref_idx)の推論値は標的参照ピクチャリスト内のアクティブエントリの数未満にクリッピングされる。参照ピクチャリスト内の標的参照ピクチャリストはシンタックス要素1040A(例えばsh_collocated_from_l0_flag)によって示される。
[0232] ステップ1306において、コロケーテッドピクチャに基づいて現在のピクチャを符号化し、コロケーテッドピクチャは時間的動きベクトル予測に使用される。従って不当なビットストリームが回避され、コロケーテッドピクチャのロバスト性が改善される。
[0233] 図13Bは、本開示のいくつかの実施形態に係る、参照ピクチャリスト内のアクティブエントリの数を使用してSH内のコロケーテッドピクチャのインデックスを決定するための例示的な映像復号化方法1300Bのフローチャートを示す。方法1300Bは、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1300Bを実行し得る。実施形態によっては、方法1300Bは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図13Bを参照し、方法1300Bは以下のステップ1302B~1310Bを含み得る。
[0234] ステップ1302Bにおいて、復号器が映像ビットストリーム(例えば図3Bの映像ビットストリーム228を受信し、映像ビットストリームはインター予測を使用して符号化され得る。従って、例えば参照ピクチャ0及び参照ピクチャリスト1によって参照ピクチャを導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB(例えば図3B内のバッファ234)内の再構成ピクチャのリストを含む。
[0235] ステップ1304Bにおいて、時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを示すパラメータがスライスヘッダ内にあるかどうかを決定する。VVCでは、スライスヘッダ内のコロケーテッドピクチャの参照インデックスを示すためのパラメータはシンタックス要素sh_collocated_ref_idxであり得る。
[0236] ステップ1306Bにおいて、パラメータがない場合、ピクチャヘッダ内にある時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックス(例えばph_collocated_ref_idx)の値と、標的参照ピクチャリスト内のアクティブエントリの数マイナス1(例えばNumRefIdxActive[!sh_collocated_from_l0_flag]-1)とのうちの、小さい方に等しいようにパラメータの値を決定する。参照ピクチャリスト内の標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される。従って、シンタックス要素1050A(例えばsh_collocated_ref_idx)の値を決定するとき、参照ピクチャ内のアクティブエントリの数が考慮に入れられる。PH内でシグナリングされるシンタックス要素940A(例えばph_collocated_ref_idx)の値が標的参照ピクチャリスト内のアクティブエントリの数以上である場合、シンタックス要素1050A(例えばsh_collocated_ref_idx)の決定値は標的参照ピクチャリスト内のアクティブエントリの数未満にクリッピングされる。参照ピクチャリスト内の標的参照ピクチャリストはシンタックス要素1040A(例えばsh_collocated_from_l0_flag)によって示される。従って不当なビットストリームが回避される。
[0237] ステップ1308Bにおいて、標的参照ピクチャリスト内のパラメータに等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定する。コロケーテッドピクチャのロバスト性が改善される。
[0238] ステップ1310Bにおいて、コロケーテッドピクチャに基づいて現在のピクチャを復号化する。復号化プロセスの信頼性が改善される。
[0239] 図13Cは、本開示のいくつかの実施形態に係る例示的なセマンティクス1300Cの一部を示す。セマンティクス1300Cは、方法1300A及び方法1300B内で使用され得る。図13C内で示すように、シンタックス1310C内で、以前のVVCからの変更をイタリック体で示し、提案する削除シンタックスが取り消し線によってさらに示されている。シンタックス1310Cは、図13Aのステップ1306A及び図13Bのステップ1306Bに対応している。pps_rpl_info_in_ph_flag(例えばシンタックス要素830)が1に等しい場合、それは参照ピクチャリスト情報がPHシンタックス構造内にあり、PHシンタックス構造を含まないPPSを参照するSH内にはなく、sh_collocated_ref_idx(例えばシンタックス要素1050A)の値はmin(ph_collocated_ref_idx,NumRefIdxActive[!sh_collocated_from_l0_flag]-1)に等しいと推論され、つまりsh_collocated_ref_idxの値はピクチャヘッダ内の時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックス(例えばph_collocated_ref_idx)の値と、標的参照ピクチャリスト内のアクティブエントリの数マイナス1(例えばNumRefIdxActive[!sh_collocated_from_l0_flag]-1)とのうちの、小さい方に等しく設定されることを意味する。標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがそこから導出される参照ピクチャリストであるシンタックス要素1040A(例えばsh_collocated_from_l0_flag)によって示される。時間的MVPに使用されるコロケーテッドピクチャが参照ピクチャリスト0から導出される場合、標的参照ピクチャリストは参照ピクチャリスト0である。時間的MVPに使用されるコロケーテッドピクチャが参照ピクチャリスト1から導出される場合、標的参照ピクチャリストは参照ピクチャリスト1である。
[0240] VVC(例えばVVCドラフト9)では、ref_pic_list_struct()がSPS内でシグナリングされてもよく、又はシンタックス構造ref_pic_lists()内に含まれてもよい。SPS内でシグナリングされるref_pic_list_structure()がPH又はSH内で選択されない場合、PH又はSH内でシグナリングされるref_pic_lists()内で別のref_pic_list_structure()が直接シグナリングされ得る。しかしVVC(例えばVVCドラフト9)は以下の内容を提供する:(0又は1に等しい)listIdxの各値について、復号器はsps_num_ref_pic_lists[i]に1を加えた総数のref_pic_list_struct(listIdx,rplsIdx)シンタックス構造に対してメモリを割り当てるべきであり、これは現在のピクチャのスライスヘッダ内で直接シグナリングされる1つのref_pic_list_struct(listIdx,rplsIdx)シンタックス構造があり得るからである。上記の内容に鑑みてこれは正確ではない。
[0241] 従来の符号化技術でのこの欠点を克服するために、(図14A及び図14Bにおいて以下で示すような)本開示の実施形態によっては、現在のピクチャのピクチャヘッダ又はスライスヘッダ内で1つのref_pic_list_struct(listIdx,rplsIdx)シンタックス構造が直接シグナリングされる場合、(0又は1に等しい)listIdxの値ごとに、復号器は、sps_num_ref_pic_lists[i]に1を加えた総数のref_pic_list_struct(listIdx,rplsIdx)シンタックス構造に対してメモリを割り当てる。
[0242] 図14Aは、本開示のいくつかの実施形態に係る、メモリを割り当てるための例示的な映像処理方法1400Aのフローチャートを示す。方法1400Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1400Aを実行し得る。実施形態によっては、方法1400Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図14Aを参照し、方法1400Aは以下のステップ1402A~1406Aを含み得る。
[0243] ステップ1402において、シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出する。後にもう1つのRPLが(ピクチャヘッダ又はスライスヘッダ内で)シグナリングされる可能性があるので、SPS内の参照ピクチャリスト構造の数に追加の数1を加えて総数を得る。
[0244] ステップ1404Aにおいて、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数に対するメモリを割り当てる。従って、符号化/復号化の前に符号器/復号器により、現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内でシグナリングされる追加のRPLに対してより多くのメモリが割り当てられ、そのことは映像処理に有用である。
[0245] ステップ1406Aにおいて、割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理する。割り当てられるメモリは追加のRPLに関してより信頼できるので、符号化/復号化プロセスがより正確及びロバストになり得る。
[0246] 図14Bは、本開示のいくつかの実施形態に係る例示的なセマンティクス1400Bの一部を示す。セマンティクス1400Bは、方法1400A内で使用することができ、以前のVVCからの変更をイタリック体で示す(ブロック1410B参照)。後にもう1つのRPLが(ピクチャヘッダ又はスライスヘッダ内で)シグナリングされる可能性のために、追加のRPLに対してより多くのメモリが割り当てられる。
[0247] VVC(例えばVVCドラフト9)では、シンタックス要素530A(例えばrpl_idx[i])は、現在のピクチャの参照ピクチャリストiを導出するために使用されるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx)シンタックス構造の、SPS内に含まれるlistIdxがiに等しいref_pic_list_struct(listIdx,rplsIdx)シンタックス構造のリストへのインデックスを指定する。参照ピクチャリストはピクチャ又はスライスに関して導出され得るので、このセマンティクスは正確ではない場合がある。
[0248] VVC(例えばVVCドラフト9)では、シンタックス要素530Aがない場合、シンタックス要素530Aの値を推論するための推論規則がある:シンタックス要素510A(例えばrpl_sps_flag[i])が1に等しくシンタックス要素520A(例えばpps_rpl1_idx_present_flag)が0に等しい場合、rpl_idx[1]の値はrpl_idx[0]に等しいと推論され、さもなければrpl_idx[1]の値は0に等しいと推論される。この推論規則にはいくつかの問題がある。まず、rpl_idx[1]に関する推論規則しかなく、rpl_idx[0]に関する推論規則はない。第2に、シンタックス要素510Aが1に等しくシンタックス要素520Aが0に等しい場合、rpl_idx[0]がシグナリングされる保証はない。そのためこの事例では、rpl_idx[0]に等しいようにrpl_idx[1]の値を推論することは問題をはらむ可能性がある。一言で言えば、VVC(例えばVVCドラフト9)における推論規則は、rpl_idx[0]及びrpl_idx[1]がない場合、rpl_idx[0]及びrpl_idx[1]の両方が復号器側で適切な値を得ることを保証できない。
[0249] 従来の符号化技術でのこの欠点を克服するために、(図15A~図15Cにおいて以下で示すような)本開示の実施形態によっては、シンタックス要素530A(例えばrpl_idx[i])のための更新されたセマンティクスが提供される。
[0250] 図15Aは、本開示のいくつかの実施形態に係る、参照ピクチャリスト内のインデックスを決定するための例示的な映像符号化方法1500Aのフローチャートを示す。方法1500Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1500Aを実行し得る。実施形態によっては、方法1500Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図15Aを参照し、方法1500Aは以下のステップ1502A~1514Aを含み得る。
[0251] ステップ1502Aにおいて、PPSを参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に、第2のフラグ(例えばrpl_sps_flag[1])及び第1のインデックス(例えばrpl_idx[1])があるかどうかを示すために、ピクチャパラメータセット(PPS)内の第1のフラグ(例えばpps_rpl1_idx_present_flag)をシグナリングする。第1のフラグ(例えばpps_rpl1_idx_present_flag)は、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックス(例えばrpl_idx[1])は、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスである。次いで第2のフラグ(例えばrpl_sps_flag[1])がシグナリングされ得る。
[0252] ステップ1504Aにおいて、第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])をシグナリングするかどうかを決定する。第2のインデックス(例えばrpl_idx[0])は、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスである。
[0253] 第2のインデックス(例えばrpl_idx[0])をシグナリングしない場合、第2のインデックス(例えばrpl_idx[0])の値をステップ1506Aによって決定することができる。
[0254] ステップ1506Aにおいて、参照ピクチャリスト0に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックス(例えばrpl_idx[0])の値を0に等しいように決定する。図5Aを参照し、sps_num_ref_pic_lists[0]が1以下である場合、rpl_idx[0]はシグナリングされない。従ってステップ1506Aで、rpl_idx[0]がシグナリングされない状況に関してrpl_idx[0]の値が決定され、rpl_idx[0]を推論する信頼性を高める。
[0255] 第1のインデックス(例えばrpl_idx[1])をシグナリングしない場合、第1のインデックス(例えばrpl_idx[0])の値をステップ1508A及び1510Aによって決定することができる。
[0256] ステップ1508Aにおいて、参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックス(例えばrpl_idx[1])の値を0に等しいように決定する。図5Aを参照し、sps_num_ref_pic_lists[1]が1以下である場合、rpl_idx[1]はシグナリングされない。従ってステップ1508Aで、rpl_idx[1]がシグナリングされない状況に関してrpl_idx[1]の値が決定され、rpl_idx[1]を推論する信頼性を高める。
[0257] ステップ1510Aにおいて、第1のフラグ(例えばpps_rpl1_idx_present_flag)が0に等しく、第2のフラグ(例えばrpl_sps_flag[1])が1に等しい場合、第1のインデックス(例えばrpl_idx[1])の値を第2のインデックス(例えばrpl_idx[0])の値に等しいように決定する。sps_num_ref_pic_lists[0]が(例えばステップ1508Aにおいて)1以下である場合はrpl_idx[0]の値は0に設定され、さもなければ(例えばsps_num_ref_pic_list[0]>1)rpl_idx[0]がシグナリングされるので(図5A参照)、全てのシナリオについてrpl_idx[0]の値が決定される。従ってこの場合、rpl_idx[1]の値が、決定されるrpl_idx[0]の値に等しく設定される。従って全てのシナリオについて(例えばrpl_idx[0]がシグナリングされるかどうかに関係なく)rpl_idx[1]の値が決定される。rpl_idx[i]がシグナリングされない場合、適切な値を得るためにrpl_idx[i](rpl_idx[0]及びrpl_idx[1]の両方)の値を保証することができる。
[0258] 第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])の値を決定した後、ステップ1512Aにおいて第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを決定する。第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])がシグナリングされるかどうかに関係なく、第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])の値の決定が保証されるので、参照ピクチャリストに関する決定がより高信頼になり得る。
[0259] ステップ1514Aにおいて、参照ピクチャリストに基づいて現在のピクチャを符号化する。従って符号化プロセスのロバスト性が改善される。
[0260] 実施形態によっては、参照ピクチャリスト0の1つの参照ピクチャリスト構造がSPS内にあるときrpl_idx[0]は0に等しいと推論されるので(ステップ1508Aへの言及)、ステップ1510Aは「参照ピクチャリストiの1つの参照ピクチャリスト構造がSPS内にあることに応答してrpl_idx[i]は0に等しいと決定される」で置換することができる。符号化プロセスの効率をさらに改善することができる。
[0261] 図15Bは、本開示のいくつかの実施形態に係る、参照ピクチャリスト内のインデックスを決定するための例示的な映像復号化方法1500Bのフローチャートを示す。方法1500Bは、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1500Bを実行し得る。実施形態によっては、方法1500Bは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図15Bを参照し、方法1500Bは以下のステップ1502B~1514Bを含み得る。
[0262] ステップ1502Bにおいて、復号器が映像ビットストリーム(例えば図3Bの映像ビットストリーム228)を受信し、映像ビットストリームはインター予測を使用して符号化され得る。例えば参照ピクチャ0及び参照ピクチャリスト1によって参照ピクチャを導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB(例えば図3B内のバッファ234)内の再構成ピクチャのリストを含む。
[0263] ステップ1504Bにおいて、現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ(例えばrpl_sps_flag[1])及び第1のインデックス(例えばrpl_idx[1])があるかどうかを示す第1のフラグ(例えばpps_rpl1_idx_present_flag)の値を決定する。第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスである。次いで第2のフラグ(例えばrpl_sps_flag[1])の値を決定することができる。
[0264] ステップ1506Bにおいて、第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])があるかどうかを決定する。第2のインデックス(例えばrpl_idx[0])は、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスである。
[0265] 第2のインデックス(例えばrpl_idx[0])がない場合、第2のインデックス(例えばrpl_idx[0])の値はステップ1508Bによって決定され得る。
[0266] ステップ1508Bにおいて、参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックス(例えばrpl_idx[0])の値を0に等しいように決定する。図5Aを参照し、sps_num_ref_pic_lists[0]が1以下である場合、rpl_idx[0]はシグナリングされず、従ってrpl_idx[0]は存在しない。この場合、rpl_idx[0]は0に等しいように設定される。従ってステップ1508Bで、rpl_idx[0]がない状況に関してrpl_idx[0]の値が決定され、rpl_idx[0]を推論する信頼性を高める。
[0267] 第1のインデックス(例えばrpl_idx[1])がない場合、第1のインデックス(例えばrpl_idx[1])の値をステップ1510B及び1512Bによって決定することができる。
[0268] ステップ1510Bにおいて、参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックス(例えばrpl_idx[1])の値を0に等しいように決定する。図5Aを参照し、sps_num_ref_pic_lists[1]が1以下である場合、rpl_idx[1]はシグナリングされず、従ってrpl_idx[1]は存在しない。従ってステップ1510Bで、rpl_idx[1]がシグナリングされない状況に関してrpl_idx[1]の値が決定され、rpl_idx[1]を推論する信頼性を高める。
[0269] ステップ1512Bにおいて、第1のフラグ(例えばpps_rpl1_idx_present_flag)が0に等しく、第2のフラグ(例えばrpl_sps_flag[1])が1に等しい場合、第1のインデックス(例えばrpl_idx[1])の値を第2のインデックス(例えばrpl_idx[0])の値に等しいように決定する。sps_num_ref_pic_lists[0]が(ステップ1508Aにおいて)1以下である場合はrpl_idx[0]の値は0に設定され、さもなければ(例えばsps_num_ref_pic_list[0]>1)rpl_idx[0]がシグナリングされるので(図5A参照)、全てのシナリオについてrpl_idx[0]の値が決定される。従ってこの場合、rpl_idx[1]の値が、決定されるrpl_idx[0]の値に等しく設定される。従って全てのシナリオについて(例えばrpl_idx[0]があろうとなかろうと)rpl_idx[1]の値が決定される。rpl_idx[i]がない場合、適切な値を得るためにrpl_idx[i](rpl_idx[0]及びrpl_idx[1]の両方)の値を保証することができる。
[0270] 1514Bにおいて、第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])に基づいて現在のピクチャを復号化する。第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])があるかどうかに関係なく、第1のインデックス(例えばrpl_idx[1])及び第2のインデックス(例えばrpl_idx[0])の値の決定が保証されるので、参照ピクチャリストに関する決定がより高信頼になり得る。
[0271] 実施形態によっては、参照ピクチャリスト0の1つの参照ピクチャリスト構造がSPS内にあるときrpl_idx[0]は0に等しいと推論されるので(ステップ1508Bへの言及)、ステップ1514Bは「参照ピクチャリストiの1つの参照ピクチャリスト構造がSPS内にあることに応答してrpl_idx[i]は0に等しいと推論される」で置換することができる。復号化プロセスの効率をさらに改善することができる。
[0272] 図15Cは、本開示のいくつかの実施形態に係る例示的なセマンティクス1500Cの一部を示す。セマンティクス1500Cは、方法1500A及び方法1500B内で使用され得る。図15C内で示すように、以前のVVCからの変更をイタリック体で示し、提案する削除シンタックスが取り消し線によってさらに示されている(ブロック1510C及び1520Cへの言及)。2つの代替的な導出の記述が示されている。実施形態によっては、ブロック1510Cに示すように、rpl_idx[i]がない事例で、参照ピクチャリストiの最大1つの参照ピクチャリスト構造がある(例えばsps_num_ref_pic_list[i]が1以下である)場合、rpl_idx[i]の値は0に等しいと推論され、さもなければ(参照ピクチャiについて複数の参照ピクチャリスト構造があり、つまりsps_num_ref_pic_list[i]が1を上回り)iが1に等しい、つまりsps_num_ref_pic_list[1]が1を上回る場合、rpl_idx[1]の値はrpl_idx[0]に等しいと推論される。ブロック1520Cとブロック1510Cとの違いは、「さもなければ」及び「iが1に等しい」という表現が「sps_num_ref_pic_list[1]が1を上回る」として詳細に解釈されることである。実施形態によっては、「sps_num_ref_pic_list[i]が1以下である」という条件(ブロック1511C及びブロック1521Cへの言及)が、「sps_num_ref_pic_list[i]が1に等しい場合」によって置換され得る。
[0273] VVC(例えばVVCドラフト9)では、1に等しいシンタックス要素1010A(例えばsh_num_ref_idx_active_override_flag)は、シンタックス要素sh_num_ref_idx_active_minus1[0]がPスライス及びBスライスについて存在し、シンタックス要素sh_num_ref_idx_active_minus1[1]がBスライスについて存在することを指定する。0に等しいシンタックス要素1010Aは、シンタックス要素sh_num_ref_idx_active_minus1[0]及びsh_num_ref_idx_active_minus1[1]がないことを指定する。しかし図10Aに示すように、シンタックス要素1010Aが1に等しい場合、sh_num_ref_idx_active_minus1[i]をシグナリングするためにnum_ref_entries[i][RplsIdx[i]]の値がさらに検査される。シンタックス要素sh_num_ref_idx_active_minus1[i]は、シンタックス要素1010Aが1に等しく、num_ref_entries[i][RplsIdx[i]]が1を上回る場合にのみシグナリングされる。その結果、1に等しいシンタックス要素1010Aはsh_num_ref_idx_active_minus1[i]がシグナリングされることを必ずしも意味しない。
[0274] 従来の符号化技術でのこの欠点を克服するために、(図16A~図16Cにおいて以下で示すような)本開示の実施形態によっては、符号化/復号化プロセスの効率を改善するためのシンタックス要素1010Aのための更新されたセマンティクスが提供される。
[0275] 図16Aは、本開示のいくつかの実施形態に係る、スライスヘッダ内のアクティブ参照インデックス数が存在することを示すための例示的な映像符号化方法1600Aのフローチャートを示す。方法1600Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1600Aを実行し得る。実施形態によっては、方法1600Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図16Aを参照し、方法1600Aは以下のステップ1602A~1608Aを含み得る。
[0276] ステップ1602Aにおいて、スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングする。例えば参照ピクチャリストiのアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[i])(iは0又は1に等しい)がスライスヘッダ内にあるかどうかを示すために、シンタックス要素sh_num_ref_idx_active_override_flagがシグナリングされる。アクティブ参照インデックス数は現在のスライスを符号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用される。現在のスライスを符号化するために使用される参照インデックスの数は、アクティブ参照インデックス数から導出される最大数以下であり得る。
[0277] ステップ1604Aにおいて、アクティブ参照インデックス数があるかどうかを決定する。アクティブ参照インデックス数があることを第1のフラグが示す場合、シンタックス要素sh_num_ref_idx_active_minus1[0]がPスライス及びBスライスについて存在し、シンタックス要素sh_num_ref_idx_active_minus1[1]がBスライスについて存在する。次いで、ステップ1606A及びステップ1608Aを実行する。
[0278] ステップ1606Aにおいて、参照ピクチャリスト0のエントリの数をまず決定し、参照ピクチャリスト0のエントリの数(例えばnum_ref_entries[0][RplsIdx[0]])が1を上回ると決定される場合は、Pスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[0])をシグナリングする。
[0279] ステップ1608Aにおいて、参照ピクチャリスト1のエントリの数をまず決定し、参照ピクチャリスト1のエントリの数(例えばnum_ref_entries[1][RplsIdx[1]])が1を上回ると決定される場合は、Bスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[1])をシグナリングする。
[0280] ステップ1606A及びステップ1608Aにより、参照ピクチャリストiのエントリの数(例えばnum_ref_entries[i][RplsIdx[i]])が1を上回る場合、参照ピクチャリストiのアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[i])がスライスレベル内でシグナリングされる。
[0281] 従って、sh_num_ref_idx_active_override_flagが1に等しいときシグナリングされるsh_num_ref_idx_active_minus1[i]に関する不確実性がなくなり、符号化プロセスの精度及びロバスト性が改善され得る。
[0282] 実施形態によっては、方法1600Aがステップ1610A及びステップ1612Aをさらに含み得る。アクティブ参照インデックス数がないことを第1のフラグが示す場合、シンタックス要素sh_num_ref_idx_active_minus1[i]は存在しない。次いでステップ1610A及びステップ1612Aを実行する。
[0283] ステップ1610Aにおいて、Pスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[0])をシグナリングすることをスキップする。換言すれば、Pスライス及びBスライスのためのスライスヘッダ内でシグナリングされるsh_num_ref_idx_active_minus1[0]はない。
[0284] ステップ1612Aにおいて、Bスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすることをスキップする。換言すれば、Bスライスのためのスライスヘッダ内でシグナリングされるsh_num_ref_idx_active_minus1[1]はない。
[0285] 従って、アクティブ参照インデックス数がない場合、アクティブ参照数のシグナリングをスキップすることによって符号化プロセスがより効率的になり得る。
[0286] 図16Bは、本開示のいくつかの実施形態に係る、スライスヘッダ内でアクティブ参照インデックス数を示すための例示的な映像復号化方法1600Bのフローチャートを示す。方法1600Bは、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1600Bを実行し得る。実施形態によっては、方法1600Bは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図16Aを参照し、方法1600Bは以下のステップ1602B~1608Bを含み得る。
[0287] ステップ1602Bにおいて、復号器がスライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリーム(例えば図3Bの映像ビットストリーム228)を受信し、映像ビットストリームはインター予測を使用して符号化され得る。例えば参照ピクチャ0及び参照ピクチャリスト1によって参照ピクチャを導出することができ、そのそれぞれは参照ピクチャとして使用されるDPB(例えば図3B内のバッファ234)内の再構成ピクチャのリストを含む。
[0288] ステップ1604Bにおいて、アクティブ参照インデックス数があるかどうかを示す、スライスヘッダ内でシグナリングされる第1のフラグの値を決定する。実施形態によっては、第1のフラグはシンタックス要素sh_num_ref_idx_active_override_flagであり、このシンタックス要素は参照ピクチャリストiのアクティブ参照インデックス(例えばsh_num_ref_idx_active_minus1[i])(iは0又は1に等しい)があるかどうかを示し得る。アクティブ参照インデックス数は、現在のスライスを復号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用される。現在のスライスを復号化するために使用される参照インデックスの数は、アクティブ参照インデックス数から導出される最大数以下であり得る。
[0289] アクティブ参照インデックス数があることを示す値に第1のフラグの値が決定される場合、シンタックス要素sh_num_ref_idx_active_minus1[0]がPスライス及びBスライスについて存在し、シンタックス要素sh_num_ref_idx_active_minus1[1]がBスライスについて存在する。次いでステップ1606B及びステップ1608Bを実行する。
[0290] ステップ1606Bにおいて、参照ピクチャリスト0のエントリの数(例えばnum_ref_entries[0][RplsIdx[0]])を決定し、参照ピクチャリスト0のエントリの数が1を上回ると決定される場合、Pスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[0])を復号化する。
[0291] ステップ1608Bにおいて、参照ピクチャリスト1のエントリの数(例えばnum_ref_entries[1][RplsIdx[1]])を決定し、参照ピクチャリスト1のエントリの数が1を上回ると決定される場合、Bスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[1])を復号化する。
[0292] ステップ1606B及びステップ1608Bにより、参照ピクチャリストiのエントリの数(例えばnum_ref_entries[i][RplsIdx[i]])が1を上回る場合、参照ピクチャリストiのアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[i])がシグナリングされる。従って、sh_num_ref_idx_active_override_flagが1に等しいときシグナリングされるsh_num_ref_idx_active_minus1[i]に関する不確実性がなくなる。
[0293] 実施形態によっては、方法1600Bがステップ1610B及びステップ1612Bをさらに含み得る。第1のフラグの値が、アクティブ参照インデックス数がないことを示す値であると決定される場合、シンタックス要素sh_num_ref_idx_active_minus1[i]はシグナリングされない。次いでステップ1610B及びステップ1612Bを実行する。
[0294] ステップ1610Bにおいて、Pスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[0])を復号化することをスキップする。換言すれば、Bスライスのためのスライスヘッダ内にsh_num_ref_idx_active_minus1[0]はない。
[0295] ステップ1612Bにおいて、Bスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数(例えばsh_num_ref_idx_active_minus1[1])を復号化することをスキップする。換言すれば、Bスライスのためのスライスヘッダ内にsh_num_ref_idx_active_minus1[1]はない。従って、復号化プロセスの効率が改善され得る。
[0296] 図16Cは、本開示のいくつかの実施形態に係る例示的なセマンティクス1600Cの一部を示す。セマンティクス1600Bは、方法1600A及び方法1600B内で使用され得る。図16C内で示すように、以前のVVCからの変更をイタリック体で示し、提案する削除シンタックスが取り消し線によってさらに示されている(ブロック1610C及び1620Cへの言及)。2つの代替的な記述が示されている。ブロック1610Cに示すように、1に等しいsh_num_ref_idx_active_override_flagは、Pスライス及びBスライスについてシンタックス要素sh_num_ref_idx_active_minus1[0]があること、又はBスライスについてシンタックス要素sh_num_ref_idx_active_minus1[1]があることを必ずしも指定しない。ブロック1620Cに示すように、Pスライス及びBスライスについてシンタックス要素sh_num_ref_idx_active_minus1[0]がある場合、「num_ref_entries[0][RplsIdx[0]が1を上回る場合」という条件が追加され、Bスライスについてシンタックス要素sh_num_ref_idx_active_minus1[1]がある場合、「num_ref_entries[1][RplsIdx[1]が1を上回る場合」という条件が追加され、sh_num_ref_idx_active_override_flagは1に等しい。従って、復号化プロセスの精度及びロバスト性が改善され得る。
[0297] VVC(例えばVVCドラフト9)では、シンタックス要素1050A(例えばsh_collocated_ref_idx)によって参照されるピクチャが符号化ピクチャの全てのスライスについて同じであり、RprConstraintsActive[sh_collocated_from_l0_flag?0:1][sh_collocated_ref_idx]が0に等しいというビットストリーム準拠制約がある。シンタックス要素1050Aによって参照されるピクチャを識別するために、シンタックス要素1040A(例えばsh_collocated_from_l0_flag)及びシンタックス要素1050A(例えばsh_collocated_ref_idx)の値をまず決定する必要がある。しかし図10Aに示すように、シンタックス要素1040AはBスライスについてのみシグナリングされ、シンタックス要素1050AはPスライス及びBスライスについてのみシグナリングされる。Iスライスに関して、シンタックス要素1040A及びシンタックス要素1050Aはシグナリングされない。さらに、Iスライスではこれらの2つのシンタックス要素に関する推論値もない。その結果、Iスライスではシンタックス要素1050Aの値は未定義である。従って、符号器/復号器はシンタックス要素1050Aによって参照されるピクチャを識別することができず、準拠制約の検査を行うことができない。
[0298] 従来の符号化技術でのこの欠点を克服するために、(図17A及び図17Bにおいて以下で示すような)本開示の実施形態によっては、映像処理の精度及びロバスト性を改善するための更新されたセマンティクスが提供される。
[0299] 例えば図17Aは、ピクチャ処理のための例示的な映像処理方法1700Aのフローチャートを示す。方法1700Aは、符号器によって(例えば図2Aのプロセス200A又は図2Bのプロセス200Bによって)実行されてもよく、復号器によって(例えば図3Aのプロセス300A又は図3Bのプロセス300Bによって)実行されてもよく、又は装置(例えば図4の装置400)の1つ以上のソフトウェア又はハードウェアコンポーネントによって実行されてもよい。例えば1つ以上のプロセッサ(例えば図4のプロセッサ402)が方法1700Aを実行し得る。実施形態によっては、方法1700Aは、コンピュータ(例えば図4の装置400)によって実行される、プログラムコードなどのコンピュータ実行可能命令を含むコンピュータ可読媒体において具現化されるコンピュータプログラム製品によって、実装され得る。図24Aを参照し、方法1700Aはステップ1702A及び1704Aを含み得る。
[0300] ステップ1702において、スライスレベル内のコロケーテッドピクチャの参照インデックス(例えばsh_collocated_ref_idx)によって参照されるコロケーテッドピクチャを決定し、コロケーテッドピクチャは現在のピクチャの全ての非Iスライスについて同じピクチャであると決定される。従って、sh_collocated_ref_idx及びsh_collocated_from_l0_flagの値に関する不確実性が回避される。
[0301] ステップ1704Aにおいて、コロケーテッドピクチャに基づいて現在のピクチャを処理し、コロケーテッドピクチャは時間的動きベクトル予測に使用される。従って映像処理のロバスト性が改善され得る。
[0302] つまり、コロケーテッドピクチャの参照インデックスによって参照される時間的動きベクトル予測に使用されるピクチャは、符号化ピクチャの全ての非Iスライスについて同じであると決定される。実施形態によっては、コロケーテッドピクチャの参照インデックスによって参照される時間的動きベクトル予測に使用されるピクチャは、現在のピクチャの全てのPスライス及びBスライスについて同じであると決定される。
[0303] 図17Bは、本開示のいくつかの実施形態に係る例示的なセマンティクス1700Bの一部を示す。セマンティクス1700Bは方法1700A内で使用され得る。図17B内で示すように、以前のVVCからの変更をイタリック体で示し、提案する削除シンタックスが取り消し線によってさらに示されている(ブロック1710B及び1720Bへの言及)。2つの代替的な記述が示されている。ブロック1710B内に示すように、ビットストリーム準拠の要件が「全てのスライス」の代わりに「全ての非Iスライス」にさらに詳述されている。従って、復号化プロセスの効率及びロバスト性が改善される。ブロック1720Bとブロック1710Bとの違いは、より正確であるように「非Iスライス」の表現が「Pスライス及びBスライス」によって置換されていることである。
[0304] 実施形態によっては、また、命令を含む非一時的コンピュータ可読記憶媒体が提供され、命令は、デバイス(本開示の符号器及び復号器など)によって、上述の方法を遂行するために実行され得る。一般的な形態の非一時的媒体としては、例えば、フロッピー(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、又は任意の他の磁気データ記憶媒体、CD-ROM、任意の他の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM、及びEPROM、FLASH(登録商標)-EPROM又は任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップ又はカートリッジ、並びにこれらのネットワーク化バージョンが挙げられる。デバイスは、1つ以上のプロセッサ(CPU)、入力/出力インターフェース、ネットワークインターフェース、及び/又はメモリを含み得る。
[0305] 「第1(first)」及び「第2(second)」などの本明細書における関係語は、単に、実体又は動作を別の実体又は動作と区別するために使用されるにすぎず、これらの実体又は動作の間のいかなる実際の関係又は順序も必要とせず、暗示もしないことに留意されたい。さらに、単語「備える(comprising)」、「有する(having)」、「包含する(containing)」、及び「含む(including)」、並びに他の同様の形式は、意味が同等であり、これらの単語のうちの任意のものに続く要素若しくは要素群は、このような要素若しくは要素群の限定列挙であることを意味されない、又は列挙された要素若しくは要素群のみに限定されることを意味されないという点で、オープンエンドなものであることを意図される。
[0306] 本明細書において使用するとき、別途特に断りのない限り、用語「又は(or)」は、実行不可能な場合を除き、全ての可能な組み合わせを包含する。例えば、データベースがA又はBを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、A、或いはB、或いはA及びBを含み得る。第2の例として、データベースがA、B、又はCを含み得ると述べられた場合には、このとき、別途特に断りのない限り、又は実行不可能でない限り、データベースは、A、B、C、A及びB、A及びC、B及びC、A及びB及びCを含み得る。
[0307] 上述の実施形態は、ハードウェア、又はソフトウェア(プログラムコード)、或いはハードウェア及びソフトウェアの組み合わせによって実施され得ることが理解される。ソフトウェアによって実施される場合には、それは上述のコンピュータ可読媒体内に記憶され得る。ソフトウェアは、プロセッサによって実行されたときに、本開示の方法を遂行することができる。この開示において説明される計算ユニット及び他の機能ユニットは、ハードウェア、又はソフトウェア、或いはハードウェア及びソフトウェアの組み合わせによって実施され得る。当業者は、上述のモジュール/ユニットのうちの複数のものを1つのモジュール/ユニットとして組み合わせてもよく、上述のモジュール/ユニットの各々を複数のサブモジュール/サブユニットにさらに分割してもよいことも理解するであろう。
[0308] 実施形態は、以下の条項を用いてさらに記述することができる:
1.映像を符号化するためのコンピュータ実施方法であって、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグをシグナリングすることであって、第1のフラグはコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造がシグナリングされるかどうかを示すこと
を含む、コンピュータ実施方法。
2.映像を復号化するためのコンピュータ実施方法であって、
映像ビットストリームを受信すること、
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグを復号化することであって、第1のフラグは時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造が現在のピクチャのビットストリーム内にあるかどうかを示すこと、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、コンピュータ実施方法。
3.映像を符号化するためのコンピュータ実施方法であって、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリストに対するインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャを示すこと
を含む、コンピュータ実施方法。
4.参照ピクチャリストに対するインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャを示すことが、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示すための第1のフラグをシグナリングすること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第1のパラメータをシグナリングすることであって、第1のパラメータは現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
をさらに含む、条項3に記載の方法。
5.参照ピクチャリストに対するインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャを示すことが、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示すための第2のフラグをシグナリングすること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第2のパラメータをシグナリングすることであって、第2のパラメータはコロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
をさらに含む、条項4に記載の方法。
6.コロケーテッドピクチャが長期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第3のパラメータ及び第4のパラメータをシグナリングすることであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
をさらに含む、条項5に記載の方法。
7.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内でシグナリングされ、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項6に記載の方法。
8.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項3に記載の方法。
9.映像を復号化するためのコンピュータ実施方法であって、
映像ビットストリームを受信すること、
参照ピクチャリストに対するインデックスを復号化することなしに時間的動きベクトル予測に使用されるコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、コンピュータ実施方法。
10.参照ピクチャリストに対するインデックスを復号化することなしに時間的動きベクトル予測に使用されるコロケーテッドピクチャを決定することが、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示す第1のフラグを復号化すること、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを第1のフラグに基づいて決定すること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、第1のパラメータを復号化し、第1のパラメータに基づいてコロケーテッドピクチャを決定することであって、第1のパラメータは現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
をさらに含む、条項9に記載の方法。
11.参照ピクチャリスト構造に対するインデックスを復号化することなしに時間的動きベクトル予測に使用されるコロケーテッドピクチャを決定することが、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示す第2のフラグを復号化すること、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを第2のフラグに基づいて決定すること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、第2のパラメータを復号化し、第2のパラメータに基づいてコロケーテッドピクチャを決定することであって、第2のパラメータはコロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
をさらに含む、条項10に記載の方法。
12.コロケーテッドピクチャが長期参照ピクチャであることに応答し、第3のパラメータ及び第4のパラメータを復号化し、第3のパラメータ及び第4のパラメータに基づいてコロケーテッドピクチャを決定することであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
をさらに含む、条項11に記載の方法。
13.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内にあり、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項12に記載の方法。
14.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項9に記載の方法。
15.映像を符号化するためのコンピュータ実施方法であって、
コロケーテッドピクチャの参照インデックスを示すためのパラメータをスライスヘッダ内でシグナリングするかどうかを決定すること、
パラメータがスライスヘッダ内でシグナリングされないことに応答し、ピクチャヘッダ内でシグナリングされるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、コンピュータ実施方法。
16.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項15に記載の方法。
17.映像を復号化するためのコンピュータ実施方法であって、
映像ビットストリームを受信すること、
時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを示すパラメータがスライスヘッダ内にあるかどうかを決定すること、
パラメータがないことに応答し、ピクチャヘッダ内にある時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しいようにパラメータの値を決定すること、
標的参照ピクチャリスト内のパラメータの値に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、コンピュータ実施方法。
18.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項17に記載の方法。
19.映像処理のためのコンピュータ実施方法であって、
シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、
現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数に対するメモリを割り当てること、及び
割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理すること
を含む、コンピュータ実施方法。
20.映像を符号化するためのコンピュータ実施方法であって、
ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定することを含むこと、
第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、
参照ピクチャリスト1に関連する最大1の参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び
参照ピクチャリストに基づいて現在のピクチャを符号化すること
を含む、コンピュータ実施方法。
21.映像を復号化するためのコンピュータ実施方法であって、
映像ビットストリームを受信すること、
現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定すること
を含むこと、
第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、
参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化すること
を含む、コンピュータ実施方法。
22.映像を符号化するためのコンピュータ実施方法であって、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすること
を含む、コンピュータ実施方法。
23.スライスヘッダ内にアクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすることをスキップすること、及び
Bスライスのためのスライスヘッダ内でアクティブ参照インデックス数参照ピクチャリスト1をシグナリングすることをスキップすること
をさらに含む、条項22に記載の方法。
24.映像を復号化するためのコンピュータ実施方法であって、
スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化すること
を含む、コンピュータ実施方法。
25.アクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化することをスキップすること、及び
Bスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化することをスキップすること
をさらに含む、条項24に記載の方法。
26.映像処理のためのコンピュータ実施方法であって、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、コンピュータ実施方法。
27.映像処理のためのコンピュータ実施方法であって、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全てのPスライス及びBスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、コンピュータ実施方法。
28.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグをシグナリングすることであって、第1のフラグはコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造がシグナリングされるかどうかを示すこと
を装置に行わせるために命令を実行するように構成される、装置。
29.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像ビットストリームを受信すること、
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグを復号化することであって、第1のフラグは時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造が現在のピクチャのビットストリーム内にあるかどうかを示すこと、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を装置に行わせるために命令を実行するように構成される、装置。
30.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリストに対するインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャを示すこと
を装置に行わせるために命令を実行するように構成される、装置。
31.プロセッサが、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示すための第1のフラグをシグナリングすること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第1のパラメータをシグナリングすることであって、第1のパラメータは、現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項30に記載の装置。
32.プロセッサが、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示すための第2のフラグをシグナリングすること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第2のパラメータをシグナリングすることであって、第2のパラメータはコロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項31に記載の装置。
33.プロセッサが、
コロケーテッドピクチャが長期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第3のパラメータ及び第4のパラメータをシグナリングすることであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項32に記載の装置。
34.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内でシグナリングされ、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項33に記載の装置。
35.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項30に記載の装置。
36.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像ビットストリームを受信すること、
参照ピクチャリストに対するインデックスを復号化することなしに時間的動きベクトル予測に使用されるコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を装置に行わせるために命令を実行するように構成される、装置。
37.プロセッサが、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示す第1のフラグを復号化すること、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを第1のフラグに基づいて決定すること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、第1のパラメータを復号化し、第1のパラメータに基づいてコロケーテッドピクチャを決定することであって、第1のパラメータは現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項36に記載の装置。
38.プロセッサが、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示す第2のフラグを復号化すること、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを第2のフラグに基づいて決定すること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、第2のパラメータを復号化し、第2のパラメータに基づいてコロケーテッドピクチャを決定することであって、第2のパラメータはコロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項37に記載の装置。
39.プロセッサが、
コロケーテッドピクチャが長期参照ピクチャであることに応答し、第3のパラメータ及び第4のパラメータを復号化し、第3のパラメータ及び第4のパラメータに基づいてコロケーテッドピクチャを決定することであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
を装置に行わせるために命令を実行するようにさらに構成される、条項38に記載の装置。
40.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内にあり、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項39に記載の装置。
41.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項36に記載の装置。
42.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
コロケーテッドピクチャの参照インデックスを示すためのパラメータをスライスヘッダ内でシグナリングするかどうかを決定すること、
パラメータがスライスヘッダ内でシグナリングされないことに応答し、ピクチャヘッダ内でシグナリングされるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を装置に行わせるために命令を実行するように構成される、装置。
43.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項42に記載の装置。
44.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像ビットストリームを受信すること、
時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを示すパラメータがスライスヘッダ内にあるかどうかを決定すること、
パラメータがないことに応答し、ピクチャヘッダ内にある時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しいようにパラメータの値を決定すること、
標的参照ピクチャリスト内のパラメータの値に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を装置に行わせるために命令を実行するように構成される、装置。
45.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項44に記載の装置。
46.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、
現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数に対するメモリを割り当てること、及び
割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理すること
を装置に行わせるために命令を実行するように構成される、装置。
47.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定すること
を含むこと、
第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、
参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び
参照ピクチャリストに基づいて現在のピクチャを符号化すること
を装置に行わせるために命令を実行するように構成される、装置。
48.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
映像ビットストリームを受信すること、
現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定すること
を含むこと、
第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、
参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化すること
を装置に行わせるために命令を実行するように構成される、装置。
49.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすること
を装置に行わせるために命令を実行するように構成される、装置。
50.プロセッサが、
スライスヘッダ内にアクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすることをスキップすること、及び
Bスライスのためのスライスヘッダ内でアクティブ参照インデックス数参照ピクチャリスト1をシグナリングすることをスキップすること
を装置に行わせるために命令を実行するようにさらに構成される、条項49に記載の装置。
51.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化すること
を装置に行わせるために命令を実行するように構成される、装置。
52.プロセッサが
アクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化することをスキップすること、及び
Bスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化することをスキップすること
を装置に行わせるために命令を実行するようにさらに構成される、条項50に記載の装置。
53.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を装置に行わせるために命令を実行するように構成される、装置。
54.映像データ処理を行うための装置であって、
命令を記憶するように構成されるメモリと、
1つ以上のプロセッサとを含み、1つ以上のプロセッサは、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全てのPスライス及びBスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を装置に行わせるために命令を実行するように構成される、装置。
55.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグをシグナリングすることであって、第1のフラグはコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造がシグナリングされるかどうかを示すこと
を含む、非一時的コンピュータ可読媒体。
56.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
映像ビットストリームを受信すること、
参照ピクチャリスト0内のエントリの数及び参照ピクチャリスト1内のエントリの数がどちらも0を上回ることに応答して第1のフラグ及び第2のフラグを復号化することであって、第1のフラグは時間的動きベクトル予測に使用されるコロケーテッドピクチャが参照ピクチャリスト0又は参照ピクチャリスト1から導出されることを示し、第2のフラグは動きベクトル差シンタックス構造が現在のピクチャのビットストリーム内にあるかどうかを示すこと、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、非一時的コンピュータ可読媒体。
57.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること、及び
参照ピクチャリストに対するインデックスをシグナリングすることなしにビットストリーム内のコロケーテッドピクチャを示すこと
を含む、非一時的コンピュータ可読媒体。
58.当該方法は、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示すための第1のフラグをシグナリングすること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第1のパラメータをシグナリングすることであって、第1のパラメータは、現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
をさらに含む、条項57に記載の非一時的コンピュータ可読媒体。
59.当該方法は、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示すための第2のフラグをシグナリングすること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第2のパラメータをシグナリングすることであって、第2のパラメータは、コロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
をさらに含む、条項58に記載の非一時的コンピュータ可読媒体。
60.当該方法は、
コロケーテッドピクチャが長期参照ピクチャであることに応答し、コロケーテッドピクチャを示すための第3のパラメータ及び第4のパラメータをシグナリングすることであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
をさらに含む、条項59に記載の非一時的コンピュータ可読媒体。
61.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内でシグナリングされ、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項60に記載の非一時的コンピュータ可読媒体。
62.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項57に記載の非一時的コンピュータ可読媒体。
63.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
映像ビットストリームを受信すること、
参照ピクチャリストに対するインデックスを復号化することなしに時間的動きベクトル予測に使用されるコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、非一時的コンピュータ可読媒体。
64.当該方法は、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを示す第1のフラグを復号化すること、
コロケーテッドピクチャがインターレイヤ参照ピクチャかどうかを第1のフラグに基づいて決定すること、及び
コロケーテッドピクチャがインターレイヤ参照ピクチャであることに応答し、第1のパラメータを復号化し、第1のパラメータに基づいてコロケーテッドピクチャを決定することであって、第1のパラメータは現在のピクチャが入っているレイヤの直接参照レイヤのリストに対するコロケーテッドピクチャのインデックスを示すこと
をさらに含む、条項63に記載の非一時的コンピュータ可読媒体。
65.当該方法は、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを示す第2のフラグを復号化すること、
コロケーテッドピクチャが短期参照ピクチャか長期参照ピクチャかを第2のフラグに基づいて決定すること、及び
コロケーテッドピクチャが短期参照ピクチャであることに応答し、第2のパラメータを復号化し、第2のパラメータに基づいてコロケーテッドピクチャを決定することであって、第2のパラメータはコロケーテッドピクチャのピクチャ順序カウントと現在のピクチャのピクチャ順序カウントとの差を示すこと
をさらに含む、条項64に記載の非一時的コンピュータ可読媒体。
66.当該方法は、
コロケーテッドピクチャが長期参照ピクチャであることに応答し、第3のパラメータ及び第4のパラメータを復号化し、第3のパラメータ及び第4のパラメータに基づいてコロケーテッドピクチャを決定することであって、第3のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)の最下位ビット(LSB)を示し、第4のパラメータはコロケーテッドピクチャのピクチャ順序カウント(POC)のデルタ最上位ビット(MSB)を示すこと
をさらに含む、条項65に記載の非一時的コンピュータ可読媒体。
67.第1のフラグ、第2のフラグ、第1のパラメータ、第2のパラメータ、第3のパラメータ、及び第4のパラメータがピクチャヘッダ内にあり、ピクチャ内の全てのスライスが同じコロケーテッドピクチャを有する、条項66に記載の非一時的コンピュータ可読媒体。
68.参照ピクチャリストが参照ピクチャリスト0又は参照ピクチャリスト1である、条項63に記載の非一時的コンピュータ可読媒体。
69.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
コロケーテッドピクチャの参照インデックスを示すためのパラメータをスライスヘッダ内でシグナリングするかどうかを決定すること、
パラメータがスライスヘッダ内でシグナリングされないことに応答し、ピクチャヘッダ内でシグナリングされるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを符号化することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、非一時的コンピュータ可読媒体。
70.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項69に記載の非一時的コンピュータ可読媒体。
71.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
映像ビットストリームを受信すること、
時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスを示すパラメータがスライスヘッダ内にあるかどうかを決定すること、
パラメータがないことに応答し、ピクチャヘッダ内にある時間的動きベクトル予測に使用されるコロケーテッドピクチャの参照インデックスの値と標的参照ピクチャリスト内のアクティブエントリの数マイナス1とのうちの小さい方に等しいようにパラメータの値を決定すること、
標的参照ピクチャリスト内のパラメータの値に等しい値を有するインデックスによって参照されるピクチャとしてコロケーテッドピクチャを決定すること、及び
コロケーテッドピクチャに基づいて現在のピクチャを復号化すること
を含む、非一時的コンピュータ可読媒体。
72.標的参照ピクチャリストは、時間的動きベクトル予測に使用されるコロケーテッドピクチャがどの参照ピクチャリストから導出されるのかを示すフラグによって示される、条項71に記載の非一時的コンピュータ可読媒体。
73.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、
現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の総数に対するメモリを割り当てること、及び
割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理すること
を含む、非一時的コンピュータ可読媒体。
74.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがシグナリングされないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定すること
を含むこと、
第1のインデックスがシグナリングされないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することはm
参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて参照ピクチャリストを導出すること、及び
参照ピクチャリストに基づいて現在のピクチャを符号化すること
を含む、非一時的コンピュータ可読媒体。
75.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
映像ビットストリームを受信すること、
現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト1に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第1のインデックス及び第2のインデックスがあるかどうかを決定することであって、第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する参照ピクチャリスト構造の、SPS内に含まれる参照ピクチャリスト0に関連する参照ピクチャリスト構造のリストに対するインデックスであること、
第2のインデックスがないことに応答し、第2のインデックスの値を決定することであって、第2のインデックスの値を決定することは、
参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第2のインデックスの値を0に等しいように決定すること
を含むこと、
第1のインデックスがないことに応答し、第1のインデックスの値を決定することであって、第1のインデックスの値を決定することは、
参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、第1のインデックスの値を0に等しいように決定すること、及び
第1のフラグが0に等しく第2のフラグが1に等しい場合、第1のインデックスの値を第2のインデックスの値に等しいように決定すること
を含むこと、
第1のインデックス及び第2のインデックスに基づいて現在のピクチャを復号化すること
を含む、非一時的コンピュータ可読媒体。
76.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、アクティブ参照インデックス数は、現在のスライスを符号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
スライスヘッダ内にアクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内で参照ピクチャリスト1のアクティブ参照インデックス数をシグナリングすること
を含む、非一時的コンピュータ可読媒体。
77.当該方法は、
スライスヘッダ内にアクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内で参照ピクチャリスト0のアクティブ参照インデックス数をシグナリングすることをスキップすること、及び
Bスライスのためのスライスヘッダ内でアクティブ参照インデックス数参照ピクチャリスト1をシグナリングすることをスキップすること
をさらに含む、条項76に記載の非一時的コンピュータ可読媒体。
78.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、
スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すスライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、アクティブ参照インデックス数は、現在のスライスを復号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
アクティブ参照インデックス数があることを第1のフラグが示すことに応答し、
参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化すること、及び
参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化すること
を含む、非一時的コンピュータ可読媒体。
79.当該方法は、
アクティブ参照インデックス数がないことを第1のフラグが示すことに応答し、
Pスライス及びBスライスのためのスライスヘッダ内の参照ピクチャリスト0のアクティブ参照インデックス数を復号化することをスキップすること、及び
Bスライスのためのスライスヘッダ内の参照ピクチャリスト1のアクティブ参照インデックス数を復号化することをスキップすること
をさらに含む、条項78に記載の非一時的コンピュータ可読媒体。
80.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、非一時的コンピュータ可読媒体。
81.命令のセットを記憶する非一時的コンピュータ可読媒体であって、命令のセットは、映像データ処理を行うための方法を装置に開始させるために、装置の1つ以上のプロセッサによって実行可能であり、当該方法は、
スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照されるコロケーテッドピクチャを決定することであって、コロケーテッドピクチャは現在のピクチャの全てのPスライス及びBスライスについて同じピクチャであると決定されること、及び
コロケーテッドピクチャに基づいて現在のピクチャを処理することであって、コロケーテッドピクチャは時間的動きベクトル予測に使用されること
を含む、非一時的コンピュータ可読媒体。
[0309] 上述の明細書において、実施形態は、実装形態ごとに異なり得る数多くの特定の詳細を参照して説明された。上述の実施形態の特定の適応及び変更を行うことができる。本明細書の考慮及び本明細書において開示された本発明の実施から、他の実施形態が当業者に明らかになり得る。明細書及び実施例は例としてのみ考慮されることが意図されており、本発明の真の範囲及び趣旨は添付の請求項によって指示される。また、図に示されるステップの配列は単に例示目的のためのものにすぎず、ステップのいかなる特定の配列にも限定されることを意図されないことも意図される。それゆえ、当業者は、これらのステップは、同じ方法を実施しながらも、異なる順序で遂行され得ることを理解することができる。
[0310] 図面及び明細書において、例示的な実施形態が開示された。しかし、これらの実施形態に対して多くの変形及び変更を行うことができる。したがって、特定の用語が採用されていても、これらは単に、一般的な説明の意味で使用されているにすぎず、限定を目的として使用されているものではない。

Claims (8)

  1. 映像処理のためのコンピュータ実施方法であって、
    シーケンスパラメータセット(SPS)内の参照ピクチャリスト構造の数と1とを合計することによって総数を導出すること、
    現在のピクチャのピクチャヘッダ又は現在のスライスのスライスヘッダ内で参照ピクチャリスト構造がシグナリングされることに応答して参照ピクチャリスト構造の前記総数に対するメモリを割り当てること、及び
    前記割り当てられたメモリを使用して現在のピクチャ又は現在のスライスを処理すること
    を含む、コンピュータ実施方法。
  2. 映像データ処理を行うための装置であって、
    命令を記憶するように構成されるメモリと、
    1つ以上のプロセッサとを含み、前記1つ以上のプロセッサは、
    ピクチャパラメータセット(PPS)を参照する現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示すためにPPS内の第1のフラグをシグナリングすることであって、前記第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、前記第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する前記参照ピクチャリスト構造の、前記SPS内に含まれる参照ピクチャリスト1に関連する前記参照ピクチャリスト構造の前記リストに対する前記インデックスであること、
    前記第1のインデックス及び第2のインデックスをシグナリングするかどうかを決定することであって、前記第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する前記参照ピクチャリスト構造の、前記SPS内に含まれる参照ピクチャリスト0に関連する前記参照ピクチャリスト構造の前記リストに対するインデックスであること、
    前記第2のインデックスがシグナリングされないことに応答し、前記第2のインデックスの値を決定することであって、前記第2のインデックスの前記値を決定することは、
    参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、前記第2のインデックスの前記値を0に等しいように決定することを含むこと、
    前記第1のインデックスがシグナリングされないことに応答し、前記第1のインデックスの値を決定することであって、前記第1のインデックスの前記値を決定することは、
    参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、前記第1のインデックスの前記値を0に等しいように決定すること、及び
    前記第1のフラグが0に等しく前記第2のフラグが1に等しい場合、前記第1のインデックスの前記値を前記第2のインデックスの前記値に等しいように決定すること
    を含むこと、
    前記第1のインデックス及び前記第2のインデックスに基づいて前記参照ピクチャリストを導出すること、及び
    前記参照ピクチャリストに基づいて前記現在のピクチャを符号化すること
    を前記装置に行わせるために前記命令を実行するように構成される、装置。
  3. 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、映像データ処理を行うための方法を装置に開始させるために、前記装置の1つ以上のプロセッサによって実行可能であり、前記方法は
    映像ビットストリームを受信すること、
    現在のピクチャのピクチャヘッダシンタックス又はスライスヘッダ内に第2のフラグ及び第1のインデックスがあるかどうかを示す第1のフラグの値を決定することであって、前記第2のフラグは、シーケンスパラメータセット(SPS)内でシグナリングされる参照ピクチャリスト1に関連する前記参照ピクチャリスト構造の1つに基づいて参照ピクチャリスト1が導出されるかどうかを示し、前記第1のインデックスは、参照ピクチャリスト1の導出に使用される参照ピクチャリスト1に関連する前記参照ピクチャリスト構造の、前記SPS内に含まれる参照ピクチャリスト1に関連する前記参照ピクチャリスト構造の前記リストに対する前記インデックスであること、
    前記第1のインデックス及び前記第2のインデックスがあるかどうかを決定することであって、前記第2のインデックスは、参照ピクチャリスト0の導出に使用される参照ピクチャリスト0に関連する前記参照ピクチャリスト構造の、前記SPS内に含まれる参照ピクチャリスト0に関連する前記参照ピクチャリスト構造の前記リストに対する前記インデックスであること、
    前記第2のインデックスがないことに応答し、前記第2のインデックスの値を決定することであって、前記第2のインデックスの前記値を決定することは、
    参照ピクチャリスト0に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、前記第2のインデックスの前記値を0に等しいように決定することを含むこと、
    前記第1のインデックスがないことに応答し、前記第1のインデックスの値を決定することであって、前記第1のインデックスの前記値を決定することは、
    参照ピクチャリスト1に関連する最大1つの参照ピクチャリスト構造がSPS内に含まれる場合、前記第1のインデックスの前記値を0に等しいように決定すること、及び
    前記第1のフラグが0に等しく前記第2のフラグが1に等しい場合、前記第1のインデックスの前記値を前記第2のインデックスの前記値に等しいように決定すること
    を含むこと、
    前記第1のインデックス及び前記第2のインデックスに基づいて現在のピクチャを復号化すること
    を含む、非一時的コンピュータ可読媒体。
  4. 映像を符号化するためのコンピュータ実施方法であって、
    スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示すために第1のフラグをスライスヘッダ内でシグナリングすることであって、前記アクティブ参照インデックス数は、現在のスライスを符号化するために使用される対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
    前記スライスヘッダ内に前記アクティブ参照インデックス数があることを前記第1のフラグが示すことに応答し、
    参照ピクチャリスト0のエントリの数を決定し、参照ピクチャリスト0のエントリの数が1を上回る場合はPスライス及びBスライスのための前記スライスヘッダ内で参照ピクチャリスト0の前記アクティブ参照インデックス数をシグナリングすること、及び
    参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合はBスライスのための前記スライスヘッダ内で参照ピクチャリスト1の前記アクティブ参照インデックス数をシグナリングすること
    を含む、コンピュータ実施方法。
  5. 前記スライスヘッダ内に前記アクティブ参照インデックス数がないことを前記第1のフラグが示すことに応答し、
    Pスライス及びBスライスのための前記スライスヘッダ内で参照ピクチャリスト0の前記アクティブ参照インデックス数をシグナリングすることをスキップすること、及び
    Bスライスのためのスライスヘッダ内で前記アクティブ参照インデックス数参照ピクチャリスト1をシグナリングすることをスキップすること
    をさらに含む、請求項4に記載の方法。
  6. 映像データ処理を行うための装置であって、
    命令を記憶するように構成されるメモリと、
    1つ以上のプロセッサとを含み、前記1つ以上のプロセッサは、
    スライスヘッダ及びピクチャヘッダシンタックスを含む映像ビットストリームを受信すること、
    前記スライスヘッダ内にアクティブ参照インデックス数があるかどうかを示す、前記スライスヘッダ内でシグナリングされる第1のフラグの値を決定することであって、前記アクティブ参照インデックス数は、現在のスライスを復号化するために使用され得る対応する参照ピクチャリストの最大参照インデックスを導出するために使用されること、
    前記アクティブ参照インデックス数があることを前記第1のフラグが示すことに応答し、
    参照ピクチャリスト0のエントリの数を決定し、前記参照ピクチャリスト0のエントリの数が1を上回る場合は、Pスライス及びBスライスのための前記スライスヘッダ内の参照ピクチャリスト0の前記アクティブ参照インデックス数を復号化すること、及び
    参照ピクチャリスト1のエントリの数を決定し、参照ピクチャリスト1のエントリの数が1を上回る場合は、Bスライスのためのスライスヘッダ内の参照ピクチャリスト1の前記アクティブ参照インデックス数を復号化すること
    を前記装置に行わせるために前記命令を実行するように構成される、装置。
  7. 前記プロセッサが、
    前記アクティブ参照インデックス数がないことを前記第1のフラグが示すことに応答し、
    Pスライス及びBスライスのための前記スライスヘッダ内の参照ピクチャリスト0の前記アクティブ参照インデックス数を復号化することをスキップすること、及び
    Bスライスのためのスライスヘッダ内の参照ピクチャリスト1の前記アクティブ参照インデックス数を復号化することをスキップすること
    を前記装置に行わせるために前記命令を実行するようにさらに構成される、請求項6に記載の装置。
  8. 命令のセットを記憶する非一時的コンピュータ可読媒体であって、前記命令のセットは、映像データ処理を行うための方法を装置に開始させるために、前記装置の1つ以上のプロセッサによって実行可能であり、前記方法は
    スライスレベル内のコロケーテッドピクチャの参照インデックスによって参照される前記コロケーテッドピクチャを決定することであって、前記コロケーテッドピクチャは、現在のピクチャの全ての非Iスライスについて同じピクチャであると決定されること、及び
    前記コロケーテッドピクチャに基づいて前記現在のピクチャを処理することであって、前記コロケーテッドピクチャは時間的動きベクトル予測に使用されること
    を含む、非一時的コンピュータ可読媒体。
JP2022567879A 2020-05-21 2021-05-21 映像の符号化における参照ピクチャ処理のための方法 Pending JP2023526585A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063028509P 2020-05-21 2020-05-21
US63/028,509 2020-05-21
PCT/US2021/033765 WO2021237165A1 (en) 2020-05-21 2021-05-21 Method for reference picture processing in video coding

Publications (2)

Publication Number Publication Date
JP2023526585A true JP2023526585A (ja) 2023-06-22
JPWO2021237165A5 JPWO2021237165A5 (ja) 2024-03-22

Family

ID=78607550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022567879A Pending JP2023526585A (ja) 2020-05-21 2021-05-21 映像の符号化における参照ピクチャ処理のための方法

Country Status (6)

Country Link
US (2) US11533472B2 (ja)
EP (1) EP4154414A4 (ja)
JP (1) JP2023526585A (ja)
KR (1) KR20230015363A (ja)
CN (1) CN115485981A (ja)
WO (1) WO2021237165A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973968B2 (en) 2020-05-22 2024-04-30 Bytedance Inc. Signaling of coded picture buffer information in video bitstreams

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230169440A (ko) 2018-08-17 2023-12-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 화상 관리
WO2021235759A1 (ko) * 2020-05-22 2021-11-25 엘지전자 주식회사 비디오 또는 영상 코딩 시스템에서의 다중 레이어 기반 영상 코딩 방법
US20230224483A1 (en) * 2020-06-09 2023-07-13 Lg Electronics Inc. Image encoding/decoding method and apparatus for signaling picture output information, and computer-readable recording medium in which bitstream is stored
WO2023129744A1 (en) * 2021-12-30 2023-07-06 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for decoder-side intra mode derivation
WO2024080916A1 (en) * 2022-10-13 2024-04-18 Telefonaktiebolaget Lm Ericsson (Publ) Inter-predicted reference picture lists

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101815723B1 (ko) * 2010-09-24 2018-01-05 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 및 화상 복호화 장치
US9451284B2 (en) * 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
KR101851479B1 (ko) * 2014-01-03 2018-04-23 노키아 테크놀로지스 오와이 파라미터 세트 코딩
WO2016188447A1 (en) * 2015-05-28 2016-12-01 Hfi Innovation Inc. Method and apparatus for using a current picture as a reference picture
KR20230169440A (ko) * 2018-08-17 2023-12-15 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서의 참조 화상 관리
US20210314624A1 (en) * 2020-04-02 2021-10-07 Qualcomm Incorporated Signaling of syntax elements for video data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11973968B2 (en) 2020-05-22 2024-04-30 Bytedance Inc. Signaling of coded picture buffer information in video bitstreams

Also Published As

Publication number Publication date
US11533472B2 (en) 2022-12-20
US20210368163A1 (en) 2021-11-25
US20230156183A1 (en) 2023-05-18
CN115485981A (zh) 2022-12-16
WO2021237165A1 (en) 2021-11-25
KR20230015363A (ko) 2023-01-31
EP4154414A1 (en) 2023-03-29
EP4154414A4 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
US20230105972A1 (en) Method and system for processing video content
US11356677B2 (en) Block partitioning methods for video coding
JP2023526585A (ja) 映像の符号化における参照ピクチャ処理のための方法
JP7250143B2 (ja) ビデオ復号化の方法並びにその、装置及びコンピュータプログラム
US20120294372A1 (en) Motion vector predictive encoding method, motion vector predictive decoding method, moving picture encoding apparatus, moving picture decoding apparatus, and programs thereof
US20230300360A1 (en) Methods for signaling virtual boundaries and wrap-around motion compensation
KR20220062085A (ko) 비디오 처리에서 양자화 파라미터 시그널링
US11956463B2 (en) Methods for performing wrap-around motion compensation
US11785237B2 (en) Methods for signaling video coding data
US11412253B2 (en) Methods for combining decoder side motion vector refinement with wrap-around motion compensation
US12010297B2 (en) Methods for constructing a merge candidate list
JP2023509838A (ja) サブピクチャ分割情報をシグナリングするための方法及び機器
JP2024516076A (ja) GPM(geometric partition mode)に関する動きベクトル精密化のための方法、装置、及び非一時的コンピュータ可読記憶媒体
JP2024522853A (ja) 複合インター及びイントラ予測を行うための方法及びシステム
KR20230013103A (ko) 비디오 처리에서의 타일 및 슬라이스 파티셔닝
KR20220158002A (ko) 비디오 레코딩의 부호 데이터 은닉
WO2023131208A1 (en) Fusion of video prediction modes
US20230090025A1 (en) Methods and systems for performing combined inter and intra prediction
KR20220143870A (ko) 최대 변환 크기 및 잔차 코딩 방법의 시그널링
WO2024088357A1 (en) Methods and non-transitory computer readable storage medium for performing subblock-based interprediction
US20210385485A1 (en) Angular weighted prediction for inter prediction
JP2022548914A (ja) デブロッキング操作の高度制御

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240308