JP7475455B2 - ビデオの符号化および復号のためのハイレベルシンタックス - Google Patents

ビデオの符号化および復号のためのハイレベルシンタックス Download PDF

Info

Publication number
JP7475455B2
JP7475455B2 JP2022540581A JP2022540581A JP7475455B2 JP 7475455 B2 JP7475455 B2 JP 7475455B2 JP 2022540581 A JP2022540581 A JP 2022540581A JP 2022540581 A JP2022540581 A JP 2022540581A JP 7475455 B2 JP7475455 B2 JP 7475455B2
Authority
JP
Japan
Prior art keywords
header
slice
picture
information
flag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022540581A
Other languages
English (en)
Other versions
JP2023516244A (ja
Inventor
ギローム ラロシュ,
ナエル ウエドラオゴ,
パトリス オンノ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2023516244A publication Critical patent/JP2023516244A/ja
Priority to JP2024066301A priority Critical patent/JP2024096913A/ja
Application granted granted Critical
Publication of JP7475455B2 publication Critical patent/JP7475455B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオの符号化および復号に関し、特にビットストリームで使用されるハイレベルシンタックスに関するものである。
最近、MPEGとITU-Tスタディグループ16のVCEGが結成した共同チームであるジョイントビデオエキスパートチーム(JVET)は、多用途ビデオ符号化(VVC)と呼ばれる新しいビデオ符号化規格の策定作業を開始した。VVCの目標は、既存のHEVC規格と比較して圧縮性能を大幅に向上させる(典型的に従前の2倍)ことであり、2020年に完成する予定である。主なターゲットとなるアプリケーションやサービスには、360度動画やハイダイナミックレンジ(HDR)ビデオが含まれるが、これらに限定されるものではない。JVETは、独立したテストラボによる正式な主観テストにより、32の組織からの回答を評価した。いくつかの提案では、HEVCを使用した場合と比較して、典型的に40%以上の圧縮効率の向上が示された。特に、超高精細(UHD)ビデオのテスト素材に有効であることが示された。したがって、最終的な規格の目標である50%をはるかに超える圧縮効率の向上が期待される。
JVET探査モデル(JEM)は、すべてのHEVCツールを使用し、多くの新しいツールを導入している。これらの変更により、ビットストリームの構造、特にビットストリームの全体的なビットレートに影響を与える可能性のあるハイレベルシンタックスの変更が必要となった。
本発明は、符号化性能を低下させることなく複雑さを低減させるハイレベルシンタックス構造の改良に関するものである。
本発明の第1の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、前記ビットストリームは1つ以上のスライスに対応するビデオデータを含み、前記ビットストリームは、1つ以上のスライスを復号するときに使用されることになる複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用されることになる複数のシンタックス要素を含むスライスヘッダと、を含み、前記復号は、前記ピクチャヘッダ内または前記スライスヘッダ内でシグナリングされ得る情報が前記ピクチャヘッダ内でシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダ内にないことを課す(例えば、制約をかける)ことと、前記複数のシンタックス要素を用いて前記ビットストリームを復号することと、を含む。
オプションで、前記復号は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素をパースすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の前記パースを許可することと、をさらに含む。
オプションで、前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報またはピクチャヘッダフラグ内の情報である。
オプションで、前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報のパースは許可されない。
オプションで、前記方法は、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示す第2のシンタックス要素をパースすることをさらに含み、前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記ピクチャヘッダが前記スライスヘッダ内にないことを前記第2のシンタックス要素が示すことがビットストリーム適合性の要件である。
オプションで、前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む。
オプションで、前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む。
オプションで、前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む。
本発明の第2の態様によれば、ビデオデータをビットストリームに符号化する方法が提供され、前記ビデオデータは1つ以上のスライスに対応し、前記ビットストリームは、1つ以上のスライスを復号するときに使用されることになる複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用されることになる複数のシンタックス要素を含むスライスヘッダと、を含み、前記符号化は、前記ピクチャヘッダ内または前記スライスヘッダ内でシグナリングされ得る情報が前記ピクチャヘッダ内でシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダ内にないことをシグナリングすることと、前記複数のシンタックス要素を用いて前記ビデオデータを符号化することと、を含む。
オプションで、前記符号化は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素を符号化スすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の符号化を許可することと、をさらに含む。
オプションで、前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報またはピクチャヘッダフラグ内の情報である。
オプションで、前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報の符号化は許可されない。
オプションで、前記方法は、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示す第2のシンタックス要素をパースすることをさらに含み、前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記ピクチャヘッダが前記スライスヘッダ内にないことを前記第2のシンタックス要素が示すことがビットストリーム適合性の要件である。
オプションで、前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む。
オプションで、前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む。
オプションで、前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む。
本発明の代替的な態様では、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用するシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用するシンタックス要素を含むスライスヘッダと、を含み、復号は、ピクチャヘッダまたはスライスヘッダにシグナリングできる情報がスライスヘッダにおいてシグナリングされている場合、スライスヘッダにはシグナリングされていないことに課すことと、シンタックス要素を用いてビットストリームを復号することと、を含む。
本発明の他の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、復号は、(a)ツール情報がスライスヘッダではなくピクチャヘッダにシグナリングされることを示すシンタックス要素と(b)スライスヘッダにシグナリングされることを示すシンタックス要素とを組み合わせて適用不可として扱うことと、シンタックス要素を用いてビットストリームを復号することと、を含む。復号は、組み合わせで適用不可として扱われるシンタックス要素(a)及び(b)が存在する場合には行われない。
本発明の関連する態様によれば、ビットストリームは、1つ以上のスライスに対応するビデオデータと、1つ以上のスライスを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含む。ビットストリームは、(a)ツール情報がスライスヘッダではなくピクチャヘッダでシグナリングされることを示すシンタックス要素と、(b)ピクチャヘッダがスライスヘッダでシグナリングされることを示すシンタックス要素と、を組み合わせてそこに存在してはならない、という制約を有している。ツール情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報及び適応ループフィルタ(ALF)情報のうちのいずれか1つであってよい。関連する態様では、ビットストリームを復号する方法が提供される。別の関連する態様では、ビットストリームを復号するように構成された復号器が提供される。ビットストリームは、ビデオ符号化規格に適合するように制約されてもよい。一実施形態において、ビデオ符号化規格は、多用途ビデオ符号化規格である。制約は、ビットストリーム全体に系統的に適用されてもよい。例えば、実施形態では、制約は、ビットストリーム内のシーケンス、ピクチャ及びスライスのいずれか又は全てに対して適用される。
本発明の他の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、復号は、(a)ツール情報がピクチャヘッダではなくスライスヘッダにシグナリングされていることを示すシンタックス要素と(b)ピクチャヘッダがスライスヘッダにシグナリングされていることを示すシンタックス要素とを組み合わせて適用不可として処理することと、シンタックス要素を用いてビットストリームを復号することと、を含む。復号は、組み合わせで適用不可として扱われるシンタックス要素(a)及び(b)が存在する場合には実行されない。
本発明の他の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、ピクチャヘッダは、スライスヘッダにおいてシグナリングされることになっており、スライスヘッダまたはピクチャヘッダのうちの一方のみにおいてシグナリングされ得る情報のパースが制約され、復号は、シンタックス要素(xxx_info_in_ph_flag)がピクチャヘッダにツール情報があることを示す場合(例えば、xxx_info_in_ph_flag=1の場合)には、スライスヘッダにシグナリングしない(例えば、picture_header_in_slice_header_flagを0に強制)ことを含む。
本発明の関連する態様によれば、ビットストリームは、1つ以上のスライスに対応するビデオデータと、1つ以上のスライスを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含む。ビットストリームは、(a)ツール情報がピクチャヘッダではなくスライスヘッダでシグナリングされることを示すシンタックス要素と、(b)ピクチャヘッダがスライスヘッダでシグナリングされることを示すシンタックス要素と、が組み合わせてそこに存在してはならないという制約を有している。
本発明の他の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、ピクチャヘッダは、スライスヘッダにおいてシグナリングされることになっており、スライスヘッダまたはピクチャヘッダのうちの一方のみにおいてシグナリングされ得る情報のパースが制約され、復号は、シンタックス要素(xxx_info_in_ph_flag)がピクチャヘッダにツール情報がないことを示す場合(例えば、xxx_info_in_ph_flag=0の場合)には、スライスヘッダにシグナリングしない(例えば、picture_header_in_slice_header_flagを0に強制)ことを含む。
本発明の第1の更なる態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、復号は、ピクチャヘッダがスライスヘッダにシグナリングされる場合、スライスヘッダまたはピクチャヘッダの一方のみで、スライスヘッダおよびピクチャヘッダにシグナリングされる可能性がある情報をパースすることを許可することと、シンタックス要素を用いてビットストリームを復号することと、を含む。
ピクチャヘッダがスライスヘッダ内にある場合、これは現在のピクチャに対して1つのスライスだけが存在することを意味する。したがって、スライスとピクチャの両方について情報を送信または送信可能にしても、パラメータが同じになるため、符号化器または復号器の柔軟性が向上しない。つまり、ピクチャヘッダに情報がある場合、スライスヘッダの対応する情報は冗長となる。同様に、スライスヘッダに情報がある場合、ピクチャヘッダ内の対応する情報は冗長となる。ピクチャヘッダがスライスヘッダにある場合には、ピクチャヘッダまたはスライスヘッダにある情報のみを許可することにより、シグナリングにおける冗長性を制限し、復号器の実装を簡素化することができる。従って、符号化効率を落とすことなく、シンタックス解析を簡略化することができる。
復号は、スライスヘッダにおいてピクチャヘッダをシグナリングするか否かを示す第1のシンタックス要素をパースすることと、第1のシンタックス要素に基づいてスライスヘッダまたはピクチャヘッダの一方のみにシグナリングされ得る情報のパースを許可することと、をさらに含んでもよい。第1のシンタックス要素は、スライスヘッダ中のピクチャヘッダフラグであってもよい。
オプションで、スライスヘッダ内の情報のパースは、第1のシンタックス要素が、スライスヘッダ内でピクチャヘッダがシグナリングされることを示す場合には、許可されない。情報がピクチャヘッダにあるか否かを示す第2のシンタックス要素が解析されてもよく、第1のシンタックス要素がピクチャヘッダがスライスヘッダにシグナリングされていることを示す場合に、第2のシンタックス要素が情報がピクチャヘッダにシグナリングされていることを示すことがビットストリーム適合性の要件とされる。
代替的に、第1のシンタックス要素が、ピクチャヘッダがスライスヘッダ内でシグナリングされることを示す場合には、ピクチャヘッダ内の情報のシグナリングは許可されない。この方法は、情報がピクチャヘッダ内にあるか否かを示す第2のシンタックス要素をパースすることをさらに含んでもよく、第1のシンタックス要素がピクチャヘッダがスライスヘッダ内でシグナリングされることを示す場合に、第2のシンタックス要素が情報がピクチャヘッダ内にあることを示すことがビットストリーム適合性の要件とされる。第2のシンタックス要素は、ピクチャパラメータ設定フラグであってもよく、フラグが設定された場合に情報がピクチャヘッダにあり、設定されていない場合に情報がスライスヘッダにあるか、存在しないかである。
実施形態によれば、情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報及びアダプティブループフィルタ(ALF)情報のうちの1つ以上を含むことができる。例えば、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報、及びアダプティブループフィルタ(ALF)情報の全てを含むことができる。
オプションで、この情報は、ピクチャヘッダ内とスライスヘッダ内でシグナリングされる可能性のあるすべての情報を含む。
参照ピクチャリスト情報は、以下のシンタックス要素slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxを1つ以上含むことができる。
スライスヘッダ内でピクチャヘッダをシグナリングする場合、パース可能な重み付け予測の重みの数を制限することができる。
本発明の第2の更なる態様によれば、ビデオデータをビットストリームに符号化する方法が提供され、ビデオデータが1つ以上のスライスに対応し、ビットストリームが、1つ以上のスライスを復号するときに使用されるシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるシンタックス要素を含むスライスヘッダと、を含み、符号化は、スライスヘッダ内でピクチャヘッダがシグナリングされる場合において、スライスヘッダおよびピクチャヘッダにおいてシグナリングされ得る情報を、スライスヘッダまたはピクチャヘッダのいずれか一方においてのみ符号化を許可することと、シンタックス要素を用いてビデオデータの符号化することと、を含む。
ピクチャヘッダがスライスヘッダ内にある場合、これは現在のピクチャに対して1つのスライスだけが存在することを意味する。したがって、スライスとピクチャの両方について情報を送信または送信可能にしても、パラメータが同じになるため、符号化器または復号器の柔軟性が向上しない。つまり、ピクチャヘッダに情報がある場合、スライスヘッダの対応する情報は冗長となる。同様に、スライスヘッダに情報がある場合、ピクチャヘッダ内の対応する情報は冗長となる。ピクチャヘッダがスライスヘッダにある場合に、ピクチャヘッダまたはスライスヘッダにある情報のみを許可することにより、シグナリングにおける冗長性を制限して、復号器の実装を簡素化することができる。したがって、符号化効率を損なうことなく符号化を簡略化し、シグナリングコストを削減することができる(関連情報がビットストリームに一度だけ含まれるため)。
符号化は、スライスヘッダ内でピクチャヘッダをシグナリングするか否かを示す第1のシンタックス要素を符号化し、第1のシンタックス要素に基づいてスライスヘッダまたはピクチャヘッダの一方のみにシグナリングされ得る情報の符号化を許可することを更に含んでもよい。
第1のシンタックス要素は、スライスヘッダフラグのピクチャヘッダであってもよい。
第1のシンタックス要素が、ピクチャヘッダがスライスヘッダ内でシグナリングされることを示す場合、スライスヘッダでの情報の符号化は許可されない場合がある。
情報がピクチャヘッダにあるか否かを示す第2のシンタックス要素を符号化してもよく、第1のシンタックス要素がスライスヘッダでピクチャヘッダをシグナリングすることを示す場合に、第2のシンタックス要素が情報がピクチャヘッダにあることを示すことがビットストリーム適合性の要件とされる。
代替的に、第1のシンタックス要素がスライスヘッダ内でピクチャヘッダがシグナリングされることを示す場合には、ピクチャヘッダの情報のシグナリングは許可されない。
情報がピクチャヘッダにあるか否かを示す第2のシンタックス要素を符号化してもよく、第1のシンタックス要素がスライスヘッダ内でピクチャヘッダをシグナリングすることを示す場合に、第2のシンタックス要素が情報がピクチャヘッダ内にあることを示すことがビットストリームコンフォーマンスの要件とされる。
第2のシンタックス要素は、ピクチャパラメータセットフラグまたはピクチャヘッダフラグの情報であってよく、フラグがセットされているときはピクチャヘッダ内で情報がシグナリングされ、セットされていないときはスライスヘッダ内で情報がシグナリングされるか、または存在しないかである。
情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報、アダプティブループフィルタ(ALF)情報のうちの1つ以上を含んでもよい。任意選択で、情報は、ピクチャヘッダおよびスライスヘッダにおいてシグナリングされ得るすべての情報を含む。例えば、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報、及びアダプティブループフィルタ(ALF)情報の全てである。
参照画像リスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含んでいる。
オプションで、ピクチャヘッダがスライスヘッダでシグナリングされる場合、重み付き予測のための重みの数は制限されてもよい。
本発明の第3の更なる態様によれば、1つ以上のスライスに対応するビデオデータを含むビットストリームを復号する方法が提供され、ビットストリームは、1つ以上のスライスを復号するときに使用されるべきシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用されるべきシンタックス要素を含むスライスヘッダと、を含み、方法は、スライスヘッダにおいて、ピクチャヘッダがスライスヘッダ内でシグナリングされているかどうかを示すシンタックス要素をパースすることであって、ALFのAPS_ID関連シンタックス要素は、ピクチャヘッダがスライスヘッダにおいてシグナリングされているかどうかを示すシンタックス要素よりも前にパースされる。ALFのAPS_ID関連情報は、スライスヘッダの近傍または冒頭でパースされてもよい。
本発明の第4の更なる態様によれば、1つ以上のスライスを含むビデオデータをビットストリームに符号化する方法が提供され、ビットストリームは、1つ以上のスライスを復号するときに使用するシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用するシンタックス要素を含むスライスヘッダと、を含み、方法は、スライスヘッダにおいて、ピクチャヘッダがスライスヘッダにシグナリングされているかを示すシンタックス要素をパースすることを含み、ここで、ALFのAPS_ID関連シンタックス要素は、ピクチャヘッダがスライスヘッダ内でシグナリングされているかどうかを示すシンタックス要素より先に符号化される。ALFのAPS_ID関連情報は、スライスヘッダの近傍または冒頭に符号化されてもよい。
本発明の第5の更なる態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用するシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用するシンタックス要素を含むスライスヘッダと、を含み、復号は、スライスヘッダにシグナリングされるべき場合、重み予測モードについてシグナリングするウェイト数を制限することと、シンタックス要素を用いてビットストリームを復号することと、を含む。スライスヘッダ内でピクチャヘッダをシグナリングする場合、スライスヘッダ内とピクチャヘッダ内でシグナリングされ得る情報のパースは、スライスヘッダまたはピクチャヘッダのいずれか一方でのみ許可され得る。
本発明の第6の更なる態様によれば、ビットストリームからビデオデータを符号化する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用するシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用するシンタックス要素を含むスライスヘッダと、を含み、符号化は、スライスヘッダにシグナリングする場合、重み付き予測モードに対して符号化する重みの数を制限することと、シンタックス要素を用いてビットストリームを符号化することと、を含む、スライスヘッダ内でピクチャヘッダをシグナリングする場合、スライスヘッダ内とピクチャヘッダ内でシグナリングされ得る情報の符号化を、スライスヘッダまたはピクチャヘッダのいずれか一方でのみ許可するようにしてもよい。
本発明の第7の更なる態様によれば、ビットストリームからビデオデータを復号するための復号器が提供され、復号器は、第1、第3または第5のいずれかの更なる態様の方法を実行するように構成される。
本発明の第8の更なる態様によれば、ビデオデータをビットストリームに符号化するための符号化器が提供され、符号化器は、第2、第4または第6のいずれかの更なる態様の方法を実行するように構成される。
本発明の第9の更なる態様によれば、実行により、第1から第6の更なる態様のいずれかに記載の方法を実行させるコンピュータプログラムが提供される。プログラムは、それ自体で提供されてもよいし、キャリア媒体上で、キャリア媒体によって、またはキャリア媒体中で搬送され得る。キャリア媒体は、非一時的のもの、例えば記憶媒体、特にコンピュータ読み取り可能な記憶媒体であってもよい。搬送媒体はまた、例えば信号または他の伝送媒体のような一時的のものであってもよい。信号は、インターネットを含む任意の適切なネットワークを介して送信されてもよい。本発明の更なる特徴は、独立請求項及び従属請求項によって特徴付けられる。
本発明の第1の更なる他の態様によれば、ビットストリームからビデオデータを復号する方法が提供され、ビットストリームは、1つ以上のスライスに対応するビデオデータを含み、ビットストリームは、1つ以上のスライスを復号するときに使用するシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用するシンタックス要素を含むスライスヘッダと、を含む。ビットストリームが、ピクチャヘッダまたはスライスヘッダにおいてシグナリングできる情報がピクチャヘッダにおいてシグナリングされることを示す値を有する第1のシンタックス要素を含む場合に、ビットストリームが、スライスヘッダにないことを示す値を有する第2のシンタックス要素も含むように制約し、方法は、シンタックス要素を用いてビットストリームを復号化することを含む。ビットストリームは、ビデオ符号化規格に適合するように制約されてもよい。実施形態において、ビデオコーディング規格は、多用途ビデオ符号化規格である。第2のシンタックス要素は、スライスヘッダシンタックス要素におけるピクチャヘッダであってもよい。第1のシンタックス要素は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプル適応オフセット(SAO)情報、重み付け予測情報及びアダプティブループフィルタ(ALF)情報のうちの1つ以上のピクチャヘッダ内の符号化を示すフラグであってよい。ビットストリーム制約は、系統的に適用されてもよい。例えば、実施形態では、制約は、ビットストリーム内のシーケンス、ピクチャ及びスライスのいずれか又は全てに対して適用される。
本発明の第2の更なる他の態様によれば、ビデオデータをビットストリームにまたはビットストリームから符号化または復号するための方法が提供され、方法は、ピクチャヘッダまたはスライスヘッダにおいてシグナリングされ得る情報がピクチャヘッダにおいてシグナリングされるかどうかに基づいて、スライスヘッダにおいてピクチャヘッダが許可されているかどうかに関連する制約を適用することを含む。本発明の第3の更なる他の態様によれば、第2の更なる他の態様の方法を実行するように構成された装置が提供される。本発明の第4の更なる他の態様によれば、実行されることにより第2の更なる他の態様の方法を実行させる命令を含むコンピュータプログラムが提供される。
本発明の一態様における任意の特徴は、任意の適切な組み合わせで、本発明の他の態様に適用され得る。特に、方法の態様は、装置の態様に適用されてもよく、その逆もまた然りである。
さらに、ハードウェアで実施された特徴は、ソフトウェアで実施されてもよく、その逆もまた然りである。本明細書では、ソフトウェアおよびハードウェアの特徴についての言及は、それに応じて解釈される。
本明細書に記載されるような任意の装置特徴はまた、方法特徴として提供されてもよく、その逆もまた同様である。本明細書で使用されるように、手段プラス機能の特徴は、適切にプログラムされたプロセッサ及び関連するメモリのようなそれらの対応する構造の観点から代替的に表現され得る。
また、本発明の任意の態様で説明および定義される様々な特徴の特定の組み合わせは、独立して実施および/または供給および/または使用できることを理解されたい。
次に、例として、添付の図面を参照する。
HEVCおよびVVCで使用される符号化構造の説明に用いる図である。 本発明の1つ以上の実施形態が実施され得るデータ通信システムを模式的に示すブロック図である。 本発明の1つ以上の実施形態が実施され得る処理装置の構成要素を示すブロック図である。 本発明の実施形態に係る符号化方法のステップを示すフローチャートである。 本発明の実施形態に係る復号方法のステップを示すフローチャートである。 例示的な符号化方式VVCにおけるビットストリームの構造を示す図である。 例示的な符号化方式VVCにおけるビットストリームの別の構造を示す図である。 ルマモデリングクロマスケーリング(LMCS)を説明する図である。 LMCSのサブツールを示す図である。 本発明の実施形態に係る符号化器又は復号器と通信ネットワークとを含むシステムを示す図である。 本発明の1つ以上の実施形態の実施のためのコンピューティングデバイスの概略ブロック図である。 ネットワークカメラシステムを説明するための図である。 スマートフォンを説明するための図である。
図1は、高効率ビデオ符号化(HEVC)ビデオ規格で使用される符号化構造に関するものである。ビデオシーケンス1は、連続するデジタル画像iで構成され、そのような各デジタル画像は、1つ以上の行列によって表される。行列の係数は、画素を表す。
シーケンスの画像2は、複数のスライス3に分割され得る。スライスは、場合によっては、画像全体を構成することがある。これらのスライスは、オーバラップしない複数の符号化ツリーユニット(CTU)に分割される。符号化ツリーユニット(CTU)は、高効率ビデオ符号化(HEVC)ビデオ規格の基本処理単位であり、概念的には、いくつかの以前のビデオ規格で使用されていたマクロブロックユニットに構造上対応する。CTUは最大符号化ユニット(LCU)とも呼ばれることがある。CTUは、ルマとクロマのコンポーネント部分を持ち、コンポーネント部分のそれぞれは符号化ツリーブロック(CTB)と呼ばれる。これらの異なる色コンポーネントは、図1では示されていない。
CTUは一般に64画素×64画素の大きさである。各CTUは、四分木(クワッドツリー)分解を使用して、より小さな可変サイズの複数の符号化ユニット(CU)5に反復的に分割され得る。
符号化ユニットは基本的な符号化要素であり、予測ユニット(PU)と変換ユニット(TU)と呼ばれる2種類のサブユニットで構成される。PUやTUの最大サイズはCUのサイズと等しい。予測ユニットは、画素値を予測するためのCUの分割に相当する。CUをPUに分割する場合、606で示したように、4つの正方形PUに分割する方法や、2つの長方形PUに分割する方法など、さまざまな分割が可能である。変換ユニットは、DCTを使用して空間変換を受ける基本ユニットである。CUは、四分木表現607に基づいて複数のTUに分割され得る。
各スライスは1つのネットワーク抽象化レイヤ(NAL)ユニットに埋め込まれている。さらに、ビデオシーケンスの符号化パラメータは、パラメータセットと呼ばれる専用のNALユニットに格納される。HEVCとH.264/AVCでは、2種類のパラメータセットNALユニットが採用される:まず、シーケンスパラメータセット(SPS)NALユニットは、ビデオシーケンス全体で変更されないすべてのパラメータを収集するものである。典型的には、符号化プロファイル、複数のビデオフレームのサイズ、他の複数のパラメータを扱う。次に、ピクチャパラメータセット(PPS)NALユニットには、シーケンスのある画像(またはフレーム)から別の画像へと変化する可能性がある複数のパラメータが含まれる。HEVCはまた、ビットストリームの全体的な構造を記述する複数のパラメータを含むビデオパラメータセット(VPS)NALユニットを含む。VPSは、HEVCで定義された新しいタイプのパラメータセットであり、ビットストリームのすべてのレイヤに適用される。1つのレイヤには複数のサブレイヤが含まれる場合があり、バージョン1のビットストリームはすべて1つのレイヤに制限されている。HEVCはスケーラビリティとマルチビューのために特定のレイヤ拡張を持ち、これらは下位互換性のあるバージョン1の基本レイヤで、複数のレイヤを可能にする。
図2は、本発明の1つ以上の実施形態が実施され得るデータ通信システムを示す図である。データ通信システムは、データ通信ネットワーク200を介して、データストリームのデータパケットを受信装置(この場合はクライアント端末202)に送信するように動作可能な送信装置(この場合はサーバ201)から構成される。データ通信ネットワーク200は、ワイドエリアネットワーク(WAN)またはローカルエリアネットワーク(LAN)であってよい。このようなネットワークは、例えば、無線ネットワーク(Wifi/802.11aまたはbまたはg)、イーサネットネットワーク、インターネットネットワーク、または複数の異なるネットワークを含む混合ネットワークであってよい。本発明の特定の実施形態では、データ通信システムは、サーバ201が複数のクライアントに同じデータコンテンツを送信するデジタルテレビ放送システムであってもよい。
サーバ201から提供されるデータストリーム204は、ビデオデータおよびオーディオデータを表すマルチメディアデータで構成されてもよい。オーディオ及びビデオデータストリームは、本発明のいくつかの実施形態において、マイクロフォン及びカメラをそれぞれ使用してサーバ201によって取得されてもよい。いくつかの実施形態では、データストリームは、サーバ201に格納されてもよいし、サーバ201が他のデータプロバイダから受信してもよいし、サーバ201で生成してもよい。サーバ201は、特にビデオ及びオーディオストリームを符号化するための符号化器を備え、符号化器への入力として提示されたデータのよりコンパクトな表現である送信用の圧縮されたビットストリームを提供するためのものである。
送信データの量に対する送信データの質のより良い比率を得るために、ビデオデータの圧縮は、例えば、HEVC形式またはH.264/AVC形式に従って行うことができる。
クライアント202は、送信されたビットストリームを受信し、再構成されたビットストリームを復号して、ディスプレイ装置でビデオ画像を再生し、ラウドスピーカーでオーディオデータを再生する。
図2の例ではストリーミングシナリオが考慮されているが、本発明のいくつかの実施形態では、符号化器と復号器の間のデータ通信は、例えば光ディスクなどのメディア記憶装置を用いて実行されてもよいことが理解されよう。
本発明の1つ以上の実施形態では、ビデオ画像は、最終画像内のフィルタリングされた複数の画素を提供するために画像の再構成された複数の画素に適用する補償オフセットの代表的なデータとともに送信される。
図3は、本発明の少なくとも1つの実施形態を実施するように構成された処理装置300を模式的に示している。処理装置300は、マイクロコンピュータ、ワークステーション、または軽量の携帯機器などの装置であってよい。装置300は、
-マイクロプロセッサなどの中央処理装置311(CPUと表記);
-本発明を実施するためのコンピュータプログラムを格納するための読み出し専用メモリ306(ROMと表記);
-本発明の実施形態の方法の実行可能コード、ならびに本発明の実施形態によるデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号する方法を実施するために必要な変数およびパラメータを記録するために適合されたレジスタを記憶するためのランダムアクセスメモリ312(RAMと表記);および
-処理されるデジタルデータが送受信される通信ネットワーク303に接続される通信インタフェース302
に接続された通信バス313を含む。
オプションで、装置300は、以下の構成要素を含み得る:
-本発明の1つ以上の実施形態の方法を実施するためのコンピュータプログラム、および本発明の1つ以上の実施形態の実施中に使用または生成されるデータを格納するための、データ格納手段304(ハードディスク);
-ディスク306のためのディスクドライブ305であって、ディスクドライブは、ディスク306からデータを読み取るか、またはディスクにデータを書き込むように適合されている;
-キーボード310または他の任意のポインティング手段によって、データを表示するため、および/またはユーザとのグラフィカルインタフェースとして機能するためのスクリーン309。
装置300は、例えばデジタルカメラ320やマイクロフォン308などの様々な周辺機器に接続することができ、それぞれは装置300にマルチメディアデータを供給するように入出力カード(図示せず)に接続される。
通信バスは、装置300に含まれる又はそれに接続される様々な要素間の通信及び相互運用性を提供する。バスの表現は限定的ではなく、特に中央処理装置は、装置300の任意の要素に直接又は装置300の別の要素によって命令を伝達するように動作可能である。
ディスク306は、例えば、書き換え可能か否かを問わずコンパクトディスク(CD-ROM)、ZIPディスク、メモリカードなどの任意の情報媒体で置き換えることができ、一般的には、マイクロコンピュータまたはマイクロプロセッサによって読み取り可能な情報記憶手段で、装置に組み込まれているか否かを問わず、取り外し可能で、その実行により本発明によるデジタル画像のシーケンスを符号化する方法および/またはビットストリームを復号する方法を実施することができる1以上のプログラムの格納に適合されている可能性があるものであれば、どのような媒体でもよい。
実行可能コードは、前述したように、読み取り専用メモリ306、ハードディスク304上、または例えばディスク306のような取り外し可能なデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行される前に装置300の記憶手段の1つ、例えばハードディスク304に記憶されるように、インタフェース302を介して、通信ネットワーク303の手段によって受信されることが可能である。
中央処理装置311は、本発明によるプログラムまたはプログラムのソフトウェアコードの命令または部分、前述の記憶手段の1つに格納されている命令の実行を制御および指示するように適合されている。電源投入時に、例えばハードディスク304上または読み取り専用メモリ306内の不揮発性メモリに格納されているプログラムまたは複数のプログラムは、ランダムアクセスメモリ312に転送され、その後、プログラムまたはプログラムの実行可能コード、および本発明を実施するために必要な変数およびパラメータを格納するためのレジスタが格納される。
この実施形態では、装置は、本発明を実施するためにソフトウェアを使用するプログラマブルな装置である。しかしながら、代替的に、本発明は、ハードウェア(例えば、特定用途向け集積回路すなわちASICの形態)において実施され得る。
図4は、本発明の少なくとも1つの実施形態による符号化器のブロック図である。符号化器は、接続された複数のモジュールによって表され、各モジュールは、例えば、装置300のCPU311によって実行されるプログラミング命令の形態で、本発明の1つ以上の実施形態による画像のシーケンスの画像を符号化する少なくとも1つの実施形態を実施する方法の少なくとも1つの対応するステップを実施するように適合される。
複数のデジタル画像(i0~in)401のオリジナルシーケンスは、符号化器400によって入力として受け取られる。各デジタル画像は、画素として知られるサンプルの集合によって表される。
符号化処理の実施後、符号化器400によってビットストリーム410が出力される。ビットストリーム410は、複数の符号化ユニットまたはスライスを含み、各スライスは、スライスの符号化に使用される符号化パラメータの符号化値を送信するためのスライスヘッダと、符号化されたビデオデータを含むスライスボディと、を含む。
入力されたデジタル画像(i0~in)401は、モジュール402によって画素のブロックに分割される。ブロックは画像部分に対応し、可変サイズ(例えば、4x4、8x8、16x16、32x32、64x64、128x128画素およびいくつかの矩形ブロックサイズも考慮できる)であってもよい。符号化モードは、各入力ブロックごとに選択される。空間予測に基づく符号化モード(イントラ予測)と時間予測に基づく符号化(インター符号化,マージ,SKIP)の2つのファミリの符号化モードがある。可能な符号化モードがテストされる。
モジュール403は、イントラ予測プロセスを実行し、符号化される所定のブロックは、符号化されるブロックの近傍の複数の画素から計算される予測器によって予測される。選択されたイントラ予測器の表示と与えられたブロックとその予測器との間の差は、イントラ符号化が選択された場合、残差を提供するために符号化される。
時間予測は、動き推定モジュール404及び動き補償モジュール405によって実施される。まず、一組の参照画像416の中から1つの参照画像が選択され、参照画像の一部(参照領域または画像部分とも呼ばれ、符号化されるべき所定のブロックに最も近い領域である)が、動き推定モジュール404により選択される。そして、動き補償モジュール405は、選択された領域を用いて、符号化されるブロックを予測する。選択された参照領域と与えられたブロックとの間の差は残差ブロックとも呼ばれ、動き補償モジュール405によって計算される。選択された参照領域は、動きベクトルによって示される。
このように、両方(場合空間予測と時間予測)の場合において、オリジナルのブロックから予測値を差し引くことで残差が計算される。
モジュール403によって実施されるイントラ予測では、予測方向が符号化される。時間予測では、少なくとも1つの動きベクトルが符号化される。モジュール404、405、416、418、417によって実施されるインター予測では、少なくとも1つの動きベクトルまたはそのような動きベクトルを識別するためのデータが、時間予測に対して符号化される。
インター予測を選択した場合は、動きベクトルと残差ブロックの相対的な情報が符号化される。さらにビットレートを減らすために、動きが均質であると仮定して、動きベクトルは、動きベクトル予測器に関する差分によって符号化される。動きベクトル予測および符号化モジュール417によって、動き情報予測器のセットの動きベクトル予測器が動きベクトルフィールド418から取得される。
符号化器400は、さらに、レート-歪み基準などの符号化コスト基準を適用して符号化モードを選択するための選択モジュール406を備える。さらに冗長性を減らすために、変換モジュール407によって変換(DCTなど)が残差ブロックに適用され、得られた変換データは、次に量子化モジュール408によって量子化され、エントロピー符号化モジュール409によってエントロピー符号化される。最後に、符号化されている現在のブロックの符号化された残差ブロックがビットストリーム410に挿入される。
また、符号化器400は、後続の画像の動き推定のための参照画像を生成するために、符号化された画像の復号を実行する。これにより、ビットストリームを受信する符号化器と復号器は、同じ参照フレームを持つことができる。逆量子化モジュール411は、量子化されたデータの逆量子化を行い、その後、逆変換モジュール412による逆変換を行う。逆イントラ予測モジュール413は、予測情報を用いて、所定のブロックに使用する予測器を決定し、逆動き補償モジュール414は、モジュール412によって得られた残差を、参照画像セット416から得られた参照領域に実際に加算する。
その後、モジュール415によってポストフィルタリングが適用され、再構成された画素のフレームをフィルタリングする。本発明の実施形態では、SAOループフィルタが使用され、補償オフセットが、再構成された画像の再構成された画素の画素値に加算される
図5は、本発明の実施形態による符号化器からデータを受信するために使用され得る復号器60のブロック図である。復号器は、接続された複数のモジュールによって表され、各モジュールは、例えば、装置300のCPU311によって実行されるプログラミング命令の形態で、復号器60によって実施される方法の対応するステップを実施するように適合されている。
復号器60は、それぞれが、符号化パラメータの情報を含むヘッダと、符号化されたビデオデータを含むボディと、を含む複数の符号化ユニットを含むビットストリーム61を受信する。VVCにおけるビットストリームの構造は、図6を参照して以下に詳細に説明する。図4に関して説明したように、符号化ビデオデータはエントロピー符号化されており、動きベクトル予測器のインデックスは、所定のブロックについて、所定のビット数で符号化されている。受信された符号化ビデオデータは、モジュール62によってエントロピー復号される。そして、モジュール63によって残留データが逆量子化され、その後、モジュール64によって逆変換が施され、画素値が取得される。
また、符号化モードを示すモードデータをエントロピー復号し、そのモードに基づいて、符号化された画像データブロックに対してイントラタイプ復号またはインタータイプ復号を行う。
イントラモードの場合、ビットストリームで指定されたイントラ予測モードに基づいて、イントラ逆予測モジュール65によりイントラ予測器が決定される。
インターモードの場合、符号化器が使用する参照領域を見つけるために、ビットストリームから動き予測情報を抽出する。動き予測情報は、参照フレームインデックスと動きベクトル残差から構成される。動きベクトル予測情報は、動きベクトル復号モジュール70によって動きベクトルを得るために、動きベクトル残差に加えられる。
動きベクトル復号モジュール70は、動き予測によって符号化された各現在のブロックに対して、動きベクトル復号を適用する。現在のブロックに対する動きベクトル予測器のインデックスが得られると、現在のブロックに関連する動きベクトルの実際の値が復号され、モジュール66によって逆動き補償を適用するために使用されることが可能である。復号された動きベクトルによって示される参照画像部分は、逆動き補償66を適用するために、参照画像68から抽出される。動きベクトルフィールドデータ71は、後続の復号された動きベクトルの逆予測に使用するために、復号された動きベクトルで更新される。
最後に、復号されたブロックが得られる。ポストフィルタリングは、ポストフィルタリングモジュール67によって適用される。復号器60によって、最終的に復号されたビデオ信号69が提供される。
図6は、JVET-Q2001-vDに記載された例示的な符号化システムVVCにおけるビットストリームの構成を示す図である。
VVC符号化方式によるビットストリーム61は、シンタックス要素と符号化データの順序シーケンスで構成される。シンタックス要素と符号化データは、ネットワーク抽象化レイヤ(NAL)ユニット601~608に配置される。NALユニットには様々なタイプがある。ネットワーク抽象化レイヤは、RTP/IP(リアルタイムプロトコル/インターネットプロトコル)、ISOベースメディアファイルフォーマットなどの異なるプロトコルにビットストリームをカプセル化する能力を提供する。また、ネットワーク抽象化レイヤは、パケットロスの回復のためのフレームワークを提供する。
NALユニットは、ビデオ符号化レイヤ(VCL)NALユニットと非VCL_NALユニットに分けられる。VCL_NALユニットには、実際に符号化されたビデオデータが含まれる。非VCL_NALユニットには、付加的な情報が含まれる。この追加情報は、符号化されたビデオデータの復号に必要なパラメータ、または復号されたビデオデータの使い勝手を向上させる可能性のある補足的なデータであってもよい。NALユニット606は、スライスに対応し、ビットストリームのVCL_NALユニットを構成する。
異なるNALユニット601~605は、異なるパラメータセットに対応し、これらのNALユニットは非VCL_NALユニットである。復号器パラメータセット(DPS)NALユニット301は、所定の復号プロセスに対して一定であるパラメータを含む。ビデオパラメータセット(VPS)NALユニット602は、ビデオ全体、ひいてはビットストリーム全体に対して定義されたパラメータを含む。DPS_NALユニットは、VPSのパラメータよりも静的なパラメータを定義してもよい。すなわち、DPSのパラメータは、VPSのパラメータよりも変更頻度が低い。
シーケンスパラメータセット(SPS)NALユニット603は、ビデオシーケンスに対して定義されたパラメータを含む。特に、SPS_NALユニットは、ビデオシーケンスのサブピクチャレイアウト及び関連するパラメータを定義することができる。各サブピクチャに関連するパラメータは、サブピクチャに適用される符号化制約を指定する。特に、サブピクチャ間の時間予測が、同じサブピクチャから来るデータに制限されることを示すフラグを含む。別のフラグは、サブピクチャの境界を越えてループフィルタを有効または無効にすることができる。
ピクチャパラメータセット(PPS)NALユニット604、PPSは、ピクチャまたはピクチャのグループに対して定義されたパラメータを含む。アダプテーションパラメータセット(APS)NALユニット605は、典型的にはアダプテーションループフィルタ(ALF)またはリシェーパモデル(またはクロマスケーリング付きルママッピング(LMCS)モデル)またはスライスレベルで使用されるスケーリングマトリックスに対するパラメータを含んでいる。
VVCの現行バージョンで提案されているPPSのシンタックスは、ルマサンプルでピクチャのサイズを指定し、さらに各ピクチャのタイルとスライスに分割するシンタックス要素で構成されている。
PPSは、フレーム内のスライス位置を決定するためのシンタックス要素を含む。サブピクチャはフレーム内で矩形領域を形成するため、パラメータセットNALユニットでサブピクチャに属するスライスの集合、タイルの部分、タイルを決定することが可能である。PPSはAPSと同様にID機構を持ち、同じPPSの送信量を制限している。
PPSとピクチャヘッダの主な違いはその伝送で、PPSは一般的にピクチャのグループに対して伝送されるのに対し、PHは各ピクチャに対してシステマティックに伝送される。従って、PPSはPHに比べ、複数のピクチャで一定となるパラメータを含んでいる。
また、ビットストリームには、補足拡張情報(SEI)NALユニット(図6には表されていない)が含まれる場合がある。これらのパラメータセットのビットストリームにおける出現の周期は可変である。ビットストリーム全体に対して定義されるVPSは、ビットストリーム中に一度だけ出現する可能性がある。逆に、スライスに対して定義されるAPSは、各ピクチャの各スライスに対して一度だけ発生する可能性がある。実際には、異なるスライスが同じAPSに依存することがあり、したがって、一般に、各ピクチャにおけるスライスよりも少ないAPSが存在する。特に、APSはピクチャヘッダで定義される。しかし、ALFのAPSは、スライスヘッダで洗練されることができる。
アクセスユニットデリミタ(AUD)NALユニット607は、2つのアクセスユニットを分離する。アクセスユニットは、同じ復号タイムスタンプを持つ1つ以上の符号化ピクチャを構成することができるNALユニットのセットである。このオプションのNALユニットは、現在のVVC仕様において1つのシンタックス要素:pic_typeのみを含み、このシンタックス要素は、AU内の符号化ピクチャの全てのスライスに対するslice_typeの値を示す。pic_typeが0である場合、AUはイントラスライスのみを含む。1である場合、PとIのスライスが含まれる。2の場合、B,P,イントラのいずれかのスライスを含む。このNALユニットは、pic-typeという1つのシンタックス要素のみを含む。
Figure 0007475455000001
JVET-Q2001-vDでは、pic_typeは次のように定義されている:
「pic_typeは、AUデリミタNALユニットを含むAU内の符号化ピクチャの全スライスのslice_type値が、表2のpic_typeの値で示される集合のメンバであることを示す。pic_typeの値は、本規格の本バージョンに準拠したビットストリームにおいて、0、1、または2でなければならない。pic_typeの他の値は、ITU-TやISO/IECが将来使用するために予約されている。本仕様に準拠する復号器は、pic_typeの予約値を無視するものとする。」
rbsp_trailing_bits()は、バイトの末尾に整列させるためにビットを追加する関数である。したがって、この関数を実行すると、パースされるビットストリームの量は整数バイトになる。
Figure 0007475455000002
PH_NALユニット608は、1つの符号化ピクチャのスライス集合に共通するパラメータをグループ化するピクチャヘッダNALユニットである。ピクチャは、ピクチャのスライスによって使用されるAFLパラメータ、リシェーパモデル及びスケーリングマトリクスを示すために、1つ以上のAPSを参照することができる。
VCL_NALユニット606の各々は、スライスを含む。スライスは、ピクチャ全体またはサブピクチャ、単一のタイルまたは複数のタイルまたはタイルの一部分に対応してもよい。例えば、図3のスライスは、複数のタイル620を含む。スライスは、スライスヘッダ610と、符号化ブロック640として符号化された符号化画素データを含むローバイトシーケンスペイロード(RBSP)611と、で構成される。
VVCの現行バージョンで提案されているPPSのシンタックスは、ルマサンプルでピクチャのサイズを指定し、さらに各ピクチャのタイルとスライスに分割するシンタックス要素で構成されている。
PPSは、フレーム内のスライス位置を決定するためのシンタックス要素を含む。サブピクチャはフレーム内の矩形領域を形成するため、パラメータセットNALユニットでスライスの集合、タイルの部分、またはサブピクチャに属するタイルを決定することが可能である。
NALユニットスライス
NALユニットスライス層は、表3に示すように、スライスヘッダとスライスデータを含む。
Figure 0007475455000003
APS
アダプテーションパラメータセット(APS)NALユニット605は、シンタックス要素を示す表4で定義されている。
表4に示すように、aps_params_typeシンタックス要素で与えられるAPSの種類は3つある:
・ALF_AP:ALFパラメータ用
・LMCS_APS:LMCSパラメータ用
・SCALING_APS:スケーリングリスト相対パラメータ用
Figure 0007475455000004
これら3種類のAPSパラメータについて、以下に順を追って説明する。
ALFのAPS
ALFのパラメータは、アダプティブループフィルタのデータシンタックス要素に記述される(表5)。まず、4つのフラグにより、ルマおよびクロマのALFフィルタの有無、CbおよびCr成分のCC-ALF(クロスコンポーネント-アダプティブループフィルタ)の有無が指定される。ルマフィルタフラグが有効な場合、クリップ値がシグナリングされているかどうかを知るために、別のフラグが復号される(alf_luma_clip_flag)。次に、alf_luma_num_filters_signalled_minus1シンタックス要素を使用して、シグナリングされたフィルタの数が復号される。必要であれば、ALF係数デルタを表すシンタックス要素”alf_luma_coeff_delta_idx”は、各有効なフィルタに対して復号される。その後、各フィルタの各係数の絶対値と符号が復号される。
alf_luma_clip_flagが有効な場合、有効な各フィルタの各係数のクリップインデックスが復号される。
同様に、ALFのクロマ係数は必要に応じて復号される。
CC-ALFがCrまたはCbに対して有効な場合、フィルタの数は復号され(alf_cc_cb_filters_signalled_minus1またはalf_cc_cr_filters_signalled_minus1)、関連する係数が復号される(alf_cc_cb_mapped_coeff_absおよびalf_cc_cb_coeff_signまたはそれぞれalf_cc_cr_mapped_coeff_absおよびalf_cc_cr_coeff_sign)。
Figure 0007475455000005
Figure 0007475455000006
ルママッピングとクロマスケーリング両方のLMCSシンタックス要素
以下の表6は、aps_params_typeパラメータが1に設定されるとき(LMCS_APS)、アダプテーションパラメータセット(APS)シンタックス構造で符号化されるすべてのLMCSシンタックス要素を与える。最大4つのLMCS_APSは、符号化されたビデオシーケンスにおいて使用することができるが、与えられたピクチャに対して単一のLMCS_APSのみを使用することができる。
これらのパラメータは、ルマの順方向および逆方向マッピング関数、クロマのスケーリング関数を構築するために使用される。
Figure 0007475455000007
スケーリングリストAPS
スケーリングリストは、定量化に使用される量子化マトリックスを更新する可能性を提供する。VVCでは、このスケーリングマトリックスは、スケーリングリストデータシンタックス要素(表7のスケーリングリストデータシンタックス)で説明されているように、APSでシグナリングされる。最初のシンタックス要素は、フラグscaling_matrix_for_lfnst_disabled_flagに基づいて、LFNST(低周波非分離変換)ツールにスケーリングマトリックスが使用されるかどうかを指定する。2つ目は、クロマコンポーネントのためにスケーリングリストが使用される場合に指定される(scaling_list_chroma_present_flag)。それから、スケーリングマトリックスを構築するために必要なシンタックス要素が復号される(scaling_list_copy_mode_flag,scaling_list_pred_mode_flag,scaling_list_pred_id_delta,scaling_list_dc_coef,scaling_list_delta_coef)。
Figure 0007475455000008
ピクチャヘッダ
ピクチャヘッダは各ピクチャの先頭で他のスライスデータより先に伝送される。これは、以前の標準草案におけるヘッダと比較して非常に大きなものである。これらすべてのパラメータの完全な説明は、JVET-Q2001-vDに記載されている。表9は、現在のピクチャヘッダ復号シンタックスにおけるこれらのパラメータを示す。
復号可能な関連するシンタックス要素は以下の通りである:
・このピクチャの使い方、参照フレームか否か
・ピクチャのタイプ
・出力フレーム
・ピクチャの番号
・サブピクチャ利用(必要な場合)
・参照画像リスト(必要な場合)
・カラープレーン(必要な場合)
・上書きフラグが有効な場合のパーティション更新
・デルタQPパラメータ(必要な場合)
・動き情報パラメータ(必要な場合)
・ALFパラメータ(必要な場合)
・SAOパラメータ(必要な場合)
・定量化パラメータ(必要な場合)
・LMCSパラメータ(必要な場合)
・スケーリングリストパラメータ(必要な場合)
・ピクチャヘッダ拡張(必要な場合)
・などなど...。
ピクチャ”タイプ”
最初のフラグはgdr_or_irap_pic_flagで、現在のピクチャが再同期ピクチャ(IRAPまたはGDR)であるかどうかを示すものである。このフラグが真の場合、gdr_pic_flagは、現在のピクチャがIRAPまたはGDRピクチャであるかどうかを知るために復号される。
その後、ph_inter_slice_allowed_flagが復号され、インタースライスが許可されていることを識別する。
許可された場合、フラグph_intra_slice_allowed_flagが復号され、現在のピクチャでイントラスライスが許可されているかどうかを知ることができる。
次に、non_reference_picture_flag、PPS_IDを示すph_pic_parameter_set_id、ピクチャオーダーカウントph_pic_order_cnt_lsbが復号される。ピクチャオーダーカウントは、現在のピクチャの番号を示す。
ピクチャがGDRまたはIRAPピクチャの場合、フラグno_output_of_prior_pics_flagを復号する。また、ピクチャがGDRの場合、recovery_poc_cntが復号される。そして、必要に応じてph_poc_msb_present_flagとpoc_msb_valが復号される。
ALF
現在のピクチャに関する重要な情報を記述するこれらのパラメータの後、ALFがSPSレベルで有効である場合、およびALFがピクチャヘッダレベルで有効である場合、ALFのAPS_IDシンタックス要素の集合が復号される。ALFは、sps_alf_enabled_flagフラグにより、SPSレベルで有効である。また、ALFシグナリングは、alf_info_in_ph_flagが1であるためピクチャヘッダレベルで有効であり、それ以外の場合(alf_info_in_ph_flagが0)はALFシグナリングはスライスレベルでシグナリングされる。
alf_info_in_ph_flagは以下のように定義される:
「1であるalf_info_in_ph_flagは、ALF情報がPHシンタックス構造に存在し、PHシンタックス構造を含まないPPSを参照するスライスヘッダには存在しないことを指定する。0であるalf_info_in_ph_flagは、ALF情報がPHシンタックス構造には存在せず、PHシンタックス構造を含まないPPSを参照するスライスヘッダに存在し得ることを指定する。」
まず、ph_alf_enabled_flagが復号されるべきかどうか判断するために、ph_alf_enabled_present_flagが復号される。ph_alf_enabled_flagが有効な場合、現在のピクチャのすべてのスライスに対してALFが有効になる。
ALFが有効な場合、luma用のALFのAPS_idの量はpic_num_alf_aps_ids_lumaシンタックス要素を使用して復号される。各APS_IDについて、lumaのためのAPS_ID値は、”ph_alf_aps_id_luma”と復号される。
クロマについては、シンタックス要素ph_alf_chroma_idcを復号して、ALFが、クロマに対して有効か、Crのみ有効か、Cbのみ有効かを判断する。有効である場合、クロマ用のAPS_IDの値はph_alf_aps_id_chromaシンタックス要素を使用して復号される。CC-ALF方式のAPS_IDは、Cbおよび/またはCrコンポーネントに必要な場合、復号される。
LMCS
LMCSがSPSレベルで有効であった場合、LMCSのAPS_IDシンタックス要素のセットが次に復号される。まず、ph_lmcs_enabled_flagが復号され、現在のピクチャに対してLMCSが有効であるか否かが判断される。LMCSが有効な場合、ID値ph_lmcs_aps_idが復号される。クロマのみに対して、ph_chroma_residual_scale_flagが復号され、クロマに対するメソッドを有効または無効にする。
スケーリングリスト
スケーリングリストがSPSレベルで有効である場合、スケーリングリストのAPS_IDのセットが次に復号される。ph_scaling_list_present_flagは、現在のピクチャに対してスケーリングマトリックスが有効であるか否かを決定するために復号される。そして、APS_IDの値であるph_scaling_list_aps_idが復号される。
サブピクチャ
サブピクチャパラメータは、SPSで有効になっておりサブピクチャIDシグナリングが無効になっている場合に有効である。また、仮想境界に関するいくつかの情報を含む。サブピクチャパラメータについては、8つのシンタックス要素が定義されている。
・ph_virtual_boundaries_present_flag
・ph_num_ver_virtual_boundaries
・ph_virtual_boundaries_pos_x[i]
・ph_num_hor_virtual_boundaries
・ph_virtual_boundaries_pos_y[i]
出力フラグ
これらのサブピクチャパラメータの後には、存在すればpic_output_flagが続く。
参照ピクチャリスト
参照ピクチャリストがピクチャヘッダで通知される場合(rpl_info_in_ph_flagが1)、参照ピクチャリストのパラメータref_pic_lists()は復号され、以下のシンタックス要素を含んでいる:
・rpl_sps_flag[]
・rpl_idx[]
・poc_lsb_lt[][]
・delta_poc_msb_present_flag[][]
・delta_poc_msb_cycle_lt[][]
パーティション
パーティションパラメータのセットは、必要に応じて復号され、以下のシンタックス要素を含む:
・partition_constraints_override_flag
・ph_log2_diff_min_qt_min_cb_intra_slice_luma
・ph_max_mtt_hierarchy_depth_intra_slice_luma
・ph_log2_diff_max_bt_min_qt_intra_slice_luma
・ph_log2_diff_max_tt_min_qt_intra_slice_luma
・ph_log2_diff_min_qt_min_cb_intra_slice_chroma
・ph_max_mtt_hierarchy_depth_intra_slice_chroma
・ph_log2_diff_max_bt_min_qt_intra_slice_chroma
・ph_log2_diff_max_tt_min_qt_intra_slice_chroma
・ph_log2_diff_min_qt_min_cb_inter_slice
・ph_max_mtt_hierarchy_depth_inter_slice
・ph_log2_diff_max_bt_min_qt_inter_slice
・ph_log2_diff_max_tt_min_qt_inter_slice
重み付き予測
重み付き予測パラメータpred_weight_table()は、PPSレベルで重み付き予測方法が有効であり、かつ重み付き予測パラメータがピクチャヘッダでシグナリングされている場合(wp_info_in_ph_flagが1)、復号される。
pred_weight_table()は、リストL0のための重み付け予測パラメータと、双方向予測重み付け予測が有効である場合のリストL1のための重み付け予測パラメータを含む。重み付き予測パラメータがピクチャヘッダで伝送されるとき、各リストの重みの数は、pred_weight_table()シンタックステーブル(表8)に描かれるように、明示的に伝送される。
Figure 0007475455000009
デルタQP
ピクチャがイントラの場合、必要に応じてph_cu_qp_delta_subdiv_intra_sliceとph_cu_chroma_qp_offset_subdiv_intra_sliceが復号される。また、インタースライスが許可されている場合、ph_cu_qp_delta_subdiv_inter_sliceとph_cu_chroma_qp_offset_subdiv_inter_sliceは、必要に応じて復号される。最後に、必要に応じてピクチャヘッダ拡張シンタックス要素が復号される。
alf_info_in_ph_flag,rpl_info_in_ph_flag,qp_delta_info_in_ph_flag,sao_info_in_ph_flag,dbf_info_in_ph_flag,wp_info_in_ph_flagのすべてのパラメータは、PPSでシグナリングされる。
Figure 0007475455000010
Figure 0007475455000011
Figure 0007475455000012
Figure 0007475455000013
スライスヘッダ
スライスヘッダは、各スライスの先頭で送信される。スライスヘッダは、約65個のシンタックス要素を含む。これは、以前のビデオ符号化規格のスライスヘッダと比較して非常に大きい。すべてのスライスヘッダパラメータの完全な説明は、JVET-Q2001-vDに記載されている。表10は、現在のスライスヘッダ復号シンタックスにおけるこれらのパラメータを示す。
Figure 0007475455000014
Figure 0007475455000015
Figure 0007475455000016
まず、picture_header_in_slice_header_flagを復号して、スライスヘッダにpicture_header_structure()が存在するかどうかを知る。
次に、必要であれば、slice_subpic_idが復号され、現在のスライスのサブピクチャIDが決定される。次に、slice_addressは、現在のスライスのアドレスを決定するために復号される。次に、現在のピクチャのタイル数が1より大きい場合、num_tiles_in_slice_minus1が復号される。
その後、slice_typeが復号される。
ALFがSPSレベルで有効であり(sps_alf_enabled_flag)、ALFがスライスヘッダでシグナリングされる場合(alf_info_in_ph_flagが0)、ALF情報は復号される。これには、現在のスライスに対してALFが有効であることを示すフラグ(slice_alf_enabled_flag)が含まれる。それが有効である場合、ルマのためのAPSのALF_IDの数(slice_num_alf_aps_ids_luma)が復号され、次にAPS_IDが復号される(slice_alf_aps_id_luma[i])。次に、slice_alf_chroma_idcが復号され、クロマ成分に対してALFが有効であるかどうか、またどのクロマ成分に対して有効であるかを知る。次に、クロマ用のAPS_IDslice_alf_aps_id_chromaが必要に応じて復号される。同様に、CC_ALF方式が有効であるかどうかを知るために、必要に応じて、slice_cc_alf_cb_enabled_flagが復号される。もしCC_ALFがCr及び/又はCbに対して有効である場合、Cr及び/又はCbの関連するAPS_IDが復号される。
複数のカラープレーンが独立して伝送される場合(separate_colour_plane_flagが1)、color_plane_idが復号される。ピクチャヘッダで参照ピクチャリストを伝送せず(rpl_info_in_ph_flagが0)、かつ、NALユニットがIDRでないまたはIDRピクチャに対して参照ピクチャリストを伝送する場合(sps_idr_rpl_present_flagが1)、参照ピクチャリストパラメータが復号される;これらはピクチャヘッダのパラメータと同様のパラメータである。
参照ピクチャリストがピクチャヘッダで伝送される場合(rpl_info_in_ph_flagが1)、または、NALユニットがIDRでないまたは参照ピクチャリストがIDRピクチャで伝送される場合(sps_idr_rpl_present_flagが1)、少なくとも1つのリストに対する参照数が1より大きい場合、オーバーライドフラグnum_ref_idx_active_override_flagが復号される。このフラグが有効な場合、各リストの参照インデックスが復号される。
スライスタイプがイントラではない場合、および必要に応じて、cabac_init_flagが復号される。スライスヘッダで参照ピクチャリストが伝送されが来ている場合、slice_collocated_from_l0_flagおよびslice_collocated_ref_idxが復号される。これらのデータは、CABAC符号化および動きベクトル配置に関連する。同様に、スライスタイプがイントラでない場合は、重み付き予測pred_weight_table()のパラメータが復号される。
slice_qp_deltaは、デルタQP情報がスライスヘッダで伝送される場合(qp_delta_info_in_ph_flagが0)に復号される。必要であれば、slice_cb_qp_offset、slice_cr_qp_offset、slice_joint_cbcr_qp_offset、cu_chroma_qp_offset_enabled_flagのシンタックス要素も復号される。
SAO情報がスライスヘッダで伝送され(sao_info_in_ph_flagが0)、SPSレベルで有効になっている場合(sps_sao_enabled_flag)は、ルマおよびクロマの両方でSAOに対する有効フラグが復号される:slice_sao_luma_flag,slice_sao_chroma_flag。次に、デブロッキングフィルタパラメータは、それらがスライスヘッダでシグナリングされる場合(dbf_info_in_ph_flagが0)に、復号される。
フラグslice_ts_residual_coding_disabled_flagは、現在のスライスに対して変換スキップ残留符号化法が有効であるかどうかを知るために系統的に復号される。
LMCSがピクチャヘッダで有効であった場合(ph_lmcs_enabled_flagが1)、フラグslice_lmcs_enabled_flagが復号される。
同様に、スケーリングリストがピクチャヘッダで有効になっていた場合(phpic_scaling_list_presentenabled_flagが1)は、フラグslice_scaling_list_present_flagが復号される。
その後、必要に応じて他のパラメータが復号される。
スライスヘッダ内のピクチャヘッダ
特定のシグナリング方法では、図7に描かれているように、ピクチャヘッダ708は、スライスヘッダ710の内部でシグナリングされ得る。その場合、ピクチャヘッダ608のみを含むNALユニットは存在しない。ユニット701、702、703、704、705、706、707、720、740は、図6の601、602、603、604、605、606、607、620、640に対応しており、したがって、先の説明から理解することが可能である。これは、フラグpicture_header_in_slice_header_flagのおかげで、スライスヘッダにおいて有効にすることができる。さらに、ピクチャヘッダがスライスヘッダ内にシグナリングされる場合、ピクチャは1つのスライスのみを含むものとする。従って、1枚のピクチャには常に1つのピクチャヘッダしか存在しない。さらに、フラグpicture_header_in_slice_header_flagは、CLVS(符号化済レイヤビデオシーケンス)のすべてのピクチャで同じ値を持つものとする。これは、第1のIRAPを含む2つのIRAP間のすべてのピクチャは、1つのピクチャにつき1つのスライスのみであることを意味する。
フラグpicture_header_in_slice_header_flagは次のように定義されている:
「picture_header_in_slice_header_flagが1の場合、スライスヘッダにPHシンタックス構造が存在することを示す。picture_header_in_slice_header_flagが0の場合、スライスヘッダにPHシンタックス構造が存在しないことを示す。
CLVS内のすべての符号化スライスにおいてpicture_header_in_slice_header_flagの値が同じであることは、ビットストリーム適合性の要件である。符号化スライスでpicture_header_in_slice_header_flagが1のときは、CLVS内にnal_unit_typeがPH_NUTであるVCL_NALユニットが存在しないことが適合性の要件となる。
picture_header_in_slice_header_flagが0のとき、現在のピクチャのすべての符号化スライスはpicture_header_in_slice_header_flagが0となり、現在のPUはPH_NALユニットを持つ。
picture_header_structure()は、スタッフビットrbsp_trailing_bits()を除くpicture_rbsp()のシンタックス要素を含む。」
スライスヘッダにおけるピクチャヘッダとピクチャヘッダおよびスライスヘッダにおけるツールシグナリングの相互作用
QPデルタ情報、参照ピクチャリストパラメータ、デブロッキングフィルタパラメータ、サンプルアダプテーションオフセットパラメータ、重み付き予測パラメータ及びALFパラメータは、それぞれのフラグにより、ピクチャヘッダ又はスライスヘッダにおいて伝送することができる:
qp_delta_info_in_ph_flag
rpl_info_in_ph_flag
dbf_info_in_ph_flag
sao_info_in_ph_flag
wp_info_in_ph_flag
alf_info_in_ph_flag
これらのフラグは、PPS内で送信される。
表11(フラグpicture_header_in_slice_header_flagおよびxxx_info_in_ph_flagに従ったXXXシグナリングの概要)に示されるように、言及したツールの1つに対する「xxx」を考慮すれば、現在のシンタックスでxxx_info_in_ph_flagが0に設定されるとxxxはスライスヘッダ内でシグナリングすることが可能である。すなわち、以降の説明では、ピクチャヘッダとスライスヘッダの両方でシグナリングされ得る情報タイプ(その例は上に示した)を参照するために、XXXまたはxxxという略記を使用する。
Figure 0007475455000017
ピクチャヘッダがスライスヘッダ内にある場合、これは現在のピクチャに対して1つのスライスのみが存在することを意味する。したがって、スライスとピクチャの両方について情報を送信または送信可能にしても、パラメータが同じになるため、符号化器または復号器の柔軟性が向上しない。つまり、ピクチャヘッダに情報がある場合、スライスヘッダの対応する情報は冗長となる。同様に、情報がスライスヘッダ内にある場合、ピクチャヘッダ内の対応する情報は冗長となる。本明細書で説明する実施形態は、同じ符号化のシグナリングにおける冗長性を制限することによって、復号器の実施を簡素化する。特に、実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、情報はピクチャヘッダ内にあることは許されるが、スライスヘッダ内にあることは許されない。
ストリーミングアプリケーション
ストリーミングアプリケーションによっては、ビットストリームの特定の部分のみを抽出するものもある。これらの抽出は、空間的(サブピクチャとして)または時間的(ビデオシーケンスのサブパート)であることができる。そして、これらの抽出された部分は、他のビットストリームとマージされ得る。また、一部のフレームのみを抽出することでフレームレートを低下させるものもある。一般に、これらのストリーミングアプリケーションの主な目的は、許容される帯域幅の最大値を使用して、エンドユーザーに最大限の品質を提供することである。
VVCでは、フレームレート低減のため、あるフレームの新しいAPS_ID番号を時間的階層の上位のフレームに使用できないように、APS_IDのナンバリングを制限している。しかし、ビットストリームの一部を抽出するストリーミングアプリケーションでは、フレーム(IRAPとして)がAPS_IDのナンバリングをリセットしないため、ビットストリームの一部に対してどのAPSを保持すべきかを追跡する必要がある。
LMCS(クロマスケーリング付きルママッピング)
クロマスケーリング付きルママッピング(LMCS)技術は、VVCなどのビデオ復号器でループフィルタを適用する前にブロックに適用するサンプル値の変換方法である。
LMCSは2つのサブツールに分けることができる。後述のように、1番目のツールはルマブロックに適用され、2番目のツールはクロマブロックに適用される:
1)1番目のサブツールは、適応的ピースワイズリニアモデルに基づくルマ成分のインループマッピングである。ルマ成分のインループマッピングは、圧縮効率を向上させるために、ダイナミックレンジ全体にコードワードを再分配することによって、入力信号のダイナミックレンジを調整する。ルママッピングでは、「マッピング領域」への順方向のマッピング関数と、「入力領域」に戻るための対応する逆方向のマッピング関数が使用される。
2)2番目のサブツールはクロマ成分に関するもので、ルマに依存したクロマ残差スケーリングが適用される。クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号の間の相互作用を補償するように設計されている。クロマ残差スケーリングは、現在のブロックの再構成された近隣(上および/または左)のルマサンプルの平均値に依存する。
LMCSは、VVCなどのビデオ符号化の他のツールと同様に、SPSフラグを使用してシーケンスレベルで有効/無効を設定することができる。クロマ残差スケーリングが有効かどうかは、スライスレベルでも通知される。ルママッピングが有効な場合、ルマ依存のクロマ残差スケーリングが有効か否かを示すフラグが追加で通知される。ルママッピングを使用しない場合、ルマ依存のクロマ残差スケーリングは完全に無効である。また、クロマブロックのサイズが4以下の場合、クロマ依存のクロマ残差スケーリングは常に無効となる。
図8は、上記で説明したLMCSの原理をルママッピングサブツールについて示したものである。図8のハッチングを施したブロックが、ルマ信号の順方向および逆方向のマッピングを含む新しいLMCSの機能ブロックである。LMCSを使用する場合、一部の復号オペレーションは「マッピングされた領域」で適用されることに留意する必要がある。これらの演算は、この図8において破線のブロックによって表される。これらは通常、逆量子化、逆変換、ルマイントラ予測、ルマ予測とルマ残差の加算を含む再構成ステップに対応する。逆に、図8の実線のブロックは、オリジナル(すなわち、マップされていない)領域で復号処理が適用される場所を示し、これには、デブロッキング、ALF、SAOなどのループフィルタ処理、動き補償予測、および参照ピクチャ(DPB)としての復号画像の保存が含まれる。
図9は、図8と同様の図であるが、今回はLMCSツールのクロマスケーリングサブツールの図である。図9のハッチングを施したブロックは、ルマ依存のクロマスケーリング処理を含む新しいLMCSの機能ブロックである。ただし、クロマでは、ルマの場合と比較して、いくつかの重要な相違点がある。ここでは、クロマサンプルに対して、逆量子化と破線のブロックで表される逆変換のみが「マッピングされた領域」で実行される。クロマ内予測、動き補償、ループフィルタリングの他のすべてのステップは、オリジナルの領域で実行される。図9に示すように、スケーリング処理のみ存在し、ルママッピングのような順変換と逆変換の処理はない。
ピースワイズリニアモデルによるルママッピング。
ルママッピングサブツールでは、ピースワイズリニアモデルを使用している。つまり、ピースワイズリニアモデルは入力信号のダイナミックレンジを16等分のサブレンジに分離し、各サブレンジに対して、そのリニアマッピングのパラメータを、そのレンジに割り当てられたコードワードの数で表現している。
ルママッピングのセマンティクス
lmcs_min_bin_idxは、クロマスケーリング付きルママッピング(LMCS)構築処理で使用する最小のビンインデックスを指定する。lmcs_min_bin_idxの値は、0から15の範囲である。
lmcs_delta_max_bin_idxは、クロマスケーリング付きルママッピング構築処理で使用される最大ビンインデックスLmcsMaxBinIdxと15との差分値を指定する。lmcs_delta_max_bin_idxの値は、0から15までの範囲でなければならない。LmcsMaxBinIdxの値は、15-lmcs_delta_max_bin_idxに設定される。LmcsMaxBinIdxの値はlmcs_min_bin_idx以上でなければならない。
シンタックス要素lmcs_delta_cw_prec_minus1プラス1は、シンタックスlmcs_delta_abs_cw[i]の表現に使用するビット数を指定する。
シンタックス要素lmcs_delta_abs_cw[i]は、i番目のビンの絶対デルタコードワード値を指定する。
シンタックス要素lmcs_delta_sign_cw_flag[i]は、変数lmcsDeltaCW[i]の符号を指定する。lmcs_delta_sign_cw_flag[i]が存在しない場合、0であると推論される。
ルママッピングのためのLMCS中間変数計算
順方向および逆方向のルママッピング処理を適用するために、いくつかの中間変数とデータ配列が必要である。
まず、変数OrgCWは以下のように導出される:
OrgCW=(1<<BitDepth)/16
次に、変数lmcsDeltaCW[i](i=lmcs_min_bin_idx....LmcsMaxBinIdx)は、次のように計算される:
lmcsDeltaCW[i]=(1-2*lmcs_delta_sign_cw_flag[i])*lmcs_delta_abs_cw[i]
新しい変数lmcsCW[i]は次のように導出される:
i=0...lmcs_min_bin_idx-1の場合、lmcsCW[i]は0に設定される。
i=lmcs_min_bin_idx...LmcsMaxBinIdxの場合、以下が適用される:
lmcsCW[i]=OrgCW+lmcsDeltaCW[i]
lmcsCW[i]の値は、(OrgCW>>3)から(OrgCW<<3-1)の範囲でなければならない。
i=LmcsMaxBinIdx+1...15に対して、lmcsCW[i]は0に設定される。
変数InputPivot[i](i=0...16)は、次のように導出される:
InputPivot[i]=i*OrgCW
変数LmcsPivot[i](i=0..16),変数ScaleCoeff[i]およびInvScaleCoeff[i](i=0..15)は、次のように計算される:
LmcsPivot[0]=0;
for(i=0;i<=15;i++){
LmcsPivot[i+1]=LmcsPivot[i]+lmcsCW[i]
ScaleCoeff[i]=(lmcsCW[i]*(1<<11)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(lmcsCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<11)/lmcsCW[i]
順ルママッピング
図8に示すように、LMCSをルマに適用した場合、予測サンプルpredSamples[i][j]から、predMapSamples[i][j]というLumaリマップサンプルが得られる。
predMapSamples[i][j]は以下のように計算される:
まず、予測サンプルpredSamples[i][j]から、位置(i,j)のインデックスidxYが計算される。
idxY=predSamples[i][j]>>Log2(OrgCW)
そして、第0セクションの中間変数idxY、LmcsPivot[idxY]、InputPivot[idxY]を用いて、predMapSamples[i][j]は以下のように導出される:
predMapSamples[i][j]=LmcsPivot[idxY]+(ScaleCoeff[idxY]*(predSamples[i][j]-InputPivot[idxY])+(1<<10))>>11
ルマ再構成サンプル
予測されたルマサンプルpredMapSample[i][j]と残留ルマサンプルresiSamples[i][j]から再構成処理を求める。
再構成されたルマ画像サンプルrecSamples[i][j]は、以下のようにresiSamples[i][j]にpredMapSample[i][j]を加算するのみで得られる:
recSamples[i][j]=Clip1(predMapSamples[i][j]+resiSamples[i][j])
上述の関係において、Clip1関数は、再構成されたサンプルが0と1<<BitDepth-1の間にあることを確認するためのクリッピング関数である。
逆ルママッピング
図8に従って逆ルママッピングを適用する場合、処理中の現在のブロックの各サンプルrecSample[i][j]に対して、以下の演算が適用される:
まず、位置(i,j)の再構成サンプルrecSamples[i][j]から、インデックスidxYを計算する。
idxY=recSamples[i][j]>>Log2(OrgCW)
逆マップされたルマサンプルinvLumaSample[i][j]を以下のように導出する:
invLumaSample[i][j]=InputPivot[idxYInv]+(InvScaleCoeff[idxYInv]*(recSample[i][j]-LmcsPivot[idxYInv])+(1<<10))>>11
その後、クリッピング操作を行い、最終的なサンプルを得る:
finalSample[i][j]=Clip1(invLumaSample[i][j])
クロマスケーリング
クロマスケーリングのためのLMCSセマンティクス
表6のシンタックス要素lmcs_delta_abs_crsは、変数lmcsDeltaCrsのコードワード絶対値を指定する。lmcs_delta_abs_crsの値は、0から7の範囲である。存在しない場合、lmcs_delta_abs_crsは0であると推論される。
シンタックス要素lmcs_delta_sign_crs_flagは、変数lmcsDeltaCrsの符号を指定する。存在しない場合、lmcs_delta_sign_crs_flagは0であると推論される。
クロマスケーリングのためのLMCS中間変数計算
クロマスケーリング処理を適用するためには、いくつかの中間変数が必要である。
変数lmcsDeltaCrsは以下のように導出される:
lmcsDeltaCrs=(1-2*lmcs_delta_sign_crs_flag)*lmcs_delta_abs_crs
変数ChromaScaleCoeff[i](i=0...15)は、次のように導出される:
if(lmcsCW[i]==0)
ChromaScaleCoeff[i]=(1<<11)
else
ChromaScaleCoeff[i]=OrgCW*(1<<11)/(lmcsCW[i]+lmcsDeltaCrs)
クロマスケーリング処理
最初のステップでは、現在の対応するクロマブロックの周囲の再構成されたルマサンプルの平均ルマ値を計算するために、変数invAvgLumaが導出される。平均ルマは、対応するクロマブロックを囲む左と上のルマブロックから計算される。サンプルがない場合、変数invAvgLumaは以下のように設定される:
invAvgLuma=1<<(BitDepth-1)
そして、第0セクションの中間配列LmcsPivot[]に基づいて、変数idxYInvを以下のように導出する:
For(idxYInv=lmcs_min_bin_idx;idxYInv<=LmcsMaxBinIdx;idxYInv++){
if(invAvgLuma<LmcsPivot[idxYInv+1]) break

IdxYInv=Min(idxYInv,15)
変数varScaleは以下のように導出される:
varScale=ChromaScaleCoeff[idxYInv]
現在のクロマブロックに変換を施すと、再構成されたクロマ画像サンプル配列recSamplesが以下のように導出される:
recSamples[i][j]=Clip1(predSamples[i][j]+Sign(resiSamples[i][j])*((Abs(resiSamples[i][j])*varScale+(1<<10))>>11))
現在のブロックに変換が適用されていない場合は、次のようになる:
recSamples[i][j]=Clip1(predSamples[i][j])
符号化器の検討
LMCS符号化器の基本原理は、まず、ダイナミックレンジのセグメントが平均分散よりも低いコードワードを持つレンジに、より多くのコードワードを割り当てるというものである。これの別形式として、LMCSの主なターゲットは、平均分散よりも高いコードワードを持つダイナミックレンジセグメントに、より少ないコードワードを割り当てることである。この方法では、画像の滑らかな領域は、平均よりも多くのコードワードで符号化され、その逆も同様である。
APSに格納されるLMCSツールのすべてのパラメータ(表6参照)は、符号化器側で決定される。LMCS符号化器アルゴリズムは、局所的なルマ分散の評価に基づいており、上記の基本原理に従ってLMCSパラメータの決定を最適化している。そして、与えられたブロックの最終的な再構成サンプルについて、最良のPSNRメトリックを得るために最適化が行われる。
スライスヘッダではなくピクチャヘッダで情報を通知する実施形態
実施形態において、ピクチャヘッダ内またはスライスヘッダ内でシグナリングすることができる情報のシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、ピクチャヘッダ内でシグナリングされ、スライスヘッダ内ではシグナリングされない。また、ピクチャヘッダ内またはスライスヘッダ内でシグナリング可能な情報のシグナリングをスライスヘッダ内でシグナリングする場合、ピクチャヘッダはスライスヘッダ内でシグナリングされないという等価な方法がある。別の等価な方法では、ピクチャヘッダ中またはスライス中にシグナリングすることができる情報のシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。表12は、ツール名をXXXに置き換えた実施形態を示す表である。この表では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、スライスヘッダ内においてパラメータのシグナリングが許可されない。
Figure 0007475455000018
一実施形態では、xxx_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、XXX_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「XXX_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
ピクチャヘッダがスライスヘッダ内にある場合、これは現在のピクチャに対して1つのスライスのみが存在することを意味する。したがって、スライスとピクチャの両方について情報を送信または送信可能にしても、パラメータが同じになるため、符号化器または復号器の柔軟性が向上しない。つまり、ピクチャヘッダに情報がある場合、スライスヘッダの対応する情報は冗長となる。同様に、スライスヘッダに情報がある場合、ピクチャヘッダ内の対応する情報は冗長となる。このように、ピクチャヘッダがスライスヘッダにある場合には、その情報はピクチャヘッダにあり、スライスヘッダにないように条件を強制することにより、シグナリングの冗長性を制限して、復号器の実施を簡略化することができる。
QP(量子化パラメータ)デルタ
実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、QPデルタシグナリングは、スライスヘッダ内で回避される。等価な方法では、QPデルタシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ピクチャヘッダにおいてQPデルタがシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。つまり、上記のツールXXXは、QPデルタである。
表13は、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、QPデルタ情報のシグナリングが認可されない(すなわち、許可されない)ように、これが実施され得る方法を示す。
Figure 0007475455000019
ピクチャヘッダがスライスヘッダ内にある場合(現在のピクチャに対して1つのスライスのみが存在することを意味する)、パラメータが同じであるため、スライスおよびピクチャヘッダにおいて伝達可能な情報は、符号化器または復号器の柔軟性を増大させない。したがって、復号器の実施の複雑さを低減するために、同じ符号化の可能性(この場合、QPデルタパラメータ(qp_delta_info))を符号化するために、スライスまたはピクチャヘッダのうちの1つの可能なシグナリングQPデルタ情報のみを有することがより好ましい。
第1の実施形態の実施において、qp_delta_info_in_ph_flagのセマンティクスに以下の条件を追加してもよい:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、qp_delta_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「qp_delta_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
別の実施形態では、スライスヘッダ内のQPデルタパラメータの復号は、表14に描かれているように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ許可される。シンタックスの変更は、下線で示されている。この表において、スライスヘッダのslice_qp_delta情報は、QPデルタ情報がスライスレベルでシグナリングされ(qp_delta_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダ内で伝送されない場合(picture_header_in_slice_header_flagが0)に復号され得る。
Figure 0007475455000020
実施形態において、ピクチャヘッダのQPデルタパラメータの復号は、表15に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、系統的に許可される。この表によれば、スライスヘッダのQPデルタ情報は、QPデルタ情報がピクチャヘッダでシグナリングされる場合(qp_delta_info_in_ph_flagが1)、またはピクチャヘッダがスライスヘッダ内で送信される場合(picture_header_in_slice_header_flagが1)のみ、復号することが可能である。
Figure 0007475455000021
参照ピクチャリスト(RPL)
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、参照ピクチャリストのシグナリングは、スライスヘッダ内で回避される。等価な方法では、ピクチャヘッダは、参照ピクチャリストのシグナリングが、スライスヘッダにおいてシグナリングされるとき、スライスヘッダにおいてシグナリングされない。別の等価な方法では、ピクチャヘッダにおいて参照ピクチャリストのシグナリングが行われるとき、ピクチャヘッダはスライスヘッダ内においてシグナリングされる。言い換えれば、上記のツールXXXはRPLである。
表16は、スライスヘッダ内でピクチャヘッダをシグナリングする場合にRPLシグナリングを許可しない本実施形態の実施例を示している。
Figure 0007475455000022
ピクチャヘッダがスライスヘッダ内にある場合(現在のピクチャに対して1つのスライスのみが存在することを意味する)、スライスヘッダおよびピクチャヘッダにおいて情報が伝達可能であることは、パラメータが同じになるため、符号化器または復号器に対する柔軟性を増加させない。この実施形態によれば、同じ符号化の可能性(この場合は参照ピクチャリスト(RPL)情報(rpl_info))を符号化するために、スライスまたはピクチャヘッダのうちの1つで、情報の可能なシグナリングのみを有する方が良いので、復号器の実施の複雑さは低減される。
実施形態では、rpl_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、rpl_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「rpl_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態において、スライスヘッダ内の参照ピクチャリストパラメータの復号は、表17に描かれているように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ、許可される。この表において、参照ピクチャリスト情報がスライスレベルでシグナリングされ(rpl_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダ内で伝送されない(picture_header_in_slice_header_flagが0)場合、スライスヘッダのref_pic_lists()情報が復号され得る。
実施形態では、表17に描かれているように、ピクチャヘッダがスライスヘッダ内にあるとき、時間パラメータslice_collocated_from_l0_flag及びslice_collocated_ref_idxは復号され得ない。
Figure 0007475455000023
実施形態において、ピクチャヘッダのRPLパラメータの復号は、表18に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合に、系統的に許可される。この表において、ピクチャヘッダのRPL情報は、RPL情報がピクチャレベルでシグナリングされる場合(rpl_info_in_ph_flagが1)、またはピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)のみ、復号され得る。
実施形態では、表18に描かれているように、ピクチャヘッダがスライスヘッダ内にあるとき、時間パラメータph_collocated_from_l0_flag及びph_collocated_ref_idxは復号され得る。
Figure 0007475455000024
デブロッキングフィルタ(DBF)
実施形態において、デブロッキングフィルタパラメータのシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、デブロッキングフィルタパラメータのシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ピクチャヘッダにおいてデブロッキングフィルタパラメータのシグナリングが行われるとき、ピクチャヘッダはスライスヘッダ内でシグナリングされる。すなわち、上述したツールXXXは、DBFである。
表19は、スライスヘッダ内でピクチャヘッダをシグナリングする場合に、DBFシグナリングを許可しない本実施形態による実施を示す図である。
Figure 0007475455000025
ピクチャヘッダがスライスヘッダ内にある場合、現在のピクチャに対して1つのスライスしか存在しないため、スライスまたはピクチャで伝送される情報は、パラメータが同じであるため、符号化器または復号器の柔軟性を増加させない。そこで、復号器の実施の複雑さを軽減するために、同じ符号化の可能性を符号化するために、DBF情報の可能な符号化は1つのみである方が良い。
実施形態では、dbf_info_in_ph_flagのセマンティクスに以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、dbf_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「dbf_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態では、表20に描かれているように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ、スライスヘッダのDBFパラメータが認可される。この表において、DBF情報がスライスレベルでシグナリングされ(dbf_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダで伝送されない(picture_header_in_slice_header_flagが0)場合、スライスヘッダのslice_deblocking_filter_override_flagフラグは復号され得る。
Figure 0007475455000026
実施形態では、表21に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合、ピクチャヘッダのDBFパラメータは、系統的に認可される。この表では、DBF情報がピクチャヘッダでシグナリングされる場合(dbf_info_in_ph_flagが1)、またはピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)のみスライスヘッダ内のDBF情報が復号されることが可能である。
Figure 0007475455000027
SAO(サンプルアダプティブオフセット)
一実施形態において、SAOシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、SAOシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、SAOシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上記のツールXXXは、SAOである。
表22は、スライスヘッダ内でピクチャヘッダをシグナリングする場合に、SAOシグナリングを許可しない本実施形態を示すものである。
Figure 0007475455000028
ピクチャヘッダがスライスヘッダ内にある場合、現在のピクチャに対して1つのスライスしか存在しないので、スライスまたはピクチャで伝送される情報は、パラメータが同じであるため、符号化器または復号器に対する柔軟性を増大させない。そこで、復号器の実施の複雑さを軽減するために、同じ符号化の可能性を符号化するために、SAO情報の可能な符号化を1つのみ持つことが良い。
実施形態では、sao_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、sao_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「sao_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態において、スライスヘッダのSAOパラメータの復号は、以下に図示するように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ、許可される。
表23。この表において、スライスレベルでSAO情報がシグナリングされ(sao_info_in_ph_flagが0)、かつスライスヘッダ内でピクチャヘッダが伝送されない場合(picture_header_in_slice_header_flagが0)、スライスヘッダのslicice_sao_luma_flagが復号され得る。
Figure 0007475455000029
実施形態において、ピクチャヘッダのSAOパラメータの復号は、表24に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合に、系統的に認可される。この表では、SAO情報がピクチャヘッダでシグナリングされる場合(sao_info_in_ph_flagが1)、またはピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)のみ、スライスヘッダのSAO情報が復号され得る。
Figure 0007475455000030
加重平均予測(WP)
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、重み付き予測のシグナリングは、スライスヘッダで回避される。等価な方法では、重み付けされた予測のシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、重み付き予測のシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上述したツールXXXは、WPである。
表25に示すように、WPパラメータは、現在のシンタックスでwp_info_in_ph_flagを0に設定すると、スライスヘッダでシグナリングすることができる。
表25は、スライスヘッダ内でピクチャヘッダをシグナリングする場合にWPシグナリングを許可しない本実施形態の実施例を示している。
Figure 0007475455000031
ピクチャヘッダがスライスヘッダ内にある場合、現在のピクチャに対して1つのスライスしか存在しないので、スライスまたはピクチャで伝送される情報は、パラメータが同じであるため、符号化器または復号器の柔軟性を増大させない。そこで、復号器の実施の複雑さを軽減するために、同じ符号化の可能性を符号化するために、WP情報の可能な符号化を1つのみ持つことが良い。
実施形態では、wp_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、wp_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「wp_info_in_ph_flagが0である場合、picture_header_in_slice_header_flagは0である。」
実施形態において、スライスヘッダのWPパラメータの復号は、表26に描かれているように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ、許可される。この表では、WP情報がスライスレベルでシグナリングされ(wp_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダ内で伝送されない(picture_header_in_slice_header_flagが0)場合、重み付け予測パラメータを含むpred_weight_table()関数が復号され得る。
Figure 0007475455000032
実施形態において、ピクチャヘッダのWPパラメータの複合は、表27に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合に、系統的に許可される。この表において、WP情報は、WP情報がピクチャヘッダ内でシグナリングされる場合(wp_info_in_ph_flagが1)、またはピクチャヘッダがスライスヘッダ内で伝送される場合(picture_header_in_slice_header_flagが1)のみ、復号され得る。
Figure 0007475455000033
ALF
一実施形態において、ALFのシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにおいて回避される。等価な方法では、ALFのシグナリングが、スライスヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされない。別の等価な方法では、ALFのシグナリングがピクチャヘッダ内でシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内でシグナリングされる。すなわち、上記のツールXXXは、ALFである。
実際、現在、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合(picture_header_in_slice_header_flagが1)、およびALFがスライスヘッダ内でシグナリングされる場合(alf_info_in_ph_flagが0)、ALFのAPS_IDを得る前にピクチャヘッダのすべてのパラメータがパース(解析)されるべきである。その結果、PPS、SPS、ピクチャヘッダなどのすべての変数がALFのAPS_IDをパースするためにメモリ内に保持されなければならないので、いくつかのストリーミングアプリケーションのパースの複雑さを増加させる。
さらに、ピクチャヘッダがスライスヘッダ内にある場合、現在のピクチャに対して1つのスライスしか存在しないため、スライスまたはピクチャで伝送される情報はパラメータが同じであるため、符号化器または復号器の柔軟性を増加させない。そこで、復号器の実施の複雑さを軽減するために、同じ符号化の可能性のあるシグナリングは1つのみにしておく方が良い。表28は、スライスヘッダでピクチャヘッダをシグナリングする場合に、ALFシグナリングを許可しない本実施形態を示すものである。
Figure 0007475455000034
実施形態では、alf_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、alf_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
および/または
「alf_info_in_ph_flagが0であるとき、picture_header_in_slice_header_flagは0である。」
実施形態において、スライスヘッダのALFパラメータの復号は、表29に描かれているように、フラグpicture_header_in_slice_header_flagの値が0に設定される場合にのみ、許可される。この表では、ALFがSPSレベルで有効であり(sps_alf_enabled_flagが1)、ALF情報がスライスレベルでシグナリングされ(alf_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダで送信されない(picture_header_in_slice_header_flagが0)場合のみ、スライスヘッダのALF情報が復号され得る。
Figure 0007475455000035
実施形態において、ピクチャヘッダのALFパラメータの復号は、表30に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合に、系統的に許可される。この表において、スライスヘッダのALF情報は、ALFがSPSレベルで有効である場合(sps_alf_enabled_flagが1)、及びALF情報がピクチャレベルでシグナリングされる場合(alf_info_in_ph_flagが1)、又はスライスヘッダ内でピクチャヘッダが伝送される場合(picture_header_in_slice_header_flagが1)のみ、復号され得る。
Figure 0007475455000036
すべてのツール/パラメータ
一実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダ内またはスライスヘッダ内でシグナリングされ得るすべてのツール(および/またはパラメータ)は、ピクチャヘッダ内でシグナリングされるように制限される。上記の説明で言及したように、実施形態では、関連するツールは以下の通りである。QPデルタ情報、参照ピクチャリスト、デブロッキングフィルタ、SAO重み付け予測、ALFである。しかしながら、他のツールも可能であり、それらは、スライス及びピクチャヘッダの両方においてシグナリングされ得る。
これは、以下の制約を加えることで表現できる:
「フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,alf_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagの少なくとも1つが0に設定されると、picture_header_in_slice_header_flagの値は0とする。」
および/または、以下を加える:
「picture_header_in_slice_header_flagが1であるとき、フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagは1とする。」
また、各XXX_info_in_ph_flagに以下の制約を追加する:
「PPSを参照するスライスヘッダがPHシンタックス構造を含む場合、XXX_info_in_ph_flagが1であることがビットストリーム適合性の要件である。」
これらのパラメータがすべて同じヘッダでシグナリングされる場合、同じ符号化の可能性を符号化するためのシグナリングが1つしかない方が良いので、復号器の実施の複雑さを軽減することができる。
シグナリング順序の実施形態
ALFに関連するこれまでのものの1つの代替実施形態では、表31に描かれているように、スライスヘッダのALFのAPS_IDに関連する情報は、ピクチャヘッダの構造より前に設定される。この実施形態では、スライスヘッダ内でALFがシグナリングされたとき、およびスライスヘッダで内ピクチャヘッダがシグナリングされたときに、ピクチャヘッダのすべてのパラメータをパースすることなくAPS_IDを迅速に取得することができる。
Figure 0007475455000037
重み数の実施形態
ピクチャヘッダがスライスヘッダ内にある場合の実施形態では、シンタックス要素の表32の部分に描かれているように、各リストL0 L1に対する重み付け予測の重みの数が復号される。従って、重み数のシグナリングは、ピクチャヘッダに限定され得る。
Figure 0007475455000038
スライスヘッダ内で情報を通知し、ピクチャヘッダ内では通知しない実施形態の概要
一実施形態では、ピクチャヘッダ内またはスライスヘッダ内にシグナリングすることができる情報のシグナリングは、ピクチャヘッダがスライスヘッダ内でシグナリングされるとき、スライスヘッダにシグナリングされ、ピクチャヘッダにシグナリングされない。また、ピクチャヘッダ内またはスライスヘッダ内にシグナリング可能な情報のシグナリングを、ピクチャヘッダ内にシグナリングする場合には、スライスヘッダ内にシグナリングしないようにする。別の等価な方法では、ピクチャヘッダ内またはスライスヘッダ内にシグナリングすることができる情報のシグナリングがスライスヘッダ内にシグナリングされるとき、ピクチャヘッダは、スライスヘッダ内にシグナリングされる。表33は、ツール(またはパラメータ)名をXXXに置き換えた本実施の形態を示す。この表では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダでのパラメータのシグナリングは許可されていない。
Figure 0007475455000039
一実施形態では、xxx_info_in_ph_flagのセマンティクスにおいて、以下の条件を追加する:
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、XXX_info_in_ph_flagが0であることがビットストリーム適合性の要件である。」
および/または
「XXX_info_in_ph_flagが1であるとき、picture_header_in_slice_header_flagは0である。」
ピクチャヘッダがスライスヘッダ内にある場合、これは現在のピクチャに対して1つのスライスのみが存在することを意味する。したがって、スライスとピクチャの両方について情報を送信または送信可能にしても、パラメータが同じになるため、符号化器または復号器の柔軟性が向上しない。つまり、ピクチャヘッダに情報がある場合、スライスヘッダの対応する情報は冗長となる。同様に、情報がスライスヘッダ内にある場合、ピクチャヘッダ内の対応する情報は冗長となる。本明細書で説明する実施形態は、同じ符号化のシグナリングにおける冗長性を制限することによって、復号器の実施を簡素化する。特に、実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、情報がスライスヘッダ内にあることは許容されるが、ピクチャヘッダ内にあることは許容されない。
QPデルタ
一実施形態では、ツールXXXは、QPデルタである。一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、スライスヘッダのQPデルタパラメータの復号は許可される。また、表33に示すように、picture_header_in_slice_header_flagは、QPデルタパラメータがピクチャヘッダ内でシグナリングされる場合、0に等しい値に設定される。別の等価な方法では、表33に描かれているように、QPデルタパラメータがスライスヘッダ内でシグナリングされるとき、picture_header_in_slice_header_flagは1に設定される。この表において、QPデルタ情報がスライスレベルでシグナリングされる場合(qp_delta_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダにおいて伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_qp_delta情報は、復号され得る。
これは、セマンティクスに以下を追加することで得られる:
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、qp_delta_info_in_ph_flagは0であるというのがビットストリーム適合性の要件である。」
および/または
「qp_delta_info_in_ph_flagが1であるとき、picture_header_in_slice_header_flagは0である。」
実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダのQPデルタパラメータの復号が系統的に回避される。この表において、ピクチャヘッダのQPデルタ情報は、QPデルタ情報がピクチャヘッダにおいてシグナリングされる場合(qp_delta_info_in_ph_flagが1)、及びpicture_header_in_slice_header_flagが0に設定される場合のみ復号され得る。
RPL(参照ピクチャリスト)
一実施形態では、ツールXXXは、参照ピクチャリストである。一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、スライスヘッダにおける参照ピクチャリストのパラメータの復号が認可される。また、picture_header_in_slice_header_flagは、表33に示すように、ピクチャヘッダ内で参照ピクチャのリストパラメータがシグナリングされるとき、0に設定される。また、picture_header_in_slice_header_flagは、表33に示すように、スライスヘッダ内で参照ピクチャのパラメータを通知する場合に1に設定される。この表において、参照ピクチャリスト情報がスライスレベルでシグナリングされ(rpl_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのref_pic_lists()情報は復号され得る。
実施形態では、表34に描かれているように、ピクチャヘッダがスライスヘッダ内にあるとき、時間パラメータslice_collocated_from_l0_flag及びslice_collocated_ref_idxは復号され得る。
実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダのRPLパラメータの復号は系統的に回避される。この表では、RPL情報がピクチャレベルでシグナリングされ(rpl_info_in_ph_flagが1)、picture_header_in_slice_header_flagが0に設定される場合のみ、ピクチャヘッダのRPL情報を復号することが可能である。
実施形態では、表35に描かれているように、ピクチャヘッダがスライスヘッダ内にある場合、時間パラメータph_collocated_from_l0_flag及びph_collocated_ref_idxは復号できない。
デブロッキングフィルタ(DBF)
一実施形態では、ツールXXXは、デブロッキングフィルタ(DBF)である。代替または追加の一実施形態では、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、スライスヘッダのDBFパラメータが認可される。また、表33に示すように、picture_header_in_slice_header_flagを0に設定すると、DBFパラメータがピクチャヘッダ内でシグナリングされる。また、表33に示すように、DBFパラメータがスライスヘッダ内に格納されている場合、picture_header_in_slice_header_flagは1に設定される。この表では、DBF情報がスライスレベルでシグナリングされる場合(dbf_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダ内で伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_deblocking_filter_override_flagフラグが復号され得る。
実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダのDBFパラメータは系統的に回避される。この表では、ピクチャヘッダのDBF情報は、DBF情報がピクチャヘッダ内でシグナリングされ(dbf_info_in_ph_flagが1)、picture_header_in_slice_header_flagが0である場合にのみ復号され得る。
サンプルアダプティブオフセット(SAO)
一実施形態では、ツールXXXは、SAO(サンプルアダプティブオフセット)である。ある代替または追加の実施形態において、スライスヘッダのSAOパラメータは、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、認可される。また、表33に示すように、picture_header_in_slice_header_flagは、SAOパラメータがピクチャヘッダにシグナリングされるとき、0に設定される。別の等価な方法では、picture_header_in_slice_header_flagは、表33に描かれるようにSAOパラメータがスライスヘッダにシグナリングされるとき、1に設定される。この表において、SAO情報がスライスレベルでシグナリングされ(sao_info_in_ph_flagが0)、ピクチャヘッダがスライスヘッダにおいて伝送される場合(picture_header_in_slice_header_flagが1)、スライスヘッダのslice_sao_luma_flagは復号され得る。
実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダのSAOパラメータは系統的に回避される。この表において、ピクチャヘッダのSAO情報は、SAO情報がピクチャヘッダ内でシグナリングされ(sao_info_in_ph_flagが1)、picture_header_in_slice_header_flagが0に設定される場合にのみ復号され得る。
WP(重み付き予測)
一実施形態では、ツールXXXは、WP(重み付き予測)である。一実施形態において、スライスヘッダ内のWPパラメータは、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、認可される。また、表33に示すように、picture_header_in_slice_header_flagは、ピクチャヘッダ内でWPパラメータがシグナリングされるとき、0に設定される。また、表33に示すように、スライスヘッダ内でWPパラメータを通知する場合、picture_header_in_slice_header_flagは1に設定される。この表では、WP情報がスライスレベルでシグナリングされる場合(wp_info_in_ph_flagが0)、またはピクチャヘッダがスライスヘッダで伝送される場合(picture_header_in_slice_header_flagが1)、重み付き予測パラメータを含むpred_weight_table()関数が復号され得る。
追加の一実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダ内のWPパラメータの復号は系統的に回避される。この表では、WP情報がピクチャヘッダ内でシグナリングされる場合(wp_info_in_ph_flagが1)、およびpicture_header_in_slice_header_flagが0に設定される場合にのみ、WP情報が復号され得る。
ALF(アダプティブループフィルタ)
一実施形態では、ツールXXXは、ALF(アダプティブループフィルタ)である。一実施形態において、スライスヘッダのALFパラメータの復号は、表33に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定される場合にのみ、許可される。また、picture_header_in_slice_header_flagは、ALFパラメータがピクチャヘッダ内でシグナリングされる場合、0に設定される(表33)。別の等価な方法では、picture_header_in_slice_header_flagは1に設定される。この表では、ALFがSPSレベルで有効である場合(sps_alf_enabled_flagが1)、ALF情報がスライスレベルでシグナリングされる場合(alf_info_in_ph_flagが0)、またはスライスヘッダ内でピクチャヘッダが伝送される場合(picture_header_in_slice_header_flagが1)のみ、スライスヘッダのALF情報が解読され得る。
実施形態では、表35に描かれているように、フラグpicture_header_in_slice_header_flagの値が1に設定されるとき、ピクチャヘッダのALFパラメータの復号は、系統的に回避される。この表において、スライスヘッダのALF情報は、ALFがSPSレベルで有効であり(sps_alf_enabled_flagが1)、ALF情報がピクチャレベルでシグナリングされ(alf_info_in_ph_flagが1)、picture_header_in_slice_header_flagは0に設定されていれば、復号され得るのみである。
Figure 0007475455000040
Figure 0007475455000041
Figure 0007475455000042
すべてのツール/パラメータ
実施形態では、ピクチャヘッダがスライスヘッダ内でシグナリングされる場合、ピクチャヘッダ内またはスライスヘッダ内でシグナリングされ得るすべてのツール(および/またはパラメータ)が、スライスヘッダにシグナリングされる。実施形態における上記説明で言及したように、関連するツールは以下の通りである。QPデルタ情報、参照ピクチャリスト、デブロッキングフィルタ、SAO重み付け予測、及びALF。しかし、他のツールは、それらがスライス及びピクチャヘッダの両方でシグナリングされることが可能である場合、可能であり得る。
これは、以下の制約を加えることで表現できる:
「フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,alf_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagの少なくとも1つが1となるとき、picture_header_in_slice_header_flagは0となるものとする。」
および/または、以下を加える:
「picture_header_in_slice_header_flagが1であるとき、フラグrpl_info_in_ph_flag,dbf_info_in_ph_flag,sao_info_in_ph_flag,wp_info_in_ph_flag,qp_delta_info_in_ph_flagは0とする。」
また、各XXX_info_in_ph_flagに以下の制約を追加する:
「PPSを参照するスライスヘッダがPHシンタックスを含む場合、XXX_info_in_ph_flagが0であることがビットストリーム適合性の要件である。」
これらのパラメータがすべて同じヘッダ内でシグナリングされる場合、ツールまたはパラメータが必然的に同じ値または特性を持つ場合、シグナリングが1つのみ可能である方がよいので、復号器の実施の複雑さが軽減される。
実施
図10は、本発明の実施形態による符号化器150または復号器100の少なくとも1つと通信ネットワーク199とを含むシステム191、195を示す図である。実施形態によれば、システム195は、例えば、復号器100を構成するユーザ端末または復号器100と通信可能なユーザ端末のユーザインタフェースを介して、復号器100にアクセスするユーザに対してコンテンツ(例えば、表示/出力またはストリーミング用のビデオおよび音声コンテンツ)を処理し提供するためのシステムである。このようなユーザ端末は、コンピュータ、携帯電話、タブレット、または、ユーザに(提供される/ストリーム配信される)コンテンツを提供/表示することができる他のタイプの装置であってもよい。システム195は、通信ネットワーク199を介してビットストリーム101を(連続ストリームまたは信号の形態で(例えば、先のビデオ/オーディオが表示/出力されている間))取得/受信する。実施形態によれば、システム191は、コンテンツを処理し、処理されたコンテンツ、例えば、後の時間に表示/出力/ストリーミングするために処理されたビデオ及びオーディオコンテンツを記憶するためのものである。システム191は、符号化器150によって受信され処理(本発明によるデブロッキングフィルタによるフィルタリングを含む)されたオリジナル画像シーケンス151を含むコンテンツを取得/受信し、符号化器150は、通信ネットワーク191を介して復号器100に伝達されることになるビットストリーム101を発生させる。そして、ビットストリーム101は、いくつかの方法で復号器100に通信されるが、例えば、符号化器150によって予め生成され、ユーザがストレージ装置からコンテンツ(すなわち、ビットストリームデータ)を要求するまで、通信ネットワーク199内のストレージ装置(例えば、サーバやクラウドストレージ)にデータとして格納され、この時点でストレージ装置から復号器100にデータが通信/ストリーム配信されてもよい。また、システム191は、ユーザに対して(例えば、ユーザ端末に表示されるユーザインタフェースのデータを通信することによって)、ストレージ装置に格納されたコンテンツのコンテンツ情報(例えば、コンテンツのタイトル、およびコンテンツを識別、選択および要求するための他のメタ/格納場所データ)を提供/ストリーム化し、要求されたコンテンツがストレージ装置からユーザ端末に配信/ストリーム化できるようにコンテンツのユーザ要求を受信して処理するコンテンツ提供装置を含み得る。あるいは、符号化器150は、ユーザがコンテンツを要求したときに、ビットストリーム101を生成し、復号器100に直接通信/ストリーミングする。その後、復号器100は、ビットストリーム101(または信号)を受信し、本発明によるデブロッキングフィルタによるフィルタリングを行い、ビデオ信号109および/またはオーディオ信号を得る/生成し、これをユーザ端末が使用して、要求されたコンテンツをユーザに提供する。
本発明による方法/プロセスの任意のステップまたは本明細書に記載された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実施されてもよい。ソフトウェアで実施される場合、ステップ/機能は、1つ以上の命令またはコードまたはプログラム、またはコンピュータ可読媒体として、上に格納されるかまたは上に伝送されてもよく、PC(パーソナルコンピュータ)であってもよいプログラマブル計算機などの1つ以上のハードウェアベースの処理装置によって実行されてもよい。DSP(デジタル信号プロセッサ)、回路、プロセッサおよびメモリ、汎用マイクロプロセッサまたは中央処理装置、マイクロコントローラ、ASIC(特定用途向け集積回路)、フィールドプログラマブルロジックアレイ(FPGA)、または他の同等の集積またはディスクリートロジック回路であってもよい。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、または本明細書で説明する技術の実施に適した他の構造を指す場合がある。
本発明の実施形態は、無線ハンドセット、集積回路(IC)またはICセット(例えばチップセット)を含む多種多様なデバイスまたは装置によって実現することも可能である。様々なコンポーネント、モジュール、またはユニットは、それらの実施形態を実行するように構成されたデバイス/装置の機能的側面を説明するために本明細書に記載されているが、必ずしも異なるハードウェアユニットによる実現が必要なわけではない。むしろ、様々なモジュール/ユニットをコーデックハードウェアユニットに組み合わせたり、適切なソフトウェア/ファームウェアと連携した1つ以上のプロセッサを含む相互運用可能なハードウェアユニットの集合体によって提供したりすることができる。
本発明の実施形態は、記憶媒体に記録されたコンピュータ実行可能命令(例えば、1つ以上のプログラム)を読み出して実行し上述した実施形態の1つ以上のモジュール/ユニット/機能を実行する、および/または、上述した実施形態の1つ以上の機能を実行するための1つ以上の処理ユニット又は回路を含む、システムまたは装置のコンピュータによって実現することができ、例えば、記憶媒体からコンピュータ実行可能命令を読み出して実行し、上述の実施形態の1つ以上の機能を実行すること、および/または、上述の実施形態の1つ以上の機能を実行するために1つ以上の処理ユニット又は回路を制御するシステム又は装置のコンピュータによって実行される方法によって実現され得る。コンピュータは、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータ又は別個の処理ユニットのネットワークを含んでもよい。コンピュータ実行可能命令は、例えば、ネットワークを介した通信媒体や有形記憶媒体などのコンピュータ読取可能媒体からコンピュータに提供されてもよい。通信媒体は、信号/ビットストリーム/搬送波であってもよい。有形記憶媒体は、「非一時的コンピュータ可読記憶媒体」であり、例えば、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、分散コンピューティングシステムのストレージ、光ディスク(コンパクトディスク(CD)、デジタル多用途ディスク(DVD)、ブルーレイディスク(BD)(商標)など)、フラッシュメモリ装置、メモリカードなどの1または複数が含まれてもよい。また、ステップ/機能の少なくとも一部は、FPGA(フィールドプログラマブルゲートアレイ)やASIC(特定用途向け集積回路)などのマシンまたは専用部品によってハードウェアで実施されてもよい。
図11は、本発明の1つ以上の実施形態の実施のためのコンピューティングデバイス2000の概略ブロック図である。コンピューティングデバイス2000は、マイクロコンピュータ、ワークステーション、または軽量の携帯デバイスなどのデバイスであってよい。コンピューティングデバイス2000は、通信バスに接続された、マイクロプロセッサのような中央処理装置(CPU)2001;本発明の実施形態の方法の実行可能コードおよび本発明の実施形態による画像の少なくとも一部を符号化または復号する方法を実施するために必要な変数およびパラメータを記録するために適合したレジスタを記憶するためのランダムアクセスメモリ(RAM)2002(メモリ容量は例えば、拡張ポートに接続したオプションRAMにより拡張することが可能である);本発明の実施形態を実施するためのコンピュータプログラムを記憶するためのリードオンリーメモリ(ROM)2003;通常、処理されるべきデジタルデータが送信または受信される通信ネットワークに接続されるネットワークインタフェース(NET)2004;で構成される。ネットワークインタフェース(NET)2004は、単一のネットワークインタフェースであってもよいし、異なるネットワークインタフェース(例えば、有線インタフェースと無線インタフェース、あるいは異なる種類の有線または無線インタフェース)の集合で構成されていてもよい。データパケットは、CPU2001で実行されるソフトウェアアプリケーションの制御下で、送信のためにネットワークインタフェースに書き込まれるか、受信のためにネットワークインタフェースから読み出され、ユーザインタフェース(UI)2005は、ユーザからの入力を受け取るため、またはユーザに対する情報を表示するために使用され得、ハードディスク(HD)2006は、大量記憶デバイスとして提供され得、入出力モジュール(IO)2007は、ビデオソースまたはディスプレイなどの外部デバイスからの/とのデータの受信/送信に使用され得る、などである。実行可能コードは、ROM2003、HD2006、またはディスクなどの取り外し可能なデジタル媒体のいずれかに格納することができる。変形例によれば、プログラムの実行可能コードは、実行される前に、HD2006などの通信装置2000の記憶手段の1つに格納されるために、NET2004を介して、通信ネットワーク手段によって受信されることが可能である。CPU2001は、本発明の実施形態によるプログラムまたはプログラムのソフトウェアコードの命令または部分の実行を制御および指示するように適合されており、この命令は前述の記憶手段の1つに格納される。電源投入後、CPU2001は、例えばプログラムROM2003またはHD2006からそれらの命令がロードされた後、ソフトウェアアプリケーションに関連するメインRAMメモリ2002からの命令を実行することが可能である。このようなソフトウェアアプリケーションは、CPU2001によって実行されると、本発明による方法のステップを実行させる。
また、本発明の別の実施形態によれば、前述の実施形態による復号器は、コンピュータ、携帯電話(セルラーフォン)、テーブルなどのユーザ端末、またはユーザにコンテンツを提供/表示できる他のタイプの装置(例えば、表示装置)に設けられることが理解される。さらに別の実施形態によれば、前述の実施形態による符号化器は、カメラ、ビデオカメラまたはネットワークカメラ(例えば、閉回路テレビジョンまたはビデオ監視カメラ)をも含む撮像装置に設けられ、符号化器が符号化するためのコンテンツを捕らえて提供する。そのような2つの例を、図11および図12を参照して以下に提供する。
・ネットワークカメラ
図11は、ネットワークカメラ2102とクライアント装置2104を含むネットワークカメラシステム2100を説明するための図である。
ネットワークカメラ2102は、撮像部2106、符号化部2108、通信部2110、及び制御部2112を含む。
ネットワークカメラ2102とクライアント装置2104は、ネットワーク200を介して相互に通信可能に接続されている。
撮像部2106は、レンズとイメージセンサ(例えば、電荷結合素子(CCD)や相補型金属酸化膜半導体(CMOS))を含み、対象物の画像を撮影し、その画像に基づく画像データを生成する。この画像は、静止画であっても、動画であってもよい。
符号化部2108は、上述した符号化方法を用いて、画像データを符号化する
ネットワークカメラ2102の通信部2110は、符号化部2108により符号化された符号化画像データをクライアント装置2104に送信する。
さらに、通信部2110は、クライアント装置2104からコマンドを受信する。コマンドには、符号化部2108の符号化のためのパラメータを設定するコマンドが含まれる。
制御部2112は、通信部2110が受信したコマンドに従って、ネットワークカメラ2102内の他のユニットを制御する。
クライアント装置2104は、通信部2114と、復号部2116と、制御部2118とを含む。
クライアント装置2104の通信部2114は、ネットワークカメラ2102にコマンドを送信する。
さらに、クライアント装置2104の通信部2114は、ネットワークカメラ2102から符号化された画像データを受信する。
復号部2116は、上述した復号方法を用いて、符号化された画像データを復号する。
クライアント装置2104の制御部2118は、ユーザ操作や通信部2114が受信したコマンドに従って、クライアント装置2104内の他のユニットを制御する。
クライアント装置2104の制御部2118は、復号部2116で復号された画像を表示するように、表示装置2120を制御する。
また、クライアント装置2104の制御部2118は、ネットワークカメラ2102のパラメータの値を指定するGUI(グラフィカルユーザインタフェース)を表示するように表示装置2120を制御し、符号化部2108の符号化のためのパラメータを含む。
また、クライアント装置2104の制御部2118は、表示装置2120が表示するGUIに対するユーザ操作入力に応じて、クライアント装置2104内の他のユニットを制御する。
クライアント装置2104の制御部2119は、表示装置2120が表示するGUIに対するユーザの操作入力に応じて、ネットワークカメラ2102に対するパラメータの値を指定するコマンドをネットワークカメラ2102に送信するように、クライアント装置2104の通信部2114を制御する。
・スマートフォン
図12は、スマートフォン2200を説明するための図である。
スマートフォン2200は、通信部2202、復号部2204、制御部2206、表示部2208、画像記録装置2210、及びセンサ2212を含む。
通信部2202は、ネットワーク200を介して符号化された画像データを受信する。
復号部2204は、通信部2202が受信した符号化された画像データを復号する。
復号部2204は、上述した復号方法を用いて、符号化された画像データを復号する。
制御部2206は、通信部2202が受信したユーザ操作やコマンドに従って、スマートフォン2200内の他のユニットを制御する。
例えば、制御部2206は、復号部2204が復号した画像を表示するように、表示部2208を制御する。
本発明を実施形態を参照して説明したが、本発明は開示された実施形態に限定されないことが理解されよう。添付の特許請求の範囲に定義された本発明の範囲から逸脱することなく、様々な変更および修正がなされ得ることは、当業者には理解されよう。本明細書(添付の請求項、要旨及び図面を含む)に開示された全ての特徴、及び/又は、そのように開示された任意の方法又はプロセスの全てのステップは、かかる特徴及び/又はステップの少なくとも一部が相互に排他的である組み合わせを除き、任意の組み合わせで組み合わせることが可能である。本明細書(添付の請求項、要約および図面を含む)に開示された各特徴は、明示的に別段の記載がない限り、同一、同等または類似の目的を果たす代替の特徴に置き換えることができる。したがって、明示的に別段の記載がない限り、開示された各特徴は、同等または類似の特徴の一般的な一連の一例のみである。
また、上記の比較、決定、評価、選択、実行(execution)、実行(performing)、または検討の任意の結果(例えば、符号化またはフィルタリング処理中に行われた選択)は、ビットストリーム中のデータ(例えば、フラグまたは結果を示すデータ)において示されるかまたは決定/参照可能であり、示されるかまたは決定/参照された結果は、例えば、復号処理中に比較、決定、評価、選択、実行、実行、または検討を実際に行う代わりに処理で使用できることが、理解される。
特許請求の範囲において、「含む(comprising)」という語は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数を排除するものでもない。異なる特徴が相互に異なる従属請求項に記載されているという事実のみでは、これらの特徴の組合せが有利に使用できないことを示すことはない。
特許請求の範囲に記載された参照数字は、説明のためのものであり、特許請求の範囲を限定するものではない。

Claims (19)

  1. ビットストリームからビデオデータを復号する方法であって、
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
    前記方法は、
    複数のシンタックス要素を復号することと、
    前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号することと、
    を含み、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする方法。
  2. 前記方法は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素をパースすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の前記パースを許可することと、をさらに含む
    請求項1に記載の方法。
  3. 前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報である
    請求項2に記載の方法。
  4. 前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報のパースは許可されない
    請求項2または3に記載の方法。
  5. 前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む
    請求項1乃至4の何れか1項に記載の方法。
  6. 前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む
    請求項1乃至5の何れか1項に記載の方法。
  7. 前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む
    請求項5に記載の方法。
  8. ビットストリームからビデオデータを復号する方法であって
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
    前記方法は、
    複数のシンタックス要素を復号することと、
    前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号することと、
    を含み、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされることを示す値を有するシンタックス要素を前記ビットストリームが含む場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする方法。
  9. ビデオデータをビットストリームに符号化する方法であって、
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示すフラグと、を含み、
    前記方法は、複数のシンタックス要素を用いて前記ビデオデータを符号化することを含み、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記フラグは、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つよう制約され、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする方法。
  10. 前記符号化は、前記情報が前記ピクチャヘッダ内でシグナリングされるか否かを示す第1のシンタックス要素を符号化スすることと、前記第1のシンタックス要素に基づいて、前記スライスヘッダまたは前記ピクチャヘッダの何れか一方のみにおいて、スライスヘッダ内およびピクチャヘッダ内でシグナリングされ得る前記情報の符号化を許可することと、をさらに含む
    請求項9に記載の方法。
  11. 前記第1のシンタックス要素は、ピクチャパラメータセットフラグ内の情報である
    請求項10に記載の方法。
  12. 前記情報が前記ピクチャヘッダ内でシグナリングされることを前記第1のシンタックス要素が示す場合、前記スライスヘッダ内の前記情報の符号化は許可されない
    請求項10または11に記載の方法。
  13. 前記情報は、量子化パラメータ値情報、参照ピクチャリスト情報、デブロッキングフィルタ情報、サンプルアダプテーションオフセット(SAO)情報、重み付け予測情報、アダプテーションループフィルタ(ALF)情報のうちの1つ以上を含む
    請求項9乃至12の何れか1項に記載の方法。
  14. 前記情報は、ピクチャヘッダ内およびスライスヘッダ内でシグナリングされ得るすべての情報を含む
    請求項9乃至13の何れか1項に記載の方法。
  15. 前記参照ピクチャリスト情報は、slice_collocated_from_l0_flag、slice_collocated_ref_idx、ph_collocated_from_l0_flag、ph_collocated_ref_idxのうちの1つ以上を含む
    請求項13に記載の方法。
  16. ビットストリームからビデオデータを復号する復号装置であって、
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
    前記復号装置は、
    複数のシンタックス要素を復号する手段と、
    前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号する手段と、
    を有し、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする復号装置。
  17. ビットストリームからビデオデータを復号する復号装置であって
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、1つのスライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、を含み、
    前記復号装置は、
    複数のシンタックス要素を復号する手段と、
    前記復号した複数のシンタックス要素を用いて前記ビットストリームから前記ビデオデータを復号する手段と、
    を有し
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされることを示す値を有するシンタックス要素を前記ビットストリームが含む場合、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つフラグが復号されるよう制約され
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする復号装置。
  18. ビデオデータをビットストリームに符号化する符号化装置であって、
    前記ビットストリームは、1つ以上のスライスを復号するときに使用される複数のシンタックス要素を含むピクチャヘッダと、スライスを復号するときに使用される複数のシンタックス要素を含むスライスヘッダと、前記ピクチャヘッダが前記スライスヘッダ内にあるか否かを示すフラグと、を含み、
    前記符号化装置は、複数のシンタックス要素を用いて前記ビデオデータを符号化する手段を有し、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る情報が前記ピクチャヘッダにおいてシグナリングされる場合、前記フラグは、前記ピクチャヘッダが前記スライスヘッダには無いことを示す値を持つよう制約され、
    前記ピクチャヘッダまたは前記スライスヘッダにおいてシグナリングされ得る前記情報は、アダプティブループフィルタ(ALF)のためのアダプテーションパラメータセットidであり、前記アダプテーションパラメータセットidにより示されるアダプテーションパラメータセット(APS)はルマに対してフィルターの係数のための1つ以上のクリッピングインデックスが復号されるかどうかを示すフラグを含む
    ことを特徴とする符号化装置。
  19. コンピュータに、請求項1乃至15の何れか1項に記載の方法を実行させるコンピュータプログラム。
JP2022540581A 2020-03-11 2021-03-05 ビデオの符号化および復号のためのハイレベルシンタックス Active JP7475455B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024066301A JP2024096913A (ja) 2020-03-11 2024-04-16 ビデオの符号化および復号のためのハイレベルシンタックス

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB2003562.2A GB2592957A (en) 2020-03-11 2020-03-11 High level syntax for video coding and decoding
GB2003562.2 2020-03-11
GB2005741.0A GB2592997B (en) 2020-03-11 2020-04-20 High level syntax for video coding and decoding
GB2005741.0 2020-04-20
PCT/EP2021/055661 WO2021180595A1 (en) 2020-03-11 2021-03-05 High level syntax for video coding and decoding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024066301A Division JP2024096913A (ja) 2020-03-11 2024-04-16 ビデオの符号化および復号のためのハイレベルシンタックス

Publications (2)

Publication Number Publication Date
JP2023516244A JP2023516244A (ja) 2023-04-19
JP7475455B2 true JP7475455B2 (ja) 2024-04-26

Family

ID=70453640

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022540581A Active JP7475455B2 (ja) 2020-03-11 2021-03-05 ビデオの符号化および復号のためのハイレベルシンタックス
JP2024066301A Pending JP2024096913A (ja) 2020-03-11 2024-04-16 ビデオの符号化および復号のためのハイレベルシンタックス

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024066301A Pending JP2024096913A (ja) 2020-03-11 2024-04-16 ビデオの符号化および復号のためのハイレベルシンタックス

Country Status (8)

Country Link
US (1) US20230108509A1 (ja)
EP (1) EP4118832A1 (ja)
JP (2) JP7475455B2 (ja)
KR (1) KR20220138009A (ja)
CN (1) CN115280785A (ja)
GB (3) GB2592957A (ja)
TW (1) TWI842980B (ja)
WO (1) WO2021180595A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083818A (ko) * 2019-11-27 2022-06-20 엘지전자 주식회사 슬라이스 관련 정보를 시그널링하는 방법 및 장치
JP7475908B2 (ja) * 2020-03-17 2024-04-30 シャープ株式会社 予測画像生成装置、動画像復号装置及び動画像符号化装置
GB2593222B (en) * 2020-03-20 2024-07-17 Canon Kk High level syntax for video coding and decoding
WO2021196234A1 (zh) * 2020-04-03 2021-10-07 北京大学 一种视频编码、解码方法、设备及存储介质
WO2023201450A1 (zh) * 2022-04-17 2023-10-26 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
US11758193B2 (en) * 2019-11-04 2023-09-12 Hfi Innovation Inc. Signaling high-level information in video and image coding
AR121125A1 (es) * 2020-02-29 2022-04-20 Beijing Bytedance Network Tech Co Ltd Interacción entre cabecera de imagen y cabecera de segmento de un flujo de bits de video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al.,Versatile Video Coding (Draft 8),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 17th Meeting: Brussels, BE, 7-17 January 2020,JVET-Q2001-v7,2020年01月20日,pp.44-45,47,56-57,112,118,135,139,165

Also Published As

Publication number Publication date
JP2023516244A (ja) 2023-04-19
GB2592997B (en) 2024-04-17
KR20220138009A (ko) 2022-10-12
EP4118832A1 (en) 2023-01-18
GB2625932A (en) 2024-07-03
GB2592997A (en) 2021-09-15
JP2024096913A (ja) 2024-07-17
GB202003562D0 (en) 2020-04-29
WO2021180595A1 (en) 2021-09-16
CN115280785A (zh) 2022-11-01
GB2592957A (en) 2021-09-15
TWI842980B (zh) 2024-05-21
GB202005741D0 (en) 2020-06-03
TW202135533A (zh) 2021-09-16
US20230108509A1 (en) 2023-04-06
GB202400742D0 (en) 2024-03-06

Similar Documents

Publication Publication Date Title
JP7403633B2 (ja) ビデオの符号化及び復号のための高レベルシンタックス
JP7475455B2 (ja) ビデオの符号化および復号のためのハイレベルシンタックス
JP2024069479A (ja) ビデオの符号化及び復号のための高レベルシンタックス
JP7434580B2 (ja) ビデオの符号化及び復号のための高レベルシンタックス
TWI811651B (zh) 用於視頻編碼及解碼的高階語法
JP2024105712A (ja) ビデオの符号化及び復号のための高レベルシンタックス
JP2024001274A (ja) ビデオコーディング及び復号のための高レベルシンタックス

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240416

R150 Certificate of patent or registration of utility model

Ref document number: 7475455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150