JP7187572B2 - 並列符号化機能の強化概念 - Google Patents

並列符号化機能の強化概念 Download PDF

Info

Publication number
JP7187572B2
JP7187572B2 JP2020552744A JP2020552744A JP7187572B2 JP 7187572 B2 JP7187572 B2 JP 7187572B2 JP 2020552744 A JP2020552744 A JP 2020552744A JP 2020552744 A JP2020552744 A JP 2020552744A JP 7187572 B2 JP7187572 B2 JP 7187572B2
Authority
JP
Japan
Prior art keywords
block
image
video
quantization parameter
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020552744A
Other languages
English (en)
Other versions
JP2021518718A (ja
Inventor
ゲオルク,ワレリ
ヒンツ,トビアス
マ,ジャッキー
ブランデンブルク,イェンス
レーマン,クリスティアン
ウィエコウスキ,アダム
シュヴァルツ,ハイコ
マルペ,デトレフ
ウィーガント,トーマス
シエル,トーマス
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2021518718A publication Critical patent/JP2021518718A/ja
Priority to JP2022191645A priority Critical patent/JP7393510B2/ja
Application granted granted Critical
Publication of JP7187572B2 publication Critical patent/JP7187572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Communication Control (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

本出願は、エンコーダ及び/又はデコーダでの並列処理に対するそれぞれのコーデックの適合性を向上させることのできるビデオ符号化概念に関する。
H.265/HEVCは、エンコーダ及び/又はデコーダでの並列処理を向上させる又は更に可能にするツールを提供しているビデオコーデックである。
例えば、HEVCは、互いに独立して符号化されたタイルアレイへの画像の細分割をサポートする。
HEVCでサポートされているもう1つの概念はWPPに関連しており、WPPにより、何らかの最小CTUオフセットが連続CTUラインの処理で遵守されている場合、画像のCTU行又はCTUラインを左から右に並列に(つまりストライプで)処理することができる。
しかし、ビデオエンコーダ及び/又はビデオデコーダの並列処理機能を一層効率的にサポートするビデオコーデックを手近に用意しておくことが好ましい。
したがって、本発明の目的は、並列性に関してエンコーダ及び/又はデコーダでのより効率的な処理を可能にするビデオコーデックを提供することである。
この目的は、本出願の独立請求項の主題によって達成される。
<第1の態様>
本出願の第1の態様によれば、ビデオコーデックは、画像ストライプ認識方法でコンテキストエントロピー確率管理を実行することによって、並列符号化/復号機能をサポートするという点でより効率化される。
すなわち、第1の態様の出発点は、画像がブロックベース符号化を用いて符号化データに符号化され、符号化データが、画像を分割し、CTUラインなどの相互に並列に画像を横断するストライプに沿ってコンテキスト適応エントロピー符号化を用いてデータストリームにエントロピー符号化され、例えば、画像の左側の境界などのストライプの始点でコンテキストエントロピー確率を初期化し、ストライプに沿ってコンテキストエントロピー確率を適応させる。
ビデオの画像の符号化データへの符号化、及び符号化データのデータストリームへのエントロピー符号化は、それらがエンコーダ及びデコーダでのWPP処理、すなわち符号化及び復号を可能にするように設計され得、空間イントラ画像符号化依存性は、特定の画像のストライプの現在処理されている部分の周りの範囲を定義するため、任意のストライプについて、それぞれのストライプの現在処理されている部分の空間イントラ画像符号化依存性範囲は、それぞれの画像の他のストライプの現在処理されている部分の波面の背後の既に処理済みの部分をカバーするだけである。
第1の態様によれば、並列性は、各ストライプについて、それぞれのストライプのバッファリング点まで始点で初期化されたコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率をバッファリングし、コンテキストエントロピー確率の初期化の際に、現在の画像の各ストライプについて、それぞれのストライプの同じ場所に配置されている前の画像のストライプに関してバッファリングされた状態をルックアップすることによって更に効率化される。
ルックアップは、ルックアップのインデックス(索引)又はインデックスの一部として情報を使用するなど、現在の画像内のそれぞれのストライプの位置に関する情報を用いて実行される。
つまり、ストライプを初期化するためのコンテキストエントロピー確率のバッファリングとルックアップは、ストライプを認識する方法で、又は別の言い方をすれば、ビデオの画像内の各ストリップ位置に対して個別に実行される。
この手段により、この他の画像の様々なストライプの別の画像のコンテキストエントロピー確率を初期化するためにある画像から別の画像に継承されるコンテキストエントロピー確率は、継承された確率の受信者に対して適応された画像コンテンツ、つまり現在の画像の同じ場所に配置されたストライプに基づき適応されている。
同じ場所に配置された画像コンテンツに基づいて適合されているため、これらの確率は、それぞれのストライプでの現在の画像の実際のエントロピー確率に厳密に適合させるべきである。
したがって、本出願の第1の態様によれば、並列処理は、ある画像のストライプから別の画像の同じ場所に配置されたストライプに、ストライプ認識方法でコンテキストエントロピー確率を継承させる、又は別の言い方をすれば、同じ場所に配置されたストライプに対して個別に継承を実行することによって更に効率化されるため、継承されたコンテキストエントロピー確率のより厳密な適応により符号化効率が向上する。
この符号化効率の向上の結果、ストライプ個別バッファリング、すなわち同じ場所に配置されたストライプに起因する古い確率を置き換えるFIFO方式と、コンテキストエントロピー確率の初期化、すなわち前の画像の同じ場所に配置されたストライプの確率の適用とに関連した、処理オーバーヘッドの増加が比較的低くなる。
具体的には、コンテキストエントロピー確率をバッファリングするためのバッファ量を増やす必要があり、ストライプインデックス形式などのストライプ位置の情報が、現在の画像の現在のストライプのみのコンテキストエントロピー確率を検索するためのインデックスのエントリとしてこの情報を用いる形式など、バッファリング及び/又はルックアップにおいて考慮に入れられるべきである。
<第2の態様>
本出願の第2の態様はまた、コンテキストエントロピー確率の初期化に関する。
しかしながら、第2の態様では、時間的相互依存性を考慮する。
第2の態様によれば、ビデオの画像は、画像が異なる時間レベルに分類されることに従って、画像間の階層的な時間符号化相互依存性を定義するように符号化データに符号化される。
各時間レベルについて、それぞれの時間レベルの画像は、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、各非ゼロ時間レベルについて、それぞれの非ゼロ時間レベルの画像は、相互に独立して符号化される。
例えば、閉鎖又は開放GOP構造を使用できる。
各画像のコンテキストエントロピー確率が新たに初期化されることを回避するために、符号化データは、各画像について、コンテキストエントロピー確率がそれぞれの画像内の少なくとも1つの始点で初期化されるようにデータストリームに符号化される。
コンテキストエントロピー確率は、少なくとも1つの始点から前方へそれぞれの画像を横断する符号化経路に沿って適応される。
本出願の第2の態様によれば、ある画像から別の画像にコンテキストエントロピー確率を継承するためのコンテキストエントロピー確率管理は、特定の時間レベルへのメンバーシップを認識するように行われる。
例えば、画像の少なくともサブセットのそれぞれについて、それぞれの画像の少なくとも1つのバッファリング点までの符号化経路に沿ったコンテキストエントロピー確率の適応から生じるコンテキストエントロピー確率の状態がバッファリングされ、その後、コンテキストエントロピー確率の初期化の際に、現在の画像内の少なくとも1つの始点のそれぞれについて、現在の画像の時間レベルに関する情報を用いてインデックスが決定され、このインデックスを用いて、現在の画像の時間レベルよりも下位の時間レベルの、前に符号化/復号された画像についてバッファリングされた状態をルックアップする。
つまり、特定の画像についてのバッファリングされたコンテキストエントロピー確率のルックアップは、時間レベルのランク付けが遵守され、同じ時間レベルの画像間に時間的な相互依存性を導入しないように行われる。
この手段により、最上位時間レベルなどの特定の時間レベルの画像の符号化/復号をスケジュール化し、それにもかかわらず、前にバッファリングされた学習/適応されたコンテキストエントロピー確率を利用して並列処理することが可能であり、これにより、符号化効率を向上させると共に、並列処理機能に関する適合性を向上させることができる。
<第3の態様>
本出願の別の態様は、フィルタパラメータ化に関係する。
特に、本出願の第3の態様は、適応型ループフィルタなどのインループ又はポストフィルタについてのフィルタパラメータ化設定値が、処理、すなわち符号化及び復号中に、最後に適用されたフィルタパラメータ化設定値の一種のプール又はリザーバを形成するようにバッファリングされるビデオコーデックに関し、新たな設定値又は完全に新たな設定値を送信しなければならない代わりに、この現在の画像についてのインループ又はポストフィルタのフィルタ化パラメータ化設定値を導出するため、インデックスを、現在の画像についてデータストリーム内の信号を用いて伝えることができる。
第2の態様のように、ビデオの画像は、画像が異なる時間レベルに分類される、画像間の階層的な時間符号化相互依存性を定義するようにデータストリームに符号化されると想定され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
符号化は、前述のインループ又はポストフィルタを用いて行われる。
少なくともサブセットの画像のそれぞれについて、それぞれの画像に適用されるインループ又はポストフィルタのフィルタパラメータ化設定値がバッファリングされる。
例えば、バッファリングは、フィルタのパラメータ設定値が明示的に、つまりインデックス付けなしでデータストリーム内で通知される画像に対して行われる。
例えば、フィルタのパラメータ化設定値がデータストリームで明示的に信号伝達されていない現在の画像の場合、ループ内又はポストフィルタのフィルタパラメータ化設定値には、データストリーム内のインデックスの信号伝達が含まれる。
本出願の第3の態様では、このインデックスは、バッファ状態のサブセットのうちの1つにインデックスを付け、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされた状態を除外する。
すなわち、フィルタパラメータ化設定値に関連するサイド情報オーバーヘッドを低減するために使用されるフィルタパラメータ化設定値のインデックス付けは、画像間の階層的時間符号化相互依存性もフィルタパラメータ化設定値信号伝達に関して遵守されるように行われる。
フィルタパラメータ化設定値のバッファリングは、バッファリングされるフィルタパラメータ化設定値が生じる画像のそれぞれの時間レベル、及びフィルタパラメータ化設定値が決定される現在の画像の時間レベルを認識する方法で行われ、エンコーダは、下位の時間レベルの、前に処理された画像に由来する現在の画像についてバッファリングされたフィルタパラメータ化設定値に単にインデックスを付けるように、インデックス付けの制限に従う。
この手段により、最上位時間レベルの画像などの特定の非ゼロの時間レベルの画像の並列処理が、フィルタパラメータ化設定値サイド情報オーバーヘッドを低く維持するためのリザーバとしての使用に関して、バッファリングされたフィルタパラメータ化設定値の使用において比較的小さな制限で可能になる。
エンコーダ及びデコーダは、例えば、FIFO方式で、様々な時間レベルに関連する1つ以上の最新の設定値をバッファリングするために、前の画像の状態をバッファリングするときに、様々な時間レベルのメンバーシップを考慮に入れることができる。
<第4の態様>
本出願の別の態様は、それぞれの画像のブロックに関連付けられたブロック毎に変化する量子化パラメータを利用するビデオコーデックに関する。
おそらく、パラメータ化された非ブロック化フィルタなどのインループ又はポストフィルタが、量子化パラメータに従って設定値される符号化に関与する。
しかしながら、データストリーム内の符号化データの符号化は、現在の画像の所定ブロックについて、所定ブロックに関連する量子化パラメータが、空間予測を用いて、所定ブロックに直接隣接する画像の隣接ブロックをカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、データストリーム内で符号化される方法で実行される。
すなわち、本出願の第4の態様によれば、所定ブロックに関連する量子化パラメータが、例えば、現在の画像の前のストライプ内など、所定ブロックから更に離れたブロックの量子化パラメータに依存することが回避される。
したがって、エンコーダは、ストライプの符号化順序で連続するインターストライプの符号化オフセットに従うことにより、これらのストライプの符号化を並列に実行できる。
エンコーダは、例えば、レート制御を用いて、及び/又は何らかのレート/歪み最適化に応じてなどの特定の手法に従って、量子化パラメータを設定し、予測残差の量子化などのタスクだけでなく、量子化パラメータを用いて、この量子化パラメータが依存するフィルタパラメータ化設定値をインループ又はポストフィルタについて設定する追加のタスクについても瞬時に量子化パラメータを使用することができる。
前のストライプの処理の完了を待つ必要がない。
したがって、符号化待ち時間全体が短縮される。
現在の画像の所定ブロックの量子化パラメータの空間予測が依存するブロックが、例えば、所定ブロックが属する現在のスライスの外側、又は更には画像の外側にあるために利用できない場合、代わりに、スライス量子化パラメータ、すなわち現在のスライスに対して送信されるパラメータを用いることができる。
<第5の態様>
本出願の第5の態様は、空間符号化依存性範囲に関して適応可能であるビデオコーデックに関する。
すなわち、ビデオコーデックは、ビデオの画像をデータストリームに符号化する際に空間イントラ画像符号化依存性を使用するが、コーデックは、複数の符号化依存性範囲設定値のうちで選択された空間符号化依存性範囲をデータストリーム内の信号を用いて伝えることができる。
ビデオの現在の画像の現在のブロックに関する空間イントラ画像符号化依存性の空間範囲は、選択された空間符号化依存性範囲設定値に応じて設定される。
例えば、これは、イントラ予測ブロックなどの現在のブロックについて画像コンテンツを予測すること、現在のブロックについての符号化パラメータを予測すること、又は現在のブロックに関連する符号化パラメータを符号化するためのコンテキストエントロピー確率を導出すること、又はこれらの可能性の全てに適用される。
空間符号化依存性範囲に関してビデオコーデックを適応可能にすることで、一方ではインタースライス符号化オフセット又は符号化波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点での符号化効率に関して、ビデオの画像を符号化/復号する際の並列性の程度に関して、ビデオコーデックを適応可能にする。
すなわち、本出願の第5の態様は、低減された空間符号化依存性範囲による符号化圧縮効率のわずかな減少を犠牲にして、より高い並列性の間の重み付けを可能にする。
一実施形態によれば、信号伝達は、空間最小インターストライプ復号オフセットを用いて行われる。
<第6の態様>
本出願の第6の態様は、ビデオのイントラ予測部分と、ビデオの純粋なイントラ予測部分とが異なって設定された空間符号化依存性範囲を使用するビデオコーデックに関する。
空間符号化依存性範囲に関して利用可能な符号化モードにビデオコーデックを反応し易くすることで、一方ではインタースライス符号化オフセット又は波面傾斜に関して、他方ではより大きな又はより小さな空間符号化依存性範囲を考慮した圧縮効率の観点からの符号化効率に関して、ビデオの画像の符号化/復号の並列性に関してビデオコーデックを適応可能にする。
ここでは、第5の側面と比較して、並列処理を優先して符号化効率を向上させる価値が、インター予測符号化部分よりも、ビデオの純粋にイントラ符号化された部分に対して、相互依存性を符号化するためのソースに関する限り、後者はあまり制限されていないために増大することが考慮に入れられている。
本出願の前述の態様に関して、全ての態様などの前述の態様のうちの2つ以上がビデオコーデックに同時に実装されるように、同じものを組み合わせることができることに留意されたい。
更に、本出願の好適な態様は、従属請求項の主題であり、本出願の好ましい実施形態は、図を参照して以下説明する。
2つの画像グループ(GOP)の画像を示す概略図であり、矢印により時間信号予測フローを示しており、画像は、画像順序カウント(POC)に従う時間表示順序に沿って左から右に水平に配置され、階層的時間レベルに対応する4つのレベルの1つに垂直に広がる。 図1に示すように符号化された2つのGOP画像を示す概略図であり、更に図2は、最上位時間レベルなどの同じ時間レベルの画像を並列に符号化/復号する機能を無効にするコンテキストのCABAC時間伝播を示している。 図6~図16を参照して説明した実施形態のいずれかの根底を成し得るビデオエンコーダの内部実装を示す概略図である。 図3のエンコーダに適合し、図6~図16を参照して以下更に説明する実施形態によるビデオデコーダの実装例を成すデコーダのブロック図である。 例として、予測及び残差符号化のために画像をブロックに分割することを示す概略図である。 WPP方式でビデオの符号化及び復号を提供するビデオエンコーダ及びビデオデコーダの機能を示す概略図であり、図6に示す基本機能は、図7~図16を参照して説明するビデオエンコーダ及びビデオデコーダの実施形態の根底となり得る。 ある画像から別の画像へのストライプ位置認識コンテキストエントロピー確率継承を利用する実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。 ある画像から別の画像への時間レベル認識コンテキストエントロピー確率継承を利用する実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。 パラメータセットの一部、ここでは例示的にSPSの例を示しており、時間的次元におけるコンテキストエントロピー確率継承のモードの変動を可能にする。 時間的予測依存性に関する限り、図1に示すように符号化された2つのGOPの画像を示す概略図であり、図10は、矢印を用いて、図8に示す概念に対応する概念に従って、画像間の時間的コンテキストエントロピー確率継承を示している。 パラメータセットの構文、ここでは例示的にSPSの例を示し、図12を参照して説明される時間レベル認識に関連する制限をデコーダに信号を用いて伝える。 時間レベル認識的にバッファリングスキームを用いて画像のフィルタパラメータ設定値を信号を用いて伝える一実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図である。 現在のブロックの直接の隣接ブロックよりも現在のブロックから離れたブロックのQPへの依存を回避するように空間予測を用いて、ブロック単位で画像全体のQP変動を信号を用いて伝える一実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す概略図であり、使用不能な隣接ブロックのQPのフォールバック予測子として、スライスQPを使用することができ、図示されていないが、左上に隣接し得る第3の空間予測子を、空間的近隣に更に含むことができる。 平行性機能に対する範囲設定値の影響を説明するために、異なるサイズの空間イントラ画像符号化依存性範囲により、異なるインターストライプオフセットで互いにオフセットされた現在の処理部分を示す。 パラメータセットの構文部分の例、ここでは例示的にSPSを示し、インター予測モードも提供する他のスライスと比較したIスライスの範囲設定値の別個の信号伝達を示す。 データストリーム内の範囲設定値の信号伝達を提供するビデオエンコーダ及びビデオデコーダの機能を示す概略図である。
上記で簡単に説明した各種態様に関する本出願の実施形態の以下の説明において、実施形態は、最新ビデオ符号化規格ITU T H.265|MPEG H HEVC[1]を遵守する次世代ビデオ符号化システムに対して新規な技術を形成する、又は新規な技術を組み込むことができ、まず、最新ビデオ符号化規格ITU T H.265|MPEG H HEVC[1]又はJEMソフトウェア[3]で利用可能ないくつかの関連符号化ツールについて簡単に紹介する。
時間的依存性を考慮し、ビデオ符号化で一般的に使用される構成の1つは、階層的画像形成が画像グループ(GOP)に組み込まれる「ランダムアクセス」符号化モードであり、一例を図1に示す。
画像10間のいくつかの依存性によって引き起こされる構造的遅延は、GOP12a、12b内、及びGOP12a、12b間の画像並列処理を可能にする。
図1に示すように、画像10は1行に配置されているのではなく、複数行に分散されている。
この表示は、画像10間の構造的な階層的時間依存性と、それらの時間レベル(TId)との関連を目立たせるように選択されている。
階層に関しては、時間レベル0(TId0)の画像を除いて、12a、12bなどのGOP内の同じ時間層の画像10は、互いに依存しない。
より正確には、それぞれの矢印を介して接続されているように示されている画像は、必ずしも相互に依存しているわけではない。
それどころか、相互の依存が禁止されていない。そうすることが可能である。
更に、画像は概して、復号順序において現在の画像に先行する同じ時間レベルの画像に依存し得るが、図1を参照して説明される種の依存順序には、以下に説明する並列化アプローチの要件又は前提条件がある。
そのため、時間レベルによっては、いくつかの画像を並列処理できる。
例えば、GOP0内のPOC1、3、5、7の画像10は並列処理が可能である。
しかし、一部の符号化ツールでは、画像間に依存性が生じる場合がある。
これは、並列処理のための完全な技術的ソリューションの妨げとなる。
続いて提示する実施形態では、そのような問題を克服するための特別なメカニズムを提案する。
予測とスライスを考慮に入れると、現在のビデオ符号化規格の圧縮ゲインのかなりの部分が、高度な予測から得られる。
これには、時間的及び空間的フィルタリングを用いて再構築された信号からの予測、並びにシンボル予測が含まれて、ビットストリームで送信される信号オーバーヘッドを最小限に抑える。
シンボル予測は、現在のCTUの左側と上部にある2つの隣接CTUを用いて実行される。
1つの画像に属するシンボルを送信する際に、様々なフレーミングが利用可能である。
それぞれに長所と短所がある。
最小のオーバーヘッドと、最良のローカル予測機能と、を備えた最も効果的な方法は、画像毎に1つのスライスのみを送信することである。
エラー堅牢性のために設計された別の変形は、画像を複数のスライスに分割することである。
デフォルトでは、スライスはシンボル符号化にも空間予測にもインタースライス予測を使用しないため、各スライスを任意の順序で個別に解析及び再構築することができる。
この適応型予測スキームは、エラーの伝播を防ぎ、エラー堅牢性とR-D性能間の柔軟なトレードオフを可能にする。
画像のシンボルを送信する別の変形は、依存スライスと呼ばれる。
このアプローチは、個々のCTUラインの並列処理、波面並列処理(WPP)に焦点を当てているが、エラーの堅牢性には焦点を当てていない。
予測データの可用性を保証するという制約により、依存スライスは、画像毎の単一スライスと同様のR-D性能を備えるが、個々のCTUラインに並列実行を適用する自由度がある。
追加要件が、違反してはならない連続CTUライン間の最小CTUオフセットを定義する。
このオフセットにより、所与のCTUについて、予測に必要な左、左上、右上、右上の参照CTUが既に再構築され、使用可能であることが保証される。
CABACコンテキスト変数(CCV)は、確率を表す適応モデルである。
CCVは、特定のシンボル又はシンボルセットのエントロピーをモデル化するために、算術エントロピー符号化と組み合わせて使用される。
適応という文言は、モデルのローカル統計値に適応するように、最新の符号化状態に向けてモデルを永続的に更新することを示す。
更新ステップは、通常、算術符号化動作に組み込まれている。
最初に、CCVの現在の状態を用いて算術符号化プロセスをパラメータ化し、いったん復号されたシンボルが導出されると、それを用いて、所与のステップサイズで現在の復号確率に向けてCCVを更新する。
シンボル値の統計値は変動し続けるため、CCVのセットを用いてスライスデータを算術的に符号化する。
しかし、CCVは、符号化又は復号に使用する前に、所定の状態に初期化する必要がある。
デフォルトのCCV初期化は、新しいスライスの復号/符号化プロセスが開始されたときに実行される。
最新のCABACコンテキストの初期化は、次のように実行される。
デフォルトのコンテキスト初期化は、初期化関数をCCVに適用することによって行われる。
この関数は、CCVCMM固有の定数値から計算され、スライスレベルQPによって変更されたインデックスパラメータを介して選択された初期CCVCMM状態を決定する。
モデル初期化パラメータは、広範なビデオ素材を表す初期状態を達成するために、十分なテスト素材を用いた徹底的なテストで収集された経験的データから導出されるが、計算されたCCV初期状態は、実際のコンテンツのための最適設定値が得られるであろう状態と大幅に異なることが多い。
上述のWPPアプローチでは、CCVではCTU回線毎にリセットが必要になるため、初期化性能ギャップがより深刻な問題になるであろう。
この性能ギャップを克服するために、特別な初期化メカニズムが導入された。
並列処理をサポートするITU T H.265|MPEG HEVCでも、これまでにローカルCCV導出技術が使用されている。
波面並列処理では、CTUラインは個々のスレッドによって独立して処理することができる。
CTUラインの解析プロセスを分離するには、CABACエンジンをリセットし、各CTUラインの先頭で全てのCCVを初期化する必要がある。
デフォルトのCCV初期化プロセスは、必ずしもコンテンツ依存CCV状態を最適な方法でモデル化するわけではない。そこで、依存スライスと組み合わせた初期化の新しい方法が提案された。
CCVの設定を向上させるため、画像の第1のラインのみが、デフォルトCCV初期化を用いて初期化される。
上記ライン内の第2のCTUが処理された後、画像内の後続の全ラインが、上記CTUラインからCCV状態を継承する。
この初期化概念は、依存スライスに関してのみ使用可能であるため、必要最小限のCTUオフセットを活用できる。
この初期化方法は、ライン毎のデフォルト初期化よりも改善されているが、継承されたCCVの更新プロセスに寄与できるCTUが少ないため、達成され得るゲインは制限される。
ある種の一時的なCCV導出が、JEM-Software[2]で提案及び実行されている。
基本的な考え方は、時間的類似性の活用である。
したがって、CCVセットの状態のスナップショットを格納できるバッファが確立される。
CCVセットの状態は、画像の中央にあるCTUが処理されたときに格納される。
実行された変形では、CCV状態は、現在のスライスレベルQPを用いてインデックスとしてバッファに格納される。
後続の画像の新しい復号プロセスが開始されると、CCVバッファは、現在のスライスレベルQPに関して格納されている有効なCCVセットについてチェックされる。
例えば、図2では、矢印で示された画像によるCCV状態の再利用が矢印で示されており、CCV状態はバッファに格納されていて、矢印の原点を成す画像から取得される。
使用可能なセットがある場合、CCVの状態は、バッファから、解析/符号化に使用される現在のCCVにコピーされる。
あるいは、有効なCMMセットが使用不能な場合、デフォルトの初期化機能を用いて現在のCCV設定値を設定する。
HEVC又はJEMから既知の特定の符号化ツール、及びそれらの制約又は欠点を説明したが、以下の説明では、次に説明する実施形態の1つ又は複数を組み込む方法で実装できるビデオエンコーダ及びビデオデコーダの例の説明に移る。
特に、このビデオエンコーダ及びビデオデコーダの例の提示は、後に説明する実施形態の理解を容易にするかもしれないが、後に説明する本出願の実施形態は、HEVC又はJEMの実装変形を形成することにも、図3~5を参照して説明するビデオエンコーダ及びビデオデコーダの実装変形を形成することにも限定されないと留意されたい。
図3は、一連の画像12から構成されるビデオ11をデータストリーム14に予測的に符号化するための装置を示す。
この目的のため、ブロック単位の予測符号化が使用される。
更に、変換ベースの残差符号化が例示的に使用される。
装置又はエンコーダは、参照符号10で示す。
図4は、対応するデコーダ20、すなわち、データストリーム14からの画像ブロック内の画像12’から構成されるビデオ11’を予測的に復号するように構成された装置20を示し、ここでも例示的に、変換ベースの残差復号を使用する。
アポストロフィは、デコーダ20によって再構成された画像12’及びビデオ11’が、予測残差信号の量子化によって生じた符号化損失のため、装置10によって最初に符号化された画像12からそれぞれ逸脱していることを示す。
図3及び図4は、例示的に、変換ベースの予測残差符号化を用いているが、本出願の実施形態は、この種の予測残差符号化に限定されない。
これは、以下に概説するように、図3及び図2を参照して説明する他の詳細にも当てはまる。
エンコーダ10は、予測残差信号を空間-スペクトル変換し、こうして得られた予測残差信号をデータストリーム14に符号化するように構成される。
同様に、デコーダ20は、データストリーム14からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル-空間変換するように構成される。
エンコーダ10は内部に、元の信号、すなわちビデオ11又は現在の画像12からの予測信号26の偏差を測定するために、予測残差信号24を生成する予測残差信号形成器22を含んでもよい。
予測残差信号形成器22は、例えば、元の信号、すなわち現在の画像12から予測信号を減算する減算器であってもよい。
エンコーダ10は、予測残差信号24を空間-スペクトル変換して、スペクトル領域予測残差信号24’を取得する変換器28を更に含み、この信号は、同じくエンコーダ10によって構成される量子化器32により量子化される。
このように量子化された予測残差信号24’’は、ビットストリーム14に符号化される。
この目的のために、エンコーダ10は、データストリーム14に変換及び量子化された予測残差信号をエントロピー符号化するエントロピーコーダ34を任意選択で備えてもよい。
予測残差信号26は、データストリーム14に復号され、データストリーム14から復号可能な予測残差信号24’’に基づいて、エンコーダ10の予測段36によって生成される。
この目的のために、予測段36は、図3に示すように、量子化損失を除いて信号24’に対応するスペクトル領域予測残差信号24’’’を得るように予測残差信号24’’を非量子化する非量子化器38と、次いで、予測残差信号24’’’を逆変換、すなわちスペクトル-空間変換して、量子化損失を除いて元の予測残差信号24に対応する予測残差信号24’’’’を取得する逆変換器40と、を内部に含むことができる。
次に、予測段36の結合器42は、再構成された信号46、すなわち元の信号12の再構成を取得するように、例えば加算によって、予測信号26と予測残差信号24’’’’を再結合する。
再構成された信号46は、信号12’に対応し得る。
次に、予測段36の予測モジュール44は、例えば、空間予測、すなわち、イントラ予測、及び/又は時間予測、すなわち、インター予測を使用することによって、信号46に基づいて予測信号26を生成する。
エントロピーコーダ34は、予測残差信号24’’だけでなく、残差データに加えて、予測モード、予測パラメータ、量子化パラメータ、及び/又はフィルタパラメータなどの画像を記述する他の符号化データもデータストリームにエントロピー符号化する。符号化データは画像を表す。
データストリームに符号化された構文要素を表す場合もある。
エントロピーコーダ34は、この符号化データを無損失でデータストリーム12に符号化する。
エントロピー符号化は、コンテキスト適応型であってもよい。
すなわち、コンテキストが、時間的及び/又は空間的に隣接し、前に符号化された符号化データに基づいてエントロピー符号化される対象の現在の符号化データの一部に対して選択され、各コンテキストは、対応するコンテキストエントロピー確率、すなわち、シンボル確率の推定値に関連付けられている。
選択されるコンテキストの確率は、現在のエントロピー符号化データエンティティに使用され、それに基づいて更新される。
最初に、例えば、1つの画像に関連する符号化データのエントロピー符号化の開始時、コンテキストの確率が初期化される。
いくつかの実施形態では、この点に関する詳細を以下に記載するが、この詳細は他の実施形態に関しては任意選択である。
同様に、デコーダ20は、予測段36に対応する構成要素、及び該予測段に対応するように相互接続される構成要素から成る。
特に、デコーダ20のエントロピーデコーダ50は、データストリームからの量子化されたスペクトル領域予測残差信号24’’をエントロピー復号することができる。
コンテキストの導出は、エンコーダと同期するように行うことができる。
結果は、例えば、予測残差データを含む符号化データである。
次に、予測段36のモジュールに関して上記のように相互接続されて協働する逆量子化器52、逆変換器54、結合器56、及び予測モジュール58は、予測残差信号24’’に基づいて再構成された信号を復元し、図4に示すように、結合器56の出力は、再構成された信号、すなわち、ビデオ11’又は現在の画像12’をもたらす。
具体的に上述していないが、エンコーダ10が、例えば、レート及び歪み関連の基準、すなわち符号化コストの最適化、及び/又は何らかのレート制御の使用などの何らかの最適化スキームにより、予測モードや運動パラメータなどを含むいくつかの符号化パラメータを設定できることは容易に明らかである。
以下でより詳細に説明するように、エンコーダ10及びデコーダ20、並びにそれぞれのモジュール44、58は、イントラ符号化モード及びインター符号化モードなどの異なる予測モードをサポートする。
エンコーダとデコーダがこれらの予測モードを切り替える粒度は、画像12及び12’のブロックへの細分割に対応してもよい。
なお、これらのブロックのいくつかは、イントラ符号化されるだけのブロックであってもよく、いくつかのブロックは、インター符号化されるだけのブロックであってもよく、任意選択で、更に別のブロックは、イントラ符号化及びインター符号化の両方を用いて得られるブロックであってもよい。
イントラ符号化モードによれば、ブロックの予測信号は、それぞれのブロックの空間的に既に符号化/復号された隣接部に基づいて取得される。
いくつかのイントラ符号化サブモードが存在する可能性があり、その中の選択は、いわば、一種のイントラ予測パラメータを表す。
それぞれの方向性イントラ符号化サブモードに固有の特定の方向に沿って隣接のサンプル値をそれぞれのブロックに外挿することによって、それぞれのブロックの予測信号が満たされる方向性又は角度イントラ符号化サブモードがあり得る。
イントラ符号化サブモードは、例えば、DC符号化モードなどの1つ以上の更なるサブモードを含んでもよく、これにより、それぞれのブロックの予測信号が、それぞれのブロック内の全サンプルにDC値を割り当てる、及び/又は、平面イントラ符号化モードにより、それぞれのブロックの予測信号が、隣接サンプルに基づく2次元線形関数によって定義された傾斜及びオフセットでそれぞれのブロックのサンプル位置にわたる2次元線形関数により記述されるサンプル値の空間分布になるように近似又は決定される。
代替的又は追加的に、イントラ予測モードは、使用するパッチの明示的又は暗黙的な指示と共にイントラパターン検索(予測子と同じものを用いて現在の画像の既に処理された部分内にパッチを配置する)を使用し、イントラ予測では、ニューラルネットワークの使用などの直接変換ドメインで、及び/又は直接変換ドメインで隣接残差ブロックからの予測変換係数で、予測子が提供される。
比較して、インター予測モードによれば、ブロックの予測信号は、例えば、ブロック内部を時間的に予測することによって取得することができる。
インター予測モードのパラメータ化のために、運動ベクトルは、データストリーム内で信号化され得、運動ベクトルは、前に符号化/復号された画像が、それぞれのブロックの予測信号を取得するためにサンプリングされる、ビデオ11の、前に符号化された画像部分の空間変位を示す。
つまり、量子化されたスペクトル領域予測残差信号24’’を表すエントロピー符号化変換係数レベルなどのデータストリーム14に含まれる残差信号符号化に加えて、データストリーム14は、ブロック予測モードに割り当てるための予測関連パラメータ、イントラ予測モード用の運動パラメータなどの割り当てられた予測モードの予測パラメータ、及び任意選択で、割り当てられた予測モード及び予測パラメータを用いてブロックの最終予測信号の構成を制御する追加パラメータに符号化され得ることを意味する。
更に、データストリームは、画像12及び12’のブロックへの細分割をそれぞれ制御及び信号伝達するパラメータを含むことができる。
デコーダ20は、これらのパラメータを用いて、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モード及びパラメータをブロックに割り当て、同じ予測を実行して同じ予測信号をもたらす。
図5は、一方では、再構成された信号、すなわち再構成画像12’と、他方ではデータストリームで送られる予測残差信号24’’’’及び予測信号26の組み合わせとの間の関係を示す。
上述したように、組み合わせは加算であってもよい。
予測信号26は、画像領域を様々なサイズのブロック80に細分割したものとして図5に示されているが、これは単なる例である。
細分割は、ブロックの行及び列への画像領域の規則的細分割、又は四分木細分割のような様々なサイズのリーフブロックへの画像12のマルチツリー細分割などの任意の細分割であり得、それらの混合が図5に示されており、画像領域は、最初にツリールートブロックの行及び列に細分され、次に、再帰的マルチツリー細分割に従って更に細分割されて、最終的にブロック80になる。
図5の予測残差信号24’’’’はまた、画像領域のブロック84への再分割として示されている。
これらのブロックは、符号化ブロック80と区別するために、変換ブロックと呼ばれることがある。
事実上、図5は、エンコーダ10及びデコーダ20がそれぞれ、画像12及び画像12’のブロックへの2つの異なる細分割、すなわち、符号化ブロック80への細分割と、ブロック84への再分割を使用できることを示している。
両方の細分割は同じである可能性があり、すなわち、各ブロック80は、同時に変換ブロック84を形成し得、逆もまた同様であるが、図5は、例えば、変換ブロック84への細分割がブロック80への細分割の拡張を形成する結果、2つのブロック80間の任意の境界が2つのブロック84間の境界に重なる、あるいは別の言い方をすれば、各ブロック80が、変換ブロック84の1つと一致する、又は変換ブロック84のクラスタと一致する場合を示す。
しかしながら、細分割はまた、変換ブロック84がブロック80間のブロック境界を交互に横切ることができるように、互いに独立して決定又は選択することもできる。
変換ブロック84への細分割に関する限り、ブロック80への細分割に関して提示されたものと同様の陳述が当てはまる。
すなわち、ブロック84は、行列で配置された画像領域のブロックへの規則的細分割の結果、画像領域の再帰的マルチツリー細分割の結果、又はそれらの組み合わせ、又はその他の種類の分割であってもよい。
なお、ブロック80及び84は、正方形、長方形、又はその他の形状に限定されない。
更に、現在の画像12を予測信号が形成されるブロック80に再分割すること、及び現在の画像12を予測残差が符号化されるブロック84に再分割することは、符号化/復号に使用される唯一の細分割でなくてもよい。
これらの再分割は、予測信号決定及び残差符号化が実行される粒度を形成するが、これらの再分割以外の粒度でも、エンコーダ及びデコーダは、予測パラメータなどの前述のパラメータのいくつかを含み得る特定の符号化パラメータを設定し得る。
図5は、予測信号26と予測残差信号24’’’’の組み合わせが、再構成信号12’を直接もたらすことを示す。
しかしながら、例えば、別のDPBを有する別の予測ループで符号化/復号される他の図面又は他の符号化層から得られる予測信号など、代替の実施形態に従って、2つ以上の予測信号26を予測残差信号24’’’’と組み合わせて、画像12’をもたらすことができることに留意されたい。
図5において、変換ブロック84は、以下の意味を有するものとする。
変換器28及び逆変換器54は、これらの変換ブロック84単位で変換を実行する。
例えば、多くのコーデックは、全ての変換ブロック84に対して何らかの種類のDST又はDCTを使用する。
いくつかのコーデックは変換のスキップを可能にするので、いくつかの変換ブロック84に関して、予測残差信号は空間領域に直接符号化される。
しかしながら、後述の実施形態によれば、エンコーダ10及びデコーダ20は、いくつかの変換をサポートするように構成される。
例えば、エンコーダ10及びデコーダ20によってサポートされる変換は、
DCT-II(又はDCT-III)、ここで、DCTは離散コサイン変換の略であり、すなわち、DST-IV、DSTは離散サイン変換の略であり、DCT-IV、DST-VII、恒等変換(IT)を含むことができる。
当然ながら、変換器28がこれらの変換の全ての順方向変換バージョンをサポートする一方、デコーダ20又は逆変換器54は以下の対応する逆方向又は逆バージョン、すなわち、逆DCT-II(又は逆DCT-III)、逆DST-IV、逆DCT-IV、逆DST-VII、恒等変換(IT)をサポートする。
いずれの場合でも、サポートされる変換のセットは、スペクトル-空間変換や空間-スペクトル変換など、一方の変換のみを含み得ることに留意されたい。
既に概説したように、図3~図5は、本出願によるビデオエンコーダ及びデコーダの特定の例を形成するために、以下で更に説明する実施形態を実行できる例として提示されている。
これまでのところ、図3及び4のビデオエンコーダ及びデコーダはそれぞれ、本明細書で後述するビデオエンコーダ及びデコーダの可能な実装を表す。
ただし、これらは単なる代表例である。
ブロック80へのブロック細分割に関して、同じことが、図5を参照して概説された方法又はそれとは異なる方法で行われ得ることに留意されたい。
変換ブロックへの細分割が存在する場合は、図5を参照して説明したように、又は別の方法で行うこともできる。
特に、一方ではブロックへの細分割、他方では変換ブロックなどの他のブロックへの細分割は、画像12をこれらのブロックにそれぞれ別々に細分割することによって互いに独立して、又は依存的に行うことができる。
例えば、変換ブロックへの細分割などの一方の細分割が、上記のように他方の細分割の拡張を形成することができる、又は両方の細分割が、例えば、図5を参照して説明したような画像のツリールートブロック86への細分割など、共通の一次細分割の別々の拡張を形成することができる。
そして、そのような可能性は、特定の予測パラメータや予測モードなどの定義に関してなど、以下で説明する他のサブ画像の粒度にも当てはまる。
異なる細分割をこれらのエンティティの異なるエンティティに使用することができ、それらの細分割は、互いに独立して、部分的に独立して、又は互いからの拡張として定義することができる。
とはいえ、以下の説明は、図3~図5を参照してこれまで説明されていないこと、すなわち、以下に説明する各種実施形態に係るビデオエンコーダ及びビデオデコーダに実装される機能及び符号化ツールに焦点を当てている。
これらの符号化ツールは、各実施形態で同時に様々な態様に従ってビデオエンコーダ及びビデオデコーダに実装される必要がないため、符号化ツールとその細部は特定の実施形態に関して以下に説明する。
ここで最初に説明する一実施形態は、本出願の第1の態様に関し、ビデオエンコーダ及びビデオデコーダが、特定の画像をデータストリーム14に記述する符号化データのストライプ式エントロピー符号化を使用するビデオコーデックに関する。
以下に説明する第1の態様に関して、本出願の実施形態によりビデオエンコーダ及びビデオデコーダによって使用されるフレームワーク又は概念を説明するために、図6を参照する。
図6は、符号化されるビデオ11の画像12を示し、図6に示すように、画像12は、ストライプ90a、90b、及び90cに分割される。ストライプの数は重要ではない。
ストライプ90a~90cは、図5で導入されたようなツリールートブロックの行によって形成することができる。すなわち、ストライプ90a~90cは、画像12を分割し、相互に平行に画像12を横切る。
ストライプ90a~90cの意義は次のとおりである。ブロックベース符号化を使用することにより、画像12は符号化データに符号化される。
符号化手順は、矢印92を用いて図6に示されている。
符号化データは、参照記号94を用いて図6に示され、画像12の画像領域に対応するように配置されるとして示されている。
符号化92はブロックベースであるため、符号化データ94は、符号化ブロック80及び/又は変換ブロック84などのロック96単位で画像12を記述する。
したがって、符号化データ94は、画像12に対してある種の空間的関連性を有する。
符号化データ94は、例えば、それぞれが特定のブロック又は部分に関連する画像12を記述する構文要素の集合であってもよい。
符号化データ94は、上記のように、変換係数、予測パラメータ、及び予測モードなどの残差サンプル値を含み得る。
符号化データ94は、エントロピー符号化98を用いてデータストリーム14にエントロピー符号化される。
しかし、このエントロピー符号化は一気には実行されない。
すなわち、符号化データ98は、ストライプ90a~90cに沿ったコンテキスト適応型エントロピー符号化を用いて、ビデオエンコーダによってデータストリーム14に符号化される。
すなわち、特定のストライプに関連する符号化データ94は、データストリームに別個に符号化されることによって、WPPサブストリームと呼ばれてもよく、ストライプ90a~90c毎のサブストリームを形成する。
この目的のために、各ストライプ90a~90cについて、コンテキストエントロピー確率、及び任意選択で、算術符号化を使用する場合の確率区間パラメータなどの内部状態が、ストライプ90a~90cの始点100a、100b、及び100cで初期化され、始点100iからその終点(図6では、図12の右側)までそれぞれのストライプを符号化する間に、実際の統計値に適合されて、主に符号化データの実際の値に従って更新される。
言い換えれば、ストライプ90aに関連する符号化データ94の部分は、始点100aからある終点102aまでエントロピー符号化され、始点100aではコンテキスト初期化、及び始点100aから終点102aでは連続的なコンテキスト更新又は適応が行われる。
同様に、ストライプ90bに関する符号化データ94は、始点100bから終点102bまでエントロピー符号化され98、始点100bではコンテキスト初期化及び終点102bに向かう符号化中は連続的なコンテキスト適応が行われ、同じことが他のストライプ、ここではストライプ90cにも当てはまる。
復号は、同じコンテキストが導出されて、同じ初期化が実行される際に、同じように実行される。
以下に説明する実施形態が関係する具体的な問題は、始点100a及び100cでのコンテキスト初期化に関する。
1つのオプションは、符号化順序、同じ画像12の先行するストライプ、又は前に符号化/復号された画像のコンテキスト更新/適応に関係なく、又はそれとは独立して、各ストライプ90a~90cに対してデフォルトの方法で新たにコンテキスト初期化を実行することであろう。
上述したように、これは、スライス量子化パラメータなどのそれぞれのストライプ90a~90cに関連付けられた量子化パラメータに応じて、デフォルトのコンテキストエントロピー確率を選択することによって行うことができる。
後で説明するように、この初期化方法は、ここで説明するモードに加えて、コンテキスト初期化のための1つのモードを更に形成する場合がある。
例えば、HEVCにおいて選択される別のオプションは、始点と終点の間のどこかの中間点までの同じ画像の直前ストライプに関して更新されたコンテキストエントロピー確率の状態に基づいて、例えば上から下への符号化順序で、任意の2番目又は以後のストライプのコンテキストエントロピー確率を初期化することである。
したがって、各画像のストライプの初期化は、他の画像のストライプのコンテキストエントロピー確率とは無関係に行われる。
後述するように、この初期化方法は、現在説明されているものに加えて、コンテキスト初期化のための1つのモードを依然として形成する場合もある。
以下で更に説明する実施形態は、更に一歩進んで、前に符号化/復号された画像の同じ場所に配置されたストライプに適合/更新されたコンテキストエントロピー確率に基づいて、特定の画像12の符号化順序における最初のものを含む各ストライプに関するコンテキストエントロピー確率の初期化を可能にし、その詳細については、以下で説明する。
しかし、その前に、図6の符号化/復号概念は、WPP処理をサポートように実行され得ることに留意されたい。例えば、エントロピー符号化98は、現在のストライプの現在のエントロピー符号化部分106の隣接空間104に依存するようにコンテキスト選択又はコンテキストモデル化が実行される方法で実行することができる。
隣接空間104は、現在のエントロピー符号化ブロック106に配置され、例えば符号化順序の先行している部分など、現在処理される、すなわち現在符号化/復号される同じ画像の他のストライプの部分が、隣接空間104よりもそれぞれの終点に近い限り、符号化順序において直前のものなどの隣接又は他のストライプに延在する空間テンプレートのようなものであり、ストライプの並列処理、すなわち、並列符号化/復号は、隣接空間104内の符号化データの可用性を侵害することなく実行可能であり、これに基づき、現在のストライプの現在のエントロピー符号化部分106のコンテキストが決定される。
隣接空間104の空間コンテキスト導出範囲の空間的制限は、また、図6の矢印108によって示されるエントロピー復号手順の並列実装を可能にする。
同様に、符号化手順92は、現在の符号化部分110に対する隣接空間112に基づいて、現在の符号化部分110の空間予測を含み得る。
コンテキスト導出領域104と同様に、予測ソース領域112は、現在のストライプに対して1つ以上の隣接ストライプに拡張することができ、他のストライプの現在の処理部分が領域112よりも終点に近い限り、現在のストライプの現在の部分110の予測用ソースとして使用されるデータの可用性が満たされる。
空間予測は、サンプルの予測又は符号化パラメータの予測に関係する場合もある。
よって、領域104及び112の結合の拡張は、インタートライプ符号化オフセット/復号オフセットが上述の空間イントラ画像符号化依存性範囲に重複しない限り、符号化92及びエントロピー符号化98と、対応する復号手順108及び114との並列実施を可能にする空間イントラ予測符号化依存性範囲を定義する。
図7を参照して、一実施形態に係るビデオエンコーダ及びビデオデコーダが説明され、これらは、図3から図5に関して図示及び説明されるように実装され得る、又は異なる風に実装され得る。
いずれの場合も、ビデオエンコーダとビデオデコーダは、図6を参照して説明した機能、つまり、WPP対応符号化/復号をサポートする。
言い換えると、ビデオ符号化は、ストライプに関してビデオ符号化とビデオ復号を並列に実行できるように行われる。
言い換えれば、ビデオ符号化は、ストライプ90a~90cの同時処理部分が何らかのインターストライプ符号化オフセットに従う限り、領域104及び112は別の領域の現在処理される部分を超えて拡張することや覆うことがないように行われる。
むしろ、後者の領域は、他のストライプの現在処理される部分の周りに広がる領域の前方を延びる。
しかしながら、代替の実施形態によれば、ビデオデータ94の符号化は、例えば、並列処理を可能にしない方法で行われることに留意されたい。
更に、領域104に関して図6で説明されるようなコンテキストの空間的導出は、必ずしも使用されない場合がある。
図6の実施形態がこの状況に関して完全に説明されているとしても、図7を参照して説明された実施形態に係るビデオエンコーダもビデオデコーダも実際に並列処理を実行する必要がないという事実に特に留意されたい。
ビデオエンコーダは、ストライプに関して逐次符号化を実行することによって、WPP処理だけでなくストライプの逐次処理を用いて復号可能なデータストリーム14を形成することができる。
図7の実施形態によれば、ビデオエンコーダ及びビデオデコーダの両方は、後述するように、特定のバッファリング点までの適応から生じるコンテキストエントロピー確率の状態をバッファリングするためのバッファ120を備える。
バッファ状態122は、現在の処理画像12のストライプ90a~90cのコンテキストエントロピー確率を初期化するために使用される、最終の適用状態の一種のリザーバ又はプールを形成する。
特に、現在の処理画像12と、前に処理された、すなわち、前に符号化/復号された画像12’とを示す図7を参照されたい。
図6を参照して説明したように、画像12’のストライプ90a~90cのエントロピー符号化/復号は、共通の符号化方向に沿ってそれぞれの始点100a~100cから終点102a~102cまで、すなわち図7の例では左から右に行われる。
その間に、前述のバッファリング点124a~124cが存在する。
したがって、始点100a~100cで初期化されたコンテキストエントロピー確率の状態は、画像12’の実際の画像コンテキストに従って継続的に更新/適応され、バッファリング点124a~124cで生じる中間状態は、図7の実施形態に従ってバッファリングされた状態である。
したがって、これらはコンテキスト確率の一種のスナップショットを形成する。
以下の説明から明らかなように、バッファリング点124a~124cまでに現れるようなコンテキストエントロピー確率の中間状態は、ビデオ11の各画像のエンコーダ及びデコーダでバッファ120にバッファリングされる必要はない。
例えば、一部の画像、つまり特定の時間レベルの画像の場合、バッファリングがスキップされることがある。
しかしながら、これは、現在説明されている実施形態については役割を果たさない可能性があるため、詳細はさしあたり省略する。
画像12’の各スライス90a~90cをエントロピー符号化する際に現れる状態122は、様々なストライプ位置のストライプに由来する状態122間を区別するようにバッファ120にバッファリングすることができる。
図7に示すように、ビデオ11の画像12及び12’は同じようにストライプ90a~90cに分割されるため、ストライプは互いに同じ場所に配置され、画像12の各ストライプ90は、画像12’の同じストライプIDのストライプと同じ場所に配置される。
図7は、バッファリング状態120が、ストライプID毎に、言い換えればストライプ位置毎にバッファ120にバッファリングされるストライプID認識バッファリングを示す。
つまり、バッファ状態がテーブルでバッファリングされている。
バッファ120へのバッファリングは、バッファ120が、ストライプID毎に、最終バッファ状態120のみを格納するように行うことができる。
つまり、ストリップIDで、及び任意選択で後述する1つ以上の基準で、新しいバッファ状態に対応する古い状態が、新しいバッファ状態に置き換えられる。
別の基準に関して、図7は、バッファ状態120が、関連する量子化パラメータに従って更に区別され得ることを例示的に示している。
他の基準は、スライスタイプ、すなわち、それぞれのストライプ又は時間レベルに関連付けられた予測モードのタイプ(イントラモードのみ、又はイントラモード及びインターモード)に関係し得る。
より正確には、符号化データを符号化/復号するために使用され、次にバッファリング点124a~124cまでのコンテキスト更新/適応中にエントロピー符号化/復号されたQPが、属するストライプIDによる状態122の区別に加えて、エントロピー符号化から生じるバッファ状態120を区別するためにも使用される。
したがって、可能な量子化パラメータQP、QP...のうちの関連するストライプID及び量子化パラメータQPの特定ペアの状態122が、ストライプID及び量子化パラメータQPの同じペアの、前のバッファ状態122を置き換える又は更新する。
ストライプIDと1つ以上の基準の他の組み合わせも実行可能である。
QP認識は、破線を用いて図7に示されている。
したがって、前述のQPとして、スライスQPを使用することができる。
スライスQPは、画像の大部分、つまりストライプ全体などのスライスに割り当てられる。
しかしながら、レート制御、すなわち、ブロック内で局所的に変動するQPと組み合わせて、例えば、格納位置又はバッファリング点124a~124cでのqpは、代替的に、異なるQP間を区別するようにバッファ内のコンテキスト状態のバッファリングを格納するために使用することができる。
次に、始点100a~100cでのロード又はコンテキスト更新のために、それぞれのストライプの最初のブロックのスライスQP又はローカルQPを使用することができる。
しかし、コンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像12のストライプ毎に、バッファ120内の対応する状態、すなわち、状態122のうちの1つをルックアップする。
特に、現在の画像12の各ストライプ90a~90cについて、ビデオエンコーダ及びビデオデコーダは、現在の画像12内のそれぞれのストライプの位置に関する情報を用いて、すなわち、それぞれのストライプのストライプIDを用いてインデックスを形成することができ、このインデックスを用いて、エンコーダ及びデコーダは、それぞれのストライプ90a~90cの始点100a~100cのコンテキストエントロピー確率を初期化するために、そのストライプIDの対応する状態122をルックアップする。
QP認識の場合、ルックアップは、現在の画像12のそれぞれのストライプ90a~90cに関連付けられた量子化パラメータに応じて更に行われる。
すなわち、例えば、ストライプ90aの場合、始点100aでのコンテキストエントロピー確率は、ストライプID番号1、すなわち、ストライプ90aに対応するストライプIDに関してバッファリングされたバッファ状態122に基づいて初期化される。
追加のQP依存性の場合、ルックアップは、それぞれのストライプ90aに割り当てられたストライプIDとQPのペアに基づいて、すなわち、このストライプIDと量子化パラメータQPのペアに対応するバッファ120の状態122をルックアップすることによって行われる。
上述の方法で、前に処理された画像12’で学習/更新されたコンテキストエントロピー確率を継承することができる。
バッファリング点124a~124cは、終点120a~120cの相当近くに配置することができる。
終点102a、102b、102cと一致することさえあり得るが、更なる可能性を以下説明し、予測用参照部分の欠落などのエッジ現象に関連する統計的変化によって、コンテキストエントロピー確率が影響を受ける、又は悪影響を及ぼされるのを回避するために好ましい場合がある。
ストライプID認識バッファリングのおかげで、ある画像12’から別の画像12に継承又は再利用された再利用又は継承コンテキストエントロピー確率は、同じ又は類似の画像コンテンツに関連し、したがって、現在の画像12のストライプ90a~90cのコンテキストエントロピー確率を初期化するために使用される状態122は、それぞれ、コンテキスト適応型エントロピー符号化手順98又は対応する復号手順108の対象となる実際のサンプル統計値をより厳密に表す。
図8を参照して次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、図6を参照して説明した方法で、すなわち、WPP処理を可能にする方法で、ビデオ11の画像を符号化/復号するように構成されてもよいし、されなくてもよい。
したがって、図8では、図7を参照して説明した画像に対応するビデオ11の画像12及び12’は、破線を用いてこの状況を示すための単なるオプションとして、ストライプに細分割されるものとして示されている。
しかしながら、図8の例によれば、ビデオエンコーダ及びビデオデコーダは、いずれの場合も、以下のようにして、符号化データ94の符号化92/復号114、及び符号化データ94のエントロピー符号化98及びエントロピー復号108のタスクを実行する。
特に、符号化データ94は、図1に示すように、ビデオの画像間の階層的な時間的符号化相互依存性を定義する方法で画像12を表すか又は符号化する。
つまり、画像は異なる時間レベルTidに分類され、各時間レベルについては、それぞれの時間レベルの画像が、それぞれの時間レベルよりも上位の時間レベルの画像から独立して符号化され、一種の基本層レベルを形成する各非ゼロ時間レベルについては、それぞれの非ゼロ時間レベルの画像が相互に独立して符号化される。
このようにして、符号化データ94が定義される。
エントロピー符号化98及びエントロピー復号108に関する限り、インター画像依存性を伴わない方法で同じことを行うことができる。
すなわち、例えば、コンテキストは、隣接空間104のみを使用する方法で選択され得る。
あるいは、エントロピー符号化はまた、コンテキスト選択用に時間的ソースを活用することができるが、その場合、符号化データ94の形成に関して、すなわち符号化92及び復号114に関して今説明した階層的時間符号化相互依存性が、エントロピー符号化、すなわち98と108に関しても遵守される。
いずれの場合も、エントロピー符号化98及び復号108に何らかのコンテキスト適応型エントロピー符号化が使用され、その際に、ビデオ11の各画像について、コンテキストエントロピー確率が、それぞれの画像内の少なくとも1つの始点140で初期化される。
始点140は、例えば、図6を参照して説明したストライプ分割及びWPP有効化処理を使用する場合、ストライプ符号化順序の第1のストライプの始点108aであってもよい。
又は、図8を参照して以下説明する初期化とバッファリングは、ストライプ認識方法で実行されることによって、図7の概念と図8の概念の両方を使用する。
図8に更に示すように、あるバッファリング、すなわち、少なくとも1つの始点140からいずれかのバッファリング点142に適合/更新されたコンテキストエントロピー確率状態のバッファリングが行われる。
この場合も、各始点に1つなど、2つ以上のバッファリング点142を使用することができる。
ストライプを使用するとき、バッファリング点は図7を参照して説明したように配置することができる。
例えば、1つのバッファリング点142を使用し、ストライプ分割を使用しない場合、バッファリング点142はビデオ11の画像間の中間点であってもよい。
しかしながら、図8の場合、バッファリング点142までのコンテキスト適応/更新のスナップショットを表す状態142のバッファリングは、時間レベル認識方法で実行される。
すなわち、状態122は、バッファリング点142が一部を成す画像12’の時間レベルに関連付けられる方法で格納することができる。
図8は、バッファリングが更に、エントロピー符号化及びそれぞれの状態122が取得されたバッファリング点142までのコンテキスト適応/更新が関連する符号化データの基礎となる関連量子化パラメータを認識するように実行できるという事実を示す。
ストライプ分割の場合、ストライプIDは、バッファ状態122毎にも記録することができる。
図8の例に従ってこのように満たされるバッファ120は、例えば、(a)対応する時間レベル、(b)時間レベルとストライプID又はスライスタイプの量子化パラメータとのペア、(c)時間レベル、ストライプIDの量子化パラメータ、スライスタイプの量子化パラメータの3つ、又はスライスタイプ、(d)これら全ての修飾子の4つ、に関して最終のバッファ状態122を格納することができる。
しかし、画像毎にバッファリングを行うことはできない。
例えば、バッファリングは単に、中括弧144及びバッファ120内の格納部分の破線マーキングによって示されるように、最上位時間レベル以外の時間レベルの画像12’のそれぞれのバッファリング点142に現れる状態122に関して行うことができる。
その理由は、最上位層のバッファ状態が、画像12のコンテキストエントロピー確率を初期化するために決して使用されないことを考慮すると明らかになる。
特に、画像12の始点140でコンテキストエントロピー確率を初期化する際に、エンコーダ及びデコーダは、現在の画像12の時間レベルに関する情報を用いてバッファ120へのインデックスを判定し、このインデックスを用いて、現在の画像12のものよりも時間レベルが低位の画像12’などの、前に符号化/復号された画像に関してバッファ状態120を検索することができる。
特に、このようにコンテキストエントロピー確率の継承又は再利用を制限することにより、すなわち、低位時間レベルの画像に由来する状態に限定されたバッファ状態122のルックアップに制限することにより、前に符号化/復号された画像の、前に学習又は更新されたコンテキストエントロピー確率を用いて、例えば、図1を参照して前述したように、それにもかかわらず、最上位時間レベルの画像の並列符号化を可能にし得る。
実施形態に係る時間レベル認識バッファリング及びルックアップをもう少し精査しよう。
例えば、上述したように、画像12の始点140でコンテキスト初期化のためにルックアップされたコンテキストエントロピー確率はこのように行われるため、初期化が、画像12のうちの1つよりも時間レベルが下位の画像12’から把握されたバッファ状態122に基づいて行われる。
しかしながら、時間レベルの同等性は、画像12がゼロレベル、すなわち、一種の基本時間レベルを形成する最下位レベルのメンバーである場合に認められ得る。
画像12’のバッファリング点142に現れる状態のバッファリングに関する限り、以下に留意されたい。
バッファリングは時間レベルを認識する。例えば、最上位時間レベルでの画像12’の状態122は、時間レベルの制限によりコンテキスト初期化の使用のために上記状態をルックアップすることができる画像がないために格納されない。
他の全ての画像の場合、対応するバッファリング点142で現れる状態は、バッファ120にバッファリングされ得る。
しかしながら、対応する時間レベルに対応するエントリ、またコンテキスト継承がQP、ストライプID、及び/又はスライスタイプである場合、QP、ストライプID及び/又はスライスタイプの対応エントリで、1回のみ表にバッファリングする代わりに、この画像12’の状態122を用いて、上位時間レベルの対応バッファ状態122を上書き又は置換することができる。
したがって、画像12’が時間レベルゼロのものである場合、その状態122は、時間レベルゼロだけでなくより上位の時間レベルに関してバッファ120に入力される。
画像12’が時間レベル1のものである場合、バッファリング点142での状態122が、時間レベル1及び上位の時間レベル、すなわち時間レベル2に関してバッファ120に入力される。
画像12の始点140でコンテキストエントロピー確率を初期化するとき、画像12の時間レベルから導出されたインデックスは、画像12の時間レベルより1つ下位の時間レベルのバッファ120内の対応する位置を指すことができる。
次に、これは、おそらく、より下位の時間レベルである画像12のQP及び/又はスライスID及び/又はスライスタイプに更に対応する最終バッファ状態122である。
しかしながら、状態122をバッファリングするための様々なアプローチも実行可能である。
時間レベル、及び任意選択で、ストライプID及び/又はQP及び/又はスライスタイプから構成されるベクトルによってアドレス可能な方法で状態122を格納する表形式でバッファ120内の状態122をバッファリングする代わりに、状態122は、一次元線形方式でバッファ120にバッファリングされる。
次に、インデックス付けに使用できるインデックスは、現在の画像12の始点140でのコンテキスト初期化に使用される対応状態122のランクを判定することができる。
ランクは、状態122がバッファリングされた順序に対応する可能性がある。
画像12に使用される状態を決定する際に、エンコーダ及びデコーダは、例えば、より低位時間レベルのものを決定するために、バッファ状態122を最終バッファ状態122から最も遠いバッファ状態に横断させることができ(任意選択で(オプションで)、画像12がレベル0である場合に同等性を認める)、及び任意選択で、ストライプID及び/又はQP及び/又はスライスタイプを、始点140に関連するストライプID及び/又はQP及び/又はスライステープに対応させることができ、最初に遭遇した状態、すなわち最終バッファ状態がコンテキストの初期化に使用される。
あるいは、検索基準を満たす、そのような状態のうちいくつかの最終の状態の平均などの組み合わせを、初期化に使用することができる。
本出願の更なる態様の実施形態に進む前に、図7及び図8の実施形態がHEVC又はJEMでどのように実施され得るかについて簡単に説明しなければならない。
例えば、図7の概念及び/又は図8の概念は、前に符号化/復号された画像からのCABACコンテキスト変数状態の継承の1つのモードとして提供することができ、そのモードは、例えば図9のSPSに示すように、cabac_temporal_init_modeのような特定変数によってSPS、PPS、又はスライスヘッダなどの何らかの高レベルで信号を用いて伝えることができる。
つまり、構文要素の1つのモードオプションは、上述したような現在JEMで使用されている、前に復号/符号化された画像からのCABACコンテキスト変数状態継承に対応することができ、1つのモードは図7の概念及び/又は図8の概念の構文要素の値に対応していてもよい。
例えば、上記の構文要素は次の意味を持つことができる。
0に等しいcabac_temporal_init_modeは、時間モードが無効になり、前述のように、所定の表からの従来の初期化、すなわち他のストライプに関係なく、QPのみに基づく初期化が使用されることを指定する。
1に等しいcabac_temporal_init_modeは、CABACコンテキスト変数の時間的初期化モードが、前に復号された画像のコンテキスト状態の採用によって行われることを指定する。
したがって、これは次の適応ルールで表すことができる。
CCVSliceType,QP=CCVRefSlienceType,QP
CCVが現在の画像12のCABACコンテキスト変数バッファである場合、バッファは始点140で初期化される確率をバッファリングし、SliceTypeは画像の現在のスライスのタイプ、QPは量子化パラメータ値である。
CCVRefは、同じSliceType及びQPで前に復号された画像の参照コンテキスト変数バッファである。
特定のSliceType及びQPのCCVRefが使用できない場合(つまり、最初の画像を復号する場合)、モード0について説明したように、所定の表からの従来の初期化方法が使用される。
CABAC適応の時間的方法を改善し、並列化スループットを改善するべき追加の初期化モードは次のとおりである。
2に等しいcabac_temporal_init_modeは、CABACコンテキスト変数の時間的初期化モードが、前に復号された画像CTUのライン毎のコンテキスト状態を採用することによって実行されることを指定する。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVSliceType,QP,CTULineNum=CCVRefSliceType,QP,CTULineNum
CCVが現在の画像12のCABACコンテキスト変数バッファである場合、SliceTypeは画像の現在のスライスのタイプ、QPは量子化パラメータ値、CTULineNumはCTUライン番号である。
CCVRefは、同じSliceType、QP、及びCTULineNumを用いて前に復号された画像12’の参照コンテキスト変数バッファである。
特定のSliceType、QP、及びCTULineNumのCCVRefが使用できない場合(つまり、最初の画像を復号する場合)、所定の表を使用する従来の初期化方法が、モード0で指定されたように使用される。
3に等しいcabac_temporal_init_modeは、CABACコンテキスト変数の時間初期化モードが、同じ時間レベルの、前に復号された画像のコンテキスト状態を採用することによって実行されることを指定する。
これは、次の適応ルールで表すことができる。
CCVTId=CCVRefTId
ここで、CCVは現在の画像のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdである。
CCVRefは、時間レベルTIdで前に復号された画像の参照コンテキスト変数バッファである。
CCVRefが使用できない場合(つまり、最初の画像を復号する場合)、所定のテーブルを使用する従来の初期化方法が使用される。
4に等しいcabac_temporal_init_modeは、CABACコンテキスト変数の時間初期化モードが、現在の時間レベルで前に復号された画像のコンテキスト状態を採用することによって実行され、この状態がCTUライン毎に採用されることを指定する。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVTId,CTULineNum=CCVRefTId,CTULineNum
ここで、CCVが現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdであり、CTULineNumはCTUライン番号である。
CCVRefは、時間レベルTIdで前に復号された画像12’の参照コンテキスト変数バッファである。
CCVRefが使用できない場合(つまり、最初の画像を復号する場合)、所定の表を使用する従来の初期化方法が使用される。
5に等しいcabac_temporal_init_modeは、図8に示すように、CABACコンテキスト変数の時間初期化モードが、前の時間レベルの、前に復号された画像のコンテキスト状態の採用によって実行されることを指定する。
これは、次の適応ルールで表すことができる。
CCVTId=CCVRefTIdRef
ここで、CCVは現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdである。
CCVRefは、単一の画像12’の参照コンテキスト変数バッファ、又は復号順において現在の画像に先行する時間レベルTIdRefの複数の画像のコンテキスト変数の組み合わせである。
TIdRefは、次のように導出される。TId>0の場合はTIdRef=TId-1であり、それ以外の場合は0である。
特定のTIdRefのCCVRefが使用できない場合(つまり、最初の画像を復号する場合)、所定の表を使用する従来の初期化方法が使用される。
6に等しいcabac_temporal_init_modeは、CABACコンテキスト変数の時間初期化モードが、図8のように前の時間レベルで前に復号された画像のコンテキスト状態を採用することによって実行され、この状態が図7のようにCTUライン毎に採用されることを指定する。
したがって、CABAC初期化プロセスは、次の適応ルールで表すことができる。
CCVTId,CTULineNum=CCVRefTIdRef,CTULineNum
ここで、CCVが現在の画像12のCABACコンテキスト変数バッファであり、TIdは現在の画像の時間レベルIdであり、CTULineNumはCTUライン番号である。
CCVRefは、画像の参照コンテキスト変数CTUラインバッファ、又は復号順において現在の画像に先行する時間レベルTIdRefの複数の画像12’のCCV CTUラインバッファの組み合わせである。
TIdRefは、次のように導出される。TId>0の場合はTIdRef=TId-1であり、それ以外の場合は0である。
特定のTIdRefのCCVRef、CTULineNumが使用できない場合(つまり、最初の画像を復号する場合)、所定の表を使用する従来の初期化方法が使用される。
図7及びモード2、4、及び6による前のフレームからのCTUライン毎のCABACコンテキスト初期化について、以下で詳しく説明する。
CABACコンテキスト変数のローカル適応を改善するために、CCV初期化は、CTUライン番号、つまりストライプ位置の番号インデックスによってアドレス指定される新しいバッファ次元を用いて行われる。
この方法は、複数の格納された変数を区別するバッファインデックスを用いて、各CTUラインのCCVセット122の状態を格納するCCVバッファ120を利用する。
ランダムアクセスポイントでの適切な動作を保証するために、CMMバッファ120全体をリセットすることができる。
符号化(復号)プロセスが正の格納信号を取得すると、現在のCTUラインコーダ(デコーダ)からのCCVの現在の状態が、CTUライン番号と追加のインデックスを用いてバッファ内の格納位置にアドレス指定してCCVバッファに格納される。
格納信号は、CUライン90内の特定のCTU位置142に到達することによってトリガーすることができ、この位置は、例えばCTUライン内の最後の又は任意の固定位置であってもよい。
1.境界CTUからモデルの更新を除外するための、CTUラインの3/4の固定位置。
2.画像内に完全に配置されている最後のCTUの位置
3.右上隅が画像の境界に含まれる最後のCTUの位置
次の画像12では、各CTUライン90a~90cの開始100aから100cで、CCVラインバッファ120は、バッファインデックスが与えられた現在のラインの有効なエントリ122についてチェックされる。
利用可能なエントリがある場合、CCV状態はCCVラインバッファ120から現在のCTUラインコーダのCCVセットにコピーされる。
そうでなく、所与のバッファインデックスで現在のラインに利用可能なCCVがない場合、コーダは制限なくデフォルトのコンテキスト初期化概念を使用する。
提案されたCTUライン毎の時間的CCV予測の利点は、優れたローカル統計値の活用である。
更に、この方法は現在のWPP初期化プロセスよりも優れている。
バッファのインデックス作成には、2つの変数が利用できる。
第1の変数は、現在のスライスレベルQPをバッファインデックスとして使用する。
QPをバッファインデックスとして使用する意図は、様々な画像の同じQPに対して同様のCCV状態を想定し、同じ時間レベルからのCCVの使用を意味することにある。
しかしながら、同じ時間レベルからの予測は、フレーム並列符号化アプローチを実行するときに問題を引き起こす可能性がある。
したがって、第2の変数は、画像の時間レベルからバッファインデックスを導出して、同じ又はより上位の時間レベルの画像から時間CCV予測を回避する予測階層を確立する。
図8及びモード5と6による詳細な時間レベル制限付きCABACコンテキスト初期化は、次のように行うことができる。
CABAC時間初期化モード(cabac_temporal_init_mode 5 及び6)の制限により、ごくわずかな符号化効率損失で画像の並列化を可能にする。
並列化により画像の処理順序が異なるため、制限が必要である。
前の時間レベルからのコンテキスト変数適応には、画像から画像への変数の直接採用、及びそれらの選択的な加重組み合わせが含まれる場合がある。
これには、現在の画像の上のCTUラインからのローカル予測CCVと1つ以上の時間予測CCVの選択的な加重組み合わせも含まれる場合がある。
加重選択は、コンテキスト状態の平均化、時間距離を意識したコンテキスト状態の平均化、又は複数のバッファリングされたCCVからの特定のコンテキスト状態の選択によって実行できる。
結果として生じるCABAC伝播を図10に示す。
CCVRefの取得に更に多くのフレームが使用される場合、伝播は図1に示されている信号フローに対応する可能性がある。
上記の例は、ビデオエンコーダ及びビデオデコーダが、データストリーム14で伝達される現在のモード設定値に応じて、図7及び図8に従って動作するように実装され得ることを明らかにした。
更に、図9に示す構文要素に関して提示される説明が明らかにするように、追加的又は代替的に、コンテキストエントロピー確率管理はスライスタイプを認識するように行うことができる。
例えば、IスライスとPスライスは互いに区別できる。つまり、スライスは単にインター予測モードを可能にし、スライスはイントラ予測とインター予測の両方を可能にする。
更に、ある始点100a~100c又は140でのコンテキスト初期化は、例えば、図7の概念によるストライプIDを含み、図8の概念の場合には現在の画像の時間レベル未満のストライプIDを含むそれぞれの検索基準を満たすために最新バッファ状態を使用する代わりに、バッファ状態122の組み合わせに基づいて行うことができる。
本出願の別の態様の実施形態の説明に進む前に、JEM基準ソフトウェアの最新状態に関して簡単な概要を提供するものとする。
特に、本出願の次の態様は、ビデオの画像に適用されるインループ又はポストフィルタのパラメータ化についてである。
そのようなインループフィルタ250、252は、例えば、それぞれ、図3及び図4の予測モジュール44及び58の入力のすぐ上流に配置され得る、又はデコーダ20のみの出力に配置されたポストフィルタ254であり得る。
以下では、後続の実施形態及び態様が焦点を当てるパラメータ化がFIRフィルタなどの適応型ループフィルタであると仮定するが、これは、本明細書に記載の実施形態に限定的ではないことは明らかである。
フィルタパラメータ化設定値は、フィルタリングされた信号を改善するために選択された、インループ又はポストフィルタのフィルタカーネルのフィルタタップの設定値に関係し得る。
次に出現した規格ITU-TH.266に関しては、適応型ループフィルタ(ALF)が提案されている。
現在の実装は、JEM基準ソフトウェア[2]から入手可能である。
ALFは、各画像の処理後にフィルタパラメータが格納される特定のパラメータセットを利用する。
エンコーダとデコーダはこれを同期して実行する。
パラメータの時間的適応のために、エンコーダは、現在の画像に使用されるべき既に格納された全パラメータのセットから特定のパラメータを識別するために高レベルの情報を送信している。
したがって、これには、同じ時間レベルの、前に復号された画像からのパラメータの使用を含むこともできる。
このような依存性は、画像の並列処理には実用的ではない。
この障害を克服するために、以下に説明する特定の実施形態では、現在の時間レベル内でのフィルタパラメータ伝播を制限し、その代わりに、より下位の時間レベルからのパラメータのみを参照するように提案する。
これは、特定の動作点の暗黙的な定義、又は明示的な高レベルの信号伝達(SPS、PPS、スライスヘッダ)によって実行できる。
後者は、ALF継承を例示的に使用する場合、特定のALFモード又はフラグを介して実行することができる。
SPSで通知されるこのようなフラグの例を図11に示す。
パラメータの挙動は、次の意味によって定義される。
0に等しいalf_temporal_init_restrictionは、時間モード制限が使用されないことを指定する。これにより、次の適応ルールが作成される。
ALFParamPicNum=ALFParamPicNumRef
ここで、PicNumは復号順における画像番号であり、PicNumRefは復号順におけるPicNumに先行する復号順における画像番号である。
PicNumRefはエンコーダによって選択され、従来のALF符号化プロセス内の各画像に対して明示的に信号を用いて伝えることができる。
1に等しいalf_temporal_init_restrictionは、ALFパラメータの制限された時間的適応を指定する。適応は、前の時間レベルの、前に復号された画像からのみ許可される。
したがって、PicNumRefの導出プロセスでは、現在の時間レベルの画像を使用するように制限されている。
このALFパラメータ適応の制限により、並列化スループットが向上し、符号化効率の損失はごくわずかである。
とはいえ、ビデオエンコーダ及びビデオデコーダの機能の実施形態が説明される図12を参照されたい。
ビデオエンコーダとビデオデコーダの両方は、図12の実施形態により、ビデオ11の画像12のデータストリーム14へのブロックベース符号化を使用する。
符号化又は符号化及び復号は、例えば、インループフィルタ又はポストフィルタを含み、そのパラメータ化は、エンコーダによって決定され、以下でより詳細に説明される方法でデコーダに信号を用いて送られる。
更に、符号化は、それぞれ図1及び図8を参照して説明した階層的時間符号化相互依存性を定義するように行われる。
エンコーダは、ビデオ11の各画像12について、それぞれの画像に適用されたときにそれぞれのフィルタをパラメータ化するためのインループ又はポストフィルタのフィルタパラメータ化設定値を判定する。
以下でより詳細に説明するように、エンコーダ及びデコーダは、前に符号化/復号されたビデオ11の画像で使用されるインループ又はポストフィルタのフィルタパラメータ化設定値のプール又はリザーバをバッファ200内にバッファリングする。
バッファリングは、インループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ200にバッファリングされた任意のフィルタパラメータ化設定値とは異なるとエンコーダによって判定される場合にのみ、画像12に対して選択的に実行され得る。
例えば、エンコーダは、サブセットの画像12について、このサブセット内の画像のインループ又はポストフィルタのフィルタパラメータ化設定値が、バッファ200にバッファリングされたフィルタパラメータ化設定値にインデックス付けすることなく、データストリーム14で通知されるべきであると判定することができ、このような画像12に関しては、フィルタパラメータ化設定値はバッファに格納される202。
他のサブセットの画像12について、フィルタパラメータ化設定値は、エンコーダによって、バッファ200にバッファリングされたバッファ付きフィルタパラメータ化設定値の1つに等しいと判定され、エンコーダは、それぞれの画像に関して、バッファ200内でそれぞれのフィルタパラメータ設定値を指すデータストリーム14内のインデックスを信号を用いて伝える204。
デコーダはそれに応じて動作する。
すなわち、現在の画像のフィルタパラメータ化設定値がデータストリーム14で明示的に通知される場合、デコーダは、この明示的な信号からフィルタパラメータ化設定値を導き出し、バッファ200にバッファリングする。
そうでない場合、デコーダは、データストリーム14からそれぞれの画像のインデックスを導出し、バッファ200からのインループ又はポストフィルタのフィルタパラメータ化設定値にインデックスを付ける。同じものは再度バッファリングされ得ない。
エンコーダ及びデコーダは、バッファ200の内容を同期させておき、例えば、バッファリングの順序において特定数の最近バッファリングされたフィルタパラメータ化設定値をバッファリングし、データストリーム14で伝達されるインデックスは、バッファリング順に従って、すなわち、バッファ200で想定されるランクに従ってフィルタパラメータ化設定値にインデックスを付けることができる。
しかし、他の可能性も存在する場合がある。
別の変形の可能性も存在する。例えば、各画像12について、バッファ付きフィルタパラメータ化設定値がバッファ200から完全に採用されるかどうか、又はそれぞれの画像のフィルタパラメータ化設定値がデータストリーム14における明示的な信号伝達によって完全に新たに符号化されるかどうかを決定する代わりに、フィルタパラメータ化設定値がバッファ200に格納されたフィルタパラメータ化設定値のいずれとも異なるように選択された画像が、バッファリングされたフィルタパラメータ化設定値の1つへの修正の形でデータストリーム14内において通知されることによって、そのような画像について、フィルタパラメータの修正に加えて、バッファ200へのインデックスを伝えることができる。
そのような修正されたフィルタパラメータ化設定値は、ビデオエンコーダ及びビデオデコーダによって、それぞれ、バッファ200にバッファリングされ得るが、バッファリングされた設定から完全に採用されたものは、バッファリングされなくてもよい。
いずれにせよ、図12の実施形態によれば、データストリーム14でインデックスが伝えられる204現在の画像12のインループ又はポストフィルタのフィルタパラメータ化設定値は、このインデックスによって、バッファ200にバッファリングされたフィルタパラメータ化設定値のサブセットのうちの1つを参照し、このサブセットは、現在の画像の時間レベル以上の時間レベルの画像に関してバッファリングされたフィルタパラメータ化設定値を除外する。
したがって、図12の実施形態によれば、ビデオエンコーダは、ビデオエンコーダがバッファ200からのフィルタパラメータ化設定値を完全に再利用するか、あるいはバッファリングされたフィルタパラメータ設定値のサブセット、つまり、より下位の時間レベルの画像に由来する設定の完全な再利用の可能な候補を制限しないかという点で、時間レベルを認識したフィルタパラメータ化設定値を実行することができる。
更に、ビデオエンコーダ及びビデオデコーダの両方は、バッファリング202が時間レベル認識的に行われるという点で、時間レベル認識として動作することができる。
例えば、フィルタパラメータ化設定値が完全に再利用されていない画像のフィルタパラメータ化設定値は、それにもかかわらず、対応する画像が最上位時間レベルである場合、バッファリングされない202可能性があり、その結果、その後処理される画像のためにインデックス付けされない場合がある。
204でのインデックスの信号伝達でさえ、時間レベルに依存する場合がある。
例えば、必然的に最上位時間レベルの画像について、データストリーム14にインデックスが存在しない場合がある。
更に、インデックスの信号伝達は、より下位の時間レベルの画像のみに由来するフィルタパラメータ化設定値の縮小されたサブセットのサイズに適応させることができる。
更に、上記のように、インデックスは、特定のバッファリングされたフィルタパラメータ化設定値が由来し、それぞれのフィルタパラメータ化設定値に加えてバッファ200に格納される画像の画像カウントインデックスに従って、バッファリングされたフィルタパラメータ化設定値を指し得るが、データストリーム14で伝達されるインデックスは、その代わりに、バッファ200内のバッファランクに対応する線形ランクアドレスに従ってバッファリングされたフィルタパラメータ化設定値にインデックス付けすることができ、その結果、ビデオエンコーダとビデオデコーダとの間の同期を維持するために、ビデオエンコーダとビデオデコーダは、時間レベルを認識したフィルタパラメータ設定値のバッファリングを実行する必要がある。
これに関して、図8の場合と同様に、時間レベルの制限は、最下位の時間レベル、すなわちレベルゼロの画像について緩和され得ることに留意されたい。
これらの画像に関しては、同レベル、すなわちレベル0の画像に由来するパラメータ化設定値をフィルタリングするための指標が許可される場合がある。
等しい時間レベルの画像のバッファリングされたフィルタパラメータ化設定値の除外の使用又は未使用の表示が、例えば最上位時間レベルの画像の復号を並列化することなどによって復号タスクの処理をスケジューリングするために、この種のプロミスに依存する機能を有するデコーダを用いて適用されるか否かを上に示した。
一方では図8を参照して説明された実施形態と、他方では図12を参照して説明された実施形態は、コンテキストエントロピー確率の時間的継承だけでなくインループ又はポストフィルタのフィルタパラメータ化設定値のバッファベースの信号伝達が可能なビデオエンコーダ及びビデオデコーダをもたらすために組み合わせることができる。
以下では、本出願の第4の態様の実施形態を説明し、この実施形態は、画像全体のブロックで予測残差信号を量子化するために使用される量子化パラメータを変化させ、いわゆるデルタQPで、すなわち空間予測を用いて量子化パラメータを信号を用いて伝えるHEVC及びJEMなどのビデオコーデックに関係する。
最新規格[1]では、QP予測は、現在のCUの左側と上部にある隣接空間のCUから導出された2つの値の合計を、最後の右シフトによって1ずつスケールダウンすることによって行われる。
2つの導出値は、隣接空間の可用性をチェックすることによって個別に取得される。
隣接部が予測に使用できる場合、導出値は隣接CUのQPを取得し、CUが予測に使用できない場合、導出値は変数prevCodedCUQPに設定される。
変数prevCodedCUQPは、スライスQPで初期化され、スライス内の符号化CU毎に更新される。
この導出方式の欠点は、WPPに従って個々のCTUラインの並列処理を使用するが、ビットストリームにWPP構文を適用しないエンコーダアプローチの場合、依存性の問題が発生することである。
この理由は、変数prevCodedCUQPは、上記の任意のCTUラインで符号化されている可能性のある最終符号化QPに依存するので、特定のCTUの開始時に、ラインエンコーダには認識されないからである。
並列符号化/復号を使用するときに高度に最適化されたシステムで発生する可能性がある因果関係の問題を克服するための特定の実施形態では、空間QP予測のための新しい簡略化アルゴリズムが以下のように提案される。
現在のCUの左、上、左上に隣り合う隣接符号化ユニット(CU)が評価される。
隣接CU’毎に、中間変数derivedQpXXXが導入される。
隣接CUが使用可能な場合、変数derivedQpXXXはその隣接CUのQPの値に設定され、それ以外の場合、変数は現在のスライスレベルQPの値に設定される。
予測QPは、derivedQpAboveLeftによって下げられたderivedQpLeftとderivedQpAboveの合計を、derivedQpLeftとderivedQpAboveがまたがるQP範囲にクリッピングすることによって取得される。
これは、次の擬似コードにより表すことができる。
if(derivedQpAbove<=derivedQpLeft)
predictQp =max( derivedQpAbove、min(derivedQpLeft、( derivedQpAbove+derivedQpLeft-derivedQpAboveLeft)))
else
predictQp =max( derivedQpLeft、min(derivedQpAbove、( derivedQpAbove+derivedQpLeft-derivedQpAboveLeft)))
本出願の第4の態様の実施形態に係る、ビデオエンコーダ及びビデオデコーダの機能を示す図13を参照されたい。
図13は、ビデオ11の現在の符号化/復号画像12と、画像12のブロック300への細分割を示し、ビデオエンコーダはブロック単位で量子化パラメータを変化させ、このパラメータを用いて、画像12の予測残差信号がデータストリーム14に符号化される。
ビデオ11の画像12のデータストリーム14への符号化302は、図6を参照して上記で説明したように、復号側で並列復号を可能にすることは想定されていない。
ビデオエンコーダは、並列モードではなく順次モードであってもよい。
すなわち、ビデオエンコーダは、図6を参照して説明したように動作し得るが、図13は、順次モードを示す。
符号化手順302は、図6を参照して上記で説明された符号化の両方の段階、すなわち、画像12のビデオデータへの符号化、及びその後のビデオデータのデータストリーム14へのエントロピー符号化を含む。
復号手順は、矢印304を用いて図13に示されている。
様々なブロック300に使用される量子化パラメータを送信するために、空間予測概念が使用される。
図13は、QPが300aで送信される現在の処理ブロックを示す。
ブロック300’及び300’’の数が2つに制限されず、あるいは1つのみ又は3つ以上であってもよい場合、ブロック300aの特定の近傍が検査されて、ブロック300aに対して所定の相対位置に隣接するブロック300’及び300’’が配置される。
また、左側の隣接ブロック300’及び上側の隣接ブロック300’’の使用は例示であり、異なる隣接ブロック位置を選択することができる。
ブロック300aの左上に隣接する第3のブロック、すなわち、ブロック300aの左上隅に隣接するサンプルの範囲は、例えば、点線で図13に示されている。
これらのブロック300’及び300’’に割り当てられた量子化パラメータに基づいて、ブロック300aのQPが予測され、予測オフセット又はデルタQPがデータストリーム14でブロック300aに送信される。
ブロック300’、300’’及び300’’’に基づく予測の導出は、上記のように、すなわち、ブロック300’、300’’のQPの合計からブロック300’’’のQPを引いて、ブロック300’、300’’のQPの中間に来るようにクリップされて具体化することができる。
別の方法は、単に300’のQPをQP予測子として使用する、又はブロック300’、300’’のQPの中央値又は平均値を予測子として使用することである。
例えば、ブロック位置が現在のブロック300aが配置されるスライス306の外側にあるため、又はそれぞれのブロック300’又は300’’のそれぞれのブロック位置が現在の画像12の外側あるために利用できない各ブロック300’又は300’’については、そのQPは、ブロック300aが配置されるスライス306に関してデータストリームで送信されたスライスQPによって置換又は代用される。
交換は、参加している全てのQPが利用できない場合にのみ適用することもできる。
例えば、ブロック300’、300’’のQPの中央値又は平均値をQP予測子として使用する場合、スライスQPの使用は、両方のQO、すなわちブロック300’及び300’’のQPが使用できない場合にのみ予測子として使用できる。
ブロックの一方だけが欠落している又は使用できない場合、他方の利用可能なQPが予測子として使用される。
ブロック300’のQPをQP予測子として使用する場合、ブロック300’のQPが欠落していると、スライスQPの使用が適用される。
言い換えれば、ブロック300aの量子化パラメータ予測子は、所定ブロックに対して所定の相対位置関係を有する1つ以上のブロック位置における1つ以上のブロックで300’~300’’’の量子化パラメータから導出され、現在のタイル若しくはスライスの外側、又は更には画像領域の外側など、所定ブロックが配置されている現在の画像の所定領域の外側のブロック位置にある任意のブロックの量子化パラメータは、所定領域に関してデータストリームで通知される主要な量子化パラメータで置き換えられる。
言い換えれば、例えば、ブロックが、ブロック300aが属する特定の画像領域の外側にあるために量子化パラメータが利用できない特定のブロックが、スライスQPなどの所定の領域に関してデータストリーム内で通知された主要な量子化パラメータで置き換えられる。
あるいは、全てのブロックなど、ブロック300’~300’のうち1つ以上のQPが使用できない場合、主要な量子化パラメータがQP予測子として直接使用される。
例えば、図13は、破線で示される、画像12の2つのスライス306への細分割を示す。
ブロック300aのQPの予測子が、現在のブロック300aからより遠いブロック、すなわち、ブロック300aに直接隣接していないブロックのQPに依存することを回避することにより、画像12が分割されるストライプ90a、90b及び90cについて図6で並列に示される符号化データ94によって表される中間レベルへの画像12の符号化を少なくとも実行することが可能である。
特に、符号化順序によれば、ストライプ90a~90cは互いに続き、上記のようにJEMに従って利用できないブロックの置換概念を使用すると、1つのストライプの先行するストライプへの符号化の順次依存性につながる。
というのは、この概念は、符号化順序に沿った最新のQPの一種のバッファリングを使用するものであり、これはあるストライプから次のストライプへのQP値のドラッグを含むからである。
ブロック300aのQPを予測するための制限された空間予測範囲、又は言い換えれば、予測ソースの制限された範囲を用いて、エンコーダは、スライス306を分割するストライプ90a及び90bについて、先行するストライプ90aに関する符号化データへの符号化を終了するまで、符号化順序において後続のストライプ90bの符号化を待つ必要なく、符号化順序に沿って、ここでは例示的に左から右に並列に1つの共通スライス306内の画像コンテンツの符号化を開始することが可能である。
ブロック300aのQPに基づいて、エンコーダ及びデコーダは、予測残差信号の量子化のためのこの量子化パラメータの使用に加えて、図3及び4に示す250から254などのインループ又はポストフィルタのフィルタパラメータ化を設定することができる。
興味深いことに、ブロック300aのQP値は既に固定され、データストリーム14で送信する準備ができているため、エンコーダは、先行するストライプ90aに関する符号化データ形成が完了する前に、後続のストライプ90bに関して現在の処理ブロック300aの位置で局所的にフィルタリング又はフィルタリングの一部を実行することさえできる。
フィルタリングの空間的到達範囲のため、「フィルタリングの一部」という限定的な文言が使用されている。
例えば、非ブロック化フィルタの性質上、右側及び下側の隣接ブロックに境界を成す隣接ブロックのフィルタリングは、すぐに実行することができない。
隣接ブロックが処理されると、フィルタリングは処理が延期される。
局所的にフィルタリングされるブロックは、現在のブロックの左上にわずかにずれているブロックである。
エンコーダとデコーダは、例えば最後にアクセスしたQP予測子を使用するHEVCに従って、両方のモードから選択するために使用される信号伝達を使用するなど、QPを異なる方法で予測する別のモードで代替的に動作できる場合があることに留意されたい。
本出願の第5の態様は、図6のWPP処理機能サポートするタイプのビデオエンコーダ及びビデオデコーダに関する。
図6を参照して説明したように、ストライプ間のWPP処理において従うべきインターストライプ符号化/復号オフセットは、空間イントラ画像符号化依存性範囲に依存する。
次に説明する実施形態によれば、ビデオエンコーダ及びビデオデコーダは、データストリームを介して互いに通信することにより、この範囲をいくつかの状態の1つに設定することができて、空間冗長性の活用のわずかな低下を犠牲にして、より高い並列性と並列処理との間の重み付けが可能になる。
したがって、一方では符号化効率がわずかに低下し、他方では空間冗長性の活用がわずかに上昇するために符号化効率がわずかに向上して並列性が低下する。
以下の説明もまた、JEM又はHEVCの修正の形でのアイデアの提示から始まり、空間イントラ画像符号化依存性範囲を測定する可能性としてCTU依存性オフセット信号伝達を使用する。
以下、一般化した実施形態について説明する。
波面並列処理(WPP)を使用する場合、連続するCTUライン間の2つのCTUの最小所要CTUオフセットは、最新規格[1]によって定義されており、予測に使用可能な基準を確保する。
新たに出現する規格[3]では、新しいツールが組み込まれる可能性があり、2つのCTUのCTUオフセットではもはや十分でなく、新しいツールを危険にさらす可能性がある。
特定の実施形態では、上位CTUラインへの依存性の処理を一般化するために、ライン毎に適用されるCTU依存性オフセットパラメータの明示的な信号伝達が使用される。
CTUXref、YrefへのCTU依存性オフセットは、イントラスライスと非イントラスライスに対して個別に信号を用いて送られる場合がある。
値0は、提案された制限スキームが無効になっていることを示す。
値が0でない場合、CTUXrefYrefに対応するCU、PU、又はTUが参照に使用でき、CTUXrefYrefが現在のCTUXcurYcurの予測に使用でき、参照が制限されておらず、例えば、異なるスライス、タイル内、又は画像の外側にあり、次の条件が当てはまる。
-WPPの場合:
(Yref=Ycur AND Xref≦Xcur)又は
(Yref<Ycur AND Xref<((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur))、
-順次処理順序の場合:
(Yref=Ycur AND Xref≦Xcur)又は
(Yref<Ycur AND Xref<((Ycurr-Yref)*(CTU_dependency_offset_id-1)+Xcur+1))
ここで、Xref、Yref、Xcur、YcurはCTU位置座標である。
図14に、2つの異なるCTU依存性の影響を示す。
いずれの図も、同じ仮想符号化時間の後に取得されたスナップショットを示している。
一方では、A)での構造的遅延の増加が、最後のCTUラインがまだ開始されていない理由であるが、B)では、処理されるCTUがほとんど残っていない。
他方、Aにおいて上記のCTUラインから予測できるブロックは更に2つあり、複数のラインの空間依存性を利用するツールを使用すると、予測に利用可能な領域が大幅に拡大される。
CTU依存性オフセットパラメータの値が大きいと、空間予測に対してより広い領域を用いてツールのR-Dゲインを増やすことができるが、WPP又は並列再構成を使用すると構造的遅延が長くなることに留意されたい。
隣接部からの再構成サンプルの空間予測が主にイントラスライス内で使用されるのに対し、非イントラスライスは通常、スライスタイプ依存CTU依存性オフセットを使用した時間予測を使用するため、構造的遅延とR-D性能間のトレードオフは、様々なニーズに簡単に適応させることができる。
1に等しいCTU_dependency_offset_idで、特別な動作点を実現できる。
この場合、WPPの場合であれば、構造的遅延は完全に排除される。
これは、低遅延シナリオで役立つ場合がある。
順次モードの空間範囲パラメータ、つまりWPPではないパラメータは、空間予測ツールを制限するため、複雑さ対品質のパラメータと見なすことができることに留意されたい。
これらの提案されたパラメータは、高レベルのセットSPS、PPSなど又はスライスヘッダを介して信号を用いて伝達される場合がある。
その例を図15に示す。
ビデオ12のデータストリーム14への符号化を可能にするWPPをサポートするビデオエンコーダ及びビデオデコーダのどの実施形態が説明されているかについては、図16を参照されたい。
符号化手順402は、図6の両方の符号化ステップ、すなわち92及び98を組み込んでおり、同じことが、図16に示す復号404、すなわち、ステップ108及び114にも当てはまる。
ここで、ビデオコーデックは、データストリーム14が、空間イントラ画像符号化依存性範囲設定値をいくつかの可能な設定のうちの1つに設定する信号406を伝送するように設計されている。
設定は、空間イントラ画像符号化の依存範囲の幅又は広さが異なる場合がある。
空間イントラ画像符号化依存性範囲は、図6の408に示されており、現在の処理部分410の領域を決定し、この領域に基づいて、予測及びコンテキスト導出又はその他の空間冗長性活用タスクが符号化ブロック410に対して実行され得る。
特に、空間イントラ画像符号化依存性範囲設定値は、ここでは例示的に左から右である各ストライプ内の符号化方向に沿ったストライプ符号化順序で先行する任意の先行ストライプ90aにおいて、範囲領域408が関係する現在の部分410から延びる408の量が異なり得る。
この量は、水平方向、すなわち各ストライプ90a~90c内の符号化順序方向に沿ってオフセットとして長さを測定する両方向矢印を用いて、図16の412で示されている。
上記のように、オフセット412は、現在の部分410が配置されている現在のストライプまでのストライプ距離に応じて、ストライプ内の範囲領域408の部分について増加し得る。
図16に示すように、到達領域408は、図16に示すように必然的に現在の符号化部分410から画像12の左上隅まで延びるか、又は図16の破線で示すように画像12の上端及び左端への延長が制限されるように構成することができる。
後者の制限は、信号406から独立していてもよく、又は依存していてもよい。
範囲設定値の変動は、図14を参照して説明したように、符号化及び復号402及び404が実行され得る並列性に影響を与えるが、低い並列性は、空間冗長性の活用可能性の向上による符号化効率の向上によって補償される、又はその逆も同じである。
図14を参照して上述したように、信号伝達406によって信号を用いて送られる様々な設定は、WPP処理、すなわち、ストライプ90a~90cの並列処理において従うべき最小インターストライプ符号化/復号オフセットを直接示すパラメータによって示すことができる。
図16を参照して説明される実施形態によれば、ビデオコーデックは、信号伝達406によって提供される信号伝達可能な空間イントラ画像符号化依存性範囲の1つ又はサブセットに従って単に動作するビデオエンコーダ又はビデオデコーダにも適用可能であり得ることに留意されたい。
例えば、エンコーダは、設定の1つに従って動作するように固定され得、そしてそれは、データストリーム14で、この設定を、信号を用いて伝える。
デコーダは、同様に、信号伝達406の信号設定がサポートされていない場合に、受信したデータストリーム14を復号できないことをユーザに通知することで、信号伝達406又はその1つ又はサブセットによって信号伝達可能な全ての設定を操作又はサポートすることができる。
図16は、現在の符号化ブロック410の符号化又は空間イントラ画像符号化依存性による現在の符号化ブロック410に関連する符号化パラメータが依存する現在の画像12内の空間範囲408が、ストライプ符号化順序において現在の画像の先行するストライプ、ここでは90aをオーバーレイし得ることを示しているが、この範囲は2つ以上の先行するストライプをオーバーレイする場合もあることに留意されたい。
更に、複数の空間イントラ画像符号化範囲設定値のそれぞれについて、空間範囲が符号化順方向に広がる距離は、インターストライプ距離の増加と共に増加し得る、すなわち、距離412が測定されるストライプに対するブロック410を含むストライプの距離の増加と共に単調に増加し得る。
2つの設定を比較すると、これらの距離412は、前の全てのストライプについて、2つの設定のうちの一方が他方よりも大きい、又はその逆である。
更に、上述したように、選択された空間イントラ画像符号化範囲設定値は、Iスライスなどのビデオの純粋なイントラ予測符号化部分と、P及びBスライスなどのインター予測符号化部分について、別々に信号を用いて伝えることができる。
上述したように、空間範囲は、予測依存性及び/又はコンテキスト導出依存性に関連していてもよい。
変動は、イントラ予測のためのパッチを検索する検索範囲などの予測子検索範囲、又は予測パラメータ値ドメインのサイズに影響を与える可能性があり、したがって、特定の予測パラメータのコードレート及びその解析が変動し得る。
追加的又は代替的に、ビデオエンコーダ及びビデオデコーダは、信号伝達機能なしで動作することができるが、範囲設定値が、単にイントラ予測モードを提供するスライス、すなわち、純粋にイントラ予測されるスライスと、イントラ予測モード及びインター予測モードの両方を提供するスライスとが異なるように固定される。
特に、範囲408はIスライスの方が広く、それにより並列性機能が低下するが、インター予測はこれらのスライスには利用できず、これらのスライスは必然的にイントラ予測の使用に制限されるため、スライスの符号化効率は大幅に向上する。
しかし、ビデオ11の大部分は、PスライスやBスライスなどのインター予測モードも提供するスライスで構成されており、イントラ予測モードはこれらのスライスに対して重要な役割を果たさないため、後者についての並列性は、符号化効率にわずかな影響を与えるだけで増加する。
残りの詳細については、前の説明を参照されたい。
いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロック又はデバイスは、方法ステップ又は方法ステップの特徴に対応する。
同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロック又はアイテム又は機能の説明も表す。
方法ステップの一部又は全ては、例えば、マイクロプロセッサ、プログラマブルコンピュータ、又は電子回路などのハードウェア装置によって(又は用いて)実行することができる。
いくつかの実施形態では、最も重要な方法ステップの1つ以上が、そのような装置によって実行され得る。
本発明のデータストリームは、デジタル記憶媒体に格納することができる、又はインターネットなどの無線伝送媒体又は有線伝送媒体の伝送媒体上で送信することができる。
特定の実装要件に応じて、本発明の実施形態は、ハードウェア又はソフトウェアで実装することができる。
実装は、例えば、フロッピーディスク、DVD、ブルーレイ、CD、ROM、PROM、EPROM、EEPROM、フラッシュメモリなどのデジタル記憶媒体を用いて実行でき、記憶媒体には、電子的に読み取り可能な制御信号が格納されており、それぞれの方法が実行されるように、プログラマブルコンピュータシステムと協働する(又は協働することができる)。
したがって、デジタル記憶媒体は、コンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書に記載の方法の1つが実行されるように、プログラマブルコンピュータシステムと協働することができる、電子的に読み取り可能な制御信号を有するデータキャリアを含む。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の1つを実行するように動作する。
プログラムコードは、例えば、機械可読キャリアに格納されてもよい。
他の実施形態は、機械可読キャリアに記憶された、本明細書に記載された方法の1つを実行するためのコンピュータプログラムを含む。
言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明される方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法の別の実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを記録したデータキャリア(又はデジタル記憶媒体、又はコンピュータ可読媒体)である。
データキャリア、デジタルストレージメディア、又は記録媒体は、通常、有形及び/又は非一時的である。
したがって、本発明の方法の別の実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを表すデータストリーム又は一連の信号を用いてある。
データストリーム又は一連の信号は、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。
別の実施形態は、本明細書に記載の方法の1つを実行するように構成又は適合された処理手段、例えば、コンピュータ又はプログラマブル論理デバイスを含む。
更なる実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。
本発明の別の実施形態は、本明細書に記載の方法の1つを実行するためのコンピュータプログラムを(例えば、電子的又は光学的に)受信機に転送するように構成された装置又はシステムを含む。
受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。
装置又はシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含んでもよい。
いくつかの実施形態では、プログラマブル論理デバイス(例えば、フィールドプログラマブルゲートアレイ)を用いて、本明細書に記載の方法の機能の一部又は全てを実行することができる。
いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載の方法の1つを実行するために、マイクロプロセッサと協働することができる。
概して、方法は、好ましくは、任意のハードウェア装置によって実行される。
本明細書に記載の装置は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて実装することができる。
本明細書に記載の装置、又は本明細書に記載の装置の任意の構成要素は、少なくとも部分的にハードウェア及び/又はソフトウェアで実装することができる。
本明細書に記載の方法は、ハードウェア装置を用いて、又はコンピュータを用いて、又はハードウェア装置とコンピュータの組み合わせを用いて実行することができる。
本明細書に記載の方法、又は本明細書に記載の装置の任意の構成要素は、ハードウェア及び/又はソフトウェアによって少なくとも部分的に実行することができる。
上記の実施形態は、本発明の原理を単に例示するものである。
本明細書に記載の構成及び詳細の修正及び変形は、当業者にとっては自明であろうと理解される。
したがって、本発明は特許請求の範囲によってのみ限定され、本明細書の実施形態の記載及び説明として提示された特定の詳細に限定されないことが意図される。
<参考文献>
[1]ISO/IEC、ITU-T.High efficiency video coding.ITU-T Recommendation H.265 ISO/IEC23008 10(HEVC)、第1版、2013;第2版、2014。
[2]JEM基準ソフトウェア、https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/.
[3]J.Chen、E.Alshina、G.J.Sullivan、J.-R.Ohm、J.Boyce.Algorithm description of Joint Exploration Test Model 7(JEM7)、JVET、doc.JVET-G1001、2017年8月
[4]”JVET group”[Online].Available:http://phenix.it-sudparis.eu/jvet/.

Claims (9)

  1. ビデオエンコーダであって、
    ブロックベース符号化によって、ビデオの画像を符号化データに符号化し、前記符号化データが、前記画像の各ブロックの量子化パラメータに関連付けられる量子化情報を含み、
    現在の画像(12)の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像(12)の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロック(300)の量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータをデータストリーム(14)に符号化することによって、前記符号化データを前記データストリームに符号化する、
    ように構成され、
    前記ビデオエンコーダは、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
    ように更に構成された、
    ビデオエンコーダ。
  2. ビデオデコーダであって、
    データストリームから符号化データを復号し、前記符号化データがブロックベース符号化によって符号化されたビデオの画像を有し、前記画像のブロックのそれぞれについて、量子化パラメータを関連付ける量子化情報を含み、
    現在の画像の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータを前記データストリームから復号する、 ように構成され、
    前記ビデオデコーダは、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
    ように更に構成された、
    ビデオデコーダ。
  3. ブロックベース復号によって、インループ又はポストフィルタを用いて、前記ビデオの画像の前記符号化データからの復号を実行し、
    前記現在の画像のブロックに関連付けられた前記量子化パラメータに応じて、現在の画像の前記インループ又はポストフィルタのフィルタパラメータ化設定値を設定値する、
    ように構成された、請求項2に記載のビデオデコーダ。
  4. 前記ブロックベース復号によって、前記ビデオの画像を前記符号化データから復号する際、前記現在の画像を分割し、相互に並列に前記現在の画像を横断するストライプにおけるWPP処理を用いて、前記現在の画像の複合化を実行する
    ように構成された、請求項3に記載のビデオデコーダ。
  5. 前記現在の画像の前記所定ブロックについて、前記所定ブロックに関連付けられた量子化パラメータを前記データストリームから復号する際、
    前記所定ブロックが配置される現在の画像の所定領域の外側のブロック位置で前記量子化パラメータを置換する、又は1つ以上のブロックが前記所定領域の外側に位置する場合、量子化パラメータ予測子として、前記所定領域について前記データストリームで信号を用いて伝えられた主量子化パラメータを代替的に使用することで、前記所定ブロックに対して所定の相対位置関係を有する1つ以上のブロック位置にある1つ以上のブロックの量子化パラメータから量子化パラメータ予測子を導出する
    ように構成された、請求項2から4のいずれか一項に記載のビデオデコーダ。
  6. 前記量子化パラメータを復号する代替モードをサポートし、前記代替モードが使用されるかどうかを前記データストリームにおける信号伝達から導出するように構成された、請求項2からのいずれか一項に記載のビデオデコーダ。
  7. ビデオ符号化方法であって、
    ブロックベース符号化によって、ビデオの画像を符号化データに符号化するステップであって、前記符号化データが、前記画像の各ブロックの量子化パラメータに関連付けられる量子化情報を含む、ステップと、
    現在の画像(12)の所定ブロック(300a)について、所定ブロックに直接隣接する画像(12)の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロック(300)の量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータをデータストリーム(14)に符号化することによって、前記符号化データを前記データストリームに符号化するステップと、
    を含
    前記ビデオ符号化方法は、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
    ビデオ符号化方法。
  8. ビデオ復号方法であって、
    データストリームから符号化データを復号するステップであって、ブロックベース符号化によって符号化されたビデオの画像を有し、前記画像のブロックのそれぞれについて、量子化パラメータを関連付ける量子化情報を含む、ステップと、
    現在の画像の所定ブロック(300a)について、前記所定ブロックに直接隣接する画像の隣接ブロック(300’、300’’)をカバーする隣接空間の外側のブロックの量子化パラメータとは無関係に、空間予測を用いて前記所定ブロック(300a)に関連付けられた前記量子化パラメータを前記データストリームから復号するステップと、
    を含
    前記ビデオ復号方法は、左側隣接ブロック(300’)、上側隣接ブロック(300’’)、及び左上隣接ブロック(300’’’)の量子化パラメータから、前記左側及び上側隣接ブロックの量子化パラメータの合計から前記左上隣接ブロックの量子化パラメータを差し引いた差に基づいて量子化パラメータ予測子を導出し、その差をクリッピングして、左側及び上側隣接ブロックの量子化パラメータがまたがる量子化パラメータ範囲を超えないようにする、
    ビデオ復号方法。
  9. 請求項7又は8に記載の方法を実行するためのコードが格納されているコンピュータプログラム。
JP2020552744A 2018-03-29 2019-03-28 並列符号化機能の強化概念 Active JP7187572B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022191645A JP7393510B2 (ja) 2018-03-29 2022-11-30 並列符号化機能の強化概念

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18165206.6 2018-03-29
EP18165206 2018-03-29
PCT/EP2019/057900 WO2019185821A1 (en) 2018-03-29 2019-03-28 Concept for enhancing parallel coding capabilities

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022191645A Division JP7393510B2 (ja) 2018-03-29 2022-11-30 並列符号化機能の強化概念

Publications (2)

Publication Number Publication Date
JP2021518718A JP2021518718A (ja) 2021-08-02
JP7187572B2 true JP7187572B2 (ja) 2022-12-12

Family

ID=61868342

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020552744A Active JP7187572B2 (ja) 2018-03-29 2019-03-28 並列符号化機能の強化概念
JP2022191645A Active JP7393510B2 (ja) 2018-03-29 2022-11-30 並列符号化機能の強化概念

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022191645A Active JP7393510B2 (ja) 2018-03-29 2022-11-30 並列符号化機能の強化概念

Country Status (7)

Country Link
US (2) US11805241B2 (ja)
EP (1) EP3777196A1 (ja)
JP (2) JP7187572B2 (ja)
KR (2) KR102566836B1 (ja)
CN (2) CN117294838A (ja)
TW (1) TWI768196B (ja)
WO (1) WO2019185821A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230106707A9 (ko) 2018-07-09 2024-03-25 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 코딩된 화상의 다양한 공간 분할을 위한 인코더 및 디코더, 인코딩 방법 및 디코딩 방법
US11284075B2 (en) * 2018-09-12 2022-03-22 Qualcomm Incorporated Prediction of adaptive loop filter parameters with reduced memory consumption for video coding
JP6982253B2 (ja) * 2018-10-31 2021-12-17 日本電信電話株式会社 復号装置、符号化装置、復号方法、符号化方法、及びプログラム
CN113940076A (zh) * 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 应用隐式变换选择
WO2021055138A1 (en) * 2019-09-20 2021-03-25 Alibaba Group Holding Limited Quantization parameter signaling in video processing
IL313523A (en) * 2022-03-03 2024-08-01 Qualcomm Inc Temporary starting points for context-based arithmetic coding
US20230336728A1 (en) * 2022-04-18 2023-10-19 Tencent America LLC CABAC Inherited Context Initialization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013123206A (ja) 2011-11-07 2013-06-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2015508627A (ja) 2012-01-30 2015-03-19 サムスン エレクトロニクス カンパニー リミテッド 階層的データ単位の量子化パラメータ予測を含む、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
US8660177B2 (en) * 2010-03-24 2014-02-25 Sony Computer Entertainment Inc. Parallel entropy coding
JP5592246B2 (ja) * 2010-12-21 2014-09-17 日本電信電話株式会社 コンテクスト適応エントロピー符号化方法,コンテクスト適応エントロピー復号方法,コンテクスト適応エントロピー符号化装置,コンテクスト適応エントロピー復号装置およびそれらのプログラム
CN103563380B (zh) * 2011-05-27 2017-07-21 寰发股份有限公司 减少用于视频处理的行缓冲的方法及装置
AU2015249167B2 (en) * 2011-06-16 2017-05-04 Ge Video Compression, Llc Context initialization in entropy coding
BR112013032333B1 (pt) * 2011-06-16 2022-07-26 Ge Video Compression, Llc Comutação de modo auxiliar para codificação por entropia
BR112014001026B1 (pt) 2011-07-15 2022-05-03 Ge Video Compression, Llc Codificação de matriz de amostra de baixo atrasdo
US9231616B2 (en) * 2011-08-05 2016-01-05 Broadcom Corporation Unified binarization for CABAC/CAVLC entropy coding
PL2986005T3 (pl) * 2013-01-04 2019-08-30 Samsung Electronics Co., Ltd. Urządzenie do dekodowania entropijnego segmentów wycinka
GB2516824A (en) * 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
US20150334425A1 (en) * 2014-05-14 2015-11-19 Blackberry Limited Adaptive context initialization
CN111147846B (zh) 2014-07-07 2022-03-11 寰发股份有限公司 利用帧内区块复制模式编码的视频编码方法
KR102276854B1 (ko) * 2014-07-31 2021-07-13 삼성전자주식회사 인루프 필터 파라미터 예측을 사용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10212445B2 (en) 2014-10-09 2019-02-19 Qualcomm Incorporated Intra block copy prediction restrictions for parallel processing
KR101676788B1 (ko) * 2014-10-17 2016-11-16 삼성전자주식회사 멀티코어 시스템 기반 비디오 병렬 복호화 방법 및 그 장치
EP3262837A4 (en) 2015-02-25 2018-02-28 Telefonaktiebolaget LM Ericsson (publ) Encoding and decoding of inter pictures in a video
US10334248B2 (en) * 2015-05-29 2019-06-25 Qualcomm Incorporated Coding data using an enhanced context-adaptive binary arithmetic coding (CABAC) design
CN114697679A (zh) * 2015-09-11 2022-07-01 株式会社Kt 图像解码方法、图像编码方法和包括比特流的设备
US20180020222A1 (en) * 2016-07-12 2018-01-18 Mediatek Inc. Apparatus and Method for Low Latency Video Encoding
EP3328083A1 (en) * 2016-11-23 2018-05-30 Thomson Licensing Method and apparatus for encoding a video applying adaptive quantisation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013123206A (ja) 2011-11-07 2013-06-20 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2015508627A (ja) 2012-01-30 2015-03-19 サムスン エレクトロニクス カンパニー リミテッド 階層的データ単位の量子化パラメータ予測を含む、ビデオ符号化方法及びその装置、ビデオ復号化方法及びその装置

Also Published As

Publication number Publication date
WO2019185821A1 (en) 2019-10-03
KR20230119739A (ko) 2023-08-16
JP7393510B2 (ja) 2023-12-06
JP2021518718A (ja) 2021-08-02
KR102566836B1 (ko) 2023-08-16
CN112189343B (zh) 2023-10-20
US20210014480A1 (en) 2021-01-14
EP3777196A1 (en) 2021-02-17
CN117294838A (zh) 2023-12-26
KR20200132990A (ko) 2020-11-25
TWI768196B (zh) 2022-06-21
TW201946466A (zh) 2019-12-01
US20240048688A1 (en) 2024-02-08
JP2023025139A (ja) 2023-02-21
CN112189343A (zh) 2021-01-05
US11805241B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
JP7187572B2 (ja) 並列符号化機能の強化概念
JP7071603B1 (ja) ビデオコーディングのためにブロックの複数のクラスのためのフィルタをマージすること
JP2023022221A (ja) パーティションベースのイントラ符号化概念
KR102696385B1 (ko) 타일 독립성 제약을 이용하는 인터 예측 개념
JP2014525193A (ja) ビデオコーディングのための非正方形ブロックのデブロッキング
JP2022529432A (ja) イントラ符号化モードにおけるマトリクスの導出
Schwarz et al. Block structures and parallelism features in HEVC
KR20220024912A (ko) 루마 및 크로마 신호를 처리하기 위한 방법 및 시스템
JP7513809B2 (ja) エンコーダ、デコーダ、および、フレキシブルにサイズ化された画像パーティションのための複雑な処理を伴う符号化方法と復号化方法
CN113906744A (zh) 视频编解码中无损编解码的信令
WO2020042758A1 (zh) 一种帧间预测的方法及装置
CN118120234A (zh) 用于视频处理的方法、装置和介质
JP2023524944A (ja) 圧縮されたピクチャインピクチャシグナリング
JP2023015264A (ja) パレットモードを用いたビデオコーディングの方法および装置
CN118592024A (zh) 利用预定义模式顺序进行几何分区模式拆分模式重排序的方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220315

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7187572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150