JP2024520970A - リスト構成の改善 - Google Patents

リスト構成の改善 Download PDF

Info

Publication number
JP2024520970A
JP2024520970A JP2023548743A JP2023548743A JP2024520970A JP 2024520970 A JP2024520970 A JP 2024520970A JP 2023548743 A JP2023548743 A JP 2023548743A JP 2023548743 A JP2023548743 A JP 2023548743A JP 2024520970 A JP2024520970 A JP 2024520970A
Authority
JP
Japan
Prior art keywords
block
blocks
intra mode
intra
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023548743A
Other languages
English (en)
Inventor
リン・リ
シアン・リ
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2024520970A publication Critical patent/JP2024520970A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/88Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving rearrangement of data among different coding units, e.g. shuffling, interleaving, scrambling or permutation of pixel data or permutation of transform coefficient data among different blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

現在のブロックの近傍ブロックは、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接する第1のブロックと、現在のブロックの左辺および左下隅のうちの一方に隣接する第2のブロックとを含む。第1のブロックのうちの1つまたは複数と現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかが決定される。第1のブロックのうちの1つまたは複数と現在のブロックとが同じCTU内にあることに基づいて、第1のブロックのうちの1つまたは複数の各々と関連付けられたそれぞれのイントラモードは、条件のシーケンスに基づいて現在のブロックの最確モード(MPM)リストに追加される。第2のブロックの各々と関連付けられたそれぞれのイントラモードは、条件のシーケンスに基づいてMPMリストに追加される。

Description

参照による組み込み
本出願は、2021年10月8日に出願された米国仮出願第63/253,976号、「Method and Apparatus for Constructing Most Probable Mode(MPM)List」の優先権の利益を主張する、2022年9月14日に出願された米国特許出願第17/944,999、「IMPROVEMENT ON MPM LIST CONSTRUCTION」の優先権の利益を主張する。先行出願の開示は、その全体が参照により本明細書に組み込まれる。
本開示は、一般に、ビデオコーディングに関する実施形態を説明する。
本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、その研究がこの背景技術の項に記載されている限りにおいて、またそれ以外の本出願の出願時に先行技術として認められない可能性のある説明の態様と共に、本開示に対する先行技術としては明示的にも暗示的にも認められない。
ビデオコーディングおよびビデオデコーディングは、動き補償を伴うインターピクチャ予測を使用して行われることができる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプルおよび関連するフルまたはサブサンプリングクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャまたは60Hzの固定または可変のピクチャレート(非公式にフレームレートとも呼ばれる)を有することができる。非圧縮ビデオは、特定のビットレート要件を有する。例えば、サンプルあたり8ビットでの1080p60 4:2:0ビデオ(60Hzフレームレートで1920×1080の輝度サンプル解像度)は、1.5Gbit/sに近い帯域幅を必要とする。1時間分のそのようなビデオは、600GByteを超える記憶空間を必要とする。
ビデオコーディングおよびデコーディングの1つの目的は、圧縮による入力ビデオ信号の冗長性の低減でありうる。圧縮は、前述の帯域幅要件および/または記憶空間要件を、場合によっては2桁以上低減させるのに役立ちうる。可逆圧縮と非可逆圧縮の両方、ならびにそれらの組み合わせが使用されることができる。可逆圧縮とは、デコーディングプロセスを介して圧縮された原信号から原信号の正確なコピーが再構成されることができる技術を指す。非可逆圧縮を使用する場合、再構成された信号は原信号と同一ではない可能性があるが、原信号と再構成された信号との間の歪みは、再構成された信号を意図された用途に役立てるのに十分なほど小さくなる。ビデオの場合、非可逆圧縮が広く使用されている。許容できる歪みの量はアプリケーションに依存し、例えば、特定の消費者ストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを容認しうる。達成可能な圧縮比は、より高い許容可能/容認可能な歪みがより高い圧縮比をもたらすことができることを反映することができる。
ビデオエンコーダおよびビデオデコーダは、例えば、動き補償、変換、量子化、およびエントロピーコーディングを含む、いくつかの広範なカテゴリからの技術を利用することができる。
ビデオコーデック技術は、イントラコーディングとして知られる技術を含むことができる。イントラコーディングでは、サンプル値は、以前に再構成された参照ピクチャからのサンプルまたは他のデータを参照することなく表される。一部のビデオコーデックでは、ピクチャがサンプルのブロックに空間的に細分される。サンプルのすべてのブロックがイントラモードでコーディングされる場合、そのピクチャはイントラピクチャと呼ばれることができる。イントラピクチャおよび独立したデコーダリフレッシュピクチャなどのそれらの派生ピクチャは、デコーダ状態をリセットするために使用されることができ、したがって、コーディングされたビデオビットストリームおよびビデオセッション内の最初のピクチャとして、または静止画像として使用されることができる。イントラブロックのサンプルは変換を受けることができ、変換係数は、エントロピーコーディングの前に量子化されることができる。イントラ予測は、変換前領域におけるサンプル値を最小化する技術でありうる。場合によっては、変換後のDC値が小さいほど、かつAC係数が小さいほど、エントロピーコーディング後のブロックを表すために所与の量子化ステップサイズで必要とされるビット数が少ない。
例えば、MPEG-2生成コーディング技術から知られているような従来のイントラコーディングは、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、空間的に近傍にあり、デコーディング順序で先行するデータのブロックのエンコーディング/デコーディング時に取得される周囲のサンプルデータおよび/またはメタデータから試みる技術を含む。そのような技術は、以後「イントラ予測」技術と呼ばれる。少なくともいくつかの場合において、イントラ予測は、再構成中の現在ピクチャのみからの参照データを使用し、他の参照ピクチャからの参照データは使用しないことに留意されたい。
イントラ予測には多くの異なる形式がありうる。そのような技術のうちの2つ以上が所与のビデオコーディング技術において使用されることができる場合、使用される技術はイントラ予測モードでコーディングされることができる。場合によっては、モードはサブモードおよび/またはパラメータを有することができ、それらは個別にコーディングされるか、またはモードコードワードに含められることができる。所与のモード、サブモード、および/またはパラメータの組み合わせにどのコードワードを使用するかは、イントラ予測を介したコーディング効率向上に影響を与える可能性があり、コードワードをビットストリームに変換するために使用されるエントロピーコーディング技術に影響を与える可能性がある。
イントラ予測の特定のモードは、H.264で導入され、H.265で改良され、共同探索モデル(JEM)、多用途ビデオコーディング(VVC)、およびベンチマークセット(BMS)などのより新しいコーディング技術でさらに改良された。予測子ブロックは、既に利用可能なサンプルに属する近傍サンプル値を使用して形成されることができる。近傍サンプルのサンプル値は、方向に従って予測子ブロックにコピーされる。使用される方向への参照は、ビットストリームにおいてコーディングされることもできるし、それ自体が予測されてもよい。
図1を参照すると、右下に図示されているのは、H.265の33の可能な予測器方向から知られている9つの予測子方向のサブセットである(35のイントラモードの33の角度モードに対応する)。矢印が収束する点(101)は、予測されているサンプルを表す。矢印は、そこからサンプルが予測される方向を表す。例えば、矢印(102)は、サンプル(101)が水平方向から45度の角度で、1つまたは複数のサンプルから右上へ予測されることを示している。同様に、矢印(103)は、サンプル(101)が水平方向から22.5度の角度で、1つまたは複数のサンプルからサンプル(101)の左下へ予測されることを示している。
さらに図1を参照すると、左上には、(太い破線によって示された)4×4サンプルの正方形ブロック(104)が図示されている。正方形ブロック(104)は16個のサンプルを含み、「S」、そのY次元の位置(例えば、行インデックス)、およびそのX次元の位置(例えば、列インデックス)で各々ラベル付けされている。例えば、サンプルS21は、Y次元で(上から)2番目のサンプルであり、X次元で(左から)1番目のサンプルである。同様に、サンプルS44は、Y次元とX次元の両方でブロック(104)内の4番目のサンプルである。ブロックはサイズが4×4サンプルなので、S44は右下にある。同様の番号付け方式に従う参照サンプルがさらに示されている。参照サンプルは、R、ブロック(104)に対するそのY位置(例えば、行インデックス)、およびX位置(列インデックス)でラベル付けされている。H.264とH.265の両方において、予測サンプルは再構成中のブロックの近傍であり、したがって、負の値が使用される必要はない。
イントラピクチャ予測は、シグナリングされた予測方向によって割り当てられるように、近傍サンプルから参照サンプル値をコピーすることによって機能することができる。例えば、コーディングされたビデオビットストリームは、このブロックについて、矢印(102)と一致する予測方向を示すシグナリングを含む、すなわち、サンプルは、水平から45度の角度で、1つまたは複数の予測サンプルから右上へ予測されると仮定する。その場合、サンプルS41、S32、S23、およびS14が同じ参照サンプルR05から予測される。次いで、サンプルS44が、参照サンプルR08から予測される。
場合によっては、参照サンプルを計算するために、特に方向が45度で均等に割り切れない場合、複数の参照サンプルの値は、例えば補間によって組み合わされてもよい。
可能な方向の数は、ビデオコーディング技術が発展するにつれて増加してきた。H.264(2003年)では、9つの異なる方向が表されることができた。それがH.265(2013年)では33に増加し、JEM/VVC/BMSは、本開示の時点では、最大65の方向をサポートすることができる。最も可能性が高い方向を識別するために実験が行われてきており、エントロピーコーディングのいくつかの技術は、可能性が低い方向に関しては一定のペナルティを受け入れて、これらの可能性が高い方向を少数のビットで表すために使用される。さらに、方向自体が、近傍の既にデコーディングされたブロックで使用された近傍の方向から予測されることが可能である場合もある。
図2は、時間の経過と共に増加する予測方向の数を示すために、JEMによる65のイントラ予測方向を図示する概略図(201)を示している。
方向を表すコーディングされたビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオコーディング技術ごとに異なる可能性があり、例えば、予測方向からイントラ予測モードへの単純な直接マッピングから、コードワード、最確モードを含む複雑な適応方式、および同様の技術にまで及ぶ可能性がある。ただし、すべての場合において、ビデオコンテンツ内で特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在しうる。ビデオ圧縮の目的は冗長性の低減であるため、これらの可能性の低い方向は、適切に機能するビデオコーディング技術では、可能性の高い方向よりも多いビット数で表される。
本開示の態様は、ビデオエンコーディング/デコーディングのための方法および装置を提供する。いくつかの例では、ビデオデコーディングのための装置は処理回路を含む。
本開示の一態様によれば、ビデオデコーダにおいて行われるビデオデコーディングの方法が提供される。方法では、現在のブロックおよび現在のブロックの近傍ブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信されることができる。近傍ブロックは、第1のブロックおよび第2のブロックを含むことができる。第1のブロックの各々は、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接することができ、第2のブロックの各々は、現在のブロックの左辺および左下隅のうちの一方に隣接することができる。近傍ブロックの第1のブロックのうちの1つまたは複数と現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかが決定されることができる。近傍ブロックの第1のブロックのうちの1つまたは複数と現在のブロックとが同じCTU内にあることに基づいて、第1のブロックのうちの1つまたは複数の各々と関連付けられたそれぞれのイントラモードは、条件のシーケンスに基づいて現在のブロックの最確モード(MPM)リストに追加されることができる。条件のシーケンスは、それぞれのイントラモードがMPMリストに追加されると決定される順序に対応することができる。近傍ブロックの第2のブロックの各々と関連付けられたそれぞれのイントラモードは、条件のシーケンスに基づいてMPMリストに追加されることができる。現在のブロックは、MPMリストに基づいて再構成されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに基づいて、第1のブロックのうちの1つまたは複数の上ブロックのイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができる。上ブロックは、現在のブロックの上辺に隣接することができる。2番目の条件は、上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで4番目の条件に従ってMPMリストに追加されることができる。4番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第1のブロックのうちの1つまたは複数の右上ブロックの伝搬イントラモードは、条件のシーケンスで10番目の条件に従ってMPMリストに追加されることができる。右上ブロックは、現在のブロックの右上隅に隣接することができる。10番目の条件は、右上ブロックがインターコーディングされることを含むことができる。右上ブロックの伝搬イントラモードは、右上ブロックの近傍ブロックに基づいて取得されることができる。第1のブロックのうちの1つまたは複数の左上ブロックの伝搬イントラモードは、条件のシーケンスで11番目の条件に従ってMPMリストに追加されることができる。左上ブロックは、現在のブロックの左上隅に隣接することができる。11番目の条件は、左上ブロックがインターコーディングされることを含むことができる。左上ブロックの伝搬イントラモードは、左上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに基づいて、第2のブロックの左ブロックのイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができる。左ブロックは、現在のブロックの左辺に隣接することができる。3番目の条件は、第2のブロックの左ブロックがイントラコーディングされることを含むことができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅よりも小さいことに応答して、第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで5番目の条件に従ってMPMリストに追加されることができる。5番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、近傍ブロックのうちの1つの伝搬イントラモードがMPMリストに追加される条件のシーケンス内の条件は、近傍ブロックのうちのその1つのイントラモードがMPMリストに追加される条件のシーケンス内の条件の後に続くことができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第1のブロックのうちの1つまたは複数の上ブロックのイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができる。2番目の条件は、上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができる。3番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第1のブロックのうちの1つまたは複数の右上ブロックのイントラモードは、条件のシーケンスで8番目の条件に従ってMPMリストに追加されることができ、8番目の条件は、右上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の右上ブロックの伝搬イントラモードは、条件のシーケンスで9番目の条件に従ってMPMリストに追加されることができ、9番目の条件は、右上ブロックがインターコーディングされることを含むことができる。右上ブロックの伝搬イントラモードは、右上ブロックの近傍ブロックに基づいて取得されることができる。第1のブロックのうちの1つまたは複数の左上ブロックのイントラモードは、条件のシーケンスで10番目の条件に従ってMPMリストに追加されることができ、10番目の条件は、左上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の左上ブロックの伝搬イントラモードは、条件のシーケンスで11番目の条件に従ってMPMリストに追加されることができ、11番目の条件は、左上ブロックがインターコーディングされることを含むことができる。左上ブロックの伝搬イントラモードは、左上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第2のブロックの左ブロックのイントラモードは、条件のシーケンスで4番目の条件に従ってMPMリストに追加されることができ、4番目の条件は、第2のブロックの左ブロックがイントラコーディングされることを含むことができる。第2のブロックの左ブロックの伝搬イントラモードは、条件のシーケンスで5番目の条件に従ってMPMリストに追加されることができ、5番目の条件は、第2のブロックの左ブロックがインターコーディングされることを含むことができる。左ブロックの伝搬イントラモードは、左ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第2のブロックの左下ブロックのイントラモードは、条件のシーケンスで6番目の条件に従ってMPMリストに追加されることができ、6番目の条件は、第2のブロックの左下ブロックがイントラコーディングされることを含むことができる。左下ブロックは、現在のブロックの左下隅に隣接することができる。第2のブロックの左下ブロックの伝搬イントラモードは、条件のシーケンスで7番目の条件に従ってMPMリストに追加されることができ、7番目の条件は、第2のブロックの左下ブロックがインターコーディングされることを含むことができる。左下ブロックの伝搬イントラモードは、左下ブロックの近傍ブロックに基づいて取得されることができる。
本開示の別の態様によれば、ビデオデコーダにおいて行われるビデオデコーディングの方法が提供される。方法では、現在のブロックおよび現在のブロックの近傍ブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信されることができる。近傍ブロックは、第1のブロックおよび第2のブロックを含むことができる。第1のブロックの各々は、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接することができ、第2のブロックの各々は、現在のブロックの左辺および左下隅のうちの一方に隣接することができる。近傍ブロックの各々におけるそれぞれの対応する位置が決定されることができる。近傍ブロックの対応するイントラモードは、対応する位置およびユニバーサルイントラモードマップに基づいて決定されることができる。ユニバーサルイントラモードマップは複数のユニットを含むことができ、対応する位置の各々は、ユニバーサルイントラモードマップのそれぞれのユニットと関連付けられ、それぞれのユニットと関連付けられたそれぞれの対応するイントラモードに対応することができる。最確モード(MPM)リストは、近傍ブロックの対応するイントラモードおよび条件のシーケンスに基づいて、現在のブロックに対して生成されることができる。条件のシーケンスは、それぞれのイントラモードがMPMリストに追加されると決定される順序を示すことができる。現在のブロックは、MPMリストに基づいてさらに再構成されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第1のブロックの上ブロックの対応するイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができ、2番目の条件は、上ブロックが存在することを含むことができる。上ブロックは、現在のブロックの上辺に隣接することができる。第2のブロックの左ブロックの対応するイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができ、3番目の条件は、左ブロックが存在することを含むことができる。左ブロックは、現在のブロックの左辺に隣接することができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅よりも小さいことに応答して、第2のブロックの左ブロックの対応するイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができ、2番目の条件は、左ブロックが存在することを含むことができる。第1のブロックの上ブロックの対応するイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができ、3番目の条件は、上ブロックが存在することを示すことができる。
いくつかの実施形態では、第2のブロックの左下ブロックの対応するイントラモードは、条件のシーケンスで6番目の条件に従ってMPMリストに追加されることができ、6番目の条件は、左下ブロックが存在することを含むことができる。左下ブロックは、現在のブロックの左下隅に隣接することができる。第1のブロックのう右上ブロックの対応するイントラモードは、条件のシーケンスで7番目の条件に従ってMPMリストに追加されることができ、7番目の条件は、右上ブロックが存在することを含むことができる。右上ブロックは、現在のブロックの右上隅に隣接することができる。第1のブロックの左上ブロックの対応するイントラモードは、条件のシーケンスで8番目の条件に従ってMPMリストに追加されることができ、8番目の条件は、左上ブロックが存在することを含むことができる。左上ブロックは、現在のブロックの左上隅に隣接することができる。
一実施形態では、ユニバーサルイントラモードマップの複数のユニットの各々は、デフォルトのイントラモードで初期設定されることができ、ユニバーサルイントラモードマップ内のデフォルトのイントラモードのうちの1つまたは複数は、対応するイントラモードにさらに置き換えられることができる。
別の実施形態では、ユニバーサルイントラモードマップの複数のユニットのうちの1つまたは複数は、対応するイントラモードで埋められることができ、ユニバーサルイントラモードマップの複数のユニットの残りのユニットは、デフォルトのイントラモードでさらに埋められることができる。
本開示の別の態様によれば、装置が提供される。装置は処理回路を含む。処理回路は、ビデオコーディングのための方法のいずれかを行うように構成されることができる。
本開示の態様はまた、ビデオコーディングのためにコンピュータによって実行されたときに、コンピュータに、ビデオコーディングのための方法のいずれかを行わせる命令を記憶している非一時的コンピュータ可読媒体も提供する。
開示の主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一実施形態による通信システム(300)の簡略ブロック図の概略図である。 一実施形態による通信システム(400)の簡略ブロック図の概略図である。 一実施形態によるデコーダの簡略ブロック図の概略図である。 一実施形態によるエンコーダの簡略ブロック図の概略図である。 別の実施形態によるエンコーダのブロック図を示す。 別の実施形態によるデコーダのブロック図を示す。 本開示のいくつかの実施形態によるイントラモードコーディングにおける現在のコーディングユニットの近傍コーディングユニットを示す。 本開示のいくつかの実施形態による第1の例示的なユニバーサルイントラモードマップである。 本開示のいくつかの実施形態による第2の例示的なユニバーサルイントラモードマップである。 本開示のいくつかの実施形態による最確モード(MPM)リスト構成の第1の例示的な図である。 本開示のいくつかの実施形態による最確モード(MPM)リスト構成の第2の例示的な図である。 本開示のいくつかの実施形態による第1の例示的なデコーディングプロセスを説明するフローチャートを示す。 本開示のいくつかの実施形態による第2の例示的なデコーディングプロセスを説明するフローチャートを示す。 本開示のいくつかの実施形態による第1の例示的なエンコーディングプロセスを説明するフローチャートを示す。 本開示のいくつかの実施形態による第2の例示的なエンコーディングプロセスを説明するフローチャートを示す。 一実施形態によるコンピュータシステムの概略図である。
図3は、本開示の一実施形態による通信システム(300)の簡略ブロック図を示している。通信システム(300)は、例えば、ネットワーク(350)を介して互いに通信することができる複数の端末デバイスを含む。例えば、通信システム(300)は、ネットワーク(350)を介して相互接続された端末デバイス(310)および(320)の第1のペアを含む。図3の例では、端末デバイス(310)および(320)の第1のペアは、データの単方向送信を行う。例えば、端末デバイス(310)は、ネットワーク(350)を介して他方の端末デバイス(320)に送信するための(例えば、端末デバイス(310)によって取り込まれたビデオピクチャのストリームの)ビデオデータをコーディングしうる。エンコーディングされたビデオデータは、1つまたは複数のコーディングされたビデオビットストリームの形式で送信されることができる。端末デバイス(320)は、ネットワーク(350)からコーディングされたビデオデータを受信し、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元し、復元されたビデオデータに従ってビデオピクチャを表示しうる。単方向データ送信は、メディアサービングアプリケーションなどで一般的でありうる。
別の例では、通信システム(300)は、例えばビデオ会議中に発生する可能性があるコーディングされたビデオデータの双方向送信を行う端末デバイス(330)および(340)の第2のペアを含む。データの双方向送信のために、一例では、端末デバイス(330)および(340)の各端末デバイスは、ネットワーク(350)を介して端末デバイス(330)および(340)の他方の端末デバイスに送信するためのビデオデータ(例えば、その端末デバイスによって取り込まれたビデオピクチャのストリーム)をコーディングしうる。端末デバイス(330)および(340)の各端末デバイスはまた、端末デバイス(330)および(340)の他方の端末デバイスによって送信されたコーディングされたビデオデータを受信してもよく、コーディングされたビデオデータをデコーディングしてビデオピクチャを復元してもよく、復元されたビデオデータに従ってアクセス可能な表示デバイスでビデオピクチャを表示してもよい。
図3の例では、端末デバイス(310)、(320)、(330)、および(340)は、サーバ、パーソナルコンピュータ、およびスマートフォンとして示されうるが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤおよび/または専用のビデオ会議機器をと共に適用される。ネットワーク(350)は、例えば有線(配線)および/または無線通信ネットワークを含む、端末デバイス(310)、(320)、(330)、および(340)間でコーディングされたビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク(350)は、回路交換チャネルおよび/またはパケット交換チャネルでデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、および/またはインターネットを含む。本考察の目的にとって、ネットワーク(350)のアーキテクチャおよびトポロジーは、以下で本明細書において説明されない限り、本開示の動作にとって重要でない可能性がある。
図4は、開示の主題の用途用の一例として、ストリーミング環境内のビデオエンコーダおよびビデオデコーダの配置を示している。開示の主題は、例えば、ビデオ会議、デジタルテレビ、CD、DVD、メモリスティックなどを含むデジタル媒体上の圧縮ビデオの記憶などを含む、他のビデオ対応用途に等しく適用可能でありうる。
ストリーミングシステムは、例えば、圧縮されていないビデオピクチャのストリーム(402)を作成するビデオソース(401)、例えば、デジタルカメラを含むことができるキャプチャサブシステム(413)を含んでもよい。一例では、ビデオピクチャのストリーム(402)は、デジタルカメラによって撮られたサンプルを含む。ビデオピクチャのストリーム(402)は、エンコーディングされたビデオデータ(404)(またはコーディングされたビデオビットストリーム)と比較した場合の高データ量を強調するために太線として図示されており、ビデオソース(401)に結合されたビデオエンコーダ(403)を含む電子デバイス(420)によって処理されることができる。ビデオエンコーダ(403)は、以下でより詳細に説明されるように、開示の主題の態様を可能にするかまたは実装するために、ハードウェア、ソフトウェア、またはそれらの組み合わせを含むことができる。エンコーディングされたビデオデータ(404)(またはエンコーディングされたビデオビットストリーム(404))は、ビデオピクチャのストリーム(402)と比較した場合の低データ量を強調するために細線として図示されており、将来の使用のためにストリーミングサーバ(405)に記憶されることができる。図4のクライアントサブシステム(406)および(408)などの1つまたは複数のストリーミングクライアントサブシステムは、ストリーミングサーバ(405)にアクセスして、エンコーディングされたビデオデータ(404)のコピー(407)および(409)を取り出すことができる。クライアントサブシステム(406)は、例えば電子デバイス(430)内にビデオデコーダ(410)を含むことができる。ビデオデコーダ(410)は、エンコーディングされたビデオデータの入力コピー(407)をデコーディングし、ディスプレイ(412)(例えば、表示スクリーン)または他のレンダリングデバイス(図示せず)上にレンダリングされることができるビデオピクチャの出力ストリーム(411)を作成する。一部のストリーミングシステムでは、エンコーディングされたビデオデータ(404)、(407)および(409)(例えば、ビデオビットストリーム)は、特定のビデオコーディング/圧縮規格に従ってエンコーディングされることができる。それらの規格の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオコーディング規格が、多用途ビデオコーディング(VVC)として非公式に知られている。開示の主題は、VVCの文脈で使用されてもよい。
電子デバイス(420)および(430)は他の構成要素(図示せず)を含むことができることに留意されたい。例えば、電子デバイス(420)はビデオデコーダ(図示せず)を含むことができ、電子デバイス(430)はビデオエンコーダ(図示せず)を含むことができる。
図5は、本開示の一実施形態によるビデオデコーダ(510)のブロック図を示している。ビデオデコーダ(510)は、電子デバイス(530)に含まれることができる。電子デバイス(530)は、受信器(531)(例えば、受信回路)を含むことができる。ビデオデコーダ(510)は、図4の例のビデオデコーダ(410)の代わりに使用されることができる。
受信器(531)は、ビデオデコーダ(510)によってデコーディングされるべき1つまたは複数のコーディングされたビデオシーケンスを受信してもよく、同じかまたは別の実施形態では、一度に1つのコーディングされたビデオシーケンスを受信してもよく、各コーディングされたビデオシーケンスのデコーディングは他のコーディングされたビデオシーケンスから独立している。コーディングされたビデオシーケンスはチャネル(501)から受信されてもよく、チャネル(501)は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであってもよい。受信器(531)はエンコーディングされたビデオデータを、それらそれぞれの使用エンティティ(図示せず)に転送されうる他のデータ、例えば、コーディングされたオーディオデータおよび/または補助データストリームと共に受信しうる。受信器(531)は、コーディングされたビデオシーケンスをその他のデータから分離しうる。ネットワークジッタに対抗するために、バッファメモリ(515)が、受信器(531)とエントロピーデコーダ/パーサ(520)(以後、「パーサ(520)」)との間に結合されてもよい。特定の用途では、バッファメモリ(515)はビデオデコーダ(510)の一部である。他の用途では、バッファメモリ(515)はビデオデコーダ(510)の外部にあることができる(図示せず)。さらに他の用途では、例えば、ネットワークジッタに対抗するためにビデオデコーダ(510)の外部にバッファメモリ(図示せず)があることも可能であり、例えば再生タイミングを扱うために、ビデオデコーダ(510)の内部に追加で別のバッファメモリ(515)があることも可能である。受信器(531)が十分な帯域幅および可制御性の記憶/転送デバイスから、またはアイソシンクロナスネットワークからデータを受信しているとき、バッファメモリ(515)は不要な場合があり、または小さくすることができる。インターネットなどのベストエフォートパケットネットワークで使用する場合、バッファメモリ(515)は、必要とされる場合があり、比較的大きくすることができ、有利には適応サイズのものとすることができ、オペレーティングシステムまたはビデオデコーダ(510)の外側の同様の要素(図示せず)に少なくとも部分的に実装されてもよい。
ビデオデコーダ(510)は、コーディングされたビデオシーケンスからシンボル(521)を再構成するためにパーサ(520)を含んでいてもよい。それらのシンボルのカテゴリは、ビデオデコーダ(510)の動作を管理するために使用される情報、および、潜在的に、図5に示されるように、電子デバイス(530)の不可欠な部分ではないが、電子デバイス(530)に結合されることができるレンダリングデバイスなどのレンダリングデバイス(512)(例えば、表示スクリーン)を制御するための情報を含む。(1つまたは複数の)レンダリングデバイスのための制御情報は、補足拡張情報(SEIメッセージ)またはビデオユーザビリティ情報(VUI)のパラメータセットフラグメント(図示せず)の形式であってもよい。パーサ(520)は、受信されるコーディングされたビデオシーケンスをパース/エントロピーデコーディングしうる。コーディングされたビデオシーケンスのコーディングは、ビデオコーディング技術または規格に従ったものとすることができ、可変長コーディング、ハフマンコーディング、コンテキスト依存性ありまたはなしの算術コーディングなどを含む様々な原理に従うことができる。パーサ(520)は、コーディングされたビデオシーケンスから、グループに対応する少なくとも1つのパラメータに基づいて、ビデオデコーダ内のピクセルのサブグループのうちの少なくとも1つのサブグループパラメータのセットを抽出しうる。サブグループは、Group of Pictures(GOP)、ピクチャ、タイル、スライス、マクロブロック、コーディングユニット(CU)、ブロック、変換ユニット(TU)、予測ユニット(PU)などを含むことができる。パーサ(520)はまた、コーディングされたビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトルなどの情報も抽出しうる。
パーサ(520)は、シンボル(521)を作成するために、バッファメモリ(515)から受信されたビデオシーケンスに対してエントロピーデコーディング/パース動作を行いうる。
シンボル(521)の再構成は、コーディングされたビデオピクチャまたはその部分のタイプ(インターピクチャおよびイントラピクチャ、インターブロックおよびイントラブロックなど)、ならびに他の要因に応じて、複数の異なる処理ユニットを必要としうる。どのユニットがどのように必要とされるかは、パーサ(520)によってコーディングされたビデオシーケンスからパースされたサブグループ制御情報によって制御されることができる。パーサ(520)と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、簡潔にするために図示されていない。
既に言及された機能ブロックを超えて、ビデオデコーダ(510)は、以下で説明されるようないくつかの機能ユニットに概念的に細分されることができる。商業的制約の下で動作する実際の実装形態では、これらのユニットの多くが互いに密接に相互作用し、少なくとも部分的に、互いに統合されることができる。しかしながら、開示の主題を説明する目的では、以下の機能ユニットへの概念的細分が適切である。
第1のユニットは、スケーラ/逆変換ユニット(551)である。スケーラ/逆変換ユニット(551)は、量子化変換係数、ならびにどの変換を使用するか、ブロックサイズ、量子化係数/パラメータ、量子化スケーリング行列などを含む制御情報を、パーサ(520)から(1つまたは複数の)シンボル(521)として受信する。スケーラ/逆変換ユニット(551)は、アグリゲータ(555)に入力されることができるサンプル値を含むブロックを出力することができる。
場合によっては、スケーラ/逆変換(551)の出力サンプルは、イントラコーディングされたブロック、すなわち、以前に再構成されたピクチャからの予測情報を使用しないが、現在ピクチャの以前に再構成された部分からの予測情報を使用することができるブロックに関係することができる。そのような予測情報は、イントラピクチャ予測ユニット(552)によって提供されることができる。場合によっては、イントラピクチャ予測ユニット(552)は、現在ピクチャバッファ(558)からフェッチされた周囲の既に再構成された情報を使用して、再構成中のブロックと同じサイズおよび形状のブロックを生成する。現在ピクチャバッファ(558)は、例えば、部分的に再構成された現在ピクチャおよび/または完全に再構成された現在ピクチャをバッファする。アグリゲータ(555)は、場合によっては、サンプルごとに、イントラ予測ユニット(552)が生成した予測情報を、スケーラ/逆変換ユニット(551)によって提供される出力サンプル情報に追加する。
他の場合には、スケーラ/逆変換ユニット(551)の出力サンプルは、インターコーディングされ潜在的に動き補償されたブロックに関係することができる。そのような場合、動き補償予測ユニット(553)は、参照ピクチャメモリ(557)にアクセスして、予測に使用されるサンプルをフェッチすることができる ブロックに関係するシンボル(521)に従ってフェッチされたサンプルを動き補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ(555)によってスケーラ/逆変換ユニット(551)の出力に追加されることができる(この場合、残差サンプルまたは残差信号と呼ばれる)。動き補償予測ユニット(553)がそこから予測サンプルをフェッチする参照ピクチャメモリ(557)内のアドレスは、動きベクトルによって制御されることができ、例えば、X成分、Y成分、および参照ピクチャ成分を有することができるシンボル(521)の形式で動き補償予測ユニット(553)が利用できる。動き補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ(557)からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなども含むことができる。
アグリゲータ(555)の出力サンプルは、ループフィルタユニット(556)で様々なループフィルタリング技術を受けることができる。ビデオ圧縮技術は、コーディングされたビデオシーケンス(コーディングされたビデオビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサ(520)からのシンボル(521)としてループフィルタユニット(556)に提供されるインループフィルタ技術を含むことができるが、コーディングされたピクチャまたはコーディングされたビデオシーケンスの(デコーディング順序で)前の部分のデコーディング中に取得されたメタ情報に応答することもでき、以前に再構成されループフィルタリングされたサンプル値に応答することもできる。
ループフィルタユニット(556)の出力は、レンダリングデバイス(512)に出力されるだけでなく、将来のインターピクチャ予測で使用するために参照ピクチャメモリ(557)に記憶されることもできるサンプルストリームでありうる。
特定のコーディングされたピクチャは、完全に再構成されると、将来の予測のための参照ピクチャとして使用されることができる。例えば、現在ピクチャに対応するコーディングされたピクチャが完全に再構成され、コーディングされたピクチャが(例えば、パーサ(520)によって)参照ピクチャとして識別されると、現在ピクチャバッファ(558)は、参照ピクチャメモリ(557)の一部になることができ、未使用の現在ピクチャバッファは、次のコーディングされたピクチャの再構成を開始する前に再割り当てされることができる。
ビデオデコーダ(510)は、ITU-T Rec.H.265などの規格の所定のビデオ圧縮技術に従ってデコーディング動作を行いうる。コーディングされたビデオシーケンスは、コーディングされたビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルの両方に忠実であるという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠しうる。具体的には、プロファイルは、ビデオ圧縮技術または規格において利用可能なすべてのツールから、そのプロファイルの下で使用することができる限られたツールとして特定のツールを選択することができる。やはりコンプライアンスのために必要なのは、コーディングされたビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルによって定義された範囲内にあることでありうる。場合によっては、レベルが、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート(例えば毎秒メガサンプル単位で測定される)、最大参照ピクチャサイズなどを制限する。レベルによって設定される限界は、場合によっては、仮想参照デコーダ(HRD)仕様およびコーディングされたビデオシーケンスでシグナリングされたHRDバッファ管理のためのメタデータによってさらに制限されることができる。
一実施形態では、受信器(531)は、エンコーディングされたビデオと共に追加の(冗長な)データを受信しうる。追加のデータは、(1つまたは複数の)コーディングされたビデオシーケンスの一部として含まれてもよい。追加のデータは、ビデオデコーダ(510)によって、データを適切にデコーディングするために、かつ/または元のビデオデータをより正確に再構成するために使用されうる。追加のデータは、例えば、時間、空間、または信号雑音比(SNR)強調層、冗長スライス、冗長ピクチャ、前方誤り訂正コードなどの形式とすることができる。
図6は、本開示の一実施形態によるビデオエンコーダ(603)のブロック図を示している。ビデオエンコーダ(603)は、電子デバイス(620)に含まれる。電子デバイス(620)は、送信器(640)(例えば、送信回路)をさらに含む。ビデオエンコーダ(603)は、図4の例のビデオエンコーダ(403)の代わりに使用されることができる。
ビデオエンコーダ(603)は、ビデオエンコーダ(603)によってコーディングされるべき(1つまたは複数の)ビデオ画像を取り込みうるビデオソース(601)(図6の例では電子デバイス(620)の一部ではない)からビデオサンプルを受信しうる。別の例では、ビデオソース(601)は電子デバイス(620)の一部である。
ビデオソース(601)は、ビデオエンコーダ(603)によってコーディングされるべきソースビデオシーケンスを、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、…)、任意の色空間(例えば、BT.601 Y CrCB、RGB、…)、および任意の適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)のものでありうるデジタルビデオサンプルストリームの形式で提供しうる。メディアサービングシステムでは、ビデオソース(601)は、以前に準備されたビデオを記憶する記憶デバイスであってもよい。ビデオ会議システムでは、ビデオソース(601)は、ローカル画像情報をビデオシーケンスとして取り込むカメラであってもよい。ビデオデータは、シーケンスに見られたときに動きを与える複数の個々のピクチャとして提供されうる。ピクチャ自体はピクセルの空間配列として編成されてもよく、各ピクセルは、使用されているサンプリング構造、色空間などに応じて、1つまたは複数のサンプルを含むことができる。当業者は、ピクセルとサンプルとの間の関係を容易に理解することができる。以下の説明はサンプルに焦点を当てている。
一実施形態実施形態によれば、ビデオエンコーダ(603)は、ソースビデオシーケンスのピクチャを、リアルタイムで、または用途によって必要とされる任意の他の時間制約の下でコーディングされたビデオシーケンス(643)にコーディングし圧縮しうる。適切なコーディング速度を実施することがコントローラ(650)の1つの機能である。いくつかの実施形態では、コントローラ(650)は、以下で説明される他の機能ユニットを制御し、それらの他の機能ユニットに機能的に結合されている。簡潔にするために結合は図示されていない。コントローラ(650)によって設定されるパラメータは、レート制御関連のパラメータ(ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値、…)、ピクチャサイズ、Group of Pictures(GOP)レイアウト、最大動きベクトル探索範囲などを含むことができる。コントローラ(650)は、或るシステム設計のために最適化されたビデオエンコーダ(603)に関係する他の適切な機能を有するように構成されることができる。
いくつかの実施形態では、ビデオエンコーダ(603)は、コーディングループで動作するように構成される。過度に簡略化された説明として、一例では、コーディングループは、ソースコーダ(630)(例えば、コーディングされるべき入力ピクチャと(1つまたは複数の)参照ピクチャとに基づいて、シンボルストリームなどのシンボルを生成する役割を担う)と、ビデオエンコーダ(603)に組み込まれた(ローカル)デコーダ(633)とを含むことができる。デコーダ(633)は、(リモート)デコーダも作成することになるのと同様の方式で、シンボルを再構成してサンプルデータを作成する(開示の主題で考慮されるビデオ圧縮技術においてはシンボルとコーディングされたビデオビットストリームとの間のいかなる圧縮も可逆であるため)。再構成サンプルストリーム(サンプルデータ)は、参照ピクチャメモリ(634)に入力される。シンボルストリームのデコーディングは、デコーダの位置(ローカルかリモートか)とは関係なくビットイグザクトな結果をもたらすため、参照ピクチャメモリ(634)内のコンテンツも、ローカルエンコーダとリモートエンコーダとの間でビットイグザクトである。言い換えれば、エンコーダの予測部分は、デコーダがデコーディング中に予測を使用するときに「見る」ことになるのと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理(および、例えばチャネル誤りが原因で同期性が維持されることができない場合に結果として生じるドリフト)は、いくつかの関連技術でも使用される。
「ローカル」デコーダ(633)の動作は、図5に関連して上記で詳細に既に説明されている、ビデオデコーダ(510)などの「リモート」デコーダの動作と同じでありうる。図5も簡単に参照すると、しかしながら、シンボルが利用可能であり、エントロピーコーダ(645)およびパーサ(520)によるコーディングされたビデオシーケンスへのシンボルのエンコーディング/デコーディングが可逆でありうるため、バッファメモリ(515)およびパーサ(520)を含むビデオデコーダ(510)のエントロピーデコーディング部分は、エンコーダ内のローカルデコーダ(633)においては完全に実装されない場合がある。
この時点で言えることは、デコーダ内に存在するパース/エントロピーデコーディングを除く任意のデコーダ技術は必然的に、対応するエンコーダにおいても、実質的に同一の機能形式で存在する必要がありうるということである。このため、開示の主題はデコーダ動作に焦点を当てている。エンコーダ技術の説明は、包括的に説明されるデコーダ技術の逆であるので、省略されることができる。特定のエリアにおいてのみ、より詳細な説明が必要とされ、以下で提供される。
動作中、いくつかの例では、ソースコーダ(630)は動き補償予測コーディングを行ってもよく、動き補償予測コーディングは、「参照ピクチャ」として指定されたビデオシーケンスからの1つまたは複数の以前にコーディングされたピクチャを参照して予測的に入力ピクチャをコーディングする。このようにして、コーディングエンジン(632)は、入力ピクチャのピクセルブロックと、入力ピクチャへの(1つまたは複数の)予測参照として選択されうる(1つまたは複数の)参照ピクチャのピクセルブロックとの間の差分をコーディングする。
ローカルビデオデコーダ(633)は、ソースコーダ(630)によって作成されたシンボルに基づいて、参照ピクチャとして指定されうるピクチャのコーディングされたビデオデータをデコーディングしうる。コーディングエンジン(632)の動作は、有利には、非可逆プロセスであってもよい。コーディングされたビデオデータが(図6には示されていない)ビデオデコーダでデコーディングされうる場合、再構成されたビデオシーケンスは、典型的には、いくつかの誤差を伴うソースビデオシーケンスの複製でありうる。ローカルビデオデコーダ(633)は、参照ピクチャに対してビデオデコーダによって行われうるデコーディングプロセスを複製し、再構成された参照ピクチャを参照ピクチャキャッシュ(634)に記憶させうる。このようにして、ビデオエンコーダ(603)は、(送信誤差なしで)遠端ビデオデコーダによって取得される再構成された参照ピクチャと共通のコンテンツを有する再構成された参照ピクチャのコピーをローカルに記憶しうる。
予測器(635)は、コーディングエンジン(632)のための予測探索を行いうる。すなわち、コーディングされるべき新しいピクチャについて、予測器(635)は、新しいピクチャのための適切な予測参照として機能しうる、(候補参照ピクセルブロックとしての)サンプルデータまたは参照ピクチャ動きベクトル、ブロック形状などといった特定のメタデータを求めて、参照ピクチャメモリ(634)を探索しうる。予測器(635)は、適切な予測参照を見つけるために、サンプルブロックごとピクセルブロックごとに動作しうる。場合によっては、予測器(635)によって取得された探索結果によって決定されるように、入力ピクチャは、参照ピクチャメモリ(634)に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。
コントローラ(650)は、例えば、ビデオデータをエンコーディングするために使用されるパラメータおよびサブグループパラメータの設定を含むソースコーダ(630)のコーディング動作を管理しうる。
すべての前述の機能ユニットの出力は、エントロピーコーダ(645)でエントロピーコーディングを施されうる。エントロピーコーダ(645)は、ハフマンコーディング、可変長コーディング、算術コーディングなどといった技術に従ったシンボルの可逆圧縮により、様々な機能ユニットによって生成されたシンボルをコーディングされたビデオシーケンスに変換する。
送信器(640)は、エントロピーコーダ(645)によって作成された(1つまたは複数の)コーディングされたビデオシーケンスを、通信チャネル(660)を介した送信に備えてバッファしてもよく、通信チャネル(660)は、エンコーディングされたビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクであってもよい。送信器(640)は、ビデオコーダ(603)からのコーディングされたビデオデータを、送信されるべき他のデータ、例えばコーディングされたオーディオデータおよび/または補助データストリーム(ソースは図示されていない)とマージしてもよい。
コントローラ(650)は、ビデオエンコーダ(603)の動作を管理しうる。コーディング中、コントローラ(650)は、各コーディングされたピクチャに或るコーディングされたピクチャタイプを割り当ててもよく、ピクチャタイプは、それぞれのピクチャに適用されうるコーディング技術に影響を及ぼす場合がある。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの1つとして割り当てられうる。
イントラピクチャ(Iピクチャ)は、予測のソースとしてシーケンス内のいかなる他のピクチャも使用せずにコーディングおよびデコーディングされうるピクチャでありうる。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ(「IDR」)ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのそれらの変形、ならびにそれらのそれぞれの用途および特徴を認識している。
予測ピクチャ(Pピクチャ)は、多くても1つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされうるピクチャでありうる。
双方向予測ピクチャ(Bピクチャ)は、多くても2つの動きベクトルおよび参照インデックスを使用して各ブロックのサンプル値を予測するイントラ予測またはインター予測を使用してコーディングおよびデコーディングされうるピクチャでありうる。同様に、複数の予測ピクチャは、単一のブロックの再構成のために3つ以上の参照ピクチャおよび関連メタデータを使用することができる。
ソースピクチャは、一般に、複数のサンプルブロック(例えば、各々4×4サンプル、8×8サンプル、4×8サンプル、または16×16サンプルのブロック)に空間的に細分され、ブロックごとにコーディングされうる。ブロックは、ブロックのそれぞれのピクチャに適用されたコーディング割り当てによって決定されるように他の(既にコーディングされた)ブロックを参照して予測的にコーディングされてもよい。例えば、Iピクチャのブロックは、非予測的にコーディングされてもよいし、同じピクチャの既にコーディングされたブロックを参照して予測的にコーディングされてもよい(空間予測またはイントラ予測)。Pピクチャのピクセルブロックは、1つの以前にコーディングされた参照ピクチャを参照して空間予測を介してまたは時間予測を介して予測的にコーディングされてもよい。Bピクチャのブロックは、1つまたは2つの以前にコーディングされた参照ピクチャを参照して空間予測を介してまたは時間予測を介して予測的にコーディングされてもよい。
ビデオエンコーダ(603)は、ITU-T Rec.H.265などの所定のビデオコーディング技術または規格に従ってコーディング動作を行いうる。その動作に際して、ビデオエンコーダ(603)は、入力ビデオシーケンスにおける時間的冗長性および空間的冗長性を利用する予測コーディング動作を含む、様々な圧縮動作を行いうる。したがって、コーディングされたビデオデータは、使用されているビデオコーディング技術または規格によって指定された構文に準拠しうる。
一実施形態では、送信器(640)は、エンコーディングされたビデオと共に追加のデータを送信しうる。ソースコーダ(630)は、そのようなデータをコーディングされたビデオシーケンスの一部として含みうる。追加のデータは、時間/空間/SNR強調層、冗長なピクチャおよびスライスなどの他の形式の冗長データ、SEIメッセージ、VUIパラメータセットフラグメントなどを含んでもよい。
ビデオは、時系列で複数のソースピクチャ(ビデオピクチャ)として取り込まれてもよい。イントラピクチャ予測(しばしばイントラ予測と略される)は、所与のピクチャにおける空間相関を利用し、インターピクチャ予測は、ピクチャ間の(時間または他の)相関を利用する。一例では、現在ピクチャと呼ばれる、エンコーディング中/デコーディング中の特定のピクチャは、ブロックに分割されうる。現在ピクチャ内のブロックが、ビデオ内の以前にコーディングされた、まだバッファされている参照ピクチャ内の参照ブロックに類似しているとき、現在ピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによってコーディングされることができる。動きベクトルは、参照ピクチャ内の参照ブロックを指し示し、複数の参照ピクチャが使用されている場合、参照ピクチャを識別する第3の次元を有することができる。
いくつかの実施形態では、双予測技術がインターピクチャ予測において使用されることができる。双予測技術によれば、どちらもデコーディング順序ではビデオ内で現在ピクチャに先行する(が、表示順序ではそれぞれ過去および未来にありうる)第1の参照ピクチャおよび第2の参照ピクチャなどの2つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指し示す第1の動きベクトル、および第2の参照ピクチャ内の第2の参照ブロックを指し示す第2の動きベクトルによってコーディングされることができる。ブロックは、第1の参照ブロックと第2の参照ブロックの組み合わせによって共同で予測されることができる。
さらに、マージモード技術が、インターピクチャ予測においてコーディング効率を改善するために使用されることができる。
本開示のいくつかの実施形態によれば、インターピクチャ予測やイントラピクチャ予測などの予測は、ブロック単位で行われる。例えば、HEVC規格によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のためにコーディングツリーユニット(CTU)に分割され、ピクチャ内のCTUは、64×64ピクセル、32×32ピクセル、16×16ピクセルなどの同じサイズを有する。一般に、CTUは3つのコーディングツリーブロック(CTB)を含み、それらは1つのルーマCTBおよび2つのクロマCTBである。各CTUは、1つまたは複数のコーディングユニット(CU)に再帰的に四分木分割されることができる。例えば、64×64ピクセルのCTUは、64×64ピクセルの1つのCUに、または32×32ピクセルの4つのCUに、または16×16ピクセルの16個のCUに分割されることが可能である。一例では、各CUが、インター予測タイプやイントラ予測タイプなどのCUの予測タイプを決定するために解析される。CUは、時間的予測可能性および/または空間的予測可能性に応じて、1つまたは複数の予測ユニット(PU)に分割される。一般に、各PUは、1つのルーマ予測ブロック(PB)および2つのクロマPBを含む。一実施形態では、コーディング(エンコーディング/デコーディング)における予測動作は、予測ブロックの単位で行われる。予測ブロックの一例としてルーマ予測ブロックを使用すると、予測ブロックは、8×8ピクセル、16×16ピクセル、8×16ピクセル、16×8ピクセルなどといったピクセルの値(例えば、ルーマ値)の行列を含む。
図7は、本開示の別の実施形態による、ビデオエンコーダ(703)の図を示している。ビデオエンコーダ(703)は、ビデオピクチャのシーケンス内の現在のビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックをコーディングされたビデオシーケンスの一部であるコーディングされたピクチャにエンコーディングするように構成される。一例では、ビデオエンコーダ(703)は、図4の例のビデオエンコーダ(403)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(703)は、8×8サンプルの予測ブロックなどといった処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ(703)は、処理ブロックがそれを使用して最良にコーディングされるのは、イントラモードか、インターモードか、それとも例えばレート歪み最適化を使用した双予測モードかを決定する。処理ブロックがイントラモードでコーディングされる場合、ビデオエンコーダ(703)は、イントラ予測技術を使用して処理ブロックをコーディングされたピクチャにエンコーディングし、処理ブロックがインターモードまたは双予測モードでコーディングされる場合、ビデオエンコーダ(703)は、それぞれ、インター予測技術または双予測技術を使用して、処理ブロックをコーディングされたピクチャにエンコーディングしうる。特定のビデオコーディング技術では、マージモードは、予測子の外部のコーディングされた動きベクトル成分の助けを借りずに動きベクトルが1つまたは複数の動きベクトル予測子から導出されるインターピクチャ予測サブモードでありうる。特定の他のビデオコーディング技術では、対象ブロックに適用可能な動きベクトル成分が存在しうる。一例では、ビデオエンコーダ(703)は、処理ブロックのモードを決定するために、モード決定モジュール(図示せず)などの他の構成要素を含む。
図7の例では、ビデオエンコーダ(703)は、図7に示されるように互いに結合されたインターエンコーダ(730)、イントラエンコーダ(722)、残差計算器(723)、スイッチ(726)、残差エンコーダ(724)、汎用コントローラ(721)、およびエントロピーエンコーダ(725)を含む。
インターエンコーダ(730)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを参照ピクチャ内の1つまたは複数の参照ブロック(例えば、前のピクチャ内および後のピクチャ内のブロック)と比較し、インター予測情報(例えば、インターエンコーディング技術による冗長情報、動きベクトル、マージモード情報の記述)を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果(例えば、予測されたブロック)を計算するように構成される。いくつかの例では、参照ピクチャは、エンコーディングされたビデオ情報に基づいてデコーディングされた、デコーディング参照ピクチャである。
イントラエンコーダ(722)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、そのブロックを同じピクチャ内の既にコーディングされたブロックと比較し、変換後の量子化係数を生成し、場合によっては、イントラ予測情報(例えば、1つまたは複数のイントラエンコーディング技術によるイントラ予測方向情報)も生成するように構成される。一例では、イントラエンコーダ(722)はまた、同じピクチャ内のイントラ予測情報および参照ブロックに基づいて、イントラ予測結果(例えば、予測されたブロック)を計算する。
汎用コントローラ(721)は、汎用制御データを決定し、汎用制御データに基づいてビデオエンコーダ(703)の他の構成要素を制御するように構成される。一例では、汎用コントローラ(721)は、ブロックのモードを決定し、モードに基づいてスイッチ(726)に制御信号を提供する。例えば、モードがイントラモードであるとき、汎用コントローラ(721)は、スイッチ(726)を制御して残差計算器(723)が使用するためのイントラモード結果を選択させ、エントロピーエンコーダ(725)を制御してイントラ予測情報を選択させてイントラ予測情報をビットストリームに含めさせ、モードがインターモードであるとき、汎用コントローラ(721)は、スイッチ(726)を制御して残差計算器(723)が使用するためのインター予測結果を選択させ、エントロピーエンコーダ(725)を制御してインター予測情報を選択させてインター予測情報をビットストリームに含めさせる。
残差計算器(723)は、受信ブロックと、イントラエンコーダ(722)またはインターエンコーダ(730)から選択された予測結果との間の差分(残差データ)を計算するように構成される。残差エンコーダ(724)は、残差データをエンコーディングして変換係数を生成するように構成される。一例では、残差エンコーダ(724)は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化変換係数を取得するために量子化処理を受ける。様々な実施形態において、ビデオエンコーダ(703)は残差デコーダ(728)も含む。残差デコーダ(728)は逆変換を行い、デコーディングされた残差データを生成するように構成される。デコーディングされた残差データは、イントラエンコーダ(722)およびインターエンコーダ(730)によって適切に使用されることができる。例えば、インターエンコーダ(730)は、デコーディングされた残差データおよびインター予測情報に基づいてデコーディングされたブロックを生成することができ、イントラエンコーダ(722)は、デコーディングされた残差データおよびイントラ予測情報に基づいてデコーディングされたブロックを生成することができる。デコーディングされたブロックは、デコーディングされたピクチャを生成するために適切に処理され、デコーディングされたピクチャは、いくつかの例ではメモリ回路(図示せず)にバッファされ、参照ピクチャとして使用されることができる。
エントロピーエンコーダ(725)は、エンコーディングされたブロックを含めるようビットストリームをフォーマットするように構成される。エントロピーエンコーダ(725)は、HEVC規格などの適切な規格に従って様々な情報を含めるように構成される。一例では、エントロピーエンコーダ(725)は、ビットストリームに、汎用制御データ、選択された予測情報(例えば、イントラ予測情報やインター予測情報)、残差情報、および他の適切な情報を含めるように構成される。開示の主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックをコーディングするときには、残差情報が存在しないことに留意されたい。
図8は、本開示の別の実施形態によるビデオデコーダ(810)の図を示している。ビデオデコーダ(810)は、コーディングされたビデオシーケンスの一部であるコーディングされたピクチャを受信し、コーディングされたピクチャをデコーディングして再構成ピクチャを生成するように構成される。一例では、ビデオデコーダ(810)は、図4の例のビデオデコーダ(410)の代わりに使用される。
図8の例では、ビデオデコーダ(810)は、図8に示されるように互いに結合されたエントロピーデコーダ(871)、インターデコーダ(880)、残差デコーダ(873)、再構成モジュール(874)、およびイントラデコーダ(872)を含む。
エントロピーデコーダ(871)は、コーディングされたピクチャから、コーディングされたピクチャが構成されている構文要素を表す特定のシンボルを再構成するように構成されることができる。そのようなシンボルは、例えば、ブロックがコーディングされるモード(例えば、イントラモード、インターモード、双予測モード、マージサブモードまたは他のサブモードのインターモードおよび双予測モード)、イントラデコーダ(872)またはインターデコーダ(880)によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報(例えば、イントラ予測情報やインター予測情報など)、例えば量子化変換係数の形式の残差情報などを含むことができる。一例では、予測モードがインターモードまたは双予測モードである場合、インター予測情報がインターデコーダ(880)に提供され、予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラデコーダ(872)に提供される。残差情報は、逆量子化を受けることができ、残差デコーダ(873)に提供される。
インターデコーダ(880)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラデコーダ(872)は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(873)は、逆量子化を行って逆量子化変換係数を抽出し、逆量子化変換係数を処理して、残差を周波数領域から空間領域に変換するように構成される。残差デコーダ(873)はまた、(量子化器パラメータ(QP)を含めるために)特定の制御情報を必要とする場合があり、その情報は、エントロピーデコーダ(871)によって提供されうる(これは少量の制御情報のみでありうるのでデータパスは図示されていない)。
再構成モジュール(874)は、空間領域において、残差デコーダ(873)による出力としての残差と(場合によってインター予測モジュールまたはイントラ予測モジュールによる出力としての)予測結果とを組み合わせて、再構成ビデオの一部となりうる再構成ピクチャの一部でありうる再構成ブロックを形成するように構成される。視覚的品質を改善するために、デブロッキング動作などの他の適切な動作が行われることができることに留意されたい。
ビデオエンコーダ(403)、(603)、および(703)、ならびにビデオデコーダ(410)、(510)、および(810)は、任意の適切な技術を使用して実装されることができることに留意されたい。一実施形態では、ビデオエンコーダ(403)、(603)、および(703)、ならびにビデオデコーダ(410)、(510)、および(810)は、1つまたは複数の集積回路を使用して実装されることができる。別の実施形態では、ビデオエンコーダ(403)、(603)、および(603)、ならびにビデオデコーダ(410)、(510)、および(810)は、ソフトウェア命令を実行する1つまたは複数のプロセッサを使用して実装されることができる。
本開示は、最確モード(MPM)リスト構成の改善を含む。
ITU-T VCEG(Q6/16)およびISO/IEC MPEG(JTC 1/SC 29/WG 11)は、2013(バージョン1)、2014(バージョン2)、2015(バージョン3)、および2016(バージョン4)において、H.265/HEVC(High Efficiency Video Coding)規格を公開した。2015年、これら2つの標準化団体は、HEVCを超える次のビデオコーディング規格を開発する可能性を探索するために、JVET(共同ビデオ探索チーム(Joint Video Exploration Team))を共同で結成した。2018年4月、JVETは、HEVCを超える次世代ビデオコーディングの標準化プロセスを正式に開始した。この新たな規格は、多用途ビデオコーディング(VVC)と名付けられ、JVETは、ジョイントビデオエキスパートチームと改称された。2020年7月、H.266/VVCバージョン1が完成された。2021年1月、VVC能力を超える強化された圧縮を調査するためのアドホックグループが設立された。
MPMリストを形成するために、一例では、最初に22個のエントリを有する汎用MPMリストが構成されることができる。汎用MPMリスト内の最初の6つのエントリは、プライマリMPM(PMPM)リストに含められることができ、残りのエントリは、セカンダリMPM(SMPM)リストを形成することができる。汎用MPMリスト内の最初のエントリは、Planarモードとすることができる。汎用MPMリスト内の残りのエントリは、(i)左(L)、上(A)、左下(BL)、右上(AR)、左上(AL)の近傍ブロックのイントラモード、(ii)近傍ブロックの最初の2つの利用可能な方向性モードからのオフセットが追加された方向性モード、および(iii)デフォルトモードを含むことができる。L、A、BL、AR、およびAL近傍ブロックの位置は、図9に示されることができる。
CUブロック(例えば、図9の(902))の高さがCUブロックの幅以上である場合、近傍ブロックの順序は、A、L、BL、AR、およびALとすることができ、そうでない場合、近傍ブロックの順序は、L、A、BL、AR、およびALとすることができる。エントリのインデックスはトランケーテッド(Truncated)バイナリでコーディングされることができるので、MPMエントリの順序は重要でありうる。トランケーテッド(Truncated)バイナリの後の方は、コーディングするのにより多くのビットを要する可能性がある。
近傍ブロックAL、A、およびARが現在のCU(例えば、(902))のCTUとは異なるコーディングツリーユニット(CTU)内にある場合、近傍ブロックAL、A、およびARは、ラインバッファの制限のために利用不可能であるとみなされることができる。したがって、利用不可能な近傍CUのイントラモードがMPMリストに挿入されなくてよい。
伝搬イントラモードもMPMリスト構成に適用されることができる。例えば、VVCでは、近傍CUがインターコーディングされたCUである場合、その近傍CUのイントラモードは、Planarモードとみなされることができ、MPMリストに挿入される。
イントラコーディングされたCUのイントラモードは、4×4ピクセルサンプル単位でメモリに記憶されることができる。デコーダ側イントラモード導出(DIMD)が適用されるイントラコーディングされたCUの場合、勾配のヒストグラム(HoG)における発生が最高のDIMDに基づくデコーダ側導出イントラモードがメモリに記憶されることができる。テンプレートベースのイントラモード導出(TIMD)が適用されるイントラコーディングされたCUの場合、絶対変換差分和(SATD)のコストが最小のデコーダ側導出イントラモードが記憶されることができる。ブロックベースのデルタパルス符号変調(BDPCM)が適用されるイントラコーディングされたCUの場合、シグナリングされたBDPCM方向が記憶されることができる。行列ベースのイントラ予測(MIP)またはテンプレートマッチング予測(TMP)が適用されるイントラコーディングされたCUの場合、Planarモードが記憶されることができる。他のイントラコーディングされたCUの場合、MPMリストまたは非MPMリストから導出されたイントラモードが記憶されることができる。
MPMリストの精度を向上させるために、近傍ブロックがインターコーディングされるときに、動きベクトルおよび参照ピクチャを使用して伝搬イントラ予測モードが導出されることができる。インターコーディングされたCUの場合、イントラモードは、参照されたエリアからインターコーディングされたCUに伝搬されることができる。
ECM2.0など、いくつかの実施形態では、汎用MPMリストは、エントリ(またはイントラモード)のうちの1つまたは複数を含むことができる。汎用MPMリストの順序は、条件のシーケンスに基づいて以下のように示されることができる。条件の順序は、エントリが汎用MPMリストに追加される順序を示す。条件が満たされない場合、その条件と関連付けられたイントラモードは、汎用MPMリストに挿入されなくてよい。各エントリの挿入前に冗長性を除去するためにプルーニングチェックが行われることができる。
1.Planar
2.現在のCUの高さが幅以上であり、Aが存在し、Aがイントラである場合には、A。
現在のCUの高さが幅よりも小さく、Lが存在し、Lがイントラである場合には、L。
3.現在のCUの高さが幅以上であり、Lが存在し、Lがイントラであり、Lが同じCTU内にある場合には、L。現在のCUの高さが幅よりも小さく、Aが存在し、Aがイントラであり、Aが同じCTU内にある場合には、A。
4.現在のCUの高さが幅以上であり、Aが存在し、Aがインターである場合には、Aの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。
5.現在のCUの高さが幅以上であり、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Aが存在し、Aがインターである場合には、Aの伝搬イントラモード。
6.BLが存在し、BLがイントラである場合には、BL。
7.ARが存在し、ARがイントラであり、ARが同じCTU内にある場合には、AR。
8.ALが存在し、ALがイントラであり、ALが同じCTU内にある場合には、AL。
9.BLが存在し、BLがインターである場合には、BLの伝搬イントラモード。
10.ARが存在し、ARがインターである場合には、ARの伝搬イントラモード。
11.ALが存在し、ALがインターである場合には、ALの伝搬イントラモード。
1つまたは複数のさらなる条件が、条件のシーケンスで提供されることができる。しかしながら、MPMリスト内のエントリを生成するための条件のうちの1つまたは複数が正しくない場合がある。例えば、CTU境界チェックの条件が正しくない場合がある。Aが現在のブロックとは異なるCTU内にある場合、Aは利用不可能とみなされるべきである。しかしながら、場合によっては、Aは利用可能であるとみなされ、MPMリストに挿入されうる。加えて、近傍ブロックの一部が利用不可能であるために、利用可能な近傍ブロックのイントラモードが完全には利用されない場合もある。したがって、コーディング効率が低下する。
本開示のいくつかの実施形態では、特定の近傍CUのCTU境界は常にチェックされうる。CTU境界チェックは、例えば、ラインバッファの負担を軽減するのに役立ちうる。一実施形態では、上近傍(または近傍の)CU(例えば、上(A)、左上(AL)、および/または右上(AR))のCTU境界は、それらの上近傍CUがイントラコーディングされているかインターコーディングされているかにかかわらずチェックされることができる。CTU境界チェックは、近傍CUが現在のCTU(例えば、現在のブロックのCTU)とは異なるCTU内にあるかどうかを検証することができる。上近傍CUが現在のCUとは異なるCTU内にある場合、上近傍CUのイントラモードまたは伝搬イントラモードは、MPMリストに挿入されなくてよい。
イントラモードが汎用MPMリストに追加される順序は、条件のシーケンスに基づくものとすることができる。一実施形態では、近傍CUのイントラモードを現在のブロックの汎用MPMリストに追加する例示的な順序は、以下のように示されることができる。近傍CUは、例えば、図9に示されることができる。近傍CUは、現在(例えば、(902))の上辺に隣接する上(A)ブロック、現在のブロックの左上隅に隣接する左上(AL)ブロック、現在のブロックの右上隅に隣接する右上(AR)ブロック、現在のブロックの左辺に隣接する左(L)ブロック、および現在のブロックの左下隅に隣接する左下(BL)ブロックを含むことができる。
1.Planar
2.現在のCUの高さが幅以上であり、Aが存在し、Aがイントラであり、Aが同じCTU内にある場合には、A。現在のCUの高さが幅よりも小さく、Lが存在し、Lがイントラである場合には、L。
3.現在のCUの高さが幅以上であり、Lが存在し、Lがイントラである場合には、L。
現在のCUの高さが幅よりも小さく、Aが存在し、Aがイントラであり、Aが同じCTU内にある場合には、A。
4.現在のCUの高さが幅以上であり、Aが存在し、Aがインターであり、Aが同じCTU内にある場合には、Aの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。
5.現在のCUの高さが幅以上であり、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Aが存在し、Aがインターであり、Aが同じCTU内にある場合には、Aの伝搬イントラモード。
6.BLが存在し、BLがイントラである場合には、BL。
7.ARが存在し、ARがイントラであり、ARが同じCTU内にある場合には、AR。
8.ALが存在し、ALがイントラであり、ALが同じCTU内にある場合には、AL。
9.BLが存在し、BLがインターである場合には、BLの伝搬イントラモード。
10.ARが存在し、ARがインターであり、ARが同じCTU内にある場合には、ARの伝搬イントラモード。
11.ALが存在し、ALがインターであり、ALが同じCTU内にある場合には、ALの伝搬イントラモード。
上記の順序に示されるように、近傍CUのイントラモードは、条件のシーケンスに基づいて順次に、現在のCUの汎用MPMリストに追加されることができる。上記の条件のシーケンスは、シーケンス内の他の条件に対する条件の例示的な相対的順序を示す。他の実施形態では、1つまたは複数の追加条件がシーケンスで提供されてもよい。
条件が満たされない場合、その条件と関連付けられたイントラモード(または伝搬イントラモード)は、汎用MPMリストに挿入されなくてよい。近傍CUのイントラモードの挿入前に冗長性を除去するためにプルーニングチェックが行われることができる。加えて、CTU境界チェックも条件のシーケンスで必要とされることができる。上近傍CU(例えば、A、AR、および/またはAL)と現在のCUとが同じCTU内にない場合、上近傍CUのイントラモードまたは伝搬イントラモードは、MPMリストに挿入されなくてよい。特定の実施形態では、CTU境界チェックが左近傍CU(例えば、LまたはBL)には必要とされない場合があることに留意されたい。
条件のシーケンスに従って、近傍CUがインターコーディングされるときに、近傍CUの伝搬イントラモードは、汎用MPMリストに追加されることができる。伝搬イントラモードは、近傍CUのうちの隣り合うCUのイントラモードに基づいて取得されることができる。
さらに順序を参照すると、条件のシーケンスに従って、最初にPlanarモードが汎用MPMリストに追加されることができる。さらに、条件のシーケンスのうちの2番目の条件が検証されることができる。2番目の条件が満たされる場合、2番目の条件にと関連付けられたイントラモードは、現在のブロックの汎用MPMリストに追加されることができる。例えば、現在のブロックの高さが現在のブロックの幅以上であり、上近傍ブロックが利用可能であり、上近傍ブロックがイントラコードであり、上ブロックが現在のCUと同じCTU内にある場合、上近傍ブロックのイントラモードは汎用MPMリストに追加されることができる。現在のブロックの高さが現在のブロックの幅よりも小さく、左近傍ブロックが存在し、左近傍ブロックがイントラコーディングされている場合、左近傍ブロックのイントラモードは汎用MPMリストに追加されることができる。
2番目の条件が満たされない場合、2番目の条件と関連付けられたイントラモードは、MPMリストに追加されなくてよい。続いて、3番目の条件が検証されることができる。3番目の条件が満たされる場合、3番目の条件と関連付けられたイントラモードは汎用MPMリストに追加されることができる。
一実施形態では、MPMリストエントリの順序は、近傍CUがイントラコーディングされないときに、近傍CUの伝搬イントラモードがより良いコーディング効率を達成するためにMPMリストに追加されることができるように変更されることができる。MPMリストエントリ順序の変更は、任意のMPMリストに適用されることができる。例えば、MPMリストエントリ順序の変更は、同じCUのイントラモードの直後に伝搬イントラモードが挿入される(または、伝搬イントラモードを追加するシーケンスが同じCUのイントラモードを追加するシーケンスの後に続く)限り、任意のMPMリストに適用されることができる。
MPMリストエントリ順序の例示的な変更は以下に示されることができる。
1.Planar
2.現在のCUの高さが幅以上であり、Aが存在し、Aがイントラであり、Aが同じCTU内にある場合には、A。現在のCUの高さが幅よりも小さく、Lが存在し、Lがイントラである場合には、L。
3.現在のCUの高さが幅以上であり、Aが存在し、Aがインターであり、Aが同じCTU内にある場合には、Aの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。
4.現在のCUの高さが幅以上であり、Lが存在し、Lがイントラである場合には、L。現在のCUの高さが幅よりも小さく、Aが存在し、Aがイントラであり、Aが同じCTU内にある場合には、A。
5.現在のCUの高さが幅以上であり、Lが存在し、Lがインターである場合には、Lの伝搬イントラモード。現在のCUの高さが幅よりも小さく、Aが存在し、Aがインターであり、Aが同じCTU内にある場合には、Aの伝搬イントラモード。
6.BLが存在し、BLがイントラである場合には、BL。
7.BLが存在し、BLがインターである場合には、BLの伝搬イントラモード。
8.ARが存在し、ARがイントラであり、ARが同じCTU内にある場合には、AR。
9.ARが存在し、ARがインターであり、ARが同じCTU内にある場合には、ARの伝搬イントラモード。
10.ALが存在し、ALがイントラであり、ALが同じCTU内にある場合には、AL。
11.ALが存在し、ALがインターであり、ALが同じCTU内にある場合には、ALの伝搬イントラモード。
MPMリストエントリ順序に示されるように、現在のブロックの近傍ブロックの伝搬イントラモードが追加される順序は、近傍ブロックのイントラモードがMPMリストに追加される順序の後に続くことができる。近傍ブロックのイントラモードが利用可能ではなく、近傍ブロックの伝搬イントラモードが利用可能である場合、近傍ブロックの伝搬イントラモードは、続いてMPMリストに追加されることができる。例えば、MPMリストエントリ順序の2番目の条件に従い、現在のブロックの高さが現在のブロックの幅以上であり、上近傍ブロック(例えば、A)が存在し、上近傍ブロックと現在のCUとが同じCTU内にあり、上近傍ブロックがイントラコーディングされる場合、上近傍ブロック(例えば、A)のイントラモードはMPMリストに追加されることができる。2番目の条件が満たされない場合、上近傍ブロックのイントラモードはMPMリストに追加されなくてよい。3番目の条件が検証されることができる。3番目の条件が満たされる場合、上近傍ブロックの伝搬イントラモードはMPMリストに追加されることができる。
ユニバーサルイントラモードマップは、サンプル単位でイントラモードを記憶するために使用されることができる。例えば、シグナリングされたイントラモード、デコーダ導出イントラモード、デフォルトのイントラモード、および/または伝搬イントラモードを含む任意のイントラモードが記憶されることができる。サンプル単位は、暗黙的に事前定義されるか、または明示的にシグナリングされることができる。例えば、エンコーダおよびデコーダは、単位として4×4ピクセルを暗黙的に事前定義することもできるし、ビットストリームで2×2または8×8を明示的にシグナリングすることもできる。ユニバーサルイントラモードマップは、CUまたはCTUにまたがることができることに留意されたい。さらに、イントラCUまたはインターCUがイントラモードを記憶することができるだけでなく、他のCU、場合によってはすべてのCUがイントラモードを記憶することができる。
部分的なユニバーサルイントラモードマップの例が図10Aおよび図10Bに示されている。
一実施形態では、ユニバーサルイントラモードマップは最初は空でありうる。さらに、ユニバーサルイントラモードマップは、シグナリングされたイントラモード、デコーダ導出イントラモード、および/または、デコーディングプロセス中に取得された伝搬イントラモードを記憶するか、または他の方法で含むことができる。
別の実施形態では、最初にユニバーサルイントラモードマップを初期設定するためにデフォルトのイントラモードが使用されることができる。さらに、デフォルトのイントラモードは、シグナリングされたイントラモード、デコーダ導出イントラモード、またはデコーディングプロセス中に取得された伝搬イントラモードに置き換えられることができる。例えば、図10Aに示されるように、デフォルトのイントラモード0(またはPlanar)は、ユニバーサルイントラモードマップ(1002)のすべての単位に記憶されることができ、各ユニットは、4×4のサンプル単位を表すことができる。後で、デフォルトのイントラモード0は別のイントラモードに置き換えられることができる。例えば、他方のイントラモードは、シグナリングされたイントラモード、デコーダ導出イントラモード、または伝搬イントラモードでありうる。
さらに別の実施形態では、ユニバーサルイントラモードマップは最初は空でありうる。さらに、ユニバーサルイントラモードマップの空の(または空白の)ユニットの一部は、シグナリングされたイントラモード、デコーダ導出イントラモード、および/またはデコーディングプロセス中に獲得された伝搬イントラモードを記憶することができる。CUがデコーディングされた後、残りの空白ユニットは、イントラモード0(またはPlanar)などのデフォルトのイントラモードで埋められることができる。
図10Bに示されるように、ユニバーサルイントラモードマップ(1004)は最初は空とすることができ、空のユニットの一部は、デコーディングプロセス中にイントラモードで埋められることができる。CUがデコーディングされた後、空白ユニット(例えば、(1006)や(1008))は、イントラモード0(またはPlanar)などのデフォルトのイントラモードで埋められることができる。
本開示では、空間的近傍CUのイントラモードがMPMリスト構成に適用される場合、空間的近傍CUのイントラモードは、ユニバーサルイントラモードマップに基づいて決定されることができる。
例えば、図11Aに図示されるように、現在のCU(1106)は、近傍CU(1102)を有することができる。近傍CU(1102)は、対応する位置(1104)を含むことができる。対応する位置(1104)は、近傍CU(1102)内の任意の位置とすることができる。関連する例では、近傍CU(1102)がイントラモード50に基づいてイントラコーディングされる場合、イントラモード50は、現在のCU(1106)のMPMリストに追加されることができる。
ユニバーサルイントラモードマップでは、異なるイントラのモードがMPMリストに追加されることができる。図11Bに図示されるように、現在のCU(1108)は、近傍CU(1112)を有することができる。近傍CU(1112)は、対応する位置(1110)を含むことができる。さらに、ユニバーサルイントラモードマップ(1114)は、近傍CU(1112)と関連付けられたイントラモードを示すために使用されることができる。ユニバーサルイントラモードマップ(1114)は、複数のユニット(または領域)を含むことができる。各ユニット(または領域)は、それぞれのイントラモードに対応することができる。ユニバーサルイントラモードマップ(1114)に従い、対応する位置(1110)は、イントラモード18に対応するユニバーサルイントラモードマップ(1114)のユニット(1116)に含められることができる。よって、イントラモード18は、イントラモード50の代わりに、MPMリストに追加されることができる。
対応する位置がユニバーサルイントラモードマップの境界の外にある場合、近傍CUのイントラモードは利用不可能とみなされることができる。
近傍CUのイントラモードを現在のブロックの汎用MPMリストに追加する例示的な順序は、以下のように示されることができ、近傍CUのイントラモードは、ユニバーサルイントラモードマップに基づいて決定されることができる。
1.Planar
2.現在のCUの高さが幅以上であり、Aが存在する場合には、ユニバーサルマップ内のAに対応したイントラモード。現在のCUの高さが幅よりも小さく、Lが存在する場合には、ユニバーサルマップ内のLに対応したイントラモード。
3.現在のCUの高さが幅以上であり、Lが存在する場合には、ユニバーサルマップ内のLに対応したイントラモード。現在のCUの高さが幅よりも小さく、Aが存在する場合には、ユニバーサルマップ内のAに対応したイントラモード。
4.BLが存在する場合には、ユニバーサルマップ内のBLに対応したイントラモード。
5.ARが存在する場合には、ユニバーサルマップ内のARに対応したイントラモード。
6.ALが存在する場合には、ユニバーサルマップ内のALに対応したイントラモード。
上記の条件のシーケンスは、シーケンス内の他の条件に対する条件の例示的な相対的順序を示す。他の実施形態では、1つまたは複数の追加条件がシーケンスで提供されてもよい。この順序で示されるように、上近傍ブロック(例えば、A)、左近傍ブロック(例えば、L)、左下近傍ブロック(例えば、BL)、右上近傍ブロック(例えば、AR)、左上近傍ブロック(例えば、AL)の対応した(または対応する)イントラモードは、条件のシーケンスに従ってMPMリストに追加されることができる。対応したイントラモードは、ユニバーサルイントラモードマップから取得されることができる。
ユニバーサルイントラモードマップを使用することによって、近傍ブロックの予測モード(例えば、イントラ予測またはインター予測)のチェックはもはや不要になる。例えば、近傍ブロックがイントラコーディングされているかインターコーディングされているかにかかわらず、近傍ブロックの対応したイントラモードはユニバーサルイントラモードマップから取得されることができる。
図12は、本開示のいくつかの実施形態による第1の例示的なデコーディングプロセス(1200)を説明するフローチャートを示している。図13は、本開示のいくつかの実施形態による第2の例示的なデコーディングプロセス(1300)を説明するフローチャートを示している。
図14は、本開示のいくつかの実施形態による第1の例示的なエンコーディングプロセス(1400)を説明するフローチャートを示している。図15は、本開示のいくつかの実施形態による第2の例示的なエンコーディングプロセス(1500)を説明するフローチャートを示している。提案のプロセスは、別々に使用されても、任意の順序で組み合わされてもよい。さらに、プロセス(または実施形態)の各々、エンコーダ、およびデコーダは、処理回路(例えば、1つもしくは複数のプロセッサ、または1つもしくは複数の集積回路)によって実装されてもよい。一例では、1つまたは複数のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行する。
実施形態では、プロセス(例えば、(1200)、(1300)、(1400)、および(1500))の任意の動作が、必要に応じて、任意の量または順序で組み合わされるか、または配置されてもよい。実施形態では、プロセス(例えば、(1200)、(1300)、(1400)、および(1500))の動作のうちの2つ以上が並列に行われてもよい。
プロセス(例えば、(1200)、(1300)、(1400)、および(1500))は、再構成中のブロックの予測ブロックを生成するために、ブロックの再構成および/またはエンコーディングで使用されることができる。様々な実施形態において、プロセス(例えば、(1200)、(1300)、(1400)、および(1500))は、端末デバイス(310)、(320)、(330)、および(340)の処理回路、ビデオエンコーダ(403)の機能を行う処理回路、ビデオデコーダ(410)の機能を行う処理回路、ビデオデコーダ(510)の機能を行う処理回路、ビデオエンコーダ(603)の機能を行う処理回路などの処理回路によって実行される。いくつかの実施形態では、プロセス(例えば、(1200)、(1300)、(1400)、および(1500))はソフトウェア命令で実装され、よって、処理回路がソフトウェア命令を実行するとき、処理回路はプロセスプロセス(例えば、(1200)、(1300)、(1400)、および(1500))を行う。
図12に示されるように、プロセス(1200)は(S1201)から開始して(S1210)に進むことができる。(S1210)で、現在のブロックおよび現在のブロックの近傍ブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信されることができる。近傍ブロックは、第1のブロックおよび第2のブロックを含むことができる。第1のブロックの各々は、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接することができ、第2のブロックの各々は、現在のブロックの左辺および左下隅のうちの一方に隣接することができる。
(S1220)で、近傍ブロックの第1のブロックのうちの1つまたは複数と現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかが決定されることができる。
(S1230)で、近傍ブロックの第1のブロックのうちの1つまたは複数と現在のブロックとが同じCTU内にあることに基づいて、第1のブロックのうちの1つまたは複数の各々と関連付けられたそれぞれのイントラモードが、条件のシーケンスに基づいて現在のブロックの最確モード(MPM)リストに追加されることができる。条件のシーケンスは、それぞれのイントラモードがMPMリストに追加されると決定される順序に対応することができる。
(S1240)で、近傍ブロックの第2のブロックの各々と関連付けられたそれぞれのイントラモードが、条件のシーケンスに基づいてMPMリストに追加されることができる。
(S1250)で、現在のブロックが、MPMリストに基づいて再構成されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに基づいて、第1のブロックのうちの1つまたは複数の上ブロックのイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができる。上ブロックは、現在のブロックの上辺に隣接することができる。2番目の条件は、上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで4番目の条件に従ってMPMリストに追加されることができる。4番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第1のブロックのうちの1つまたは複数の右上ブロックの伝搬イントラモードは、条件のシーケンスで10番目の条件に従ってMPMリストに追加されることができる。右上ブロックは、現在のブロックの右上隅に隣接することができる。10番目の条件は、右上ブロックがインターコーディングされることを含むことができる。右上ブロックの伝搬イントラモードは、右上ブロックの近傍ブロックに基づいて取得されることができる。第1のブロックのうちの1つまたは複数の左上ブロックの伝搬イントラモードは、条件のシーケンスで11番目の条件に従ってMPMリストに追加されることができる。左上ブロックは、現在のブロックの左上隅に隣接することができる。11番目の条件は、左上ブロックがインターコーディングされることを含むことができる。左上ブロックの伝搬イントラモードは、左上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに基づいて、第2のブロックの左ブロックのイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができる。左ブロックは、現在のブロックの左辺に隣接することができる。3番目の条件は、第2のブロックの左ブロックがイントラコーディングされることを含むことができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅よりも小さいことに応答して、第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで5番目の条件に従ってMPMリストに追加されることができる。5番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、近傍ブロックのうちの1つの伝搬イントラモードがMPMリストに追加される条件のシーケンス内の条件は、近傍ブロックのうちのその1つのイントラモードがMPMリストに追加される条件のシーケンス内の条件の後に続くことができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第1のブロックのうちの1つまたは複数の上ブロックのイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができる。2番目の条件は、上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の上ブロックの伝搬イントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができる。3番目の条件は、上ブロックがインターコーディングされることを含むことができる。上ブロックの伝搬イントラモードは、上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第1のブロックのうちの1つまたは複数の右上ブロックのイントラモードは、条件のシーケンスで8番目の条件に従ってMPMリストに追加されることができ、8番目の条件は、右上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の右上ブロックの伝搬イントラモードは、条件のシーケンスで9番目の条件に従ってMPMリストに追加されることができ、9番目の条件は、右上ブロックがインターコーディングされることを含むことができる。右上ブロックの伝搬イントラモードは、右上ブロックの近傍ブロックに基づいて取得されることができる。第1のブロックのうちの1つまたは複数の左上ブロックのイントラモードは、条件のシーケンスで10番目の条件に従ってMPMリストに追加されることができ、10番目の条件は、左上ブロックがイントラコーディングされることを含むことができる。第1のブロックのうちの1つまたは複数の左上ブロックの伝搬イントラモードは、条件のシーケンスで11番目の条件に従ってMPMリストに追加されることができ、11番目の条件は、左上ブロックがインターコーディングされることを含むことができる。左上ブロックの伝搬イントラモードは、左上ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第2のブロックの左ブロックのイントラモードは、条件のシーケンスで4番目の条件に従ってMPMリストに追加されることができ、4番目の条件は、第2のブロックの左ブロックがイントラコーディングされることを含むことができる。第2のブロックの左ブロックの伝搬イントラモードは、条件のシーケンスで5番目の条件に従ってMPMリストに追加されることができ、5番目の条件は、第2のブロックの左ブロックがインターコーディングされることを含むことができる。左ブロックの伝搬イントラモードは、左ブロックの近傍ブロックに基づいて取得されることができる。
いくつかの実施形態では、第2のブロックの左下ブロックのイントラモードは、条件のシーケンスで6番目の条件に従ってMPMリストに追加されることができ、6番目の条件は、第2のブロックの左下ブロックがイントラコーディングされることを含むことができる。左下ブロックは、現在のブロックの左下隅に隣接することができる。第2のブロックの左下ブロックの伝搬イントラモードは、条件のシーケンスで7番目の条件に従ってMPMリストに追加されることができ、7番目の条件は、第2のブロックの左下ブロックがインターコーディングされることを含むことができる。左下ブロックの伝搬イントラモードは、左下ブロックの近傍ブロックに基づいて取得されることができる。
図13に示されるように、プロセス(1300)は(S1301)から開始して(S1310)に進むことができる。(S1310)で、現在のブロックおよび現在のブロックの近傍ブロックのコーディングされた情報が、コーディングされたビデオビットストリームから受信されることができる。近傍ブロックは、第1のブロックおよび第2のブロックを含むことができる。第1のブロックの各々は、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接することができ、第2のブロックの各々は、現在のブロックの左辺および左下隅のうちの一方に隣接することができる。
(S1320)で、近傍ブロックの各々におけるそれぞれの対応する位置が決定されることができる。
(S1330)で、近傍ブロックの対応するイントラモードが、対応する位置およびユニバーサルイントラモードマップに基づいて決定されることができる。ユニバーサルイントラモードマップは複数のユニットを含むことができ、対応する位置の各々は、ユニバーサルイントラモードマップのそれぞれのユニットと関連付けられ、それぞれのユニットと関連付けられたそれぞれの対応するイントラモードに対応することができる。
(S1340)で、最確モード(MPM)リストが、近傍ブロックの対応するイントラモードおよび条件のシーケンスに基づいて現在のブロックのために生成されることができる。条件のシーケンスは、それぞれのイントラモードがMPMリストに追加されると決定される順序を示すことができる。
(S1350)で、現在のブロックが、MPMリストに基づいて再構成されることができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅以上であることに応答して、第1のブロックの上ブロックの対応するイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができ、2番目の条件は、上ブロックが存在することを含むことができる。上ブロックは、現在のブロックの上辺に隣接することができる。第2のブロックの左ブロックの対応するイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができ、3番目の条件は、左ブロックが存在することを含むことができる。左ブロックは、現在のブロックの左辺に隣接することができる。
いくつかの実施形態では、現在のブロックの高さが現在のブロックの幅よりも小さいことに応答して、第2のブロックの左ブロックの対応するイントラモードは、条件のシーケンスで2番目の条件に従ってMPMリストに追加されることができ、2番目の条件は、左ブロックが存在することを含むことができる。第1のブロックの上ブロックの対応するイントラモードは、条件のシーケンスで3番目の条件に従ってMPMリストに追加されることができ、3番目の条件は、上ブロックが存在することを示すことができる。
いくつかの実施形態では、第2のブロックの左下ブロックの対応するイントラモードは、条件のシーケンスで6番目の条件に従ってMPMリストに追加されることができ、6番目の条件は、左下ブロックが存在することを含むことができる。左下ブロックは、現在のブロックの左下隅に隣接することができる。第1のブロックのう右上ブロックの対応するイントラモードは、条件のシーケンスで7番目の条件に従ってMPMリストに追加されることができ、7番目の条件は、右上ブロックが存在することを含むことができる。右上ブロックは、現在のブロックの右上隅に隣接することができる。第1のブロックの左上ブロックの対応するイントラモードは、条件のシーケンスで8番目の条件に従ってMPMリストに追加されることができ、8番目の条件は、左上ブロックが存在することを含むことができる。左上ブロックは、現在のブロックの左上隅に隣接することができる。
一実施形態では、ユニバーサルイントラモードマップの複数のユニットの各々は、デフォルトのイントラモードで初期設定されることができ、ユニバーサルイントラモードマップ内のデフォルトのイントラモードのうちの1つまたは複数は、対応するイントラモードにさらに置き換えられることができる。
別の実施形態では、ユニバーサルイントラモードマップの複数のユニットのうちの1つまたは複数は、対応するイントラモードで埋められることができ、ユニバーサルイントラモードマップの複数のユニットの残りのユニットは、デフォルトのイントラモードでさらに埋められることができる。
図14に示されるように、プロセス(1400)は、(S1401)から開始して(S1410)に進むことができる。(S1410)で、第1のブロックのうちの1つまたは複数と現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかが決定されることができる。第1のブロックの各々は、現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接することができる。
(S1420)で、第1のブロックのうちの1つまたは複数と現在のブロックとが同じCTU内にあることに基づいて、第1のブロックのうちの1つまたは複数の各々と関連付けられたそれぞれのイントラモードが、条件のシーケンスに基づいて現在のブロックの最確モード(MPM)リストに追加されることができる。条件のシーケンスは、それぞれのイントラモードがMPMリストに追加されると決定される順序に対応することができる。
(S1430)で、第2のブロックの各々と関連付けられたそれぞれのイントラモードが、条件のシーケンスに基づいてMPMリストに追加されることができ、第2のブロックの各々は、現在のブロックの左辺および左下隅のうちの一方に隣接することができる。
(S1440)で、現在のブロックのMPMリストを含むコーディングされた情報が生成されることができる。
図15に示されるように、プロセス(1500)は、(S1501)から開始して(S1510)に進むことができる。(S1510)で、現在のブロックの近傍ブロックの各々におけるそれぞれの対応する位置が決定されることができる。
(S1520)で、近傍ブロックの対応するイントラモードが、対応する位置およびユニバーサルイントラモードマップに基づいて決定されることができる。ユニバーサルイントラモードマップは、複数のユニットを含むことができる。対応する位置の各々は、ユニバーサルイントラモードマップのそれぞれのユニットと関連付けられ、それぞれのユニットと関連付けられたそれぞれの対応するイントラモードに対応することができる。
(S1530)で、近傍ブロックの対応するイントラモードが、条件のシーケンスに基づいて現在のブロックのMPMリストに追加されることができる。条件のシーケンスは、対応するイントラモードがMPMリストに追加されると決定される順序を示すことができる。
(S1540)で、現在のブロックのMPMリストを含むコーディングされた情報が生成されることができる。
上述された技術は、コンピュータ可読命令を使用するコンピュータソフトウェアとして実装され、1つまたは複数のコンピュータ可読媒体に物理的に記憶されることができる。例えば、図16は、開示の主題の特定の実施形態を実装するのに適したコンピュータシステム(1600)を示している。
コンピュータソフトウェアは、直接または、1つもしくは複数のコンピュータ中央処理装置(CPU)、グラフィックスプロセッシングユニット(GPU)などによる解釈、マイクロコード実行などを介して実行されることができる命令を含むコードを作成するために、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となりうる任意の適切な機械語またはコンピュータ言語を使用してコーディングされることができる。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネットデバイスなどを含む、様々なタイプのコンピュータまたはその構成要素上で実行されることができる。
コンピュータシステム(1600)に関して図16に示される構成要素は、本質的に例示であり、本開示の実施形態を実施するコンピュータソフトウェアの使用または機能の範囲に関する限定を示唆することを意図されていない。構成要素の構成は、コンピュータシステム(1600)の例示的実施形態に示されている構成要素の任意の1つまたは組み合わせに関する依存性も要件も有していないと解釈されるべきである。
コンピュータシステム(1600)は、特定のヒューマンインターフェース入力デバイスを含みうる。そのようなヒューマンインターフェース入力デバイスは、例えば、触覚入力(キーストローク、スワイプ、データグローブの動きなど)、オーディオ入力(音声、拍手など)、視覚入力(ジェスチャなど)、嗅覚入力(図示せず)を通じた1人または複数の人間ユーザによる入力に応答しうる。ヒューマンインターフェースデバイスは、オーディオ(音声、音楽、環境音など)、画像(走査画像、写真画像は静止画像カメラから取得など)、ビデオ(2次元ビデオ、立体ビデオを含む3次元ビデオなど)など、必ずしも人間による意識的な入力に直接関連しない特定の媒体を取り込むためにも使用されることができる。
入力ヒューマンインターフェースデバイスは、キーボード(1601)、マウス(1602)、トラックパッド(1603)、タッチスクリーン(1610)、データグローブ(図示せず)、ジョイスティック(1605)、マイクロフォン(1606)、スキャナ(1607)、カメラ(1608)のうちの1つまたは複数(各々の1つのみが図示されている)を含みうる。
コンピュータシステム(1600)はまた、特定のヒューマンインターフェース出力デバイスを含んでもよい。そのようなヒューマンインターフェース出力デバイスは、例えば、触覚出力、音、光、および匂い/味を通して、1人または複数の人間ユーザの感覚を刺激してもよい。そのようなヒューマンインターフェース出力デバイスは、触覚出力デバイス(例えば、タッチスクリーン(1610)、データグローブ(図示せず)、またはジョイスティック(1605)による触覚フィードバックを含みうるが、入力デバイスとして機能しない触覚フィードバックデバイスもありうる)、オーディオ出力デバイス(スピーカ(1609)、ヘッドホン(図示せず)など)、視覚出力デバイス(各々タッチスクリーン入力機能の有無にかかわらず、各々触覚フィードバック機能の有無にかかわらず、ステレオグラフィック出力、仮想現実の眼鏡(図示せず)、ホログラフィックディスプレイ、およびスモークタンク(図示せず)などの手段により、2次元の視覚出力または3次元を超える出力を出力することが可能なものもある、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン(1610)など)、およびプリンタ(図示せず)を含みうる。
コンピュータシステム(1600)はまた、CD/DVDなどの媒体(1621)を伴うCD/DVD ROM/RW(1620)を含む光学媒体、サムドライブ(1622)、リムーバブルハードドライブまたはソリッドステートドライブ(1623)、テープやフロッピーディスクなどのレガシー磁気媒体(図示せず)、ならびにセキュリティドングル(図示せず)などの専用のROM/ASIC/PLDベースのデバイスなど、人間がアクセス可能な記憶デバイスおよびそれられに関連する媒体を含むこともできる。
当業者はまた、本開示の主題に関連して使用される「コンピュータ可読媒体」という用語は、伝送媒体、搬送波、または他の一時的な信号を含まないことも理解するはずである。
コンピュータシステム(1600)はまた、1つまたは複数の通信ネットワーク(1655)へのインターフェース(1654)を含むことができる。ネットワークは、例えば、無線、有線、光でありうる。ネットワークはさらに、ローカル、ワイドエリア、メトロポリタン、車両用および産業用、リアルタイム、遅延耐性などでありうる。ネットワークの例は、イーサネット、無線LANなどのローカルエリアネットワーク、GSM、3G、4G、5G、LTEなどを含むセルラーネットワーク、ケーブルテレビ、衛星テレビ、および地上波放送テレビを含むテレビ有線または無線ワイドエリアデジタルネットワーク、CANBusを含む車両用および産業用などを含む。特定のネットワークは、通常、(例えば、コンピュータシステム(1600)のUSBポートなどの)特定の汎用データポートまたは周辺バス(1649)に取り付けられた外部ネットワークインターフェースアダプタを必要とし、他のネットワークは、通常、以下で説明されるようなシステムバスに取り付けることによってコンピュータシステム(1600)のコアに統合される(例えば、PCコンピュータシステムへのイーサネットインターフェース、またはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース)。これらのネットワークのいずれかを使用して、コンピュータシステム(1600)は、他のエンティティと通信することができる。そのような通信は、単方向、受信のみ(例えば、テレビ放送)、単方向送信のみ(例えば、特定のCANbusデバイスへのCANbus)、または例えば、ローカルもしくはワイドエリアデジタルネットワークを使用した他のコンピュータシステムに対する双方向でありうる。上述されたように、特定のプロトコルおよびプロトコルスタックがそれらのネットワークおよびネットワークインターフェースのそれぞれで使用されることができる。
前述のヒューマンインターフェースデバイス、人間がアクセス可能な記憶デバイス、およびネットワークインターフェースは、コンピュータシステム(1600)のコア(1640)に取り付けられることができる。
コア(1640)は、1つまたは複数の中央処理装置(CPU)(1641)、グラフィックスプロセッシングユニット(GPU)(1642)、フィールドプログラマブルゲートエリア(FPGA)(1643)の形式の専用のプログラマブルプロセッシングユニット、特定のタスク用のハードウェアアクセラレータ(1644)、グラフィックスアダプタ(1650)などを含むことができる。これらのデバイスは、読み出し専用メモリ(ROM)(1645)、ランダムアクセスメモリ(1646)、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量ストレージ(1647)と共に、システムバス(1648)を介して接続されうる。いくつかのコンピュータシステムでは、システムバス(1648)は、追加のCPU、GPUなどによる拡張を可能にするために1つまたは複数の物理プラグの形式でアクセス可能でありうる。周辺デバイスは、コアのシステムバス(1648)に直接取り付けられることも、または周辺バス(1649)を介して取り付けられることもできる。一例では、スクリーン(1610)は、グラフィックスアダプタ(1650)に接続されることができる。周辺バスのアーキテクチャは、PCI、USBなどを含む。
CPU(1641)、GPU(1642)、FPGA(1643)、およびアクセラレータ(1644)は、組み合わさって、前述のコンピュータコードを構成することができる特定の命令を実行することができる。そのコンピュータコードは、ROM(1645)またはRAM(1646)に記憶されることができる。移行データもRAM(1646)に記憶されることができるが、永続データは、例えば、内部大容量ストレージ(1647)に記憶されることができる。任意のメモリデバイスに対する高速記憶および取り出しが、1つまたは複数のCPU(1641)、GPU(1642)、大容量ストレージ(1647)、ROM(1645)、RAM(1646)などと密接と関連付けられることができるキャッシュメモリの使用を通じて可能とされることができる。
コンピュータ可読媒体は、様々なコンピュータ実装動作を行うためのコンピュータコードを有することができる。媒体およびコンピュータコードは、本開示の目的のために特別に設計および構成されたものとすることもでき、またはそれらは、コンピュータソフトウェア技術の当業者に周知で利用可能な種類のものとすることもできる。
非限定的な例として、アーキテクチャを有するコンピュータシステム(1600)、具体的にはコア(1640)は、(CPU、GPU、FPGA、アクセラレータなどを含む)プロセッサが1つまたは複数の有形のコンピュータ可読媒体において具現化されたソフトウェアを実行した結果としての機能を提供することができる。そのようなコンピュータ可読媒体は、上述されたユーザアクセス可能な大容量ストレージ、ならびにコア内部大容量ストレージ(1647)やROM(1645)などの非一時的な性質のコア(1640)の特定のストレージと関連付けられた媒体でありうる。本開示の様々な実施形態を実装するソフトウェアは、そのようなデバイスに記憶され、コア(1640)によって実行されることができる。コンピュータ可読媒体は、特定の必要性に応じて、1つまたは複数のメモリデバイスまたはチップを含むことができる。ソフトウェアは、コア(1640)、具体的にはその中の(CPU、GPU、FPGAなどを含む)プロセッサに、RAM(1646)に記憶されたデータ構造を定義すること、およびソフトウェアによって定義されたプロセスに従ってそのようなデータ構造を修正することを含む、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、回路(例えば、アクセラレータ(1644))におけるハードワイヤードの、または他の方法で具現化された論理の結果としての機能を提供することもでき、論理は、本明細書に記載される特定のプロセスまたは特定のプロセスの特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと共に動作することができる。ソフトウェアへの言及は、必要に応じて、論理を包含することができ、逆もまた同様である。コンピュータ可読媒体への言及は、必要に応じて、実行のためのソフトウェアを記憶する回路(集積回路(IC)など)、実行のための論理を具現化する回路、またはその両方を包含することができる。本開示は、ハードウェアとソフトウェアの任意の適切な組み合わせを包含する。
付記A:頭字語
JEM:共同探索モデル(joint exploration model)
VVC:多用途ビデオコーディング(versatile video coding)
BMS:ベンチマークセット(benchmark set)
MV:動きベクトル(Motion Vector)
HEVC:高効率ビデオコーディング(High Efficiency Video Coding)
SEI:補足拡張情報(Supplementary Enhancement Information)
VUI:ビデオユーザビリティ情報(Video Usability Information)
GOP:Group of Picture
TU:変換ユニット(Transform Unit)
PU:予測ユニット(Prediction Unit)
CTU:コーディングツリーユニット(Coding Tree Unit)
CTB:コーディングツリーブロック(Coding Tree Block)
PB:予測ブロック(Prediction Block)
HRD:仮想参照デコーダ(Hypothetical Reference Decoder)
SNR:信号雑音比(Signal Noise Ratio)
CPU:中央処理装置(Central Processing Unit)
GPU:グラフィックスプロセッシングユニット(Graphics Processing Unit)
CRT:陰極線管(Cathode Ray Tube)
LCD:液晶ディスプレイ(Liquid-Crystal Display)
OLED:有機発光ダイオード(Organic Light-Emitting Diode)
CD:コンパクトディスク(Compact Disc)
DVD:デジタルビデオディスク(Digital Video Disc)
ROM:読み出し専用メモリ(Read-Only Memory)
RAM:ランダムアクセスメモリ(Random Access Memory)
ASIC:特定用途向け集積回路(Application-Specific Integrated Circuit)
PLD:プログラマブル論理デバイス(Programmable Logic Device)
LAN:ローカルエリアネットワーク(Local Area Network)
GSM:グローバル移動体通信システム(Global System for Mobile communications)
LTE:ロングタームエボリューション(Long-Term Evolution)
CANBus:コントローラエリアネットワークバス(Controller Area Network Bus)
USB:ユニバーサルシリアルバス(Universal Serial Bus)
PCI:周辺構成要素相互接続(Peripheral Component Interconnect)
FPGA:フィールドプログラマブルゲートエリア(Field Programmable Gate Areas)
SSD:ソリッドステートドライブ(solid-state drive)
IC:集積回路(Integrated Circuit)
CU:コーディングユニット(Coding Unit)
本開示はいくつかの例示的な実施形態を記載しているが、変更例、置換例、および様々な代替均等例が存在し、それらは本開示の範囲内に入る。よって、当業者は、本明細書に明示的に図示または記載されていないが、本開示の原理を具現化し、よって本開示の趣旨および範囲内にある多数のシステムおよび方法を考案することができることが理解されよう。
101 サンプル
102 矢印
103 矢印
104 正方形ブロック
300 通信システム
310 端末デバイス
320 端末デバイス
330 端末デバイス
340 端末デバイス
350 通信ネットワーク
400 通信システム
401 ビデオソース
402 ビデオピクチャのストリーム
403 ビデオエンコーダ
404 エンコーディングされたビデオデータ、エンコーディングされたビデオビットストリーム
405 ストリーミングサーバ
406 クライアントサブシステム
407 エンコーディングされたビデオデータの入力コピー
408 クライアントサブシステム
409 エンコーディングされたビデオデータのコピー
410 ビデオデコーダ
411 ビデオピクチャの出力ストリーム
412 ディスプレイ
413 ビデオキャプチャサブシステム
420 電子デバイス
430 電子デバイス
501 チャネル
510 ビデオデコーダ
512 レンダリングデバイス
515 バッファメモリ
520 パーサ
521 シンボル
530 電子デバイス
531 受信器
551 スケーラ/逆変換ユニット
552 イントラピクチャ予測ユニット
553 動き補償予測ユニット
555 アグリゲータ
556 ループフィルタユニット
557 参照ピクチャメモリ
558 現在ピクチャバッファ
601 ビデオソース
603 ビデオエンコーダ、ビデオコーダ
620 電子デバイス
630 ソースコーダ
632 コーディングエンジン
633 ローカルビデオデコーダ
634 参照ピクチャメモリ、参照ピクチャキャッシュ
635 予測器
640 送信器
643 コーディングされたビデオシーケンス
645 エントロピーコーダ
650 コントローラ
660 通信チャネル
703 ビデオエンコーダ
721 汎用コントローラ
722 イントラエンコーダ
723 残差計算器
724 残差エンコーダ
725 エントロピーエンコーダ
726 スイッチ
728 残差デコーダ
730 インターエンコーダ
810 ビデオデコーダ
871 エントロピーデコーダ
872 イントラデコーダ
873 残差デコーダ
874 再構成モジュール
880 インターデコーダ
902 現在のCU
1002 ユニバーサルイントラモードマップ
1004 ユニバーサルイントラモードマップ
1006 空白ユニット
1008 空白ユニット
1102 近傍CU
1104 対応する位置
1106 現在のCU
1108 現在のCU
1110 対応する位置
1112 近傍CU
1114 ユニバーサルイントラモードマップ
1116 ユニット
1200 第1の例示的なデコーディングプロセス
1300 第2の例示的なデコーディングプロセス
1400 第1の例示的なエンコーディングプロセス
1500 第2の例示的なエンコーディングプロセス
1600 コンピュータシステム
1601 キーボード
1602 マウス
1603 トラックパッド
1605 ジョイスティック
1606 マイクロフォン
1607 スキャナ
1608 カメラ
1609 オーディオ出力デバイススピーカ
1610 タッチスクリーン
1620 CD/DVD ROM/RW
1621 CD/DVDなどの媒体
1622 サムドドライブ
1623 リムーバブルハードドライブまたはソリッドステートドライブ
1640 コア
1641 中央処理装置(CPU)
1642 グラフィックスプロセッシングユニット(GPU)
1643 フィールドプログラマブルゲートエリア(FPGA)
1644 ハードウェアアクセラレータ
1645 読み出し専用メモリ(ROM)
1646 ランダムアクセスメモリ
1647 内部大容量ストレージ
1648 システムバス
1649 汎用データポートまたは周辺バス
1650 グラフィックスアダプタ
1654 インターフェース
1655 通信ネットワーク

Claims (20)

  1. ビデオデコーダにおいて行われるビデオデコーディングの方法であって、前記方法は、
    現在のブロックおよび前記現在のブロックの近傍ブロックのコーディングされた情報を、コーディングされたビデオビットストリームから受信するステップであって、前記近傍ブロックは、第1のブロックおよび第2のブロックを含み、前記第1のブロックの各々は、前記現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接し、前記第2のブロックの各々は、前記現在のブロックの左辺および左下隅のうちの一方に隣接する、ステップと、
    前記近傍ブロックの前記第1のブロックのうちの1つまたは複数と前記現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかを決定するステップと、
    前記近傍ブロックの前記第1のブロックのうちの前記1つまたは複数と前記現在のブロックとが前記同じCTU内にあることに応答して、前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられたそれぞれのイントラモードを、条件のシーケンスに基づいて前記現在のブロックの最確モード(MPM)リストに追加するステップであって、前記条件のシーケンスは、前記それぞれのイントラモードが前記MPMリストに追加されると決定される順序に対応する、ステップと、
    前記近傍ブロックの前記第2のブロックの各々と関連付けられたそれぞれのイントラモードを、前記条件のシーケンスに基づいて前記MPMリストに追加するステップと、
    前記MPMリストに基づいて前記現在のブロックを再構成するステップとを含む、方法。
  2. 前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに基づいて、
    前記第1のブロックのうちの前記1つまたは複数の上ブロックのイントラモードを、前記条件のシーケンスで2番目の条件に従って前記MPMリストに追加するステップであって、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記2番目の条件は、前記上ブロックがイントラコーディングされることを含む、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の前記上ブロックの伝搬イントラモードを、前記条件のシーケンスで4番目の条件に従って前記MPMリストに追加するステップであって、前記4番目の条件は、前記上ブロックがインターコーディングされることを含み、前記上ブロックの前記伝搬イントラモードは、前記上ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  3. 前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記第1のブロックのうちの前記1つまたは複数の右上ブロックの伝搬イントラモードを、前記条件のシーケンスで10番目の条件に従って前記MPMリストに追加するステップであって、前記右上ブロックは前記現在のブロックの前記右上隅に隣接し、前記10番目の条件は、前記右上ブロックがインターコーディングされることを含み、前記右上ブロックの前記伝搬イントラモードは、前記右上ブロックの近傍ブロックに基づいて取得される、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の左上ブロックの伝搬イントラモードを、前記条件のシーケンスで11番目の条件に従って前記MPMリストに追加するステップであって、前記左上ブロックは前記現在のブロックの前記左上隅に隣接し、前記11番目の条件は、前記左上ブロックがインターコーディングされることを含み、前記左上ブロックの前記伝搬イントラモードは、前記左上ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  4. 前記第2のブロックの各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに基づいて、
    前記第2のブロックの左ブロックのイントラモードを、前記条件のシーケンスで3番目の条件に従って前記MPMリストに追加するステップであって、前記左ブロックは、前記現在のブロックの前記左辺に隣接し、前記3番目の条件は、前記第2のブロックの前記左ブロックがイントラコーディングされることを含む、ステップをさらに含む、請求項1に記載の方法。
  5. 前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅よりも小さいことに応答して、
    前記第1のブロックのうちの前記1つまたは複数の上ブロックの伝搬イントラモードを、前記条件のシーケンスで5番目の条件に従って前記MPMリストに追加するステップであって、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記5番目の条件は、前記上ブロックがインターコーディングされることを含み、前記上ブロックの前記伝搬イントラモードは、前記上ブロックの近傍ブロックに基づいて取得される、ステップをさらに含む、請求項1に記載の方法。
  6. 前記近傍ブロックのうちの1つの伝搬イントラモードが前記MPMリストに追加される前記条件の前記シーケンス内の条件は、前記近傍ブロックのうちの前記1つのイントラモードが前記MPMリストに追加される前記条件の前記シーケンス内の条件の後に続く、
    請求項1に記載の方法。
  7. 前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに応答して、
    前記第1のブロックのうちの前記1つまたは複数の上ブロックのイントラモードを、前記条件のシーケンスで2番目の条件に従って前記MPMリストに追加するステップであって、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記2番目の条件は、前記上ブロックがイントラコーディングされることを含む、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の前記上ブロックの伝搬イントラモードを、前記条件のシーケンスで3番目の条件に従って前記MPMリストに追加するステップであって、前記3番目の条件は、前記上ブロックがインターコーディングされることを含み、前記上ブロックの前記伝搬イントラモードは、前記上ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  8. 前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記第1のブロックのうちの前記1つまたは複数の右上ブロックのイントラモードを、前記条件のシーケンスで8番目の条件に従って前記MPMリストに追加するステップであって、前記右上ブロックは前記現在のブロックの前記右上隅に隣接し、前記8番目の条件は、前記右上ブロックがイントラコーディングされることを含む、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の前記右上ブロックの伝搬イントラモードを、前記条件のシーケンスで9番目の条件に従って前記MPMリストに追加するステップであって、前記9番目の条件は、前記右上ブロックがインターコーディングされることを含み、前記右上ブロックの前記伝搬イントラモードは、前記右上ブロックの近傍ブロックに基づいて取得される、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の左上ブロックのイントラモードを、前記条件のシーケンスで10番目の条件に従って前記MPMリストに追加するステップであって、前記左上ブロックは前記現在のブロックの前記左上隅に隣接し、前記10番目の条件は、前記左上ブロックがイントラコーディングされることを含む、ステップと、
    前記第1のブロックのうちの前記1つまたは複数の前記左上ブロックの伝搬イントラモードを、前記条件のシーケンスで11番目の条件に従って前記MPMリストに追加するステップであって、前記11番目の条件は、前記左上ブロックがインターコーディングされることを含み、前記左上ブロックの前記伝搬イントラモードは、前記左上ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  9. 前記第2のブロックの各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに応答して、
    前記第2のブロックの左ブロックのイントラモードを、前記条件のシーケンスで4番目の条件に従って前記MPMリストに追加するステップであって、前記左ブロックは前記現在のブロックの前記左辺に隣接し、前記4番目の条件は、前記第2のブロックの前記左ブロックがイントラコーディングされることを含む、ステップと、
    前記第2のブロックの前記左ブロックの伝搬イントラモードを、前記条件のシーケンスで5番目の条件に従って前記MPMリストに追加するステップであって、前記5番目の条件は、前記第2のブロックの前記左ブロックがインターコーディングされることを含み、前記左ブロックの前記伝搬イントラモードは、前記左ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  10. 前記第2のブロックの各々と関連付けられた前記それぞれのイントラモードを追加する前記ステップは、
    前記第2のブロックの左下ブロックのイントラモードを、前記条件のシーケンスで6番目の条件に従って前記MPMリストに追加するステップであって、前記左下ブロックは前記現在のブロックの前記左下隅に隣接し、前記6番目の条件は、前記第2のブロックの前記左下ブロックがイントラコーディングされることを含む、ステップと、
    前記第2のブロックの前記左下ブロックの伝搬イントラモードを、前記条件のシーケンスで7番目の条件に従って前記MPMリストに追加するステップであって、前記7番目の条件は、前記第2のブロックの前記左下ブロックがインターコーディングされることを含み、前記左下ブロックの前記伝搬イントラモードは、前記左下ブロックの近傍ブロックに基づいて取得される、ステップとをさらに含む、請求項1に記載の方法。
  11. ビデオデコーダにおいて行われるビデオデコーディングの方法であって、前記方法は、
    現在のブロックおよび前記現在のブロックの近傍ブロックのコーディングされた情報を、コーディングされたビデオビットストリームから受信するステップであって、前記近傍ブロックは、第1のブロックおよび第2のブロックを含み、前記第1のブロックの各々は、前記現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接し、前記第2のブロックの各々は、前記現在のブロックの左辺および左下隅のうちの一方に隣接する、ステップと、
    前記近傍ブロックの各々におけるそれぞれの対応する位置を決定するステップと、
    前記近傍ブロックの対応するイントラモードを、前記対応する位置およびユニバーサルイントラモードマップに基づいて決定するステップであって、前記ユニバーサルイントラモードマップは複数のユニットを含み、前記対応する位置の各々は、前記ユニバーサルイントラモードマップのそれぞれのユニットと関連付けられており、前記それぞれのユニットと関連付けられたそれぞれの対応するイントラモードに対応する、ステップと、
    前記近傍ブロックの前記対応するイントラモードおよび条件のシーケンスに基づいて、前記現在のブロックの最確モード(MPM)リストを生成するステップであって、前記条件のシーケンスは、前記対応するイントラモードが前記MPMリストに追加されると決定される順序を示す、ステップと、
    前記MPMリストに基づいて前記現在のブロックを再構成するステップとを含む、方法。
  12. 前記MPMリストを生成する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに応答して、
    前記第1のブロックの上ブロックの対応するイントラモードを、前記条件のシーケンスで2番目の条件に従って前記MPMリストに追加するステップであって、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記2番目の条件は、前記上ブロックが存在することを含む、ステップと、
    前記第2のブロックの左ブロックの対応するイントラモードを、前記条件のシーケンスで3番目の条件に従って前記MPMリストに追加するステップであって、前記左ブロックは、前記現在のブロックの前記左辺に隣接し、前記3番目の条件は、前記左ブロックが存在することを含む、ステップとをさらに含む、請求項11に記載の方法。
  13. 前記MPMリストを生成する前記ステップは、
    前記現在のブロックの高さが前記現在のブロックの幅よりも小さいことに応答して、
    前記第2のブロックの左ブロックの対応するイントラモードを、前記条件のシーケンスで2番目の条件に従って前記MPMリストに追加するステップであって、前記左ブロックは、前記現在のブロックの前記左辺に隣接し、前記2番目の条件は、前記左ブロックが存在することを含む、ステップと、
    前記第1のブロックの上ブロックの対応するイントラモードを、前記条件のシーケンスで3番目の条件に従って前記MPMリストに追加するステップであって、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記3番目の条件は、前記上ブロックが存在することを含む、ステップとをさらに含む、請求項11に記載の方法。
  14. 前記MPMリストを生成する前記ステップは、
    前記第2のブロックの左下ブロックの対応するイントラモードを、前記条件のシーケンスで6番目の条件に従って前記MPMリストに追加するステップであって、前記左下ブロックは前記現在のブロックの前記左下隅に隣接し、前記6番目の条件は、前記左下ブロックが存在することを含む、ステップと、
    前記第1のブロックの右上ブロックの対応するイントラモードを、前記条件のシーケンスで7番目の条件に従って前記MPMリストに追加するステップであって、前記右上ブロックは前記現在のブロックの前記右上隅に隣接し、前記7番目の条件は、前記右上ブロックが存在することを含む、ステップと、
    前記第1のブロックの左上ブロックの対応するイントラモードを、前記条件のシーケンスで8番目の条件に従って前記MPMリストに追加するステップであって、前記左上ブロックは前記現在のブロックの前記左上隅に隣接し、前記8番目の条件は、前記左上ブロックが存在することを含む、ステップとをさらに含む、請求項11に記載の方法。
  15. 前記ユニバーサルイントラモードマップの前記複数のユニットの各々は、デフォルトのイントラモードで初期設定され、
    前記ユニバーサルイントラモードマップ内の前記デフォルトのイントラモードのうちの1つまたは複数は、前記対応するイントラモードに置き換えられる、
    請求項11に記載の方法。
  16. 前記ユニバーサルイントラモードマップの前記複数のユニットのうちの1つまたは複数は、前記対応するイントラモードで埋められ、
    前記ユニバーサルイントラモードマップの前記複数のユニットの残りのユニットは、デフォルトのイントラモードで埋められる、
    請求項11に記載の方法。
  17. 現在のブロックおよび前記現在のブロックの近傍ブロックのコーディングされた情報を、コーディングされたビデオビットストリームから受信し、前記近傍ブロックは、第1のブロックおよび第2のブロックを含み、前記第1のブロックの各々は、前記現在のブロックの上辺、左上隅、および右上隅のうちの1つに隣接し、前記第2のブロックの各々は、前記現在のブロックの左辺および左下隅のうちの一方に隣接し、
    前記近傍ブロックの前記第1のブロックのうちの1つまたは複数と前記現在のブロックとが同じコーディングツリーユニット(CTU)内にあるかどうかを決定し、
    前記近傍ブロックの前記第1のブロックのうちの前記1つまたは複数と前記現在のブロックとが前記同じCTU内にあることに応答して、前記第1のブロックのうちの前記1つまたは複数の各々と関連付けられたそれぞれのイントラモードを、条件のシーケンスに基づいて前記現在のブロックの最確モード(MPM)リストに追加し、
    前記近傍ブロックの前記第2のブロックの各々と関連付けられたそれぞれのイントラモードを、前記条件のシーケンスに基づいて前記MPMリストに追加し、前記条件のシーケンスは、前記それぞれのイントラモードが前記MPMリストに追加されると決定される順序に対応し、
    前記MPMリストに基づいて前記現在のブロックを再構成する
    ように構成された、処理回路
    を備える、装置。
  18. 前記処理回路は、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに基づいて、
    前記第1のブロックのうちの前記1つまたは複数の上ブロックのイントラモードを、前記条件のシーケンスで2番目の条件に従って前記MPMリストに追加し、前記上ブロックは前記現在のブロックの前記上辺に隣接し、前記2番目の条件は、前記上ブロックがイントラコーディングされることを含み、
    前記第1のブロックのうちの前記1つまたは複数の前記上ブロックの伝搬イントラモードを、前記条件のシーケンスで4番目の条件に従って前記MPMリストに追加し、前記4番目の条件は、前記上ブロックがインターコーディングされることを含み、前記上ブロックの前記伝搬イントラモードは、前記上ブロックの近傍ブロックに基づいて取得されるようにさらに構成される、請求項17に記載の装置。
  19. 前記処理回路は、
    前記第1のブロックのうちの前記1つまたは複数の右上ブロックの伝搬イントラモードを、前記条件のシーケンスで10番目の条件に従って前記MPMリストに追加し、前記右上ブロックは前記現在のブロックの前記右上隅に隣接し、前記10番目の条件は、前記右上ブロックがインターコーディングされることを含み、前記右上ブロックの前記伝搬イントラモードは、前記右上ブロックの近傍ブロックに基づいて取得され、
    前記第1のブロックのうちの前記1つまたは複数の左上ブロックの伝搬イントラモードを、前記条件のシーケンスで11番目の条件に従って前記MPMリストに追加し、前記左上ブロックは前記現在のブロックの前記左上隅に隣接し、前記11番目の条件は、前記左上ブロックがインターコーディングされることを含み、前記左上ブロックの前記伝搬イントラモードは、前記左上ブロックの近傍ブロックに基づいて取得されるようにさらに構成される、請求項17に記載の装置。
  20. 前記処理回路は、
    前記現在のブロックの高さが前記現在のブロックの幅以上であることに基づいて、
    前記第2のブロックの左ブロックのイントラモードを、前記条件のシーケンスで3番目の条件に従って前記MPMリストに追加し、前記左ブロックは前記現在のブロックの前記左辺に隣接し、前記3番目の条件は、前記第2のブロックの前記左ブロックがイントラコーディングされることを含むようにさらに構成される、請求項17に記載の装置。
JP2023548743A 2021-10-08 2022-09-16 リスト構成の改善 Pending JP2024520970A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202163253976P 2021-10-08 2021-10-08
US63/253,976 2021-10-08
US17/944,999 US20230112074A1 (en) 2021-10-08 2022-09-14 Mpm list construction
US17/944,999 2022-09-14
PCT/US2022/076581 WO2023059977A1 (en) 2021-10-08 2022-09-16 Improvement on mpm list construction

Publications (1)

Publication Number Publication Date
JP2024520970A true JP2024520970A (ja) 2024-05-28

Family

ID=85798845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023548743A Pending JP2024520970A (ja) 2021-10-08 2022-09-16 リスト構成の改善

Country Status (6)

Country Link
US (1) US20230112074A1 (ja)
EP (1) EP4229871A4 (ja)
JP (1) JP2024520970A (ja)
KR (1) KR20230108334A (ja)
CN (1) CN117063469A (ja)
WO (1) WO2023059977A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10547854B2 (en) * 2016-05-13 2020-01-28 Qualcomm Incorporated Neighbor based signaling of intra prediction modes
CN112585964B (zh) * 2018-08-31 2023-06-06 寰发股份有限公司 图像和视频处理中产生mpm以进行帧内预测的方法和装置
WO2020184821A1 (ko) * 2019-03-12 2020-09-17 엘지전자 주식회사 Mpm 리스트를 구성하는 방법 및 장치
WO2020228578A1 (en) * 2019-05-10 2020-11-19 Mediatek Inc. Method and apparatus of luma most probable mode list derivation for video coding

Also Published As

Publication number Publication date
WO2023059977A1 (en) 2023-04-13
US20230112074A1 (en) 2023-04-13
EP4229871A4 (en) 2024-05-01
CN117063469A (zh) 2023-11-14
KR20230108334A (ko) 2023-07-18
EP4229871A1 (en) 2023-08-23

Similar Documents

Publication Publication Date Title
JP7241177B2 (ja) アフィン線形加重イントラ予測モードのための簡易シグナリング方法
JP7498751B2 (ja) 動画を復号する方法、装置、及びコンピュータプログラム
KR20200121904A (ko) 비디오 디코딩을 위한 방법 및 장치
CN113785564B (zh) 视频编解码的方法和装置
JP2023111920A (ja) ビデオ符号化における隣接ブロックの利用可能性のための方法および装置
CN113557724A (zh) 视频编解码的方法和装置
JP7244670B2 (ja) デコーダが実行するビデオデコーディングのための方法、装置及び非一時的なコンピュータ可読媒体、並びにエンコーダが実行するビデオエンコーディングのための方法
JP7395771B2 (ja) テンプレートマッチングベースのイントラ予測
JP7476367B2 (ja) ビデオをデコードするための方法、装置及びプログラム
JP2023138753A (ja) 統合位置依存予測組み合わせプロセスを使用するデコードのための方法、装置およびコンピュータ・プログラム
JP2022552381A (ja) ビデオ復号の方法、装置、およびコンピュータプログラム
JP7236558B2 (ja) ビデオコーディングのための方法および装置
CN116095344A (zh) 用于视频编解码的方法和相关装置
JP7419506B2 (ja) 映像コーディングのための方法及び装置
JP7189370B2 (ja) Cuに基づく補間フィルタ選択のシグナリング
JP7267404B2 (ja) ビデオを符号化及び復号する方法、並びにその装置及びコンピュータプログラム
JP7502565B2 (ja) Mmvdシグナリングの改善
JP7478841B2 (ja) デコーダ側イントラモード導出
JP7478253B2 (ja) デカップリング変換パーティション分割
JP2023521045A (ja) ビデオコーディングのための方法および装置
CN115176461A (zh) 视频编解码的方法和装置
JP7476426B2 (ja) ビデオコーディングのための方法、装置、およびコンピュータプログラム
JP7504296B2 (ja) 非インターリーブ分離ツリー
CN113497940B (zh) 视频解码方法、装置、计算机设备及存储介质
JPWO2021207026A5 (ja)

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231120

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231120