JP7423647B2 - 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング - Google Patents

異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング Download PDF

Info

Publication number
JP7423647B2
JP7423647B2 JP2021553280A JP2021553280A JP7423647B2 JP 7423647 B2 JP7423647 B2 JP 7423647B2 JP 2021553280 A JP2021553280 A JP 2021553280A JP 2021553280 A JP2021553280 A JP 2021553280A JP 7423647 B2 JP7423647 B2 JP 7423647B2
Authority
JP
Japan
Prior art keywords
block
video
format
yuv4
triangular section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021553280A
Other languages
English (en)
Other versions
JPWO2020190468A5 (ja
JP2022524375A (ja
Inventor
ワン、ホンタオ
チェン、ウェイ－ジュン
セレジン、バディム
カルチェビチ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2022524375A publication Critical patent/JP2022524375A/ja
Publication of JPWO2020190468A5 publication Critical patent/JPWO2020190468A5/ja
Application granted granted Critical
Publication of JP7423647B2 publication Critical patent/JP7423647B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

[0001] 本出願は、その内容全体が参照により本明細書に組み込まれる、２０１９年３月１５日に出願された米国仮特許出願第６２／８１９，３６８号の利益を主張する２０２０年２月２５日に出願された米国出願第１６／８００，８３２号の優先権を主張する。
[0002] 本開示は、ビデオ符号化（video encoding）およびビデオ復号（video decoding）に関する。
[0003] デジタルビデオ能力は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、ワイヤレスブロードキャストシステム、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、電子ブックリーダー、デジタルカメラ、デジタルレコーディングデバイス、デジタルメディアプレーヤ、ビデオゲーミングデバイス、ビデオゲームコンソール、セルラーまたは衛星無線電話、いわゆる「スマートフォン」、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどを含む、幅広いデバイスの中に組み込まれ得る。デジタルビデオデバイスは、ＭＰＥＧ－２、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４，Ｐａｒｔ１０，アドバンストビデオコーディング（ＡＶＣ）、ＩＴＵ－Ｔ Ｈ．２６５／高効率ビデオコーディング（ＨＥＶＣ）によって定義された規格、およびそのような規格の拡張に記載されているビデオコーディング技法などの、ビデオコーディング技法を実装する。ビデオデバイスは、そのようなビデオコーディング技法を実装することによって、デジタルビデオ情報をより効率的に送信、受信、符号化、復号、および／または記憶し得る。
[0004] ビデオコーディング技法は、ビデオシーケンスに固有の冗長性を低減または除去するための空間的（イントラピクチャ）予測および／または時間的（インターピクチャ）予測を含む。ブロックベースのビデオコーディングの場合、ビデオスライス（たとえば、ビデオピクチャまたはビデオピクチャの一部分）は、コーディングツリーユニット（ＣＴＵ：coding tree unit）、コーディングユニット（ＣＵ：coding unit）および／またはコーディングノードと呼ばれることもある、ビデオブロックに区分され得る。ピクチャのイントラコード化（Ｉ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測を使用して符号化される。ピクチャのインターコード化（ＰまたはＢ）スライス中のビデオブロックは、同じピクチャ中の隣接ブロック中の参照サンプルに対する空間予測、または他の参照ピクチャ中の参照サンプルに対する時間予測を使用し得る。ピクチャは、フレームと呼ばれることがあり、参照ピクチャは、参照フレームと呼ばれることがある。
[0005] 概して、本開示は、ビデオコーデック（video codec）において異なるクロマフォーマット（chroma format）をサポートするための技法について説明する。
[0006] 一例では、ビデオデータ（video data）を処理する方法は、回路（circuitry）中に実装された１つまたは複数のプロセッサ（processor）によって、ＹＵＶ４：４：４フォーマット（YUV 4:4:4 format）でまたはＹＵＶ４：２：０フォーマット（YUV 4:2:0 format）でビデオデータのブロックのクロマ成分（chroma component）のためのコーディングユニットを生成する（generate）ことと、１つまたは複数のプロセッサによって、三角予測ユニットモード（triangular prediction unit mode）の使用可能化（enabling）に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分（first triangle-shaped partition）と第２の三角形状の区分（second triangle-shaped partition）とに分割する（split）ことと、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、１つまたは複数のプロセッサによって、クロマ成分のための予測ブロック（predicted block）を生成するためにＹＵＶ４：２：０フォーマットのための重みのセット（a set of weights）を使用してピクセルブレンディング（pixel blending）を適用する（apply）ことと、ここにおいて、ピクセルブレンディングを適用することは、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報（motion information）に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセル（collocated motion compensated pixels）の加重平均（weighted average）を決定する（determine）ことを備える、を含む。
[0007] 別の例では、ビデオデータを処理するためのデバイス（device）は、ビデオデータを記憶する（store）ように構成されたメモリ（memory）と回路中に実装された１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロック（block）のクロマ成分のためのコーディングユニットを生成することと、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用することと、ここにおいて、ピクセルブレンディングを適用するために、１つまたは複数のプロセッサは、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成される、を行うように構成される。
[0008] 一例では、コンピュータ可読記憶媒体（computer-readable storage medium）は命令（instruction）を記憶しており、命令は、実行されたとき、１つまたは複数のプロセッサに、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用することとを行わせ、ここにおいて、１つまたは複数のプロセッサに、ピクセルブレンディングを適用することを行わせる命令は、１つまたは複数のプロセッサに、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定することを行わせる。
[0009] 別の例では、ビデオデータをコーディングするためのデバイスは、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するための手段と、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するための手段と、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するための手段と、ここにおいて、ピクセルブレンディングを適用するための手段は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するための手段を備える、を含む。
[0010] 一例では、ビデオデータを処理する方法は、回路中に実装された１つまたは複数のプロセッサによって、ピクチャのエリア（area）のためのフィルタ処理されていない参照サンプル（unfiltered reference sample）を取得する（obtain）ことと、ここにおいて、１つまたは複数のプロセッサは、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプル（chroma sample）のためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化（intra-reference sample smoothing）を使用不能にする（disable）ように構成される、１つまたは複数のプロセッサによって、イントラ予測（intra-prediction）を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成することとを含む。
[0011] 別の例では、ビデオデータを処理するためのデバイスは、ビデオデータを記憶するように構成されたメモリと、回路中に実装された１つまたは複数のプロセッサとを含み、１つまたは複数のプロセッサが、ビデオデータのピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得することと、ここにおいて、１つまたは複数のプロセッサは、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成される、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成することとを行うように構成される。
[0012] 一例では、コンピュータ可読記憶媒体は命令を記憶しており、命令は、実行されたとき、１つまたは複数のプロセッサに、ビデオデータのピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得することと、ここにおいて、命令は、１つまたは複数のプロセッサに、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にすることをさらに行わせる、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成することとを行わせる。
[0013] 別の例では、ビデオデータをコーディングするためのデバイスは、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するための手段と、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するための手段とを含む。
[0014] １つまたは複数の例の詳細が添付の図面および以下の説明に記載される。他の特徴、目的、および利点は、説明、図面、および特許請求の範囲から明らかになろう。
[0015] 本開示の技法を実行し得る例示的なビデオ符号化および復号システムを示すブロック図。 [0016] 例示的な４分木２分木（ＱＴＢＴ：quadtree binary tree）構造を示す概念図。 対応するコーディングツリーユニット（ＣＴＵ）を示す概念図。 [0017] 本開示の技法を実行し得る例示的なビデオエンコーダ（video encoder）を示すブロック図。 [0018] 本開示の技法を実行し得る例示的なビデオデコーダ（video decoder）を示すブロック図。 [0019] 本開示の技法による、インター予測（inter prediction）に基づいてコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割する第１の例を示す概念図。 [0020] 本開示の技法による、インター予測に基づいてコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割する第２の例を示す概念図。 [0021] 本開示の技法による、重みの１つのセット（one set of weights）を用いたピクセルブレンディングを示す概念図。 [0022] 本開示の技法による、図６のピクセルブレンディングのための第１の三角形状の区分のさらなる詳細を示す概念図。 [0023] 本開示の技法による、図６のピクセルブレンディングのための第２の三角形状の区分のさらなる詳細を示す概念図。 [0024] 本開示の技法による、図６のピクセルブレンディングを使用して形成されるブロックのさらなる詳細を示す概念図。 [0025] 本開示の技法による、現在のブロックを符号化する（encode）例示的な方法を示すフローチャート。 [0026] 本開示の技法による、ビデオデータの現在のブロックを復号する（decode）ための例示的な方法を示すフローチャート。 [0027] 本開示の技法による、ＹＵＶ４：２：０サンプリングフォーマットのための重みのセットを用いたビデオデータのブロックのためのクロマ成分のピクセルブレンディングのための例示的なプロセスを示すフローチャート。 [0028] イントラ予測を使用して予測ブロックのクロマサンプルを生成するための例示的なプロセスを示すフローチャート。
[0029] 以下でより詳細に説明されるように、本開示は、異なるフォーマットでのクロマ成分の符号化および／または復号を改善するための例示的な技法について説明する。たとえば、三角形の予測ユニット（ＰＵ：prediction unit）モードを使用するときに、ビデオコーダ（video coder）（たとえば、ビデオエンコーダまたはビデオデコーダ）は、ＰＵを２つの三角形状の区分（triangle-shaped partition）に分割し得る。この例では、ビデオコーダは、動き補償された三角形状の区分（motion compensated triangle-shaped partition）を生成し、クロマフォーマットに基づく重みのセットを使用して動き補償された三角形状の区分を組み合わせ得る。たとえば、ビデオコーダは、クロマ成分がＹＵＶ４：４：４フォーマットにあるときに重みの第１のセット（a first set of weights）を使用してピクセルブレンディングを適用し、クロマ成分がＹＵＶ４：２：０フォーマットにあるときに重みの第１のセットとは異なる重みの第２のセット（a second set of weights）を適用し得る。しかしながら、異なるクロマフォーマットに対して重みの異なるセットを使用することは、クロマ成分を生成することの複雑性（complexity）を増加し得る。
[0030] 本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、異なるクロマフォーマットに対するクロマ成分の処理を統一するように構成され得る。たとえば、ビデオコーダは、クロマ成分がＹＵＶ４：４：４フォーマットにあるときにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用し、クロマ成分がＹＵＶ４：２：０フォーマットにあるときにＹＵＶ４：２：０フォーマットのための重みのセットを適用し得る。
[0031] いくつかの例では、ビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、イントラ予測が使用されるとき、およびクロマ成分がＹＵＶ４：２：０フォーマットにあるとき、フィルタ処理されていない参照サンプルを使用してビデオデータのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。この例では、ビデオコーダは、イントラ予測が使用されるとき、およびクロマ成分がＹＵＶ４：４：４フォーマットにあるとき、フィルタ処理された参照サンプル（filtered reference sample）を使用してビデオデータのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。しかしながら、異なるクロマフォーマットに対して異なる参照サンプル（reference sample）を使用することは、クロマ成分を生成することの複雑性を増加し得る。
[0032] 本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダまたはビデオデコーダ）は、異なるクロマフォーマットに対するクロマ成分の処理を統一するように構成され得る。たとえば、ビデオコーダは、クロマ成分がＹＵＶ４：２：０フォーマットにあるとき、およびクロマ成分がＹＵＶ４：４：４フォーマットにあるとき、イントラ参照サンプル平滑化を使用不能にするように構成され得る。たとえば、ビデオコーダは、クロマ成分がＹＵＶ４：２：０フォーマットにあるとき、およびクロマ成分がＹＵＶ４：４：４フォーマットにあるとき、フィルタ処理されていない参照サンプルを使用してビデオデータのブロックのための予測ブロックのクロマサンプルを生成し得る。
[0033] クロマ成分の処理を統一するための本明細書で説明される技法は、ＨＥＶＣ（高効率ビデオコーディング）などの既存のビデオコーデックもしくはＶＶＣ（汎用ビデオコーディング）などの開発中のビデオコーデックのうちのいずれかに適用され得、またはいかなる将来のビデオコーディング規格においても効率的なコーディングツールであり得る。重み付け予測に関係する説明される技法の例は、ＨＥＶＣおよび汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）における進行中の作業に関して説明されるが、本明細書で説明される技法は、他の既存のビデオコーデックおよび／または将来のビデオコーディング規格に適用され得る。
[0034] 図１は、本開示の技法を実行し得る例示的なビデオ符号化および復号システム１００を示すブロック図である。本開示の技法は、概して、ビデオデータをコーディング（符号化および／または復号）することを対象とする。概して、ビデオデータは、ビデオを処理するための何らかのデータを含む。したがって、ビデオデータは、シグナリングデータなどの未加工の、コーディングされていないビデオと、符号化されたビデオと、復号された（たとえば、再構築された）ビデオと、ビデオメタデータとを含み得る。
[0035] 図１に示されているように、システム１００は、この例では、宛先デバイス１１６によって復号および表示されるべき符号化ビデオデータを与えるソースデバイス１０２を含む。詳細には、ソースデバイス１０２は、コンピュータ可読媒体１１０を介してビデオデータを宛先デバイス１１６に提供する。ソースデバイス１０２と宛先デバイス１１６とは、デスクトップコンピュータ、ノートブック（すなわち、ラップトップ）コンピュータ、タブレットコンピュータ、セットトップボックス、電話ハンドセットサッチスマートフォン、テレビジョン、カメラ、ディスプレイデバイス、デジタルメディアプレーヤ、ビデオゲーミングコンソール、ビデオストリーミングデバイスなどを含む、広範囲のデバイスのいずれかを備え得る。いくつかの場合には、ソースデバイス１０２と宛先デバイス１１６とは、ワイヤレス通信のために装備され得、したがって、ワイヤレス通信デバイスと呼ばれることがある。
[0036] 図１の例では、ソースデバイス１０２は、ビデオソース１０４と、メモリ１０６と、ビデオエンコーダ２００と、出力インターフェース１０８とを含む。宛先デバイス１１６は、入力インターフェース１２２と、ビデオデコーダ３００と、メモリ１２０と、ディスプレイデバイス１１８とを含む。本開示によれば、ソースデバイス１０２のビデオエンコーダ２００と、宛先デバイス１１６のビデオデコーダ３００とは、異なるクロマフォーマットについての重み情報を統一するための技法を適用するように構成され得る。したがって、ソースデバイス１０２はビデオ符号化デバイスの例を表し、宛先デバイス１１６はビデオ復号デバイスの例を表す。他の例では、ソースデバイスと宛先デバイスとは、他の構成要素または配置を含み得る。たとえば、ソースデバイス１０２は、外部カメラなどの外部ビデオソースからビデオデータを受信し得る。同様に、宛先デバイス１１６は、一体型ディスプレイデバイスを含むのではなく、外部ディスプレイデバイスとインターフェースし得る。
[0037] 図１に示されているシステム１００は一例にすぎない。概して、任意のデジタルビデオ符号化および／または復号デバイスは、第１のクロマフォーマットについての重み情報（weight information）を決定することと、第１のクロマフォーマットについての重み情報に対応するために第１のクロマフォーマットとは異なる第２のクロマフォーマットについての重み情報を決定することと、第１のクロマフォーマットについての重み情報に基づいて予測情報を生成することとを行うための技法を実行し得る。ソースデバイス１０２と宛先デバイス１１６とは、ソースデバイス１０２が宛先デバイス１１６への送信のためにコード化ビデオデータを生成するようなコーディングデバイスの例にすぎない。本開示では、「コーディング（coding）」デバイスをデータのコーディング（符号化および／または復号）を実行する（perform）デバイスと称する。したがって、ビデオエンコーダ２００とビデオデコーダ３００とは、コーディングデバイス、特に、それぞれビデオエンコーダとビデオデコーダとの例を表す。いくつかの例では、デバイス１０２、１１６は、デバイス１０２、１１６の各々がビデオ符号化構成要素とビデオ復号構成要素とを含むように、実質的に対称的な様式で動作し得る。したがって、システム１００は、たとえば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト、またはビデオ電話のための、ビデオデバイス１０２とビデオデバイス１１６との間の一方向または双方向のビデオ送信をサポートし得る。
[0038] 概して、ビデオソース１０４は、ビデオデータのソース（すなわち、未加工の、コーディングされていないビデオデータ）を表し、ピクチャのためのデータを符号化するビデオエンコーダ２００にビデオデータの連続した一連のピクチャ（「フレーム（frame）」とも呼ばれる）を与える。ソースデバイス１０２のビデオソース１０４は、ビデオカメラ、以前にキャプチャされた未加工のビデオを包含するビデオアーカイブ、および／またはビデオコンテンツプロバイダからビデオを受信するためのビデオフィードインターフェースなどの、ビデオキャプチャデバイスを含み得る。さらなる代替として、ビデオソース１０４は、ソースビデオとして、コンピュータグラフィックスベースのデータ、またはライブビデオとアーカイブビデオとコンピュータ生成ビデオとの組合せを生成し得る。各場合において、ビデオエンコーダ２００は、キャプチャされたビデオデータ、プリキャプチャされたビデオデータ、またはコンピュータ生成されたビデオデータを符号化する。ビデオエンコーダ２００は、ピクチャを、（「表示順序」と呼ばれることがある）受信順序から、コーディングのためのコーディング順序に並べ替え得る。ビデオエンコーダ２００は、符号化ビデオデータを含むビットストリームを生成し得る。ソースデバイス１０２は、次いで、たとえば、宛先デバイス１１６の入力インターフェース１２２による、受信および／または取出しのために、出力インターフェース１０８を介して符号化ビデオデータをコンピュータ可読媒体１１０上に出力し得る。
[0039] ソースデバイス１０２のメモリ１０６と、宛先デバイス１１６のメモリ１２０とは、汎用メモリを表す。いくつかの例では、メモリ１０６、１２０は、未加工のビデオデータ、たとえば、ビデオソース１０４からの未加工のビデオ、およびビデオデコーダ３００からの未加工の、復号されたビデオデータを記憶し得る。追加または代替として、メモリ１０６、１２０は、たとえば、それぞれ、ビデオエンコーダ２００とビデオデコーダ３００とによって実行可能なソフトウェア命令を記憶し得る。この例ではメモリ１０６、１２０がビデオエンコーダ２００およびビデオデコーダ３００とは別々に示されているが、ビデオエンコーダ２００およびビデオデコーダ３００はまた、機能的に同等のまたは等価の目的のために内部メモリを含み得ることを理解されたい。さらに、メモリ１０６、１２０は、符号化ビデオデータ、たとえば、ビデオエンコーダ２００からの出力、およびビデオデコーダ３００への入力を記憶し得る。いくつかの例では、メモリ１０６、１２０の部分は、たとえば、未加工の復号および／または符号化ビデオデータを記憶するために、１つまたは複数のビデオバッファとして割り振られ得る。
[0040] コンピュータ可読媒体１１０は、ソースデバイス１０２から宛先デバイス１１６に符号化ビデオデータを移送することが可能な任意のタイプの媒体またはデバイスを表し得る。一例では、コンピュータ可読媒体１１０は、ソースデバイス１０２が、たとえば、無線周波数ネットワークまたはコンピュータベースのネットワークを介して、符号化ビデオデータを宛先デバイス１１６にリアルタイムで直接送信することを可能にするための通信媒体を表す。出力インターフェース１０８は、符号化ビデオデータを含む送信信号を変調し得、入力インターフェース１２２は、ワイヤレス通信プロトコルなどの通信規格に従って、受信された送信信号を変調し得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つまたは複数の物理伝送線路など、任意のワイヤレスまたはワイヤード通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなどの、パケットベースネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、またはソースデバイス１０２から宛先デバイス１１６への通信を促進するために有用であり得る任意の他の機器を含み得る。
[0041] いくつかの例では、ソースデバイス１０２は、出力インターフェース１０８から記憶デバイス１１６に符号化データを出力し得る。同様に、宛先デバイス１１６は、入力インターフェース１２２を介して記憶デバイス１１６から符号化データにアクセスし得る。記憶デバイス１１６は、ハードドライブ、Ｂｌｕ－ｒａｙ（登録商標）ディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性または不揮発性メモリ、あるいは符号化ビデオデータを記憶するための任意の他の好適なデジタル記憶媒体など、様々な分散されたまたはローカルにアクセスされるデータ記憶媒体のいずれかを含み得る。
[0042] いくつかの例では、ソースデバイス１０２は、ソースデバイス１０２によって生成された符号化ビデオを記憶し得るファイルサーバ１１４または別の中間記憶デバイスに符号化ビデオデータを出力し得る。宛先デバイス１１６は、ストリーミングまたはダウンロードを介してファイルサーバ１１４から記憶されたビデオデータにアクセスし得る。ファイルサーバ１１４は、符号化ビデオデータを記憶し、その符号化ビデオデータを宛先デバイス１１６に送信することが可能な任意のタイプのサーバデバイスであり得る。ファイルサーバ１１４は、（たとえば、ウェブサイト用の）ウェブサーバ、ファイル転送プロトコル（ＦＴＰ）サーバ、コンテンツ配信ネットワークデバイス、またはネットワーク接続ストレージ（ＮＡＳ）デバイスを表し得る。宛先デバイス１１６は、インターネット接続を含む、任意の標準データ接続を通してファイルサーバ１１４から符号化ビデオデータにアクセスし得る。これは、ワイヤレスチャネル（たとえば、Ｗｉ－Ｆｉ（登録商標）接続）、ワイヤード接続（たとえば、ＤＳＬ、ケーブルモデムなど）、または、ファイルサーバ１１４に記憶された符号化ビデオデータにアクセスするのに適した、両方の組合せを含み得る。ファイルサーバ１１４と入力インターフェース１２２とは、ストリーミング送信プロトコル、ダウンロード送信プロトコル、またはそれらの組合せに従って動作するように構成され得る。
[0043] 出力インターフェース１０８と入力インターフェース１２２とは、ワイヤレス送信機／受信機、モデム、ワイヤードネットワーキング構成要素（たとえば、イーサネット（登録商標）カード）、様々なＩＥＥＥ８０２．１１規格のいずれかに従って動作するワイヤレス通信構成要素、または他の物理的構成要素を表し得る。出力インターフェース１０８と入力インターフェース１２２とがワイヤレス構成要素を備える例では、出力インターフェース１０８と入力インターフェース１２２とは、４Ｇ、４Ｇ－ＬＴＥ（登録商標）（ロングタームエボリューション）、ＬＴＥアドバンスト、５Ｇなど、セルラー通信規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。出力インターフェース１０８がワイヤレス送信機を備えるいくつかの例では、出力インターフェース１０８と入力インターフェース１２２とは、ＩＥＥＥ８０２．１１仕様、ＩＥＥＥ８０２．１５仕様（たとえば、ＺｉｇＢｅｅ（登録商標））、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格など、他のワイヤレス規格に従って、符号化ビデオデータなどのデータを転送するように構成され得る。いくつかの例では、ソースデバイス１０２および／または宛先デバイス１１６は、それぞれのシステムオンチップ（ＳｏＣ）デバイスを含み得る。たとえば、ソースデバイス１０２は、ビデオエンコーダ２００および／または出力インターフェース１０８に帰属する機能を実行するためのＳｏＣデバイスを含み得、宛先デバイス１１６は、ビデオデコーダ３００および／または入力インターフェース１２２に帰属する機能を実行するためのＳｏＣデバイスを含み得る。
[0044] 本開示の技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。
[0045] 宛先デバイス１１６の入力インターフェース１２２は、コンピュータ可読媒体１１０（たとえば、記憶デバイス１１２、ファイルサーバ１１４など）から符号化ビデオビットストリームを受信する。コンピュータ可読媒体１１０からの符号化ビデオビットストリームは、ビデオブロックまたは他のコード化ユニット（たとえば、スライス、ピクチャ、ピクチャのグループ、シーケンスなど）の特性および／または処理を記述する値を有するシンタックス要素（syntax element）など、ビデオデコーダ３００によっても使用される、ビデオエンコーダ２００によって定義されるシグナリング情報を含み得る。ディスプレイデバイス１１８は、ユーザに復号されたビデオデータの復号されたピクチャを表示する。ディスプレイデバイス１１８は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、または別のタイプのディスプレイデバイスなどの様々なディスプレイデバイスのいずれかを表し得る。
[0046] 図１には示されていないが、いくつかの例では、ビデオエンコーダ２００およびビデオデコーダ３００は、それぞれ、オーディオエンコーダおよび／またはオーディオデコーダと統合され得、共通のデータストリーム中のオーディオとビデオの両方を含む多重化されたストリームを処理するために、適切なＭＵＸ－ＤＥＭＵＸユニット、あるいは他のハードウェアおよび／またはソフトウェアを含み得る。適用可能な場合、ＭＵＸ－ＤＥＭＵＸユニットはＩＴＵ Ｈ．２２３マルチプレクサプロトコル、またはユーザデータグラムプロトコル（ＵＤＰ）などの他のプロトコルに準拠し得る。
[0047] ビデオエンコーダ２００およびビデオデコーダ３００はそれぞれ、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェアなど、様々な好適なエンコーダ回路および／またはデコーダ回路のいずれか、あるいはそれらの任意の組合せとして実装され得る。本技法が部分的にソフトウェアで実装されるとき、デバイスは、好適な非一時的コンピュータ可読媒体にソフトウェアの命令を記憶し、本開示の技法を実行するために１つまたは複数のプロセッサを使用してその命令をハードウェアで実行し得る。ビデオエンコーダ２００とビデオデコーダ３００との各々は、１つまたは複数のエンコーダまたはデコーダに含まれ得、それらのいずれかが、それぞれのデバイス中の複合エンコーダ／デコーダ（ＣＯＤＥＣ）の一部として組み込まれ得る。ビデオエンコーダ２００および／またはビデオデコーダ３００を含むデバイスは、集積回路、マイクロプロセッサ、および／またはセルラー電話などのワイヤレス通信デバイスを備え得る。
[0048] ビデオエンコーダ２００およびビデオデコーダ３００は、高効率ビデオコーディング（ＨＥＶＣ）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６５、またはマルチビューおよび／もしくはスケーラブルビデオコーディング拡張などのそれらの拡張などの、ビデオコーディング規格に従って動作し得る。代替として、ビデオエンコーダ２００およびビデオデコーダ３００は、共同探求テストモデル（ＪＥＭ）または汎用ビデオコーディング（ＶＶＣ：Versatile Video Coding）とも呼ばれるＩＴＵ－Ｔ Ｈ．２６６などの、他のプロプライエタリ規格または業界規格に従って動作し得る。ＶＶＣ標準の最近のドラフトは、Ｂｒｏｓｓら「Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｄｒａｆｔ ７）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ（ＪＶＥＴ）、第１６回会合：Ｇｅｎｅｖａ、ＣＨ、２０１９年１０月１～１１日、ＪＶＥＴ－Ｐ２００１－ｖ９（以下、「ＶＶＣ Ｄｒａｆｔ ７」）に記載されている。ただし、本開示の技法は、いかなる特定のコーディング規格にも限定されない。
[0049] 概して、ビデオエンコーダ２００およびビデオデコーダ３００は、ピクチャのブロックベースのコーディングを実行し得る。「ブロック（block）」という用語は、処理されるべき（たとえば、符号化されるべき、復号されるべき、あるいは符号化および／または復号プロセスにおいて他の方法で使用されるべき）データを含む構造を一般に意味する。たとえば、ブロックは、ルミナンスおよび／またはクロミナンスデータのサンプルの２次元行列を含み得る。概して、ビデオエンコーダ２００とビデオデコーダ３００とは、ＹＵＶ（たとえば、Ｙ、Ｃｂ、Ｃｒ）フォーマットで表されるビデオデータをコーディングし得る。すなわち、ピクチャのサンプルのために赤色、緑色、および青色（ＲＧＢ）データをコーディングするのではなく、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分とをコーディングし得、ここで、クロミナンス成分は、赤色相と青色相の両方のクロミナンス成分を含み得る。いくつかの例では、ビデオエンコーダ２００は、符号化より前に受信されたＲＧＢフォーマットのデータをＹＵＶ表現に変換し、ビデオデコーダ３００は、ＹＵＶ表現をＲＧＢフォーマットに変換する。代替的に、前処理ユニットと後処理ユニット（図示せず）とがこれらの変換を実行し得る。
[0050] ＹＵＶ４：４：４は、３つの構成要素（たとえば、Ｙ、Ｃｂ、Ｃｒ）の各々が同じサンプリングレートを有し、クロマサブサンプリングを有しないＹＵＶ表現を指すことがある。たとえば、ＹＵＶ４：４：４のルーマ（たとえば、Ｙ）成分は、第１の解像度を有し得る。この例では、ＹＵＶ４：４：４の第１のクロマ成分（たとえば、Ｃｂ）成分は、ルーマ成分（luma component）の第１の解像度を有し得、ＹＵＶ４：４：４の第２のクロマ成分（たとえば、Ｃｒ）成分は、ルーマ成分の第１の解像度を有し得る。対照的に、ＹＵＶ４：２：０は、クロマ成分（たとえば、Ｃｂ、Ｃｒ）の各々が垂直および水平方向にルーマ成分の半分のサンプリングレートを有するＹＵＶ表現を指すことがあり、したがって、ＹＵＶ４：２：０は、クロマサブサンプリングを有し得る。たとえば、ＹＵＶ４：４：４のルーマ（たとえば、Ｙ）成分は、第１の解像度を有し得る。この例では、ＹＵＶ４：４：４の第１のクロマ成分（たとえば、Ｃｂ）成分は、ルーマ成分の第１の解像度の半分である第２の解像度（たとえば、垂直および水平）を有し得、ＹＵＶ４：４：４の第２のクロマ成分（たとえば、Ｃｒ）成分は、ルーマ成分の第１の解像度の半分であり、第１のクロマ成分の第２の解像度と同じである第２の解像度（たとえば、垂直および水平）を有し得る。本開示がクロマフォーマットの例としてＹＵＶ４：４：４およびＹＵＶ ４：２：０に言及するが、他の例は、他のフォーマット（たとえば、ＹＵＶ４：２：２など）を使用し得る。
[0051] 本開示は、概して、ピクチャのデータを符号化または復号するプロセスを含めるように、ピクチャのコーディング（たとえば、符号化および復号）に言及することがある。同様に、本開示は、ブロックに対するデータを符号化または復号する、たとえば、予測および／または残差コーディングのプロセスを含めるように、ピクチャのブロックのコーディングに言及することがある。符号化ビデオビットストリームは、概して、コーディング決定（たとえば、コーディングモード）とブロックへのピクチャの区分とを表すシンタックス要素の一連の値を含む。したがって、ピクチャまたはブロックをコーディングすることへの言及は、概して、ピクチャまたはブロックを形成しているシンタックス要素の値をコーディングすることとして理解されたい。
[0052] ＨＥＶＣは、コーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ：transform unit）を含む、様々なブロックを定義する。ＨＥＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、４分木構造に従ってコーディングツリーユニット（ＣＴＵ）をＣＵに区分する。すなわち、ビデオコーダは、ＣＴＵとＣＵとをオーバーラップしない４つの均等な正方形に区分し、４分木の各ノードは、０個または４つの子ノードのいずれかを有する。子ノードなしのノードは「リーフノード」と呼ばれることがあり、そのようなリーフノードのＣＵは、１つまたは複数のＰＵならびに／あるいは１つまたは複数のＴＵを含み得る。ビデオコーダは、ＰＵとＴＵとをさらに区分し得る。たとえば、ＨＥＶＣでは、残差４分木（ＲＱＴ）は、ＴＵの区分を表す。ＨＥＶＣでは、ＰＵはインター予測データを表すが、ＴＵは残差データを表す。イントラ予測されるＣＵは、イントラモード指示などのイントラ予測情報を含む。
[0053] 別の例として、ビデオエンコーダ２００とビデオデコーダ３００とは、ＪＥＭまたはＶＶＣに従って動作するように構成され得る。ＪＥＭまたはＶＶＣに従って、（ビデオエンコーダ２００などの）ビデオコーダは、ピクチャを複数のコーディングツリーユニット（ＣＴＵ）に区分する。ビデオエンコーダ２００は、４分木２分木（ＱＴＢＴ）構造またはマルチタイプツリー（ＭＴＴ：Multi-Type Tree）構造などの木構造に従ってＣＴＵを区分し得る。ＱＴＢＴ構造は、ＨＥＶＣのＣＵとＰＵとＴＵとの間の分離など、複数の区分タイプの概念を除去する。ＱＴＢＴ構造は、２つのレベル、すなわち、４分木区分に従って区分される第１のレベルと、２分木区分に従って区分される第２のレベルとを含む。ＱＴＢＴ構造のルートノードはＣＴＵに対応する。２分木のリーフノードは、コーディングユニット（ＣＵ）に対応する。
[0054] ＭＴＴ区分構造では、ブロックは、４分木（ＱＴ：quadtree）区分と、２分木（ＢＴ：binary tree）区分と、１つまたは複数のタイプの３分木（ＴＴ：triple tree）区分とを使用して、区分され得る。３分木区分は、ブロックが３つのサブブロックに分割される区分である。いくつかの例では、３分木区分は、中心を通って元のブロックを分割することなく、ブロックを３つのサブブロックに分割する。ＭＴＴにおける区分タイプ（たとえば、ＱＴ、ＢＴ、およびＴＴ）は、対称的または非対称的であり得る。
[0055] いくつかの例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分とクロミナンス成分との各々を表すために単一のＱＴＢＴまたはＭＴＴ構造を使用し得、他の例では、ビデオエンコーダ２００とビデオデコーダ３００とは、ルミナンス成分のための１つのＱＴＢＴ／ＭＴＴ構造、および両方のクロミナンス成分のための別のＱＴＢＴ／ＭＴＴ構造（またはそれぞれのクロミナンス成分のための２つのＱＴＢＴ／ＭＴＴ構造）など、２つ以上のＱＴＢＴまたはＭＴＴ構造を使用し得る。
[0056] ビデオエンコーダ２００およびビデオデコーダ３００は、ＨＥＶＣによる４分木区分、ＱＴＢＴ区分、ＭＴＴ区分、または他の区分構造を使用するように構成され得る。説明の目的で、本開示の技法の説明はＱＴＢＴ区分に関して提示される。ただし、本開示の技法が、４分木区分、または同様に他のタイプの区分を使用するように構成されたビデオコーダにも適用され得ることを理解されたい。
[0057] 本開示は、垂直および水平次元、たとえば、１６×１６のサンプルまたは１６バイ１６のサンプルに関して（ＣＵまたは他のビデオブロックなどの）ブロックのサンプル次元を互換的に言及するために「Ｎ×Ｎ」および「ＮバイＮ」を使用し得る。一般に、１６×１６のＣＵは、垂直方向に１６個のサンプル（ｙ＝１６）を有し、水平方向に１６個のサンプル（ｘ＝１６）を有する。同様に、Ｎ×ＮのＣＵは、概して、垂直方向にＮ個のサンプルを有し、水平方向にＮ個のサンプルを有し、ここで、Ｎは非負整数値を表す。ＣＵ中のサンプルは行と列とに配列され得る。さらに、ＣＵは、必ずしも、水平方向において垂直方向と同じ数のサンプルを有する必要があるとは限らない。たとえば、ＣＵはＮ×Ｍサンプルを備え得、ここで、Ｍは必ずしもＮに等しいとは限らない。
[0058] ビデオエンコーダ２００は、予測および／または残差情報、ならびに他の情報を表すＣＵのためにビデオデータを符号化する。予測情報（prediction information）は、ＣＵについて予測ブロックを形成するためにＣＵがどのように予測されるべきであるのかを示す。残差情報（residual information）は、概して、符号化より前のＣＵのサンプルと予測ブロックとの間のサンプルごとの差分（difference）を表す。
[0059] ＣＵを予測するために、ビデオエンコーダ２００は、概して、インター予測またはイントラ予測を通してＣＵについて予測ブロックを形成し得る。インター予測は、概して、以前にコーディングされたピクチャのデータからＣＵを予測することを指し、一方、イントラ予測は、概して、同じピクチャの以前にコーディングされたデータからＣＵを予測することを指す。インター予測を実行するために、ビデオエンコーダ２００は、１つまたは複数の動きベクトルを使用して予測ブロックを生成し得る。ビデオエンコーダ２００は、概して、たとえば、ＣＵと参照ブロック（reference block）との間の差分に関して、ＣＵに厳密に一致する参照ブロックを識別するために動き探索を実行し得る。ビデオエンコーダ２００は、参照ブロックが現在のＣＵに厳密に一致するかどうかを決定するために、絶対差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）、または他のそのような差分計算を使用して差分メトリックを計算し得る。いくつかの例では、ビデオエンコーダ２００は、単方向予測または双方向予測を使用して現在のＣＵを予測し得る。
[0060] ＪＥＭおよびＶＶＣのいくつかの例はまた、インター予測モードと見なされ得るアフィン動き補償モードを提供する。アフィン動き補償モードでは、ビデオエンコーダ２００は、ズームインまたはアウト、回転、パースペクティブの動き、あるいは他の変則の動きタイプなど、非並進の動きを表す２つ以上の動きベクトルを決定し得る。
[0061] イントラ予測を実行するために、ビデオエンコーダ２００は、予測ブロックを生成するようにイントラ予測モードを選択し得る。ＪＥＭとＶＶＣとのいくつかの例は、様々な方向性モード、ならびに平面モードおよびＤＣモードを含む、６７個のイントラ予測モードを提供する。概して、ビデオエンコーダ２００は、現在のブロック（たとえば、ＣＵのブロック）のサンプルをそれから予測すべき、現在のブロックに対する隣接サンプルを記述するイントラ予測モードを選択する。そのようなサンプルは、ビデオエンコーダ２００がラスタ走査順序で（左から右に、上から下に）ＣＴＵとＣＵとをコーディングすると仮定すると、概して、現在のブロックと同じピクチャ中の現在のブロックの上方、上方および左側、または左側にあり得る。
[0062] ビデオエンコーダ２００は、現在のブロックについて予測モードを表すデータを符号化する。たとえば、インター予測モードでは、ビデオエンコーダ２００は、様々な利用可能なインター予測モードのうちのどれが使用されるか、ならびに対応するモードの動き情報を表すデータを符号化し得る。たとえば、単方向または双方向インター予測では、ビデオエンコーダ２００は、高度動きベクトル予測（ＡＭＶＰ）またはマージモードを使用して動きベクトルを符号化し得る。ビデオエンコーダ２００は、アフィン動き補償モードの動きベクトルを符号化するために同様のモードを使用し得る。
[0063] ブロックのイントラ予測またはインター予測などの予測に続いて、ビデオエンコーダ２００は、ブロックについて残差データを計算し得る。残差ブロック（residual block）などの残差データは、ブロックと、対応する予測モードを使用して形成された、ブロックについての予測ブロックとの間の、サンプルごとの差分を表す。ビデオエンコーダ２００は、サンプル領域ではなく変換領域中に変換データを生成するために、残差ブロックに１つまたは複数の変換を適用し得る。たとえば、ビデオエンコーダ２００は、離散コサイン変換（ＤＣＴ）、整数変換、ウェーブレット変換、または概念的に同様の変換を残差ビデオデータに適用し得る。さらに、ビデオエンコーダ２００は、モード依存非分離可能２次変換（ＭＤＮＳＳＴ：mode-dependent non-separable secondary transform）、信号依存変換、カルーネンレーベ変換（ＫＬＴ：Karhunen-Loeve transform）など、第１の変換に続いて２次変換を適用し得る。ビデオエンコーダ２００は、１つまたは複数の変換の適用に続いて変換係数（transform coefficient）を生成する。
[0064] 上述のように、変換係数を生成するための任意の変換に続いて、ビデオエンコーダ２００は、変換係数の量子化を実行し得る。量子化は、概して、係数を表すために使用されるデータの量をできるだけ低減するために変換係数が量子化され、さらなる圧縮を行うプロセスを指す。量子化プロセスを実行することによって、ビデオエンコーダ２００は、係数の一部または全部に関連するビット深度を低減し得る。たとえば、ビデオエンコーダ２００は、量子化中にｎビット値をｍビット値まで丸め得、ここで、ｎは、ｍよりも大きい。いくつかの例では、量子化を実行するために、ビデオエンコーダ２００は、量子化されるべき値のビット単位の右シフトを実行し得る。
[0065] 量子化に続いて、ビデオエンコーダ２００は、変換係数を走査して、量子化された変換係数を含む２次元行列から１次元ベクトルを生成し得る。走査は、より高いエネルギー（したがって、より低い頻度）の係数をベクトルの前方に配置し、より低いエネルギー（したがって、より高い頻度）の変換係数をベクトルの後方に配置するように設計され得る。いくつかの例では、ビデオエンコーダ２００は、あらかじめ定義された走査順序を利用して、量子化された変換係数を走査してシリアル化ベクトルを生成し、次いで、ベクトルの量子化された変換係数をエントロピー符号化し得る。他の例では、ビデオエンコーダ２００は適応型走査を実行し得る。量子化された変換係数を走査して１次元ベクトルを形成した後に、ビデオエンコーダ２００は、たとえば、コンテキスト適応型バイナリ算術コーディング（ＣＡＢＡＣ）に従って、１次元ベクトルをエントロピー符号化し得る。ビデオエンコーダ２００はまた、ビデオデータを復号する際のビデオデコーダ３００による使用のために、符号化されたビデオデータに関連付けられたメタデータを記述するシンタックス要素のための値をエントロピー符号化し得る。
[0066] ＣＡＢＡＣを実行するために、ビデオエンコーダ２００は、コンテキストモデル内のコンテキストを、送信されるべきシンボルに割り当て得る。コンテキストは、たとえば、シンボルの隣接値が０値であるのかどうかに関係し得る。確率決定は、シンボルに割り当てられたコンテキストに基づき得る。
[0067] ビデオエンコーダ２００は、さらに、ブロックベースのシンタックスデータ、ピクチャベースのシンタックスデータ、およびシーケンスベースのシンタックスデータなどのシンタックスデータを、たとえば、ピクチャヘッダ、ブロックヘッダ、スライスヘッダ、あるいはシーケンスパラメータセット（ＳＰＳ）、ピクチャパラメータセット（ＰＰＳ）、またはビデオパラメータセット（ＶＰＳ）などの他のシンタックスデータ中で、ビデオデコーダ３００に対して生成し得る。ビデオデコーダ３００は、対応するビデオデータをどのように復号すべきかを決定するために、そのようなシンタックスデータを同様に復号し得る。
[0068] このようにして、ビデオエンコーダ２００は、符号化ビデオデータ、たとえば、ブロック（たとえば、ＣＵ）へのピクチャの区分ならびにブロックの予測および／または残差情報を記述するシンタックス要素を含むビットストリームを生成し得る。最終的に、ビデオデコーダ３００は、ビットストリームを受信し、符号化ビデオデータを復号し得る。
[0069] 概して、ビデオデコーダ３００は、ビットストリームの符号化ビデオデータを復号するために、ビデオエンコーダ２００によって実行されるものとは逆のプロセスを実行する。たとえば、ビデオデコーダ３００は、ビデオエンコーダ２００のＣＡＢＡＣ符号化プロセスと逆ではあるが、それと実質的に同様の様式でＣＡＢＡＣを使用してビットストリームのシンタックス要素に対する値を復号し得る。シンタックス要素は、ＣＴＵのＣＵを定義するために、ＣＴＵへのピクチャの区分情報とＱＴＢＴ構造などの対応する区分構造による各ＣＴＵの区分とを定義し得る。シンタックス要素は、ビデオデータのブロック（たとえば、ＣＵ）についての予測および残差情報をさらに定義し得る。
[0070] 残差情報は、たとえば、量子化された変換係数によって表され得る。ビデオデコーダ３００は、ブロックの残差ブロックを再生するために、ブロックの量子化された変換係数を逆量子化し、逆変換し得る。ビデオデコーダ３００は、ブロックの予測ブロックを形成するために、シグナリングされた予測モード（イントラまたはインター予測）と、関係する予測情報（たとえば、インター予測のための動き情報）とを使用する。ビデオデコーダ３００は、元のブロックを再生するために（サンプルごとに）予測ブロックと残差ブロックとを組み合わせ得る。すなわち、たとえば、ビデオデコーダ３００は、ビデオデータのブロックのためのフィルタ処理されていない再構築されたブロック（unfiltered reconstructed block）を復号するために予測ブロックと残差ブロックとを組み合わせ得る。いくつかの例では、ビデオデコーダ３００は、ＤＰＢ３１４にフィルタ処理されていない再構築されたブロックを記憶し得る。ビデオデコーダ３００は、ブロックの境界に沿って視覚的アーティファクトを低減するためにデブロッキングプロセスを実行することなど、追加の処理を実行し得る。すなわち、たとえば、ビデオデコーダ３００は、ビデオデータのブロックのためのフィルタ処理された再構築されたブロック（filtered reconstructed block）を生成し得、ここにおいて、フィルタ処理された再構築されたブロックを生成することは、フィルタ処理されていない再構築されたブロックに対して１つまたは複数のフィルタ動作（filter operation）を実行することを備える。この例では、ビデオデコーダ３００は、ＤＰＢ３１４にフィルタ処理された再構築されたブロックを記憶し得る。
[0071] 本開示の技法によれば、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するように構成され得る。この例では、ビデオエンコーダ２００またはビデオデコーダ３００は、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するように構成され得る。ビデオエンコーダ２００またはビデオデコーダ３００は、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するように構成され得る。ＹＵＶ４：２：０フォーマットでおよびＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するために重みの単一のセット（a single set of weights）を使用することは、ビデオデータを復号することの複雑性を低減し得、これは、ビデオエンコーダ２００とビデオデコーダ３００とがビデオデータを復号する時間量を低減し、および／またはビデオエンコーダ２００とビデオデコーダ３００との電力消費量（power consumption）を低減し得る。
[0072] ピクセルブレンディングを適用するために、ビデオエンコーダ２００またはビデオデコーダ３００は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。
[0073] いくつかの例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。この例では、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。ビデオエンコーダ２００および／またはビデオデコーダ３００は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にすることは、ビデオデータを復号することの複雑性を低減し得、これは、ビデオエンコーダ２００とビデオデコーダ３００とがビデオデータを復号する時間量を低減し、および／またはビデオエンコーダ２００とビデオデコーダ３００との電力消費量を低減し得る。
[0074] 本開示は、概して、シンタックス要素など、ある情報を「シグナリング（signaling）」することに言及することがある。「シグナリング」という用語は、概して、符号化ビデオデータを復号するために使用される値シンタックス要素および／または他のデータの通信を指すことがある。すなわち、ビデオエンコーダ２００は、ビットストリーム中でシンタックス要素の値をシグナリングし得る。概して、シグナリングは、ビットストリーム中に値を生成することを指す。上述されたように、ソースデバイス１０２は、実質的にリアルタイムでビットストリームを宛先デバイス１１６に移送するか、または、宛先デバイス１１６による後の取出しのためにシンタックス要素を記憶デバイス１１２に記憶するときに起こり得るように、非リアルタイムでビットストリームを宛先デバイス１１６に移送し得る。
[0075] 図２Ａと図２Ｂとは、例示的な４分木２分木（ＱＴＢＴ）構造１３０と、対応するコーディングツリーユニット（ＣＴＵ）１３２とを示す概念図である。実線は４分木分割（quadtree splitting）を表し、点線は２分木分割（binary tree splitting）を表す。２分木の各分割（すなわち、非リーフ）ノードでは、どの分割タイプ（すなわち、水平または垂直）が使用されるかを示すために１つのフラグがシグナリングされ、ここで、この例では、０は水平分割を示し、１は垂直分割を示す。４分木分割の場合、４分木ノードは、サイズが等しい４つのサブブロックに、水平および垂直にブロックを分割するので、分割タイプを示す必要がない。したがって、ＱＴＢＴ構造１３０の領域ツリーレベル（すなわち、実線）についての（分割情報などの）シンタックス要素と、ＱＴＢＴ構造１３０の予測ツリーレベル（すなわち、破線）についての（分割情報などの）シンタックス要素とを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。ＱＴＢＴ構造１３０の端末リーフノードによって表されるＣＵについての、予測および変換データなどのビデオデータを、ビデオエンコーダ２００は符号化し得、ビデオデコーダ３００は復号し得る。
[0076] 概して、図２ＢのＣＴＵ１３２は、第１および第２のレベルにおいてＱＴＢＴ構造１３０のノードに対応するブロックのサイズを定義するパラメータに関連付けられ得る。これらのパラメータは、（サンプル単位でＣＴＵ１３２のサイズを表す）ＣＴＵサイズと、最小４分木サイズ（最小許容４分木リーフノードサイズを表す、ＭｉｎＱＴＳｉｚｅ）と、最大２分木サイズ（最大許容２分木ルートノードサイズを表す、ＭａｘＢＴＳｉｚｅ）と、最大２分木深度（最大許容２分木深度を表す、ＭａｘＢＴＤｅｐｔｈ）と、最小２分木サイズ（最小許容２分木リーフノードサイズを表す、ＭｉｎＢＴＳｉｚｅ）とを含み得る。
[0077] ＣＴＵに対応するＱＴＢＴ構造のルートノードは、ＱＴＢＴ構造の第１のレベルにおいて４つの子ノードを有し得、それらの各々は、４分木区分に従って区分され得る。すなわち、第１のレベルのノードは、（子ノードを有しない）リーフノードであるか、あるいは４つの子ノードを有する。ＱＴＢＴ構造１３０の例は、分岐に対して実線を有する親ノードと子ノードとを含むものとして、そのようなノードを表す。第１のレベルのノードが、最大許容２分木ルートノードサイズ（ＭａｘＢＴＳｉｚｅ）よりも大きくない場合、ノードはそれぞれの２分木によってさらに区分され得る。１つのノードの２分木分割は、分割から得られるノードが最小許容２分木リーフノードサイズ（ＭｉｎＢＴＳｉｚｅ）または最大許容２分木深度（ＭａｘＢＴＤｅｐｔｈ）に到達するまで反復され得る。ＱＴＢＴ構造１３０の例は、分岐に対して破線を有するものとしてそのようなノードを表す。２分木リーフノードは、コーディングユニット（ＣＵ）と呼ばれ、コーディングユニット（ＣＵ）は、それ以上区分することなく、予測（たとえば、イントラピクチャ予測またはインターピクチャ予測）および変換のために使用される。上記で論じられたように、ＣＵは「ビデオブロック（video block）」または「ブロック」と呼ばれることもある。
[0078] ＱＴＢＴ区分構造の一例では、ＣＴＵサイズは、１２８×１２８（ルーマサンプル（luma sample）および２つの対応する６４×６４クロマサンプル）として設定され、ＭｉｎＱＴＳｉｚｅは１６×１６として設定され、ＭａｘＢＴＳｉｚｅは６４×６４として設定され、（幅と高さの両方について）ＭｉｎＢＴＳｉｚｅは４として設定され、ＭａｘＢＴＤｅｐｔｈは４として設定される。４分木リーフノードを生成するために、最初に４分木区分がＣＴＵに適用される。４分木リーフノードは、１６×１６（すなわち、ＭｉｎＱＴＳｉｚｅ）から１２８×１２８（すなわち、ＣＴＵサイズ）までのサイズを有し得る。リーフ４分木ノードが１２８×１２８である場合、サイズがＭａｘＢＴＳｉｚｅ（すなわち、この例では６４×６４）を超えるので、それは２分木によってさらに分割されない。そうでない場合、リーフ４分木ノードは、２分木によってさらに区分される。したがって、４分木リーフノードはまた、２分木に対してルートノードであり、０としての２分木深度を有する。２分木深度がＭａｘＢＴＤｅｐｔｈ（この例では４）に到達すると、それ以上の分割は許されない。２分木ノードがＭｉｎＢＴＳｉｚｅ（この例では４）に等しい幅を有するとき、そのことはそれ以上の水平分割が許されないことを暗示する。同様に、ＭｉｎＢＴＳｉｚｅに等しい高さを有する２分木ノードは、その２分木ノードに対してそれ以上の垂直分割が許されないことを暗示する。上述されたように、２分木のリーフノードは、ＣＵと呼ばれ、さらなる区分なしに予測および変換に従ってさらに処理される。
[0079] 図３は、本開示の技法を実行し得る例示的なビデオエンコーダ２００を示すブロック図である。図３は説明のために提供され、本開示で広く例示され記載される技法を限定するものと見なされるべきではない。説明の目的で、本開示では、ＨＥＶＣビデオコーディング規格および開発中のＪＥＭ、ＶＶＣ（ＩＴＵ－Ｔ Ｈ．２６６）ビデオコーディング規格などのビデオコーディング規格のコンテキストでビデオエンコーダ２００について説明する。しかしながら、本開示の技法は、これらのビデオコーディング規格に限定されず、一般的に、ビデオ符号化および復号に適用可能である。
[0080] 図３の例では、ビデオエンコーダ２００は、ビデオデータメモリ２３０と、モード選択ユニット（mode selection unit）２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、復号ピクチャバッファ（ＤＰＢ：decoded picture buffer）２１８と、エントロピー符号化ユニット２２０とを含む。ビデオデータメモリ２３０と、モード選択ユニット２０２と、残差生成ユニット２０４と、変換処理ユニット２０６と、量子化ユニット２０８と、逆量子化ユニット２１０と、逆変換処理ユニット２１２と、再構築ユニット２１４と、フィルタユニット２１６と、ＤＰＢ２１８と、エントロピー符号化ユニット２２０とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。たとえば、ビデオエンコーダ２００のユニットは、プロセッサ、ＡＳＩＣ、もしくはＦＰＧＡの一部を形成する１つまたは複数の回路または論理要素として実装され得る。その上、ビデオエンコーダ２００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
[0081] ビデオデータメモリ２３０は、ビデオエンコーダ２００の構成要素によって符号化されるべきビデオデータを記憶し得る。ビデオエンコーダ２００は、たとえば、ビデオソース１０４（図１）から、ビデオデータメモリ２３０に記憶されたビデオデータを受信し得る。ＤＰＢ２１８は、ビデオエンコーダ２００による後続のビデオデータの予測において使用する参照ビデオデータを記憶する参照ピクチャメモリとして働き得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ（登録商標））、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ビデオデータメモリ２３０とＤＰＢ２１８とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ビデオデータメモリ２３０は、図示のように、ビデオエンコーダ２００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0082] 本開示では、ビデオデータメモリ２３０への言及は、特にそのように説明されない限り、ビデオエンコーダ２００の内部のメモリに限定されるものとして解釈されるべきではなく、または特にそのように説明されない限り、ビデオエンコーダ２００の外部のメモリに限定されるものとして解釈されるべきではない。むしろ、ビデオデータメモリ２３０への言及は、ビデオエンコーダ２００が符号化のために受信するビデオデータ（たとえば、符号化されるべきである現在のブロックのビデオデータ）を記憶する参照メモリとして理解されたい。図１のメモリ１０６はまた、ビデオエンコーダ２００の様々なユニットからの出力の一時的記憶を提供し得る。
[0083] 図３の様々なユニットは、ビデオエンコーダ２００によって実行される動作を理解するのを支援するために示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。固定機能回路は、特定の機能を与える回路を指し、実行され得る動作に関してあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされ得る回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
[0084] ビデオエンコーダ２００は、プログラマブル回路から形成される論理演算装置（ＡＬＵ）、初等関数ユニット（ＥＦＵ）、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオエンコーダ２００の動作が、プログラマブル回路によって実行されるソフトウェアを使用して実行される例では、メモリ１０６（図１）は、ビデオエンコーダ２００が受信し実行するソフトウェアのオブジェクトコードを記憶し得るか、またはビデオエンコーダ２００内の別のメモリ（図示されず）が、そのような命令を記憶し得る。
[0085] ビデオデータメモリ２３０は、受信されたビデオデータを記憶するように構成される。ビデオエンコーダ２００は、ビデオデータメモリ２３０からビデオデータのピクチャを取り出し、残差生成ユニット２０４とモード選択ユニット２０２とにビデオデータを提供し得る。ビデオデータメモリ２３０中のビデオデータは、符号化されるべきである未加工のビデオデータであり得る。
[0086] モード選択ユニット２０２は、動き推定ユニット２２２と、動き補償ユニット２２４と、イントラ予測ユニット（intra-prediction unit）２２６とを含む。モード選択ユニット２０２は、他の予測モードに従ってビデオ予測を実行するために追加の機能ユニットを含み得る。例として、モード選択ユニット２０２は、パレットユニット、（動き推定ユニット２２２および／または動き補償ユニット２２４の一部であり得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。
[0087] モード選択ユニット２０２は、概して、符号化パラメータの組合せをテストするために複数の符号化パスを協調させ、そのような組合せのためのレートひずみ値を生じる。符号化パラメータは、ＣＵへのＣＴＵの区分、ＣＵのための予測モード、ＣＵの残差データのための変換タイプ、ＣＵの残差データのための量子化パラメータなどを含み得る。モード選択ユニット２０２は、他のテストされた組合せよりも良好であるレートひずみ値を有する符号化パラメータの組合せを最終的に選択し得る。
[0088] ビデオエンコーダ２００は、一連のＣＴＵにビデオデータメモリ２３０から取り出されたピクチャを区分し、スライス内の１つまたは複数のＣＴＵをカプセル化し得る。モード選択ユニット２０２は、上記で説明されたＨＥＶＣのＱＴＢＴ構造または４分木構造などのツリー構造に従ってピクチャのＣＴＵを区分し得る。上記で説明されたように、ビデオエンコーダ２００は、ツリー構造に従ってＣＴＵを区分することから１つまたは複数のＣＵを形成し得る。そのようなＣＴＵはまた、一般に「ビデオブロック」または「ブロック」と呼ばれることもある。
[0089] いくつかの例では、モード選択ユニット（mode selection unit）２０２は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するように構成され得る。この例では、モード選択ユニット２０２は、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するように構成され得る。モード選択ユニット２０２は、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するように構成され得る。このようにして、モード選択ユニット２０２は、ＹＵＶ４：２：０フォーマットとＹＵＶ４：４：４フォーマットとの両方のための重みのセットを使用し得、これは、異なるクロマフォーマットの処理を統一するのを助け得る。異なるクロマフォーマットの処理を統一することは、コーデック処理オーバーヘッド（codec processing overhead）を低減するのを助け得る。
[0090] ピクセルブレンディングを適用するために、モード選択ユニット２０２は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。加重平均を決定する例示的なプロセスについてさらなる詳細を以下に説明する（たとえば、図７Ａ～図７Ｃ参照）。
[0091] 概して、いくつかの例では、モード選択ユニット２０２はまた、現在のブロック（たとえば、現在のＣＵ、またはＨＥＶＣでは、ＰＵとＴＵとの重複する部分）についての予測ブロックを生成するように、それの構成要素（たとえば、動き推定ユニット２２２、動き補償ユニット２２４、およびイントラ予測ユニット２２６）を制御する。現在のブロックのインター予測のために、動き推定ユニット２２２は、１つまたは複数の参照ピクチャ（たとえば、ＤＰＢ２１８中に記憶された１つまたは複数の前にコードディングされたピクチャ）中の１つまたは複数の厳密に一致する参照ブロックを識別するために動き探索を実行し得る。特に、動き推定ユニット２２２は、たとえば、絶対値差分和（ＳＡＤ）、２乗差分和（ＳＳＤ）、平均絶対差（ＭＡＤ）、平均２乗差（ＭＳＤ）などに従って、潜在的な参照ブロックが現在のブロックに対してどのくらい類似しているかを表す値を計算し得る。動き推定ユニット２２２は、概して、現在のブロックと考慮されている参照ブロックとの間のサンプルごとの差分を使用してこれらの計算を実行し得る。動き推定ユニット２２２は、現在のブロックに最も厳密に一致する参照ブロックを示す、これらの計算から生じる最も低い値を有する参照ブロックを識別し得る。
[0092] 動き推定ユニット２２２は、現在のピクチャ中の現在のブロックの位置に対して参照ピクチャ中の参照ブロックの位置を定義する１つまたは複数の動きベクトル（ＭＶ）を形成し得る。動き推定ユニット２２２は、次いで、動き補償ユニット２２４に動きベクトルを与え得る。たとえば、単方向インター予測の場合、動き推定ユニット２２２は、単一の動きベクトルを与え得るが、双方向インター予測の場合、動き推定ユニット２２２は、２つの動きベクトルを与え得る。動き補償ユニット２２４は、次いで、動きベクトルを使用して予測ブロックを生成し得る。たとえば、動き補償ユニット２２４は、動きベクトルを使用して参照ブロックのデータを取り出し得る。別の例として、動きベクトルが分数サンプル精度（fractional sample precision）を有する場合、動き補償ユニット２２４は、１つまたは複数の補間フィルタに従って予測ブロックの値を補間し得る。さらに、双方向インター予測の場合、動き補償ユニット２２４は、それぞれの動きベクトルによって識別される２つの参照ブロックのためのデータを取り出し、たとえば、サンプルごとの平均化または加重平均化（weighted averaging）を通して取り出されたデータを組み合わせ得る。
[0093] 別の例として、イントラ予測、またはイントラ予測コーディングのために、イントラ予測ユニット２２６は、現在のブロックに隣接しているサンプルから予測ブロックを生成し得る。たとえば、方向性モードでは、イントラ予測ユニット２２６は、隣接サンプルの値を概して数学的に組み合わせ、現在のブロックにわたって規定の方向にこれらの計算された値をポピュレートして、予測ブロックを生成し得る。別の例として、ＤＣモードでは、イントラ予測ユニット２２６は、現在のブロックに対する隣接サンプルの平均を計算し、予測ブロックのサンプルごとにこの得られた平均を含むように予測ブロックを生成し得る。
[0094] イントラ予測ユニット２２６は、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。イントラ予測ユニット２２６は、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。イントラ参照サンプル平滑化が使用不能にされるとき、イントラ予測ユニット２２６は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。イントラ予測ユニット２２６は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。すなわち、たとえば、ＹＵＶ４：４：４フォーマットとＹＵＶ４：４：４フォーマットとの両方におけるクロマ成分の場合、イントラ予測ユニット２２６は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。このようにして、ビデオデータを符号化することおよび復号することの複雑性が、低減され得、これは、イントラ予測ユニット２２６がビデオデータをコーディングする（たとえば、エンコーダするまたは復号する）時間量を低減し、および／またはイントラ予測ユニット２２６の電力消費量を低減し得る。
[0095] クロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするための本明細書で説明される技法は、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するための本明細書で説明される技法と組み合わせてまたはそれとは別々に使用され得る。たとえば、イントラ予測ユニット２２６は、モード選択ユニット２０２がＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと組み合わせてピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。いくつかの例では、イントラ予測ユニット２２６は、組み合わせてピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得、モード選択ユニット２０２は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するのを控える。
[0096] モード選択ユニット２０２は、予測ブロックを残差生成ユニット２０４に提供する。残差生成ユニット２０４は、ビデオデータメモリ２３０から現在のブロックの未加工の、コーディングされていないバージョンを受信し、モード選択ユニット２０２から予測ブロックを受信する。残差生成ユニット２０４は、現在のブロックと予測ブロックとの間のサンプルごとの差分を計算する（calculate）。得られたサンプルごとの差分は、現在のブロックのための残差ブロックを定義する。いくつかの例では、残差生成ユニット２０４はまた、残差差分パルスコード変調（ＲＤＰＣＭ）を使用して残差ブロックを生成するために残差ブロック中のサンプル値の間の差分を決定し得る。いくつかの例では、残差生成ユニット２０４は、バイナリ減算を実行する１つまたは複数の減算器回路を使用して形成され得る。
[0097] モード選択ユニット２０２がＣＵをＰＵに区分する例では、各ＰＵは、ルーマ予測ユニットと対応するクロマ予測ユニットとに関連付けられ得る。ビデオエンコーダ２００とビデオデコーダ３００とは、様々なサイズを有するＰＵをサポートし得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指すことがあり、ＰＵのサイズは、ＰＵのルーマ予測ユニットのサイズを指すことがある。特定のＣＵのサイズが２Ｎ×２Ｎであると想定すると、ビデオエンコーダ２００は、イントラ予測について２Ｎ×２ＮまたはＮ×ＮというＰＵサイズと、インター予測について２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、または類似の対称的なＰＵサイズとをサポートし得る。ビデオエンコーダ２００とビデオデコーダ３００とはまた、インター予測のための２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２ＮというＰＵサイズに対して非対称の区分をサポートし得る。
[0098] モード選択ユニットがＣＵをＰＵにさらに区分しない例では、各ＣＵは、ルーマコーディングブロックと、対応するクロマコーディングブロックとに関連付けられ得る。上記のように、ＣＵのサイズは、ＣＵのルーマコーディングブロックのサイズを指し得る。ビデオエンコーダ２００とビデオデコーダ１２０とは、２Ｎ×２Ｎ、２Ｎ×Ｎ、またはＮ×２ＮのＣＵサイズをサポートし得る。
[0099] いくつかの例として、イントラブロックコピーモードコーディング、アフィンモードコーディング、および線形モデル（ＬＭ）モードコーディングなどの他のビデオコーディング技法の場合、モード選択ユニット２０２は、コーディング技法に関連するそれぞれのユニットを介して、符号化されている現在のブロックのための予測ブロックを生成する。パレットモードコーディングなど、いくつかの例では、モード選択ユニット２０２は、予測ブロックを生成せず、代わりに、選択されたパレットに基づいてブロックを再構築すべき様式を示すシンタックス要素を生成し得る。そのようなモードでは、モード選択ユニット２０２は、符号化されるためにこれらのシンタックス要素をエントロピー符号化ユニット２２０に提供し得る。
[0100] 上記で説明したように、残差生成ユニット２０４は、現在のブロックに対するビデオデータと、対応する予測ブロックとを受信する。残差生成ユニット２０４は、次いで、現在のブロックのための残差ブロックを生成する。残差ブロックを生成するために、残差生成ユニット２０４は、予測ブロックと現在のブロックとの間のサンプルごとの差分を計算する。
[0101] 変換処理ユニット２０６は、（本明細書では「変換係数ブロック」と呼ぶ）変換係数のブロックを生成するために残差ブロックに１つまたは複数の変換を適用する。変換処理ユニット２０６は、変換係数ブロックを形成するために、残差ブロックに様々な変換を適用し得る。たとえば、変換処理ユニット２０６は、離散コサイン変換（ＤＣＴ）、方向変換、カルーネンレーベ変換（ＫＬＴ）、または概念的に同様の変換を残差ブロックに適用し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに複数の変換、たとえば、回転変換など１次変換および２次変換を実行し得る。いくつかの例では、変換処理ユニット２０６は、残差ブロックに変換を適用しない。
[0102] 量子化ユニット２０８は、量子化変換係数ブロックを生成するために変換係数ブロック中の変換係数を量子化し得る。量子化ユニット２０８は、現在のブロックに関連する量子化パラメータ（ＱＰ）値に従って変換係数ブロックの変換係数を量子化し得る。ビデオエンコーダ２００は、（たとえば、モード選択ユニット２０２を介して）ＣＵに関連するＱＰ値を調整することによって現在のブロックに関連する変換係数ブロックに適用される量子化の程度を調整し得る。量子化は、情報の損失をもたらし得、したがって、量子化された変換係数は、変換処理ユニット２０６によって生成された元の変換係数よりも低い精度を有し得る。
[0103] 逆量子化ユニット２１０および逆変換処理ユニット２１２は、変換係数ブロックから残差ブロックを再構築するために、それぞれ、量子化変換係数ブロックに逆量子化および逆変換を適用し得る。再構築ユニット２１４は、再構築された残差ブロックとモード選択ユニット２０２によって生成された予測ブロックとに基づいて（潜在的にある程度のひずみを伴うが）現在のブロックに対応する再構築されたブロックを生成し得る。たとえば、再構築ユニット２１４は、再構築されたブロックを生成するために、モード選択ユニット２０２によって生成された予測ブロックからの対応するサンプルに、再構築された残差ブロックのサンプルを加算し得る。すなわち、たとえば、再構築ユニット２１４は、ビデオデータのブロックのためのフィルタ処理されていない再構築されたブロックを復号するために予測ブロックと残差ブロックとを組み合わせ得る。いくつかの例では、再構築ユニット２１４は、ＤＰＢ２１８にフィルタ処理されていない再構築されたブロックを記憶し得る。
[0104] フィルタユニット２１６は、再構築されたブロックに対して１つまたは複数のフィルタ動作（filter operation）を実行し得る。たとえば、フィルタユニット２１６は、ＣＵのエッジに沿ってブロッキネスアーティファクト（blockiness artifact）を低減するためのデブロッキング動作（deblocking operation）を実行し得る。フィルタユニット２１６の動作は、いくつかの例では、スキップされ得る。すなわち、たとえば、フィルタユニット２１６は、ビデオデータのブロックのためのフィルタ処理された再構築されたブロックを生成し得、ここにおいて、フィルタ処理された再構築されたブロックを生成することは、フィルタ処理されていない再構築されたブロックに対して１つまたは複数のフィルタ動作を実行することを備える。この例では、フィルタユニット２１６は、ＤＰＢ２１８にフィルタ処理された再構築されたブロックを記憶し得る。
[0105] ビデオエンコーダ２００は、ＤＰＢ２１８中に再構築されたブロックを記憶する。たとえば、フィルタユニット２１６の動作が必要とされない例において、再構築ユニット２１４は、再構築されたブロックをＤＰＢ２１８に記憶し得る。フィルタユニット２１６の動作が必要とされる例では、フィルタユニット２１６は、フィルタ処理された再構築されたブロックをＤＰＢ２１８に記憶し得る。動き推定ユニット２２２と動き補償ユニット２２４とは、後で符号化されるピクチャのブロックをインター予測するために、再構築（および潜在的にフィルタ処理）されたブロックから形成された参照ピクチャをＤＰＢ２１８から取り出し得る。加えて、イントラ予測ユニット２２６は、現在のピクチャ中の他のブロックをイントラ予測するために、現在のピクチャのＤＰＢ２１８中の再構築されたブロックを使用し得る。
[0106] 概して、エントロピー符号化ユニット２２０は、ビデオエンコーダ２００の他の機能構成要素から受信されたシンタックス要素をエントロピー符号化し得る。たとえば、エントロピー符号化ユニット２２０は、量子化ユニット２０８からの量子化された変換係数ブロックをエントロピー符号化し得る。別の例として、エントロピー符号化ユニット２２０は、モード選択ユニット２０２からの予測シンタックス要素（たとえば、インター予測のための動き情報またはイントラ予測のためのイントラモード情報）をエントロピー符号化し得る。エントロピー符号化ユニット２２０は、エントロピー符号化されたデータを生成するためにビデオデータの別の例であるシンタックス要素に対して１つまたは複数のエントロピー符号化動作を実行し得る。たとえば、エントロピー符号化ユニット２２０は、コンテキスト適応型可変長コーディング（ＣＡＶＬＣ）動作、ＣＡＢＡＣ動作、可変－可変（Ｖ２Ｖ：variable-to-variable）長コーディング動作、シンタックスベースコンテキスト適応型バイナリ算術コーディング（ＳＢＡＣ）動作、確率間隔区分エントロピー（ＰＩＰＥ）コーディング動作、指数ゴロム符号化動作、または別のタイプのエントロピー符号化動作をデータに対して実行し得る。いくつかの例では、エントロピー符号化ユニット２２０は、シンタックス要素がエントロピー符号化されないバイパスモードで動作し得る。
[0107] ビデオエンコーダ２００は、スライスまたはピクチャのブロックを再構築するために必要なエントロピー符号化されたシンタックス要素を含むビットストリーム（bitstream）を出力し得る。特に、エントロピー符号化ユニット２２０は、ビットストリームを出力し得る。
[0108] 上記で説明された動作について、ブロックに関して説明する。そのような説明は、ルーマコーディングブロックおよび／またはクロマコーディングブロックのための動作であるものとして理解されるべきである。上記で説明されたように、いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＣＵのルーマおよびクロマ成分である。いくつかの例では、ルーマコーディングブロックおよびクロマコーディングブロックは、ＰＵのルーマおよびクロマ成分である。
[0109] いくつかの例では、ルーマコーディングブロックに関して実行される動作は、クロマコーディングブロックのために繰り返される必要はない。一例として、ルーマコーディングブロックのための動きベクトル（ＭＶ：motion vector）と参照ピクチャとを識別する動作は、クロマブロックのためのＭＶと参照ピクチャとを識別するために繰り返される必要はない。むしろ、ルーマコーディングブロックのためのＭＶは、クロマブロックのためのＭＶを決定するためにスケーリングされ得、参照ピクチャは同じであり得る。別の例として、イントラ予測プロセスは、ルーマコーディングブロックとクロマコーディングブロックとに対して同じであり得る。
[0110] ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するように構成された１つまたは複数のプロセッサとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。この例では、ビデオエンコーダ２００は、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するように構成され得る。ビデオエンコーダ２００は、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するように構成され得る。したがって、ビデオエンコーダ２００は、ＹＵＶ４：２：０フォーマットとＹＵＶ４：４：４フォーマットとの両方のための重みのセットを使用し得、これは、異なるクロマフォーマットの処理を統一するのを助け得る。異なるクロマフォーマットの処理を統一することは、コーデック処理オーバーヘッドを低減するのを助け得る。ピクセルブレンディングを適用するために、ビデオエンコーダ２００は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。
[0111] いくつかの例では、ビデオエンコーダ２００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成された１つまたは複数のプロセッサとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。この例では、ビデオエンコーダ２００は、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。ビデオエンコーダ２００は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。すなわち、たとえば、ＹＵＶ４：４：４フォーマットとＹＵＶ４：４：４フォーマットとの両方におけるクロマ成分の場合、ビデオエンコーダ２００は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。このようにして、ビデオデータを符号化することおよび復号することの複雑性が、低減され得、これは、ビデオエンコーダ２００がビデオデータをコーディングする（たとえば、エンコーダするまたは復号する）時間量を低減し、および／またはビデオエンコーダ２００の電力消費量を低減し得る。クロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするための本明細書で説明される技法は、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するための本明細書で説明される技法と組み合わせてまたはそれとは別々に使用され得る。
[0112] 図４は、本開示の技法を実行し得る例示的なビデオデコーダ３００を示すブロック図である。図４は説明のために提供され、本開示で広く例示され記載される技法を限定するものではない。説明の目的で、本開示は、ビデオデコーダ３００についてＪＥＭ、ＶＶＣ（開発中のＩＴＵ－Ｔ Ｈ．２６６）、およびＨＥＶＣとの技法に従って説明されることを記載する。しかしながら、本開示の技法は、他のビデオコーディング規格に構成されたビデオコーディングデバイスによって実行され得る。
[0113] 図４の例では、ビデオデコーダ３００は、コード化ピクチャバッファ（ＣＰＢ：coded picture buffer）メモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット（prediction processing unit）３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、復号ピクチャバッファ（ＤＰＢ）３１４とを含む。ＣＰＢメモリ３２０と、エントロピー復号ユニット３０２と、予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２と、ＤＰＢ３１４とのいずれかまたはすべては、１つまたは複数のプロセッサ中にあるいは処理回路中に実装され得る。その上、ビデオデコーダ３００は、これらおよび他の機能を実行するための追加または代替のプロセッサまたは処理回路を含み得る。
[0114] 予測処理ユニット３０４は、動き補償ユニット３１６と、イントラ予測ユニット３１８とを含む。予測処理ユニット３０４は、他の予測モードに従って予測を実行するための追加ユニットを含み得る。例として、予測処理ユニット３０４は、パレットユニット、（動き補償ユニット３１８の一部を形成し得る）イントラブロックコピーユニット、アフィンユニット、線形モデル（ＬＭ）ユニットなどを含み得る。他の例では、ビデオデコーダ３００は、より多数の、より少数の、または異なる機能構成要素を含み得る。
[0115] ＣＰＢメモリ３２０は、ビデオデコーダ３００の構成要素によって復号されるべき、符号化ビデオビットストリームなどのビデオデータを記憶し得る。ＣＰＢメモリ３２０に記憶されたビデオデータは、たとえば、コンピュータ可読媒体１１０（図１）から取得され得る。ＣＰＢメモリ３２０は、符号化ビデオビットストリームからの符号化ビデオデータ（たとえば、シンタックス要素）を記憶するＣＰＢを含み得る。また、ＣＰＢメモリ３２０は、ビデオデコーダ３００の様々なユニットからの出力を表す一時データなど、コード化ピクチャのシンタックス要素以外のビデオデータを記憶し得る。ＤＰＢ３１４は、概して、ビデオデコーダ３００が符号化ビデオビットストリームの後続のデータまたはピクチャを復号するときに出力しおよび／または参照ビデオデータとして使用し得る復号ピクチャを記憶する。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同期ＤＲＡＭ（ＳＤＲＡＭ）を含むダイナミックランダムアクセスメモリ（ＤＲＡＭ）、磁気抵抗ＲＡＭ（ＭＲＡＭ）、抵抗性ＲＡＭ（ＲＲＡＭ）、または他のタイプのメモリデバイスなど、様々なメモリデバイスのいずれかによって形成され得る。ＣＰＢメモリ３２０とＤＰＢ３１４とは、同じメモリデバイスまたは別個のメモリデバイスによって提供され得る。様々な例では、ＣＰＢメモリ３２０は、ビデオデコーダ３００の他の構成要素とともにオンチップであるか、またはそれらの構成要素に対してオフチップであり得る。
[0116] 追加または代替として、いくつかの例では、ビデオデコーダ３００は、メモリ１２０（図１）からコード化ビデオデータを取り出し得る。すなわち、メモリ１２０は、ＣＰＢメモリ３２０を用いて上記で論じられたデータを記憶し得る。同様に、メモリ１２０は、ビデオデコーダ３００の機能の一部または全部が、ビデオデコーダ３００の処理回路によって実行されるべきソフトウェアにおいて実装されたとき、ビデオデコーダ３００によって実行されるべき命令を記憶し得る。
[0117] 図４に示されている様々なユニットは、ビデオデコーダ３００によって実行される動作を理解するのを支援するために図示されている。ユニットは、固定機能回路、プログラマブル回路、またはそれらの組合せとして実装され得る。図３と同様に、固定機能回路は、特定の機能を与える回路を指し、実行され得る動作にあらかじめ設定される。プログラマブル回路は、様々なタスクを実行するように、および実行され得る動作においてフレキシブルな機能を提供するようにプログラムされる回路を指す。たとえば、プログラマブル回路は、ソフトウェアまたはファームウェアの命令によって定義される様式でプログラマブル回路を動作させるソフトウェアまたはファームウェアを実行し得る。固定機能回路は、（たとえば、パラメータを受信するかまたはパラメータを出力するための）ソフトウェア命令を実行し得るが、固定機能回路が実行する動作のタイプは、概して不変である。いくつかの例では、ユニットのうちの１つまたは複数は、別個の回路ブロック（固定機能またはプログラマブル）であり得、いくつかの例では、１つまたは複数のユニットは、集積回路であり得る。
[0118] ビデオデコーダ３００は、プログラマブル回路から形成されるＡＬＵ、ＥＦＵ、デジタル回路、アナログ回路、および／またはプログラマブルコアを含み得る。ビデオデコーダ３００の動作がプログラマブル回路上で実行されるソフトウェアによって実行される例では、オンチップまたはオフチップメモリは、ビデオデコーダ３００が受信し、実行するソフトウェアの命令（たとえば、オブジェクトコード）を記憶し得る。
[0119] エントロピー復号ユニット３０２は、ＣＰＢから符号化されたビデオデータを受信し、シンタックス要素を再生するためにビデオデータをエントロピー復号し得る。予測処理ユニット３０４と、逆量子化ユニット３０６と、逆変換処理ユニット３０８と、再構築ユニット３１０と、フィルタユニット３１２とは、ビットストリームから抽出されたシンタックス要素に基づいて復号ビデオデータを生成し得る。
[0120] 概して、ビデオデコーダ３００は、ブロックごとにピクチャを再構築する。ビデオデコーダ３００は、各ブロックに対して再構築演算（reconstruction operation）を個々に実行し得る（ここで、現在再構築されているブロック、すなわち、現在復号されているブロックは、「現在のブロック（current block）」と呼ばれることがある）。
[0121] エントロピー復号ユニット３０２は、量子化変換係数ブロックの量子化された変換係数を定義するシンタックス要素ならびに量子化パラメータ（ＱＰ）および／または変換モード指示などの変換情報をエントロピー復号し得る。逆量子化ユニット３０６は、量子化の程度を決定するために、また同様に、逆量子化ユニット３０６が適用すべき逆量子化の程度を決定するために量子化変換係数ブロックに関連するＱＰを使用し得る。逆量子化ユニット３０６は、たとえば、量子化された変換係数を逆量子化するためにビット単位左シフト動作を実行し得る。逆量子化ユニット３０６は、それによって、変換係数を含む変換係数ブロックを形成し得る。
[0122] 逆量子化ユニット３０６が変換係数ブロックを形成した後に、逆変換処理ユニット３０８は、現在のブロックに関連する残差ブロックを生成するために変換係数ブロックに１つまたは複数の逆変換を適用し得る。たとえば、逆変換処理ユニット３０８は、逆ＤＣＴ、逆整数変換、逆カルーネンレーベ変換（ＫＬＴ）、逆回転変換、逆方向変換、または別の逆変換を係数ブロックに適用し得る。
[0123] さらに、予測処理ユニット３０４は、エントロピー復号ユニット３０２によってエントロピー復号された予測情報シンタックス要素に従って予測ブロックを生成する。たとえば、現在のブロックがインター予測されることを予測情報シンタックス要素が示す場合、動き補償ユニット３１６は予測ブロックを生成し得る。この場合、予測情報シンタックス要素は、参照ブロックをそこから取り出すためのＤＰＢ３１４の中の参照ピクチャ、ならびに現在のピクチャの中の現在のブロックのロケーションに対して、参照ピクチャの中の参照ブロックのロケーションを識別する、動きベクトルを示し得る。動き補償ユニット３１６は、概して、動き補償ユニット２２４（図３）に関して説明したのと実質的に類似の方法で、インター予測プロセスを実行し得る。
[0124] いくつかの例では、予測処理ユニット３０４は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するように構成され得る。この例では、予測処理ユニット３０４は、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するように構成され得る。予測処理ユニット３０４は、予測処理ユニット３０４が、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および予測処理ユニット３０４が、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するように構成され得る。このようにして、予測処理ユニット３０４は、ＹＵＶ４：２：０フォーマットとＹＵＶ４：４：４フォーマットとの両方のための重みのセットを使用し得、これは、異なるクロマフォーマットの処理を統一するのを助け得る。異なるクロマフォーマットの処理を統一することは、コーデック処理オーバーヘッドを低減するのを助け得る。
[0125] ピクセルブレンディングを適用するために、予測処理ユニット３０４は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。加重平均を決定する例示的なプロセスについてさらなる詳細を以下に説明する（たとえば、図７Ａ～図７Ｃ参照）。
[0126] 現在のブロックがイントラ予測されることを予測情報シンタックス要素が示す場合、イントラ予測ユニット３１８は、予測情報シンタックス要素によって示されるイントラ予測モードに従って予測ブロックを生成し得る。この場合も、イントラ予測ユニット３１８は、概して、イントラ予測ユニット２２６（図３）に関して説明された方式と実質的に同様である方式でイントラ予測プロセスを実行し得る。イントラ予測ユニット３１８は、ＤＰＢ３１４から、現在のブロックに対する隣接サンプルのデータを取り出し得る。
[0127] いくつかの例では、イントラ予測ユニット３１８は、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。この例では、イントラ予測ユニット３１８は、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。イントラ参照サンプル平滑化が使用不能にされるとき、イントラ予測ユニット３１８は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。イントラ予測ユニット３１８は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。すなわち、たとえば、ＹＵＶ４：４：４フォーマットとＹＵＶ４：４：４フォーマットとの両方におけるクロマ成分の場合、イントラ予測ユニット３１８は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。このようにして、ビデオデータを符号化することおよび復号することの複雑性が、低減され得、これは、イントラ予測ユニット３１８がビデオデータをコーディングする（たとえば、エンコーダするまたは復号する）時間量を低減し、および／またはイントラ予測ユニット３１８の電力消費量を低減し得る。
[0128] クロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするための本明細書で説明される技法は、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するための本明細書で説明される技法と組み合わせてまたはそれとは別々に使用され得る。たとえば、イントラ予測ユニット３１８は、予測処理ユニット（prediction processing unit）３０４がＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと組み合わせてピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。いくつかの例では、イントラ予測ユニット３１８は、組み合わせてピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得、予測処理ユニット３０４は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するのを控える。
[0129] 再構築ユニット３１０は、予測ブロックと残差ブロックとを使用して現在のブロックを再構築し得る。たとえば、再構築ユニット３１０は、現在のブロックを再構築するために予測ブロックの対応するサンプルに残差ブロックのサンプルを加算し得る。
[0130] フィルタユニット３１２は、再構築されたブロックに対して１つまたは複数のフィルタ動作を実行し得る。たとえば、フィルタユニット３１２は、再構築されたブロックのエッジに沿ってブロッキネスアーティファクトを低減するためのデブロッキング動作を実行し得る。フィルタユニット３１２の動作は、すべての例において必ずしも実行されるとは限らない。
[0131] ビデオデコーダ３００は、ＤＰＢ３１４中に再構築されたブロックを記憶し得る。上記で論じられたように、ＤＰＢ３１４は、イントラ予測のための現在のピクチャのサンプルおよび後続の動き補償のための以前に復号されたピクチャなど、参照情報を予測処理ユニット３０４に提供し得る。その上、ビデオデコーダ３００は、ＤＰＢからの復号ピクチャを、後続のプレゼンテーションのために、図１のディスプレイデバイス１１８などのディスプレイデバイス上に出力し得る。
[0132] いくつかの例では、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するように構成された１つまたは複数のプロセッサとを含む、ビデオデータを符号化するように構成されデバイスの一例を表す。この例では、ビデオデコーダ３００は、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するように構成され得る。ビデオデコーダ３００は、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するように構成され得る。したがって、ビデオデコーダ３００は、ＹＵＶ４：２：０フォーマットとＹＵＶ４：４：４フォーマットとの両方のための重みのセットを使用し得、これは、異なるクロマフォーマットの処理を統一するのを助け得る。異なるクロマフォーマットの処理を統一することは、コーデック処理オーバーヘッドを低減するのを助け得る。ピクセルブレンディングを適用するために、ビデオデコーダ３００は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、それぞれ、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。
[0133] いくつかの例では、ビデオデコーダ３００は、ビデオデータを記憶するように構成されたメモリと、回路中に実装され、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成された１つまたは複数のプロセッサとを含む、ビデオデータを符号化するように構成されたデバイスの一例を表す。この例では、ビデオデコーダ３００は、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。ビデオデコーダ３００は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。すなわち、たとえば、ＹＵＶ４：４：４フォーマットとＹＵＶ４：４：４フォーマットとの両方におけるクロマ成分の場合、ビデオデコーダ３００は、クロマサンプルのためにフィルタ処理されていない参照サンプルのみを使用し得る。このようにして、ビデオデータを復号することの複雑性が、低減され得、これは、ビデオデコーダ３００がビデオデータを復号する時間量を低減し、および／またはビデオデコーダ３００の電力消費量を低減し得る。クロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするための本明細書で説明される技法は、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するための本明細書で説明される技法と組み合わせてまたはそれとは別々に使用され得る。
[0134] 図５Ａは、本開示の技法による、インター予測に基づいてコーディングユニット（ＣＵ）４２９を第１の三角形状の区分４３３と第２の三角形状の区分４３５とに分割する第１の例を示す概念図である。図５Ａの例では、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、インター予測が使用可能であるときにおよび三角予測ユニットモードが使用可能であるときにコーディングユニット４２９を第１の三角形状の区分４３３と第２の三角形状の区分４３５とに分割し得る。三角予測ユニットモードの例は、たとえば、Ｊ．Ｃｈｅｎ、Ｙ．Ｙｅ、Ｓ．Ｋｉｍ、「Ａｌｇｏｒｉｔｈｍ ｄｅｓｃｒｉｐｔｉｏｎ ｆｏｒ Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ ａｎｄ Ｔｅｓｔ Ｍｏｄｅｌ ４（ＶＴＭ ４）」、ＩＴＵ－Ｔ ＳＧ１６ ＷＰ３とＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１とのＪｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅａｍ、ＪＶＥＴ－Ｍ１００２、２０１９年１月などにおいて見つけられ得る。たとえば、三角予測ユニットモードの使用可能化に基づいて、ビデオコーダは、ＣＵを２つの三角形状の区分に分割し得、区分の各々は、参照インデックスと単方向動きベクトルとを有する。ビデオコーダは、２つの動き補償区分を予測サンプルのブロックに組み合わせる（combine）ように構成され得、分割エッジのエッジに、ピクセルブレンディングが実行される。図５Ａの例では、第１の三角形状の区分４３３は、ＣＵ４２９の右上隅のサンプルを含み、第２の三角形状の区分４３５は、ＣＵ４２９の左下隅のサンプルを含む。
[0135] 言い換えれば、たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニット４２９を生成し得る。この例では、ビデオコーダは、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニット４２９を第１の三角形状の区分４３３と第２の三角形状の区分４３５とに分割し得る。
[0136] 図５Ｂは、本開示の技法による、インター予測に基づいてコーディングユニット４３１を第１の三角形状の区分４３４と第２の三角形状の区分４３６とに分割する第２の例を示す概念図である。
[0137] たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニット４３１を生成し得る。この例では、ビデオコーダは、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニット４３１を第１の三角形状の区分４３４と第２の三角形状の区分４３６とに分割し得る。図５Ｂの例では、第１の三角形状の区分４３３は、ＣＵ４２９の左上に構成される。図５５の例では、第１の三角形状の区分４３４は、ＣＵ４３１の左上隅のサンプルを含み、第２の三角形状の区分４３５は、ＣＵ４３１の右下隅のサンプルを含む。
[0138] 図６は、本開示の技法による、重みの１つのセットを用いたピクセルブレンディングを示す概念図である。ビデオコーダ（たとえば、ビデオエンコーダ２００および／またはビデオデコーダ３００）は、図６に示されているように、重みの１つのセットを用いて図６の例示的なピクセルブレンディングを実行するように構成され得る。ビデオコーダは、たとえば、２つの三角形の区分の動き情報に基づくコロケート動き補償ピクセルの加重平均化によってブレンディングエリア（blending area）中にピクセルを生成するように構成され得る。本明細書で使用するコロケートピクセルは、第２の区分（たとえば、第２の三角形状の区分）の第２のピクセルと同じピクセル位置に位置する第１の区分（たとえば、第１の三角形状の区分）の第１のピクセルを指すことがある。加重平均化については、図７Ａ～図７Ｃにおいてさらに説明される。
[0139] すなわち、たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ビデオデータのブロックのクロマ成分のための予測ブロックを生成するために重みのセットを使用してピクセルブレンディングを適用し得る。この例では、ピクセルブレンディングを適用するために、ビデオコーダは、重みのセットを使用して、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて、（「Ｐ1」として示される）第１の三角形状の区分と、（「Ｐ2」として示される）第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定し得る。
[0140] たとえば、図６に示されているように、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式１に従って各ピクセルのためのそれぞれの値Ｐを計算することによってルーマ成分のための予測ブロック５３７および／またはルーマ成分のための予測ブロック５３８の「２」とマークされたピクセルのためのピクセル値（pixel value）Ｐを決定し得る。
ここで、Ｐ1は、この例では「２」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第１のコロケート動き補償ピクセル（first collocated motion compensated pixel）の第１の参照ピクセル値（first reference pixel value）であり、ここで、Ｐ2は、この例では「２」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第２のコロケート動き補償ピクセル（second collocated motion compensated pixel）の第２の参照ピクセル値（second reference pixel value）である。
[0141] 図６にさらに示されているように、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式２に従って各ピクセルのためのそれぞれの値Ｐを計算することによってルーマ成分のための予測ブロック５３７および／またはルーマ成分のための予測ブロック５３８の「４」とマークされたピクセルのためのピクセル値Ｐを決定し得る。
ここで、Ｐ1は、この例では「４」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値であり、ここで、Ｐ2は、この例では「４」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である。
[0142] 図６にさらに示されているように、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式３に従って各ピクセルのためのそれぞれの値Ｐを計算することによってルーマ成分のための予測ブロック５３７および／またはルーマ成分のための予測ブロック５３８の「７」とマークされたピクセルのためのピクセル値Ｐを決定し得る。
ここで、Ｐ1は、この例では「７」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値であり、ここで、Ｐ2は、この例では「７」とマークされたそれぞれのピクセルとコロケートされた第１の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である。
[0143] 値「１」および「６」は、式１～３に対応する式を表す。すなわち、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式４に従って各ピクセルのためのそれぞれの値Ｐを計算することによってルーマ成分のための予測ブロック５３７および／またはルーマ成分のための予測ブロック５３８の「１」とマークされたピクセルのためのピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値であり、ここで、Ｐ2は、第１の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である。
[0144] ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式５に従って各ピクセルのためのそれぞれの値Ｐを計算することによってルーマ成分のための予測ブロック５３７および／またはルーマ成分のための予測ブロック５３８の「６」とマークされたピクセルのためのピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値であり、ここで、Ｐ2は、第１の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である。
[0145] 図６に示されている例が重みの例示的なセットのルーマのための｛７／８，６／８，４／８，２／８，１／８｝とクロマのための｛７／８，４／８，１／８｝とを示すが、他の例は異なる重みを使用し得る。たとえば、重みの２つのセットがあり得、各セットにおいて、クロマ重みとルーマ重みとが別々に定義され得る。
・ 第１のセット：ルーマのための｛７／８，６／８，４／８，２／８，１／８｝およびクロマのための｛７／８，４／８，１／８｝。
・ 第２のセット：ルーマのための｛７／８，６／８，５／８，４／８，３／８，２／８，１／８｝およびクロマのための｛６／８，４／８，２／８｝。
[0146] 重み値の第２のセット（たとえば、｛６／８，４／８，２／８｝）は、単に例示の目的のために図７Ａ～図７Ｃを参照しながら説明される。
[0147] 図７Ａは、本開示の技法による、図６のピクセルブレンディングのための第１の三角形状の区分６３９のさらなる詳細を示す概念図である。図示のように、第１の三角形状の区分６３９は、第１の三角形状の区分６３９のコロケート動き補償ピクセルＡ、ＢおよびＣを含む。たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、第１の三角形状の区分６３９のための動き情報（たとえば、単方向動きベクトル）を使用して第１の三角形状の区分６３９のコロケート動き補償ピクセルＡ、ＢおよびＣを生成し得る。この例では、ビデオコーダは、第１のピクセルグループ６４２中のピクセルに加重平均化を適用しないことがある。
[0148] 図７Ｂは、本開示の技法による、図６のピクセルブレンディングのための第２の三角形状の区分６４０のさらなる詳細を示す概念図である。図示のように、第２の三角形状の区分６４０は、第２の三角形状の区分６４０のコロケート動き補償ピクセルＡ、ＢおよびＣを含む。たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、第２の三角形状の区分６４０のための動き情報（たとえば、単方向動きベクトル）を使用して第２の三角形状の区分６４０のコロケート動き補償ピクセルＡ、ＢおよびＣを生成し得る。この例では、ビデオコーダは、第２のピクセルグループ６４３中のピクセルに加重平均化を適用しないことがある。
[0149] 図７Ｃは、本開示の技法による、図６のピクセルブレンディングを使用して形成されるブロック６４１のさらなる詳細を示す概念図である。この例では、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、第１の三角形状の区分６３９と第２の三角形状の区分６４０との動き情報に基づいて第１の三角形状の区分６３９と第２の三角形状の区分６４０とのコロケート動き補償ピクセルの加重平均を決定し得る。
[0150] 図７Ｃの例では、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、重み値の第２のセット（たとえば、クロマのための｛６／８，４／８，２／８｝）を使用し得る。たとえば、ビデオコーダは、式６に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ａ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ａ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ａ」）の第２の参照ピクセル値である。
[0151] ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式７に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ｂ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ｂ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ｂ」）の第２の参照ピクセル値である。
[0152] ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式８に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ｃ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ｃ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ｃ」）の第２の参照ピクセル値である。
[0153] いくつかの例では、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、重み値の第１のセット（たとえば、クロマのための｛７／８，４／８，１／８｝）を使用し得る。たとえば、ビデオコーダは、式９に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ａ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ａ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ａ」）の第２の参照ピクセル値である。
[0154] ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式１０に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ｂ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ｂ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ｂ」）の第２の参照ピクセル値である。
[0155] ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、式１１に従ってピクセル値Ｐを計算することによって予測ブロック６４１のピクセル「Ｃ」のピクセル値Ｐを決定し得る。
ここで、Ｐ1は、第１の三角形状の区分６３９の第１のコロケート動き補償ピクセル（たとえば、第１の三角形状の区分６３９図７Ａの「Ｃ」）の第１の参照ピクセル値である、およびここにおいて、Ｐ2は、第２の三角形状の区分６４０の第２のコロケート動き補償ピクセル（たとえば、図７Ｂの第２の三角形状の区分６４０の「Ｃ」）の第２の参照ピクセル値である。
[0156] いくつかのビデオコーダでは、ＹＵＶ４：４：４フォーマットを使用するときにルーマおよびクロマの重みが統一され得る。したがって、ビデオエンコーダ（たとえば、ビデオエンコーダ２００）がＹＵＶ４：４：４フォーマットでビデオ信号を符号化する場合、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、重みの各セットのクロマ部分を使用せず、ルーマエッジとクロマエッジとの両方に重みの各セットのルーマ部分を適用するように構成され得る。
[0157] ビデオコーデックでは、イントラ予測のために使用されるサンプルは、同じピクチャの再構築されたエリアから取得され得、取得されたサンプルは、予測信号の品質を改善するためにそれにいくつかのフィルタを適用することによって平滑化され得る。たとえば、ＨＥＶＣのイントラ参照サンプル平滑化の例示的な説明は、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ、第２２巻、第１２号、１７９２～１８０１ページ、２０１２年１２月のＪ．Ｌａｉｎｅｍａ、Ｆ．Ｂｏｓｓｅｎ、Ｗ．Ｈａｎ、Ｊ．ＭｉｎおよびＫ．Ｕｇｕｒ「Ｉｎｔｒａ Ｃｏｄｉｎｇ ｏｆ ｔｈｅ ＨＥＶＣ Ｓｔａｎｄａｒｄ」に見出すことができる。いくつかの例では、ビデオエンコーダ２００またはビデオデコーダ３００は、他のイントラ参照サンプル平滑化の例を使用するように構成され得る。
[0158] いくつかのＶＶＣ設計では、クロマフォーマットがＹＵＶ４：２：０であるとき、クロマ成分は、フィルタ処理されていない参照サンプルを常に使用することになる。しかしながら、ＹＵＶ４：４：４の場合、クロマ成分は、フィルタ処理された参照サンプルを使用すべきであるのかどうかを決定するためにルーマと同じルールの対象となる。言い換えれば、いくつかのＶＶＣ設計では、クロマ成分がＹＵＶ４：２：０フォーマットで生成されることになっているとき、ビデオエンコーダ２００またはビデオデコーダ３００は、クロマ成分を生成するためにフィルタ処理されていない参照サンプルを常に使用するように構成され得る。この例では、クロマ成分がＹＵＶ４：４：４フォーマットで生成されることになっているとき、ビデオエンコーダ２００またはビデオデコーダ３００は、クロマ成分を生成するためにフィルタ処理されていない参照サンプルを使用すべきかまたはフィルタ処理された参照サンプルを使用すべきかを決定するように構成され得る。
[0159] たとえば、ルーマサンプルを生成するためにイントラ参照サンプル平滑化を使用可能にする（enable）ことを決定することに応答して、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、フィルタ処理された参照サンプルを生成するためにフィルタ処理されていない参照サンプルに対して１つまたは複数のフィルタ動作を実行するように構成され得る。この例では、ビデオコーダは、イントラ予測を使用することによって、フィルタ処理された参照サンプルに基づいてピクチャのブロックのためのルーマサンプルを生成するように構成され得る。いくつかの例では、フィルタ処理されていない参照サンプルに対して１つまたは複数のフィルタ動作を実行することは、フィルタ処理されていない参照サンプルに対して１つまたは複数のデブロッキング動作を実行することを含み得る。
[0160] したがって、いくつかのＶＶＣ設計は、三角ＰＵモードで異なるクロマフォーマットを別様に扱い得、追加の複雑性がコーデック設計に導入される。同時に、ルーマ成分に対して定義される動作が、クロマ成分に対して定義される動作よりも複雑であり得る（たとえば、図６に示されているように、ルーマのためのブレンディングエリア（blending area）は３つのサンプルの幅を有するが、クロマについて、ブレンディングエリアは２つのサンプルである）。
[0161] 本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、異なるクロマフォーマットに対するクロマ成分の処理を統一するように構成され得る。たとえば、三角ＰＵモードの場合、ビデオコーダ（エンコーダ２００またはデコーダ３００）は、ＹＵＶ４：４：４フォーマットのクロマ成分のためにルーマ成分のための重みの代わりにＹＵＶ４：２：０のクロマ成分のための重みを使用するように構成され得る。現在のＶＶＣドラフトの例では、ＹＵＶ４：２：０フォーマットのクロマ成分のために設計された重みの２つのセットは、次の通りである。
１） ｛１，４，７｝
２） ｛２，４，６｝
[0162] この例では、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：４：４のクロマ成分とＹＵＶ４：２：０のクロマ成分とが同じであるように扱うように構成され得る。ビデオコーダは、ＹＵＶ４：４：４のクロマ成分に重みのこれらの２つのセットの組合せを適用するように構成され得る。たとえば、ビデオコーダは、重みのセット｛１，４，７｝、重みのセット｛２，４，６｝、または｛１，４，７｝と｛２，４，６｝との重みのセットを適用するように構成され得る。
[0163] 言い換えれば、たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ビデオコーダが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、およびビデオコーダが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、ビデオデータのブロックのクロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用し得る。この例では、ビデオコーダは、重みのセット｛１，４，７｝、重みのセット｛２，４，６｝、または｛１，４，７｝と｛２，４，６｝との重みのセットを適用するように構成され得る。
[0164] いくつかの例では、ピクセルブレンディングを適用することは、図６および図７Ａ～図７Ｃにおいて詳細に説明するように、加重平均を決定することを含む。たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成され得る。
[0165] 三角マージモード（triangle merge mode）のための加重サンプル予測プロセス（weighted sample prediction process）の一例は、次の通りである。
このプロセスへの入力は、以下の通りである。
－ 現在のコーディングブロックの幅と高さとを指定する２つの変数ｎＣｂＷおよびｎＣｂＨ、
－ ２つの（ｎＣｂＷ）×（ｎＣｂＨ）アレイｐｒｅｄＳａｍｐｌｅｓＬＡおよびｐｒｅｄＳａｍｐｌｅｓＬＢ、
－ 区分方向を指定する変数ｔｒｉａｎｇｌｅＤｉｒ、
－ 色成分インデックスを指定する変数ｃＩｄｘ。
このプロセスの出力は、予測サンプル値の（ｎＣｂＷ）×（ｎＣｂＨ）アレイｐｂＳａｍｐｌｅｓである。
変数ｎＣｂＲは、次のように導出される。
変数ｂｉｔＤｅｐｔｈは、次のように導出される。
－ ｃＩｄｘが０に等しい場合、ｂｉｔＤｅｐｔｈは、ＢｉｔＤｅｐｔｈYに等しく設定される。
－ そうでない場合、ｂｉｔＤｅｐｔｈは、ＢｉｔＤｅｐｔｈCに等しく設定される。
変数ｓｈｉｆｔ１およびｏｆｆｓｅｔ１は、次のように導出される。
－ 変数ｓｈｉｆｔ１は、Ｍａｘ（５，１７－ｂｉｔＤｅｐｔｈ）に等しくなるように設定される。
－ 変数ｏｆｆｓｅｔ１は１＜＜（ｓｈｉｆｔ１－１）に等しく設定される。
ｔｒｉａｎｇｌｅＤｉｒ、ｗＳおよびｃＩｄｘの値に応じて、ｘ＝０．．ｎＣｂＷ－１であり、ｙ＝０．．ｎＣｂＨ－１である予測サンプルｐｂＳａｍｐｌｅｓ［ｘ]［ｙ]は、次のように導出される。
－ 変数ｗＩｄｘは、次のように導出される。
－ ｃＩｄｘが０に等しく、ｔｒｉａｎｇｌｅＤｉｒが０に等しい場合、以下が適用される。
－ そうではなく、ｃＩｄｘが０に等しく、ｔｒｉａｎｇｌｅＤｉｒが１に等しい場合、以下が適用される。
－ そうではなく、ｃＩｄｘが０よりも大きく、ｔｒｉａｎｇｌｅＤｉｒが０に等しい場合、以下が適用される。
－ そうではなく（ｃＩｄｘが０よりも大きく、ｔｒｉａｎｇｌｅＤｉｒが１に等しい場合）、以下が適用される。
－ 予測サンプルの重みを指定する変数ｗＶａｌｕｅは、次のようにｗＩｄｘとｃＩｄｘとを使用して導出される。
－ 予測サンプル値は次のように導出される。
[0166] 上記の例では、ｃＩｄｘ＞０は、クロマを意味する。さらに、ｗＶａｌｕｅ＝ｃｌｉｐ３（０，８，ｗＩｄｘ＊２）は、クロマ成分のためのものである。したがって、それぞれ、ｗＩｄｘ＝０、１、２、３、４であるとき、ｗＶａｌｕｅ＝８、６、４、２、０となる。さらに、ｂｌｅｎｄｅｄ＿ｐｉｘｅｌ＝（ｗＶａｌｕｅ＊ｐｒｅｄＬＡ＋（８－ｍＶａｌｕｅ）＊ｐｒｅｄＬＢ）＞＞ｓｈｉｆｔである。したがって、クロマのために使用されるブレンディング重みは、０、２、４、６、８（たとえば、｛２，４，６｝）である。この例では、重み０または８は、２つのピクセルをブレンディングする代わりに１つの候補ピクセルをコピーすることを指すことがある。
[0167] いくつかの例では、イントラ予測の場合、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：４：４フォーマットのクロマ成分に対するイントラ参照サンプル平滑化の挙動をＹＵＶ４：２：０フォーマットのクロマ成分に対する挙動に整合させるように構成され得る。現在のＶＶＣドラフトでは、イントラ参照サンプル平滑化は、ＹＵＶ４：２：０のクロマ成分について使用不能にされている。いくつかの例によれば、ビデオエンコーダ２００および／またはビデオデコーダ３００は、ＹＵＶ４：４：４のクロマ成分のためのイントラ参照サンプル平滑化を使用不能にするように構成され得る。
[0168] 言い換えれば、たとえば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得するように構成され得る。この例では、ビデオコーダは、ＹＵＶ４：２：０フォーマットでのクロマサンプルとＹＵＶ４：４：４フォーマットでのクロマサンプルとのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にするように構成され得る。この例では、ビデオコーダは、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときとＹＵＶ４：４：４フォーマットでクロマ成分を生成するときとの両方にフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成するように構成され得る。
[0169] 図８は、現在のブロックを符号化するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを備え得る。ビデオエンコーダ２００（図１および図３）に関して説明されるが、他のデバイスが図８の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0170] この例では、ビデオエンコーダ２００は、最初に現在のブロックを予測する（７５０）。いくつかの例では、「現在のブロック」を、本明細書では単に「ブロック」と呼ぶことがある。たとえば、ビデオエンコーダ２００は、異なるクロマフォーマットのための統一重み情報（unified weight information）を使用して現在のブロックのための予測ブロックを形成し得る。いくつかの例では、ビデオエンコーダ２００は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成し得る。
[0171] ビデオエンコーダ２００は、次いで、現在のブロックのための残差ブロックを計算し得る（７５２）。残差ブロックを計算するために、ビデオエンコーダ２００は、元のコーディングされていないブロックと、現在のブロックについての予測ブロックとの間の差分を計算して、残差ブロックを生成し得る。ビデオエンコーダ２００は、次いで、残差ブロックの残差値を変換し、変換係数を量子化し得る（７５４）。次に、ビデオエンコーダ２００は、残差ブロックの量子化された変換係数を走査し得る（７５６）。走査の間、または走査に続いて、ビデオエンコーダ２００は、係数をエントロピー符号化し得る（７５８）。たとえば、ビデオエンコーダ２００は、ＣＡＶＬＣまたはＣＡＢＡＣを使用して係数を符号化し得る。ビデオエンコーダ２００は、次いで、ブロックのエントロピーコーディングされたデータを出力し得る（７６０）。
[0172] 図９は、本開示の技法による、ビデオデータの現在のブロックを復号するための例示的な方法を示すフローチャートである。現在のブロックは現在のＣＵを備え得る。ビデオデコーダ３００（図１および図４）に関して説明されるが、他のデバイスが図９の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0173] ビデオデコーダ３００は、エントロピーコーディングされた予測情報、および現在のブロックに対応する残差ブロックの係数についてのエントロピーコーディングされたデータなど、現在のブロックについてのエントロピーコーディングされたデータを受信し得る（８７０）。ビデオデコーダ３００は、現在ブロックに対する予測情報を決定し残差ブロックの係数を再生するために、エントロピーコーディングされたデータをエントロピー復号し得る（８７２）。
[0174] ビデオデコーダ３００は、現在のブロックを予測し得る（８７４）。たとえば、ビデオデコーダ３００は、現在のブロックのための予測ブロックを計算するために、たとえば、現在のブロックについての予測情報によって示されるイントラ予測またはインター予測モードを使用して、異なるクロマフォーマットについての統一重み情報を使用して現在のブロックを予測し得る。いくつかの例では、ビデオデコーダ３００は、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成し得る。
[0175] ビデオデコーダ３００は、次いで、量子化された変換係数のブロックを作成するために、再生された係数を逆走査し得る（８７６）。ビデオデコーダ３００は、次いで、残差ブロックを生成するために係数を逆量子化し、逆変換し得る（８７８）。ビデオデコーダ３００は、予測ブロックと残差ブロックとを組み合わせることによって、最終的に現在のブロックを復号し得る（８８０）。
[0176] 図１０は、本開示の技法による、ＹＵＶ４：２：０のための重みのセットを用いたビデオデータのブロックのためのクロマ成分のピクセルブレンディングのための例示的なプロセスを示すフローチャートである。ビデオエンコーダ２００（図１および図３）とビデオデコーダ３００（図１および図４）とに関して説明されるが、他のデバイスが図１０の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0177] 本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成し得る（９８２）。ビデオコーダは、三角予測ユニットモードの使用可能化に基づいてクロマ成分のためのコーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割し得る（９８４）。
[0178] ビデオコーダは、１つまたは複数のプロセッサが、ＹＵＶ４：２：０フォーマットでクロマ成分のためのコーディングユニットを生成するときに、および１つまたは複数のプロセッサが、ＹＵＶ４：４：４フォーマットでクロマ成分のためのコーディングユニットを生成するときに、クロマ成分のための予測ブロックを生成するためにＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用し得る（９８６）。いくつかの例では、ピクセルブレンディングを適用するために、ビデオコーダは、ＹＵＶ４：２：０フォーマットのための重みのセットを使用して、第１の三角形状の区分と第２の三角形状の区分との動き情報に基づいて第１の三角形状の区分と第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定し得る。
[0179] ビデオコーダがビデオデコーダ（たとえば、ビデオデコーダ３００）を備える例では、ビデオデコーダは、ビデオデータのブロックのための残差ブロックを復号し、クロマ成分のための予測ブロックと残差ブロックとを組み合わせて、ビデオデータのブロックを復号し得る。ビデオコーダがビデオエンコーダを備える例では、ビデオエンコーダは、ビデオデータのブロックと予測ブロックとの間の差分に基づいてビデオデータのブロックのための残差ブロックを生成し、残差ブロックを符号化し得る。
[0180] 図１１は、イントラ予測を使用して予測ブロックのクロマサンプルを生成するための例示的なプロセスを示すフローチャートである。ビデオエンコーダ３００（図１および図３）とビデオデコーダ３００（図１および図４）とに関して説明されるが、他のデバイスが図１１の方法と同様の方法を実行するように構成され得ることを理解されたい。
[0181] 本開示の技法によれば、ビデオコーダ（たとえば、ビデオエンコーダ２００またはビデオデコーダ３００）は、ピクチャのエリアのためのフィルタ処理されていない参照サンプルを取得し得る（１０９０）。いくつかの例では、ビデオコーダは、ＹＵＶ４：２：０フォーマットでのおよびＹＵＶ４：４：４フォーマットでのクロマサンプルのためのフィルタ処理されていない参照サンプルのイントラ参照サンプル平滑化を使用不能にし得る。ビデオコーダは、イントラ予測を使用することによって、ＹＵＶ４：２：０フォーマットでクロマ成分を生成するときにおよびＹＵＶ４：４：４フォーマットでクロマ成分を生成するときにフィルタ処理されていない参照サンプルに基づいてピクチャのブロックのための予測ブロックのクロマサンプルを生成し得る（１０９２）。
[0182] ビデオコーダがビデオデコーダ（たとえば、ビデオデコーダ３００）を備える例では、ビデオデコーダは、ビデオデータのブロックのための残差ブロックを復号し、クロマ成分のための予測ブロックと残差ブロックとを組み合わせて、ビデオデータのブロックを復号し得る。ビデオコーダがビデオエンコーダを備える例では、ビデオエンコーダは、ビデオデータのブロックと予測ブロックとの間の差分に基づいてビデオデータのブロックのための残差ブロックを生成し、残差ブロックを符号化し得る。
[0183] 本開示の例示的な例は、以下を含む。
[0184] 例１： ビデオデータを処理する方法であって、第１のクロマフォーマットについての重み情報を決定することと、第１のクロマフォーマットについての重み情報に対応するために第１のクロマフォーマットとは異なる第２のクロマフォーマットについての重み情報を決定することと、第１のクロマフォーマットについての重み情報に基づいて予測情報を生成することとを備える方法。
[0185] 例２： モードが三角予測ユニット（ＰＵ）モードであると決定すること、ここにおいて、第２のクロマフォーマットについての重み情報を決定することが、モードが三角ＰＵモードであると決定することに応答する、を備える、例１に記載の方法。
[0186] 例３． 第１のクロマフォーマットがＹＵＶ４：２：０である、ここにおいて、第２のクロマフォーマットは、ＹＵＶ４：４：４である、例１～２の任意の組合せに記載の方法。
[0187] 例４． 第１のクロマフォーマットについての重み情報が１）｛１，４，７｝と２）｛２，４，６｝とである、例３に記載の方法。
[0188] 例５． イントラ予測が適用されると決定することに応答して、ＹＵＶ４：２：０フォーマットに対するそれＹＵＶ４：４：４フォーマットのクロマ成分に対するイントラ参照サンプル平滑化の挙動を整合させることを備える、例１に記載の方法。
[0189] 例６． 整合させることが、ＹＵＶ４：２：０のクロマ成分のためのイントラ参照サンプル平滑化を使用不能にすることと、ＹＵＶ４：４：４のクロマ成分のためのイントラ参照サンプル平滑化を使用不能にすることとを備える、例５に記載の方法。
[0190] 例７． 処理することが復号することを備える、例１～６のいずれかに記載の方法。
[0191] 例８． 処理することが符号化することを備える、例１～６のいずれかに記載の方法。
[0192] 例９． ビデオデータをコーディングするためのデバイスであって、例１～６のいずれかに記載の方法を実行するための１つまたは複数の手段を備える、デバイス。
[0193] 例１０． １つまたは複数の手段は、回路中に実装された１つまたは複数のプロセッサを備える、例９に記載のデバイス。
[0194] 例１１． ビデオデータを記憶するためのメモリをさらに備える、例９および１０のいずれかに記載のデバイス。
[0195] 例１２． 復号されたビデオデータを表示するように構成されたディスプレイをさらに備える、例９～１１のいずれかに記載のデバイス。
[0196] 例１３． デバイスが、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、例９～１２のいずれかに記載のデバイス。
[0197] 例１４． デバイスがビデオデコーダを備える、例９～１３のいずれかに記載のデバイス。
[0198] 例１５． デバイスがビデオエンコーダを備える、例９～１４のいずれかに記載のデバイス。
[0199] 例１６． 実行されたとき、例１～６のいずれかに記載の方法を１つまたは複数のプロセッサに実行させる命令を記憶したコンピュータ可読記憶媒体。
[0200] 例に応じて、本明細書で説明した技法のいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行され得、追加、マージ、または完全に除外され得る（たとえば、説明したすべての行為またはイベントが本技法の実践のために必要であるとは限らない）ことを認識されたい。その上、いくつかの例では、行為またはイベントは、たとえば、マルチスレッドの処理、割込み処理、または多数のプロセッサを用いて、連続的ではなく同時に実行され得る。
[0201] １つまたは複数の例において、前述の機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体を含み得るか、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、（１）非一時的な有形コンピュータ可読記憶媒体、あるいは（２）信号または搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示において説明された技法の実装のための命令、コードおよび／またはデータ構造を取り出すために、１つまたは複数のコンピュータあるいは１つまたは複数のプロセッサによってアクセスされ得る、任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
[0202] 限定ではなく例として、そのようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、フラッシュメモリ、あるいは命令またはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体が、接続、搬送波、信号、または他の一時的媒体を含むのではなく、非一時的な有形の記憶媒体を対象とすることを理解されたい。本明細書において使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲に含めるべきである。
[0203] 命令は、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価な集積論理回路またはディスクリート論理回路などの、１つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」および「処理回路」という用語は、前述の構造、または本明細書において説明された技法の実装に好適な任意の他の構造のいずれかを指し得る。加えて、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用ハードウェアおよび／またはソフトウェアモジュール内に提供されるか、あるいは複合コーデックに組み込まれ得る。また、本技法は、１つまたは複数の回路または論理要素において十分に実装され得る。
[0204] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）またはＩＣのセット（たとえば、チップセット）を含む、多種多様なデバイスまたは装置において実装され得る。本開示では、開示される技法を実行するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが説明されるが、それらの構成要素、モジュール、またはユニットは、必ずしも異なるハードウェアユニットによる実現を必ずしも必要とするとは限らない。むしろ、上記で説明されたように、様々なユニットは、好適なソフトウェアおよび／またはファームウェアとともに、上記で説明された１つまたは複数のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わされるか、または相互動作ハードウェアユニットの集合によって提供され得る。
[0205] 様々な例について説明した。これらおよび他の例は添付の特許請求の範囲内に入る。
以下に本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオデータを処理する方法であって、
回路中に実装された１つまたは複数のプロセッサによって、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、
前記１つまたは複数のプロセッサによって、三角予測ユニットモードの使用可能化に基づいて前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、
前記１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記１つまたは複数のプロセッサによって、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用することと、ここにおいて、ピクセルブレンディングを適用することは、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定することを備える、
を備える、方法。
［Ｃ２］
加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
［Ｃ３］
加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
［Ｃ４］
加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
［Ｃ５］
加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
［Ｃ６］
加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
［Ｃ７］
前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックのための残差ブロックを復号することと、
前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックを復号するために前記予測ブロックと前記残差ブロックとを組み合わせることと
を備える、請求項１に記載の方法。
［Ｃ８］
前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックと前記予測ブロックとの間の差分に基づいてビデオデータの前記ブロックのための残差ブロックを生成することと、
前記１つまたは複数のプロセッサによって、前記残差ブロックを符号化することと
を備える、請求項１に記載の方法。
［Ｃ９］
ビデオデータを処理するためのデバイスであって、
ビデオデータを記憶するように構成されたメモリと、
回路中に実装された１つまたは複数のプロセッサと
を備え、前記１つまたは複数のプロセッサが、
ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、
三角予測ユニットモードの使用可能化に基づいて前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、
前記１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用することと、ここにおいて、ピクセルブレンディングを適用するために、前記１つまたは複数のプロセッサは、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成される、
を行うように構成された、デバイス。
［Ｃ１０］
加重平均を決定するために、前記１つまたは複数のプロセッサは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定するように構成される、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項９に記載のデバイス。
［Ｃ１１］
加重平均を決定するために、前記１つまたは複数のプロセッサは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定するように構成される、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項９に記載のデバイス。
［Ｃ１２］
加重平均を決定するために、前記１つまたは複数のプロセッサは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定するように構成される、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項９に記載のデバイス。
［Ｃ１３］
加重平均を決定するために、前記１つまたは複数のプロセッサは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定するように構成される、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項９に記載のデバイス。
［Ｃ１４］
加重平均を決定するために、前記１つまたは複数のプロセッサは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定するように構成される、
ここにおいて、Ｐ 1 は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ 2 は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項９に記載のデバイス。
［Ｃ１５］
前記１つまたは複数のプロセッサは、
ビデオデータの前記ブロックのための残差ブロックを復号することと、
ビデオデータの前記ブロックを復号するために前記予測ブロックと前記残差ブロックとを組み合わせることと
を行うようにさらに構成された、請求項９に記載のデバイス。
［Ｃ１６］
前記１つまたは複数のプロセッサは、
ビデオデータの前記ブロックと前記予測ブロックとの間の差分に基づいてビデオデータの前記ブロックのための残差ブロックを生成することと、
前記残差ブロックを符号化することと
を行うようにさらに構成された、請求項９に記載のデバイス。
［Ｃ１７］
前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項９に記載のデバイス。
［Ｃ１８］
命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、
ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、
三角予測ユニットモードの使用可能化に基づいて前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、
前記１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用することとを行わせ、ここにおいて、前記１つまたは複数のプロセッサに、ピクセルブレンディングを適用することを行わせる前記命令は、前記１つまたは複数のプロセッサに、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定することを行わせる、
コンピュータ可読記憶媒体。
［Ｃ１９］
ビデオデータをコーディングするためのデバイスであって、
ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成するための手段と、
三角予測ユニットモードの使用可能化に基づいて前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割するための手段と、
１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのための重みのセットを使用してピクセルブレンディングを適用するための手段と、ここにおいて、ピクセルブレンディングを適用するための前記手段は、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するための手段を備える、
を備える、デバイス。

Claims (14)

  1. ビデオデータを処理する方法であって、
    回路中に実装された１つまたは複数のプロセッサによって、ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、
    前記１つまたは複数のプロセッサによって、三角予測ユニットモードが使用可能であるときに前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、
    前記１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記１つまたは複数のプロセッサによって、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのクロマ成分のための重みのセットを使用してピクセルブレンディングを適用することと、ここにおいて、ピクセルブレンディングを適用することは、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定することを備える、
    を備える、方法。
  2. 加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
    ここにおいて、Ｐ1は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ2は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
  3. 加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
    ここにおいて、Ｐ1は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ2は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
  4. 加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
    ここにおいて、Ｐ1は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ2は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
  5. 加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
    ここにおいて、Ｐ1は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ2は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
  6. 加重平均を決定することは、以下を計算することによって前記予測ブロックのピクセル値Ｐを決定することを備える、
    ここにおいて、Ｐ1は、前記第１の三角形状の区分の第１のコロケート動き補償ピクセルの第１の参照ピクセル値である、およびここにおいて、Ｐ2は、前記第２の三角形状の区分の第２のコロケート動き補償ピクセルの第２の参照ピクセル値である、請求項１に記載の方法。
  7. 前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックのための残差ブロックを復号することと、
    前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックを復号するために前記予測ブロックと前記残差ブロックとを組み合わせることと
    を備える、請求項１に記載の方法。
  8. 前記１つまたは複数のプロセッサによって、ビデオデータの前記ブロックと前記予測ブロックとの間の差分に基づいてビデオデータの前記ブロックのための残差ブロックを生成することと、
    前記１つまたは複数のプロセッサによって、前記残差ブロックを符号化することと
    を備える、請求項１に記載の方法。
  9. ビデオデータを処理するためのデバイスであって、
    ビデオデータを記憶するように構成されたメモリと、
    回路中に実装された１つまたは複数のプロセッサと
    を備え、前記１つまたは複数のプロセッサが、
    ＹＵＶ４：４：４フォーマットでまたはＹＵＶ４：２：０フォーマットでビデオデータのブロックのクロマ成分のためのコーディングユニットを生成することと、
    三角予測ユニットモードが使用可能であるときに前記クロマ成分のための前記コーディングユニットを第１の三角形状の区分と第２の三角形状の区分とに分割することと、
    前記１つまたは複数のプロセッサが、前記ＹＵＶ４：２：０フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、および前記１つまたは複数のプロセッサが、前記ＹＵＶ４：４：４フォーマットで前記クロマ成分のための前記コーディングユニットを生成するときに、前記クロマ成分のための予測ブロックを生成するために前記ＹＵＶ４：２：０フォーマットのクロマ成分のための重みのセットを使用してピクセルブレンディングを適用することと、ここにおいて、ピクセルブレンディングを適用するために、前記１つまたは複数のプロセッサは、前記ＹＵＶ４：２：０フォーマットのための重みの前記セットを使用して、それぞれ、前記第１の三角形状の区分と前記第２の三角形状の区分との動き情報に基づいて前記第１の三角形状の区分と前記第２の三角形状の区分とのコロケート動き補償ピクセルの加重平均を決定するように構成される、
    を行うように構成された、デバイス。
  10. 加重平均を決定するために、前記１つまたは複数のプロセッサは、請求項２乃至６のいずれか一項に記載の方法を実行するように構成される、請求項９に記載のデバイス。
  11. 前記１つまたは複数のプロセッサは、
    ビデオデータの前記ブロックのための残差ブロックを復号することと、
    ビデオデータの前記ブロックを復号するために前記予測ブロックと前記残差ブロックとを組み合わせることと
    を行うようにさらに構成された、請求項９に記載のデバイス。
  12. 前記１つまたは複数のプロセッサは、
    ビデオデータの前記ブロックと前記予測ブロックとの間の差分に基づいてビデオデータの前記ブロックのための残差ブロックを生成することと、
    前記残差ブロックを符号化することと
    を行うようにさらに構成された、請求項９に記載のデバイス。
  13. 前記デバイスは、カメラ、コンピュータ、モバイルデバイス、ブロードキャスト受信機デバイス、またはセットトップボックスのうちの１つまたは複数を備える、請求項９に記載のデバイス。
  14. 命令を記憶したコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、１つまたは複数のプロセッサに、請求項１乃至８のいずれか一項に記載の方法を実行させる、コンピュータ可読記憶媒体。
JP2021553280A 2019-03-15 2020-02-26 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング Active JP7423647B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962819368P 2019-03-15 2019-03-15
US62/819,368 2019-03-15
US16/800,832 2020-02-25
US16/800,832 US11134251B2 (en) 2019-03-15 2020-02-25 Video coding in triangular prediction unit mode using different chroma formats
PCT/US2020/019945 WO2020190468A1 (en) 2019-03-15 2020-02-26 Video coding in triangular prediction unit mode using different chroma formats

Publications (3)

Publication Number Publication Date
JP2022524375A JP2022524375A (ja) 2022-05-02
JPWO2020190468A5 JPWO2020190468A5 (ja) 2023-02-09
JP7423647B2 true JP7423647B2 (ja) 2024-01-29

Family

ID=72423584

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021553281A Pending JP2022523851A (ja) 2019-03-15 2020-02-26 異なるクロマフォーマットを使用したフィルタ処理されていない参照サンプルを用いたビデオコーディング
JP2021553280A Active JP7423647B2 (ja) 2019-03-15 2020-02-26 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021553281A Pending JP2022523851A (ja) 2019-03-15 2020-02-26 異なるクロマフォーマットを使用したフィルタ処理されていない参照サンプルを用いたビデオコーディング

Country Status (9)

Country Link
US (2) US12022095B2 (ja)
EP (2) EP3939273A1 (ja)
JP (2) JP2022523851A (ja)
KR (2) KR20210134338A (ja)
CN (2) CN113924776A (ja)
BR (2) BR112021017487A2 (ja)
SG (2) SG11202108953XA (ja)
TW (1) TW202044833A (ja)
WO (2) WO2020190469A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016168305A1 (en) 2015-04-13 2016-10-20 Reald Inc. Wide angle imaging directional backlights
CN113852815B (zh) * 2018-12-25 2022-12-27 北京达佳互联信息技术有限公司 利用三角形形状预测单元的视频编码方法、设备及介质
US12022095B2 (en) 2019-03-15 2024-06-25 Qualcomm Incorporated Video coding with unfiltered reference samples using different chroma formats
CN113924778A (zh) * 2019-06-03 2022-01-11 北京字节跳动网络技术有限公司 具有三角形分割的帧内块复制
CN114303382A (zh) * 2019-09-01 2022-04-08 北京字节跳动网络技术有限公司 视频编解码中预测权重的对准
WO2021068923A1 (en) 2019-10-10 2021-04-15 Beijing Bytedance Network Technology Co., Ltd. Deblocking filtering improvements

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002102050A2 (en) * 2001-06-12 2002-12-19 Digital Interactive Streams, Inc. System and method for enhancing digital video
CN101360240B (zh) * 2001-09-14 2012-12-05 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
US8077969B2 (en) * 2005-12-30 2011-12-13 Telecom Italia S.P.A. Contour finding in segmentation of video sequences
KR102127401B1 (ko) * 2010-01-12 2020-06-26 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
EP2858367B1 (en) 2012-04-26 2018-12-05 Sony Corporation Predictive video coding with sub-pixel accuracy for different colour sampling formats
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
JP2015019257A (ja) * 2013-07-11 2015-01-29 三菱電機株式会社 カラー動画像符号化装置、カラー動画像復号装置、カラー動画像符号化方法及びカラー動画像復号方法
TWI816224B (zh) * 2015-06-08 2023-09-21 美商Ｖｉｄ衡器股份有限公司 視訊解碼或編碼方法及裝置
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
US11134259B2 (en) * 2016-01-15 2021-09-28 Interdigital Madison Patent Holdings, Sas System and method for enhanced motion compensation using adaptive filtering
CN109328461B (zh) * 2016-04-29 2023-09-05 世宗大学校产学协力团 视频信号编码/解码方法和设备
WO2018066984A1 (ko) * 2016-10-06 2018-04-12 김기백 영상 데이터 부호화/복호화 방법 및 장치
CN118413649A (zh) * 2017-11-28 2024-07-30 Lx 半导体科技有限公司 图像编码/解码设备、传输图像数据的设备和存储介质
GB2580326A (en) * 2018-12-28 2020-07-22 British Broadcasting Corp Video encoding and video decoding
US12022095B2 (en) 2019-03-15 2024-06-25 Qualcomm Incorporated Video coding with unfiltered reference samples using different chroma formats

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Fangdong Chen, et al.，"CE10-related: Simplified Triangle Prediction Unit Mode"，Document: JVET-M0328_v4, [online]，JVET-M0328 (version 6)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年01月16日，Pages 1-8，[令和5年12月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=5135> and <URL: https://jvet-experts.org/doc_end_user/documents/13_Marrakech/wg11/JVET-M0328-v6.zip>.，(See document file "JVET-M0328_v4.docx" in the zip "JVET-M0328-v6.zip".)
Hongtao Wang, et al.，"Modifications to support the YUV 4:4:4 chroma format"，Document: JVET-N0414-v3, [online]，JVET-N0414 (version 3)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2019年03月18日，Pages 1-6，[令和5年12月11日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6136> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0414-v3.zip>.，(See document file "JVET-N0414-v3.docx" in the zip file "JVET-N0414-v3.zip".)
Ru-Ling Liao, et al.，"CE10.3.1.b: Triangular prediction unit mode"，Document: JVET-L0124-v2, [online]，JVET-L0124 (version 2)，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，2018年10月05日，Pages 1-8，[令和5年11月3日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=4205> and <URL: https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0124-v2.zip>.，(See document file "JVET-L0124-v2.doc" in the zip file "JVET-L0124-v2.zip".)

Also Published As

Publication number Publication date
EP3939274A1 (en) 2022-01-19
WO2020190468A1 (en) 2020-09-24
BR112021017487A2 (pt) 2021-11-23
TW202044833A (zh) 2020-12-01
BR112021017485A2 (pt) 2021-11-23
US12022095B2 (en) 2024-06-25
CN113557723A (zh) 2021-10-26
JP2022523851A (ja) 2022-04-26
US20200296389A1 (en) 2020-09-17
SG11202108953XA (en) 2021-09-29
KR20210134338A (ko) 2021-11-09
CN113557723B (zh) 2024-08-30
US11134251B2 (en) 2021-09-28
JP2022524375A (ja) 2022-05-02
US20200296359A1 (en) 2020-09-17
WO2020190469A1 (en) 2020-09-24
CN113924776A (zh) 2022-01-11
KR20210135515A (ko) 2021-11-15
SG11202108954VA (en) 2021-09-29
EP3939273A1 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
US11025903B2 (en) Coding video data using derived chroma mode
US10944984B2 (en) Affine motion prediction
US20200296405A1 (en) Affine motion compensation refinement using optical flow
US11233988B2 (en) Reference picture resampling and inter-coding tools for video coding
US20230412844A1 (en) Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
US20210152841A1 (en) Cross-component adaptive loop filter in video coding
US20190246122A1 (en) Palette coding for video coding
US11206400B2 (en) Low-frequency non-separable transform (LFNST) simplifications
JP7423647B2 (ja) 異なるクロマフォーマットを使用した三角予測ユニットモードでのビデオコーディング
US11284114B2 (en) Adaptive loop filter set index signaling
CN111602395B (zh) 用于视频译码的量化组
US10897617B2 (en) Rounding of motion vectors for adaptive motion vector difference resolution and increased motion vector storage precision in video coding
JP2023544705A (ja) ビデオコーディング中の、ジョイント成分ニューラルネットワークベースのフィルタ処理
US20200260106A1 (en) Constrained affine motion inheritance for video coding
US11277618B2 (en) Increasing decoding throughput of intra-coded blocks
US20210084324A1 (en) Deblocking of subblock boundaries for affine motion compensated coding
US10999596B2 (en) Unification of affine motion field derivation and affine motion compensation
US11722692B2 (en) History-based motion vector predictor constraint for merge estimation region
US11457229B2 (en) LFNST signaling for chroma based on chroma transform skip
US20200112717A1 (en) Intra block copy prediction restrictions in video coding
JP2024501331A (ja) ビデオコーディング中にフィルタ処理するための複数のニューラルネットワークモデル
US11218735B2 (en) Context derivation for last position coding for video coding
US11863787B2 (en) Maximum allowed block size for BDPCM mode
US20240015312A1 (en) Neural network based filtering process for multiple color components in video coding

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20230104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240117

R150 Certificate of patent or registration of utility model

Ref document number: 7423647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150