JP2024513657A - ビデオエンコード及びデコードのためのテンプレートマッチング予測 - Google Patents

ビデオエンコード及びデコードのためのテンプレートマッチング予測 Download PDF

Info

Publication number
JP2024513657A
JP2024513657A JP2023553015A JP2023553015A JP2024513657A JP 2024513657 A JP2024513657 A JP 2024513657A JP 2023553015 A JP2023553015 A JP 2023553015A JP 2023553015 A JP2023553015 A JP 2023553015A JP 2024513657 A JP2024513657 A JP 2024513657A
Authority
JP
Japan
Prior art keywords
block
current block
template
current
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023553015A
Other languages
English (en)
Inventor
ナセル、カラム
レアンネック、ファブリース ル
プアリエール、タンジ
マルタン-コシェール、ゲール
Original Assignee
インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ filed Critical インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
Publication of JP2024513657A publication Critical patent/JP2024513657A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/57Motion estimation characterised by a search window with variable size or shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ビデオ情報を処理するための方法、装置、又はシステムが、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定することであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、予測ブロックに基づいて現在のブロックをデコード/エンコードすることと、を伴うことがある。【選択図】図13

Description

本開示は、ビデオ圧縮に関係する。
高い圧縮効率を実現するために、画像及びビデオのコーディング方式は、通常、ビデオコンテンツ内の空間冗長性及び時間冗長性を活用するために予測及び変換を採用している。概して、イントラ予測又はインター予測を使用して、イントラフレーム相関又はインターフレーム相関を活用する。しばしば予測誤差又は予測残差として示されている、元のピクチャブロックと予測されたピクチャブロックとの間の差は、変換され、量子化され、エントロピコード化される。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データをデコードする。
概して、実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴い、この方法又は装置は、本明細書で説明されるように決定された検索範囲に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することを含む。
実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴うことがあり、この方法又は装置は、ブロック寸法に関係なく、画素当たりの固定された数の比較を有するテンプレート検索に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することを含む。
実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴うことがあり、この方法又は装置は、ブロック寸法に関係なく、画素当たりの固定された数の比較を有するテンプレート検索に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することと、並列処理を実行できるように検索範囲を修正することと、を含む。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをデコードすることと、を含む装置を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定することであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、予測ブロックに基づいて現在のブロックをデコードすることと、を含む方法を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをエンコードすることと、を含む装置を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをエンコードすることと、を含む方法を伴うことがある。
少なくとも1つの実施形態の別の汎用態様によれば、復号する実施形態のいずれかによる装置と、(i)信号を受信するように構成されたアンテナであって、信号がビデオブロックを含む、アンテナ、(ii)受信された信号を、ビデオブロックを含む周波数帯域に制限するように構成されたバンドリミッタ、又は(iii)ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも1つと、を備えるデバイス、が提供される。
少なくとも1つの実施形態の別の汎用態様により、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含む非一時的コンピュータ可読媒体を提供する。
少なくとも1つの実施形態の別の一般的な態様によれば、プロセッサによって実行されたときに、本明細書で説明される方法の1つ以上の実施形態を実装するのに好適なプログラム命令を記憶するコンピュータプログラム製品が提供される。
少なくとも1つの実施形態の別の汎用態様によれば、説明した符号化実施形態又は変形形態のいずれかに従って生成されたビデオデータを含む信号が提供される。
少なくとも1つの実施形態の別の汎用態様によれば、記載される復号する実施形態又は変形形態のうちのいずれかに従って生成されるデータコンテンツを含むようにビットストリームをフォーマットする。
以下は、本開示のいくつかの態様の基本的な理解を提供するために、本実施形態の簡略化された概要を提示する。この概要は、本内容の広範な概観ではない。実施形態の主要な/重要な要素を特定すること、又は主題の範囲を線引きすることは意図されていない。以下の概要は、以下に提供されるより詳細な説明の前置きとして簡略化された形態で、本原理のいくつかの態様を単に提示するに過ぎない。
本開示は、添付の図面と併せて以下の詳細な説明を考慮することによって、より良く理解され得る。
本明細書で説明される様々な態様、特徴、及び実施形態を実装するのに好適なエンコーダ、例えばビデオエンコーダの実施形態の一例をブロック図の形で示す図である。 本明細書で説明される様々な態様、特徴、及び実施形態を実装するのに好適なデコーダ、例えばビデオデコーダの実施形態の一例をブロック図の形で示す図である。 多用途ビデオコーディング(Versatile Video Coding、VVC)などでのイントラ予測モードを示す図である。 テンプレートマッチング予測(template matching prediction、TMP)の一例を示す図である。 ビデオコーディングにおける波面並列処理(wave-front parallel processing、WPP)などの並列処理の一例を示す図である。 概して、単一の検索領域を有するTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 概して、複数の検索領域を有するTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 概して、比較的小さい検索範囲(ここでは、現在のコーディング・ツリー・ユニット(CTU)内の全ての画素が使用され得るわけではない)を有するTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 概して、波面並列処理(WPP)を有するTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 独立したCTUラインデコードが可能になるように、概して、現在のCTUラインに限定された検索範囲を有デコードするTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 概して、CTUラインを超える場合に無視される上のテンプレートを有するTMPを伴うことがある少なくとも1つの実施形態の一例を示す図である。 本開示の1つ以上の実施形態、態様、又は特徴を実装するのに好適な装置若しくはデバイス又はシステムの実施形態の一例をブロック図形式で示す図である。 本開示による少なくとも1つの実施形態の一例を示す図である。 本開示による少なくとも1つの実施形態の一例を示す図である。 本開示による少なくとも1つの実施形態の一例を示す図である。
図面は、本開示による様々な態様、特徴、及び実施形態の例を示すためのものであり、必ずしも唯一の可能な構成ではないことを理解されたい。様々な図を通して、同様の参照符号は、同一又は類似の特徴を指す。
以下でより詳細に説明するように、ビデオコーデックは、イントラ予測処理モードを伴うことがある。イントラ予測の一例は、テンプレートマッチング予測プロセスを採用することができる。テンプレートマッチング予測は、特定の領域におけるテンプレート検索に基づくことができる。本明細書で説明される実施形態の少なくとも1つの例は、画素当たりの固定された数の比較を有するテンプレートマッチング予測を伴うことがある。画素当たりの固定された数の比較は、ブロック寸法に関係なく行うことができる。少なくとも1つの他の実施形態では、テンプレートマッチング予測は、ブロック寸法に関係なく固定された数の比較と、並列処理を実行できるように検索範囲を修正することと、を伴うことがある。
ビデオコーディングへの取り組みの一例は、高効率ビデオコーディング(High Efficiency Video Coding、HEVC)によって提供されるものである。ビデオ圧縮技術へのより最近の追加は、多用途ビデオコーディングVVC)として知られる新しいビデオコーディング規格の開発の一部として共同ビデオ探索チーム(Joint Video Exploration Team、JVET)によって開発されている共同探索モデル(Joint Exploration Model、JEM)として知られる様々なバージョンの参照ソフトウェア及び/又は文書化を含む。JEMの目的は、既存の高効率ビデオコーディング(HEVC)規格に対する更なる改善、例えば、コーディング効率の向上、複雑さの低減などを行うことである。
説明を容易にするために、本明細書で説明される特徴の実施形態及び/又は実施例の1つ以上の態様及び/又は例を、VVCなどの特定の規格との関連で説明してもよい。しかしながら、VVC又は任意の他の特定の規格への言及は、本明細書で説明される様々な実施形態及び特徴の潜在的な適用の範囲を限定することを意図するものではなく、限定するものでもない。
さて、図に目を向けると、図1は、高効率ビデオコーディング(HEVC)エンコーダなどのビデオエンコーダ100の一例を示す。このエンコーダ100の変形例が考えられる。しかしながら、明確にするために、エンコーダ100は、全ての予想される変形を説明することなく以下で説明される。例えば、図1は又、HEVC規格に対して改良が行われたエンコーダ、又はHEVCに類似する技術を採用したエンコーダ、例えば、多用途ビデオコーディング(VVC)として知られる新しいビデオコーディング規格の開発の一部として共同ビデオ探索チーム(JVET)によって開発中の共同探索モデル(JEM)エンコーダを示してもよい。
符号化される前に、ビデオシーケンスは、符号化前処理(101)、例えば、カラー変換を入力カラーピクチャに適用すること(例えば、RGB4:4:4からYCbCr4:2:0への変換)、又は圧縮に対してより弾力的な信号分布を得るために入力ピクチャ成分の再マッピングを実行する(例えば、色成分のうちの1つのヒストグラム等化を使用して)ことを経ることができる。メタデータを前処理に関連付け、ビットストリームに付加することができる。
HEVCでは、1つ以上のピクチャを有するビデオシーケンスをエンコードするために、1つのピクチャが1つ以上のスライスに区分化され(102)、各スライスは1つ以上のスライスセグメントを含むことができる。スライスセグメントは、コーディングユニット、予測ユニット、及び変換ユニットへ系統立てられる。HEVC仕様は、「ブロック」と「ユニット」とを区別し、「ブロック」は、サンプルアレイの具体的な区域(例えば、ルーマ、Y)を対象とし、「ユニット」は、全てのエンコードされた色成分(Y、Cb、Cr、又はモノクロ)、シンタックス要素、及びブロックに関連付けられた予測データ(例えば、動きベクトル)のコロケートされたブロックを含む。
HEVCにおけるコーディングのために、ピクチャは、構成可能なサイズを有する正方形のコーディング・ツリー・ブロック(coding tree block、CTB)に区分化され、連続する一セットのコーディング・ツリー・ブロックがスライスにグループ化される。コーディング・ツリー・ユニット(CTU)は、エンコードされた色成分のCTBを含む。CTBは、コーディングブロック(Coding Block、CB)への四分木区分化の根であり、コーディングブロックは、1つ以上の予測ブロック(Prediction Block、PB)へと区分化されてもよく、変換ブロック(Transform Block、TB)への四分木区分化の根を形成する。コーディングブロック、予測ブロック、及び変換ブロックに対応して、コーディングユニット(CU)は、予測ユニット(Prediction Unit、PU)、及び木構造セットの変換ユニット(Transform Unit、TU)を含み、PUは、全ての色成分についての予測情報を含み、TUは、各色成分についての残差コーディングシンタックス構造を含む。ルーマ成分のCB、PB及びTBのサイズは、対応するCU、PU及びTUに適用される。コーディングユニット(CU)、予測ユニット(PU)及び変換ユニット(TU)への、HEVCにおけるコーディング・ツリー・ユニット(CTU)の分割の説明図が図3に示されている。
JEMでは、四分木プラス二分木(Quadtree plus Binary Tree、QTBT)構造が、HEVCにおける複数のパーティションタイプの概念を取り除いている、すなわち、CU、PU及びTU概念の区別を取り除いている。コーディング・ツリー・ユニット(CTU)は、最初に四分木構造によって区分化される。四分木の葉ノードは、二分木構造によって更に区分化される。二分木の葉ノードは、コーディングユニット(CU)と呼ばれ、更なる区分化なしに予測及び変換のために使用される。したがって、CU、PU及びTUは、新しいコーディングQTBTブロック構造において同じブロックサイズを有する。JEMでは、CUは、異なる色成分のブロック、すなわち、コーディングブロック(CB)からなる。
本出願では、「ブロック」という用語を、例えば、CTU、CU、PU、TU、CB、PB及びTBのいずれかを指すために使用することができる。加えて、「ブロック」を、H.264/AVC又はその他のビデオコーディング規格で指定されているようなマクロブロック及びパーティションを指すためにも使用することができ、より広くは、様々なサイズのデータのアレイを指すためにも使用することができる。
エンコーダ100では、以下に記載のように、ピクチャは、エンコーダ要素によって符号化される。符号化されるピクチャは、例えば、CUという単位に分割され(102)、処理される。各ユニットは、例えば、イントラモード又はインターモードのいずれかを使用して符号化される。ユニットがイントラモードで符号化されるとき、そのユニットは、イントラ予測(160)を実行する。インターモードでは、動き推定(175)及び動き補償(170)が実行される。エンコーダは、ユニットを符号化するためにイントラモード又はインターモードのうちのどちらを使用すべきかを決定し(105)、例えば、予測モードフラグによってイントラ/インターの決定を示す。予測残差は、例えば、原画像ブロックから予測されたブロックを減算することによって(110)計算される。
その予測残差は、次いで、変換され(125)、量子化される(130)。量子化された変換係数、並びに動きベクトル及び他のシンタックス要素は、ビットストリームを出力するためにエントロピコード化される(145)。エンコーダは、変換をスキップし、量子化を非変換残差信号に直接適用することができる。エンコーダは、変換及び量子化の両方をバイパスすることができ、すなわち、残差は、変換プロセス又は量子化プロセスを適用することなく直接符号化される。
エンコーダは、符号化されたブロックを復号化して、更なる予測のための参照を提供する。量子化された変換係数は、予測残差を復号化するために逆量子化され(140)、逆変換される(150)。復号化された予測残差と予測ブロックとを組み合わせて(155)、画像ブロックが再構成される。ループ内フィルタ(165)は、例えば、符号化アーチファクトを低減するための非ブロック化/サンプル適応オフセット(Sample Adaptive Offset、SAO)フィルタリングを実行するために、再構成されたピクチャに適用される。フィルタリングされた画像は、参照ピクチャバッファ(180)に記憶される。
図2は、ビデオデコーダ200のブロック図を示している。デコーダ200では、以下に説明する通り、ビットストリームが、デコーダ要素によって復号化される。ビデオデコーダ200は、概して、図1で説明したようなエンコードパスとは相反するデコードパスを実行する。エンコーダ100も又、概して、ビデオデータを符号化することの一部としてビデオ復号化を実行する。
特に、デコーダの入力は、ビデオビットストリームを含み、これを、ビデオエンコーダ100によって生成することができる。ビットストリームは、最初に、変換係数、動きベクトル、及び他の符号化情報を取得するために、エントロピ復号化される(230)。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。デコーダは、したがって、復号化されたピクチャ分割情報に従ってピクチャを分割し得る(235)。変換係数は、予測残差を復号化するために、逆量子化され(240)、逆変換される(250)。デコードされた予測残差と予測されたブロックとを組み合わせて(255)、画像ブロックが再構成される。イントラ予測(260)又は動き補償予測(すなわち、インター予測)(275)から、予測ブロックを得ることができる(270)。ループ内フィルタ(265)は、再構成された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ(280)に記憶される。
復号化されたピクチャは、復号化後処理(285)、例えば、逆カラー変換(例えば、YCbCr4:2:0からRGB4:4:4への変換)、又は符号化前処理(101)において実行された再マッピングプロセスの逆を実行する逆再マッピングを更に経ることができる。復号化後処理は、符号化前処理において導出され、ビットストリームにおいてシグナリングされたメタデータを使用することができる。
上述したように、HEVCビデオ圧縮規格では、ピクチャは、いわゆるコーディング・ツリー・ユニット(CTU)に分割され、各CTUは、圧縮された領域でのコーディングユニット(CU)によって表される。次いで、それぞれのCUは、いくつかのイントラ又はインター予測パラメータ(予測情報)を与えられる。そうするために、それは1つ以上の予測ユニット(PU)に空間的に区分化されており、各PUには、いくつかの予測情報が割り当てられている。イントラ又はインターコーディングモードは、CUレベルに割り当てられる。イントラ予測又はインター予測を使用して、イントラフレーム相関又はインターフレーム相関を活用する。しばしば予測誤差又は予測残差として示される、元のブロックと予測されたブロックとの間の差を、変換ブロック(TB)において変換し、量子化し、エントロピコード化する。ビデオを再構成するには、エントロピコーディング、量子化、変換、及び予測に対応する逆プロセスによって、圧縮データを復号化する。
イントラピクチャ予測は、画像及びビデオ圧縮の基本部分である。旧来より、予測信号は、現在のブロック又はコーディングユニットの左側及び/又は上側のL字型の再構成された画素(参照サンプル)によって又はそれから生成される。イントラ予測中に、参照サンプルは、種々の角度に沿ってそれらを仮定することに基づいて取得される。このメカニズムは角度予測として知られている。VVCなどのビデオコーデックは、図3に示されるように、63個の角度並びにDC予測及び平面予測を含む65個のイントラ予測モードを提供する。
VVCにおける従来のイントラ予測は、複数のツールで強化される。
-成分間線形モデル(cross-component linear model、CCLM):クロマ予測ブロックが、ルーマ再構成されたサンプルの線形モデルによって生成される。
-マルチ参照ライン予測(multi reference line prediction、MRL):より多くの参照サンプルを使用して予測ブロックを生成する。
-イントラサブ区分化(intra sub-partitioning、ISP):予測ブロックは、同じ予測モードを共有する4つのサブブロックに分離される。
-マトリックス加重イントラ予測(matrix weighted intra prediction、MIP):予測ブロックは、参照サンプルにいくつかのオフライン最適化予測マトリックスを乗算することによって生成される。
-イントラブロックコピー(intra block copy、IBC):予測ブロックは、既に再構成された画像部分から別のブロックをコピーすることによって生成され、変位ベクトルは、ビットストリームにおいて信号伝送される。
残差ブロックは、コア変換DCT-II、又は多重変換選択(multiple transform selection、MTS)として知られる、DST-VIIとDCT-VIIIとの組み合わせの別のモードで変換される。変換されたブロックは、残差ブロックを更に圧縮するために、二次非分離可能変換を用いて更に変換され得る。このプロセスは、低周波非分離可能変換(low-frequency non-separable transform、LFNST)と呼ばれる。
テンプレートマッチング予測(TMP)は、VVCに含まれない更に別の強力なイントラ予測モードである。これは、予測のための1つ以上の対象ブロック又は候補ブロックを見つけるために、1つ以上の類似のL字型近傍(「テンプレート」と呼ばれる)を検索することによって実行される。これは図4に示されている。TMPが使用される場合、現在のテンプレートは、再構成されたL字型近傍によって形成される。現在のテンプレートとの差が小さい類似のテンプレートが見出される。これらのテンプレートに属するブロック(対象ブロック)を使用し、それらを平均化するか、又は最小のテンプレート差を有するもののみを考慮するかのいずれかによって、予測信号を生成する。
TMPをVVCなどのビデオコーデックに統合するには、既存のイントラツールとの適切な相互運用性が必要になる。すなわち、
-ISP、MIP及びMRLとの相互作用
-変換ツール(MTS及びLFNST、implicit MTS)との相互作用
-インター及びイントラ複合予測(combined inter and-intra prediction、CIIP)との相互作用
概して、本明細書で説明される実施形態の少なくとも1つの例は、これらの相互作用に対処し、このモードを可能にすると共に、例えば、VVCの後続のプロファイルに又は新しいコーデックに、許容可能な複雑さ/レート歪み(ate distortion、RD)性能トレードオフを提供する。
TPMを実装することに関連し得る1つの問題は、画素当たりの比較の数から生じる。所与の検索範囲について、小さいブロックに対する比較の数は、大きいブロックに対する比較の数よりもはるかに多い。このことにより、小さなブロックに対する複雑さが増加し、コーディングプロセスのボトルネックになり得る。
並列処理を許可しないテンプレート検索をTMPが実行し得ることも、別の問題になり得る。すなわち、波面並列処理(WPP)では、CTUのデコードプロセスが右最上のCTU以降のCTUから独立している必要がある。これは図5に示されている。すなわち、所与のCTUラインデコード(図5における「スレッド」)内の各CTUは、前のスレッド/ラインデコードの右最上のCTUがデコードされている場合には、デコードされ得る。これにより、検索範囲は再構成された部分内に限定されることになる。
概して、本明細書に説明される実施形態の少なくとも1つの例は、以下のことを伴うことがある。
-ブロックサイズから独立して、又はブロックサイズとは関係なく、画素当たりのいくらかの数の比較、例えば、画素当たりの固定された数又は最大数の比較を定義すること、及び/又は
-並列処理が実行され得るように検索範囲を定義すること、例えば、検索範囲を再構成されたフレーム部分に限定すること。
固定された数の比較又は最大数の比較など、画素当たりのいくらかの数の比較を伴う実施形態の一例は、単一の検索領域を提供することができる。一例として、検索範囲を、単一の領域内とすることができ、又は単一の領域に限定することもできる。実施形態の一例は、現在のブロック(CU/PU)の左最上に位置する単一の検索領域を伴うことがある。これにより、現在のCTU内でデコードされていない画素へのアクセスの回避が提供される。この検索領域が、図6に示されている。
実施形態の一例では、検索区域に基づいて、又はそれに対応して、いくらかの数の比較を決定することができる。例えば、幅「search_w」及び高さ「search_h」の検索区域に対して、search_w x search_の比較を行って、最も一致するブロックを選択する。すなわち、説明した例では、画素当たりの比較の数(CompPerPixel)は、以下のように計算される。
ここで、blk_w及びblk_hは、現在のブロックの幅及び高さである。
CompPerPixelを固定するためには、search_w/blk_w及びsearch_h/blk_hを固定しなければならない。言い換えれば、以下の通りである。
ここで、「const」は検索範囲を制御する定数値である。「const」の値は、固定された値であるか、又は高レベルシンタックス(例えば、SPS)を通じて信号伝送されるかのいずれかになり得る。
実施形態の少なくとも1つの他の例は、複数の検索領域又は検索区域を伴うことがある。複数の検索領域は、おそらく、より高いコーディング利得を提供することができる。複数の検索領域の実施形態の一例は、現在のCTUを有する再構成された画素に加えて、右上及び左上のCTUの再構成された画素のうちの1つ以上を含む領域又は区域に基づく検索を伴うことがある。図7は、複数の検索領域の一例を示す。図7の例では、4つの領域が以下のように定義される。
R1:現在のCTU内で、現在の位置から左上に開始
R2:左最上の画素
R3:右最上の画素
R4左の画素
各検索区域は、検索範囲幅(search_w)及び検索範囲高さ(search_h)によって定義される。画素当たりの合計比較は、以下のように計算される。
単一の検索領域の場合のように、固定されたCompPerPixelを有するには、search_w/blk_w及びsearch_h/blk_hを固定しなければならない。言い換えれば、以下の通りである。
小さい検索範囲の場合、実施形態の一例は、使用されている現在のCTU内の全てのピクセルよりも少ないことに基づくことが、すなわち、現在のCTU内の画素のうちの全てとは限らない部分が、若しくは一部が、又はサブセットが使用されることに基づくことができる。これは、図8に示される実施形態の例によって説明される。
概して、実施形態の少なくとも1つの他の例は、波面並列処理(WPP)などの並列プロセスを提供すること、又は可能にすることに基づくテンプレートマッチング予測を伴うことがある。実施形態の少なくとも1つの例では、波面並列処理(WPP)を可能にするために、各CTUラインの右上のCTU以降の画素にはアクセスしないように、検索範囲は制限されるものとする。すなわち、画素がすぐに利用可能でない場合、それらを使用するべきではない。図9は実施形態の一例を示しており、ここでは、TMP検索に使用することが可能なCTUが、陰影をつけたように示されており、現在のブロックは白色で陰影のないCTUの内側に位置している。
概して、実施形態の少なくとも1つの他の例は、独立したCTUラインを伴うことがある。例えば、多くのリアル・タイム・コーディング・プロセスにとって、各CTUラインが独立してデコード可能であることが望ましい場合がある。すなわち、現在のCTUラインと上側のラインとの間に依存関係がない。TMPを有効にし、独立したCTUラインを有するために、図10に示される例によって説明されるように、上側のCTUラインへのアクセスを制限し、許容せず、又は無効にするように、検索範囲を低減し、制御し、又は決定することができる。
更に、実施形態の少なくとも1つの他の例では、テンプレートが現在のCTUラインを超える場合、左のテンプレートのみが考慮される。これは、現在のブロックの垂直位置がCTUと同じである場合に発生する。これは図11に示されている。この場合、上のテンプレートは最良の候補を見つけるために使用されず、左のテンプレートのみが使用される。
実施形態の少なくとも1つの他の例は、部分的なテンプレートであるテンプレートを伴う。例えば、最初のライン又は最初の列においてCUをコーディングする場合、それぞれ最上又は左のテンプレートは利用可能でない。これは図14及び図15に示されている。この場合、テンプレートマッチング予測には部分的なテンプレートが使用される。言い換えれば、参照テンプレートがフレーム境界を超えるか、又はフレーム境界を超えて延在する場合、フレーム内にある部分的なテンプレートが考慮される。図14は、上のテンプレートが利用可能でない実施形態の一例を示す。図14の例では、左のテンプレートのみをテンプレートマッチング予測に使用する。すなわち、現在のブロックのテンプレートは、現在のブロックの左側の最初の区域、すなわち、現在のブロックの左側の第1左テンプレートのみを含み、現在のブロックのテンプレートとの比較に使用される第2ブロックに関連付けられたテンプレートは、第2ブロックの左側の第2区域、すなわち、第2ブロックの左側の第2左テンプレートのみを含む。したがって、この比較は、対応するブロックの左側の第1区域及び第2区域、すなわち第1左テンプレート及び第2左テンプレートのみに基づく。図15は、左のテンプレートが利用可能でない例を示す。図15の例では、上のテンプレートのみをテンプレートマッチング予測に使用する。すなわち、現在のブロックのテンプレートは、現在のブロックの上側の最初の区域、すなわち、現在のブロックの上側の第1上テンプレートのみを含み、現在のブロックのテンプレートとの比較に使用される第2ブロックに関連付けられたテンプレートは、第2ブロックの上側の第2区域、すなわち、第2ブロックの上側の第2上テンプレートのみを含む。したがって、この比較は、対応するブロックの上側の第1区域及び第2区域、すなわち第1上テンプレート及び第2上テンプレートのみに基づく。
実施形態の別の例は特別な場合を伴い、ここでは、上のテンプレート及び左のテンプレートの両方がフレーム境界を超えており、したがって、上のテンプレートも左のテンプレートも利用可能でない。例えば、この特別な場合は、現在のフレーム内の最初のCUをコーディングする場合に生じることになり得る。この場合、予測は、予測値が以下のように設定されるDC予測と見なされる。
ここで、bitDepthは、内部ビット深度を表す。
概して、本明細書に説明され、企図されている実施形態の例を、多くの異なる形態で実装することができる。上述の図1及び図2、並びに以下に説明する図12は、実施形態のいくつかの例を提供するが、他の実施形態も企図されており、図1、図2及び図12の説明は、実装の範囲を限定しない。例えば、本明細書で説明される実施形態の1つ以上の例のうちの少なくとも1つの態様は、概して、ビデオエンコード及びデコードに関し、少なくとも1つの他の態様は、概して、生成された又はエンコードされたビットストリームを送信することに関する。これら及び他の態様を、様々な実施形態で実装することができ、その例には、方法、装置、コンピュータ可読記憶媒体(このコンピュータ可読記憶媒体は、説明した方法のいずれかに従ってビデオデータをエンコード又はデコードするための命令を自身に記憶して有している)、及び/又はコンピュータ可読記憶媒体(このコンピュータ可読記憶媒体は、説明した方法のいずれかに従って生成されたビットストリームを自身に記憶して有している)がある。加えて、本明細書で提供される図面、及び業界標準又は標準関連文書に関連し得る本明細書で提供される文章又は構文の選択は、様々な態様及び実施形態の例を示すためのものであり、必ずしも唯一の可能な構成ではないことを理解するべきである。又、本出願では、「再構成された(reconstructed)」及び「デコードされた(decoded)」という用語を交換可能に使用してもよく、「画素(pixel)」及び「サンプル(sample)」という用語を交換可能に使用してもよく、「画像(image)」、「ピクチャ(picture)」、及び「フレーム(frame)」という用語を交換可能に使用してもよい。様々な方法が本明細書に説明されており、本方法の各々は、説明された方法を達成するための1つ以上のステップ又はアクションを含む。ステップ又はアクションの特定の順序が方法の適切な動作のために必要とされない限り、特定のステップ及び/又はアクションの順序及び/又は使用は、修正又は組み合わされ得る。本出願で説明する様々な方法及び他の態様を使用して、例えば、図1に示すビデオエンコーダの実施形態100の例に含まれるモジュール160、及び図2に示すビデオデコーダの実施形態200の例に含まれるモジュール260といったモジュールを修正することができる。更に、本明細書で説明された様々な実施形態、特徴などは、VVC又はHEVCに限定されず、例えば、既存のものであれ将来進展するものであれ、他の規格及び勧告、及びこのような規格及び勧告(VVC及びHEVCを含む)のいかなるものの拡張にも適用することができる。特に断りのない限り、又は技術上除外されない限り、本出願に記載の態様は、個々に、又は組み合わせて使用することができる。本出願では、例えば、最大量子化マトリックスのサイズ、考慮されるブロックサイズの数など、様々な数値が使用される。具体的な値は例示目的のためのものであり、説明される態様はこれらの具体的な値に限定されない。
図12は、様々な特徴及び実施形態が実装されているシステムの一例のブロック図を示す図である。図12のシステム1000は、以下に説明する様々な構成要素を含むデバイスとして具体化されることができ、本明細書に記載の実施形態、特徴などの例のうちの1つ以上を実行又は実装するように構成される。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム1000の要素を、単独で又は組み合わせて、単一の集積回路(integrated circuit、IC)、複数のIC、及び/又は別個の構成要素に具体化することができる。例えば、少なくとも1つの実施形態では、システム1000の処理要素及びエンコーダ要素/デコーダ要素は、複数のIC及び/又は別個の構成要素にわたって分散している。様々な実施形態では、システム1000は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通じて、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。概して、システム1000は、本明細書に説明されている実施形態、特徴などの例のうちの1つ以上を実装するように構成されている。
システム1000は、例えば、本明細書に説明される様々な態様を実装するために、自身にロードされた命令を実行するように構成された少なくとも1つのプロセッサ1010を含む。プロセッサ1010は、埋め込みメモリ、入出力インターフェース、及び当該技術分野において知られている様々な他の回路を含むことができる。システム1000は、少なくとも1つのメモリ1020(例えば、揮発性メモリデバイス及び/又は不揮発性メモリデバイス)を含む。システム1000は、記憶デバイス1040を含み、これには、不揮発性メモリ及び/又は揮発性メモリが含まれ得、これらのメモリとしては電気的消去可能なプログラマブル読み取り専用メモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、読み取り専用メモリ(Read-Only Memory、ROM)、プログラマブル読み取り専用メモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(Random Access Memory、RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、及び/又は光ディスクドライブが挙げられるが、これらに限定されない。記憶デバイス1040は、非限定的な例として、内部記憶デバイス、付属記憶デバイス(取り外し可能及び取り外し不可能な記憶デバイスを含む)、及び/又はネットワークアクセス可能な記憶デバイスを含むことができる。
システム1000は、例えば、エンコードされたビデオ又はデコードされたビデオを提供するためにデータを処理するように構成されたエンコーダ/デコーダモジュール1030を含み、エンコーダ/デコーダモジュール1030は、それ自身のプロセッサ及びメモリを含むことができる。エンコーダ/デコーダモジュール1030は、エンコード機能及び/又はデコード機能を実行するためのデバイスに含めることができるモジュールを表す。既知であるように、デバイスは、符号化モジュール及び復号モジュールのうちの一方又は両方を含むことができる。更に、エンコーダ/デコーダモジュール1030を、システム1000の別個の要素として実装することができるが、又は当業者には既知であるように、ハードウェアとソフトウェアとの組み合わせとしてプロセッサ1010内に組み込むことができる。
例えば、本明細書に説明されている実施形態、特徴などの1つ以上の例を実行又は実装するために、プロセッサ1010又はエンコーダ/デコーダ1030にロードされるプログラムコードを、記憶デバイス1040に記憶し、その後、プロセッサ1010による実行のためにメモリ1020にロードすることができる。様々な実施形態によれば、プロセッサ1010、メモリ1020、記憶デバイス1040、及びエンコーダ/デコーダモジュール1030のうちの1つ以上は、本明細書で説明されたプロセスの実行中に様々なアイテムのうちの1つ以上を記憶することができる。かかる記憶されたアイテムは、これらに限定されないが、入力ビデオ、復号されたビデオ、又は復号されたビデオの一部分、ビットストリーム、マトリックス、変数、並びに、方程式、式、動作、及び動作論理の処理からの中間結果又は最終結果を含むことができる。
いくつかの実施形態では、プロセッサ1010及び/又はエンコーダ/デコーダモジュール1030の内部のメモリを使用して、命令を記憶し、エンコード又はデコード中に必要とされる処理のための作業メモリを提供する。しかし、他の実施形態では、処理デバイス(例えば、処理デバイスを、プロセッサ1010か、又はエンコーダ/デコーダモジュール1030のいずれかとすることができる)の外部のメモリを、これらの機能のうちの1つ以上のために使用する。外部メモリを、メモリ1020及び/又は記憶デバイス1040、例えば、動的揮発性メモリ及び/又は不揮発性フラッシュメモリとすることができる。いくつかの実施形態では、外部不揮発性フラッシュメモリを使用して、例えば、テレビのオペレーティングシステムを記憶する。少なくとも1つの実施形態では、RAMなどの高速の外部動的揮発性メモリが、MPEG-2(MPEGは、MovingPictureExpertsGroupを指し、MPEG-2は又、ISO/IEC13818とも称され、13818-1は又、H.222としても既知であり、13818-2は又、H.262としても既知である)、HEVC(HEVCは、High Efficiency Video Codingを指し、又、H.265及びMPEG-H Part2としても既知である、又はVVC(JVET(the Joint Video Experts Team)によって開発されている新規格である多用途ビデオコーディング(Versatile Video Coding))などの、ビデオコード化動作及び復号化動作のための作業メモリとして使用される。
システム1000の要素への入力を、ブロック1130に示されるような様々な入力デバイスを通じて提供することができる。このような入力デバイスには、(i)例えば、放送事業者による放送全体にわたり送信されるRF信号を受信する無線周波数(Radio Frequency、RF)部分、(ii)コンポーネント(COMP)入力端子(又はCOMP入力端子セット)、(iii)ユニバーサルシリアルバス(USB、Universal Serial Bus)入力端子、及び/又は(iv)高解像度マルチメディアインターフェース(HDMI、High Definition Multimedia Interface)入力端子が含まれるが、これらに限定されない。図3には示されていないが、他の例は、コンポジットビデオを含む。
様々な実施形態において、ブロック1130の入力デバイスは、当該技術分野において知られているように、関連付けられたそれぞれの入力処理要素を有する。例えば、RF部分は、(i)所望の周波数を選択すること(信号を選択すること、又は信号をある帯域の周波数に帯域制限することとも称される)と、(ii)選択された信号をダウンコンバートすることと、(iii)(例えば)特定の実施形態でチャネルと称され得る信号周波数帯域を選択するために、より狭い帯域の周波数に再び帯域制限することと、(iv)ダウンコンバートされ、帯域制限された信号を復調することと、(v)エラー訂正を実行することと、(vi)所望のデータパケットのストリームを選択するために逆多重化することと、に好適な要素と関連付けられ得る。様々な実施形態のRF部分は、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、様々なこれらの機能を実行するチューナを含むことができ、例えば、受信した信号をより低い周波数(例えば、中間周波数又は近ベースバンド周波数)に又はベースバンドにダウンコンバートすることを含む。セットトップボックスの一実施形態では、RF部分及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数バンドにフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RF部分は、アンテナを含む。
更に、USB端子及び/又はHDMI端子は、システム1000をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理の様々な態様、例えば、リード-ソロモンエラー訂正を、例えば、必要に応じて、別個の入力処理IC内に又はプロセッサ1010内に実装することができることを理解すべきである。同様に、USB又はHDMIのインターフェース処理の態様を、必要に応じて、別個のインターフェースIC内に又はプロセッサ1010内に実装することができる。例えば、プロセッサ1010、並びにメモリ及び記憶要素と組み合わせて動作するエンコーダ/デコーダ1030を含む様々な処理要素に、復調され、エラー訂正され、逆多重化されたストリームを提供して、出力デバイス上に提示するために必要に応じてデータストリームを処理する。
システム1000の様々な要素を統合ハウジング内に設けることができる。統合ハウジング内では、様々な要素を、好適な接続装置1140、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野において知られている内部バスを使用して相互接続し、それらの間でデータを送信することができる。
システム1000は、通信チャネル1060を介して他のデバイスとの通信を可能にする通信インターフェース1050を含む。通信インターフェース1050は、通信チャネル1060によってデータを送信及び受信するように構成されたトランシーバを含むことができるが、これに限定されない。通信インターフェース1050は、モデム又はネットワークカードを含むことができるが、これらに限定されず、通信チャネル1060を、例えば、有線媒体及び/又は無線媒体内に実装することができる。
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEとは、米国電気電子技術者協会を指す)などの無線ネットワークを使用して、システム1000にストリーミングされるか、又は別の方法で提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル1060及び通信インターフェース1050によって受信される。これらの実施形態の通信チャネル1060は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック1130のHDMI接続によってデータを配信するセットトップボックスを使用して、システム1000にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック1130のRF接続を使用して、システム1000にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
システム1000は、ディスプレイ1100、スピーカ1110、及び他の周辺デバイス1120を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ1100は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ1100を、テレビジョン、タブレット、ラップトップ、携帯電話(移動電話)、又は他のデバイス用とすることができる。又、ディスプレイ1100を、他の構成要素と統合することができ(例えば、スマートフォン内のように)、又は別個にする(例えば、ラップトップ用の外部モニタ)こともできる。実施形態の様々な例において、他の周辺デバイス1120には、スタンドアロンのデジタル・ビデオ・ディスク(又はデジタル多用途ディスク)(両方の用語について、DVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システム、のうちの1つ以上が含まれる。様々な実施形態は、システム1000の出力に基づいて機能を提供する1つ以上の周辺デバイス1120を使用する。例えば、ディスクプレーヤは、システム1000の出力を再生する機能を実行する。
様々な実施形態では、制御信号が、システム1000と、ディスプレイ1100、スピーカ1110、又は他の周辺デバイス1120との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース1070、1080、及び1090を通じた専用接続を介してシステム1000に通信可能に結合することができる。代替的に、出力デバイスを、通信インターフェース1050を介し、通信チャネル1060を使用してシステム1000に接続させることができる。ディスプレイ1100及びスピーカ1110を、例えば、テレビジョンなどの電子デバイスにおけるシステム1000の他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース1070は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
例えば、入力1130のRF部分が別個のセットトップボックスの一部である場合、ディスプレイ1100及びスピーカ1110を、代替的に、他の構成要素のうちの1つ以上から分かれたものとすることができる。ディスプレイ1100及びスピーカ1110が外部構成要素である様々な実施形態では、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して出力信号を提供することができる。
実施形態は、プロセッサ1010によって、又はハードウェアによって、又はハードウェアとソフトウェアとの組み合わせによって、実装されるコンピュータソフトウェアによって行うことができる。非限定的な例として、1つ以上の集積回路によって実施形態を実装することができる。メモリ1020を、技術環境に適切な任意のタイプのものとすることができ、適切なデータ記憶技術を使用して実装することができる。このデータ記憶技術の非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、及びリブ-バブルメモリなどが挙げられる。プロセッサ1010は、技術環境に適切な任意のタイプのものであることができ、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、特殊目的コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサのうちの1つ以上を包含することができる。
図13は、実施形態の別の例を提供する。図13では、1310において、ピクチャ情報の現在のブロックに対する予測ブロックが決定される。1310における決定は、現在のブロックに関連付けられたテンプレート(例えば、現在のブロックの左側に第1部分を有し、現在のブロックの上側に第2部分を有する、図4に示されるもののようなL字型テンプレート)と、デコードされた又は再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づく。比較は、現在のブロックのテンプレートに一致する、又は最も近い一致になる、デコードされた又は再構成されたピクチャ情報の区域内の1つ以上のテンプレートを検索することを含むことができる。比較は、例えば、図6又は図7に関して本明細書で説明されるように、ブロックサイズとは無関係に画素当たりの一定数の比較に基づくことができる。比較から決定された1つ又は複数のテンプレートに関連する1つ又は複数のブロックを使用して、予測ブロックを生成する。1320において、現在のブロックは、予測ブロックに基づいてデコード(又はエンコード)される。
本明細書で説明される実施形態の例に加えて、様々な特殊化された実施形態のみならず一般化された実施形態も又、本開示全体を通して支持され、企図される。本開示による実施形態の例には、以下が含まれるが、これらに限定されない。
概して、実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴い、この方法又は装置は、本明細書で説明されるように決定された検索範囲に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することを含む。
実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴うことがあり、この方法又は装置は、ブロック寸法に関係なく、画素当たりの固定された数の比較を有するテンプレート検索に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することを含む。
実施形態の少なくとも1つの例は、ビデオエンコード又はデコードのための方法又は装置を伴うことがあり、この方法又は装置は、ブロック寸法に関係なく、画素当たりの固定された数の比較を有するテンプレート検索に基づくテンプレートマッチング予測を採用するイントラ予測処理モードを提供することと、並列処理を実行できるように検索範囲を修正することと、を含む。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをデコードすることと、を含む装置を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定することであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、予測ブロックに基づいて現在のブロックをデコードすることと、を含む方法を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをエンコードすることと、を含む装置を伴うことがある。
実施形態の少なくとも1つの例は、現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定するように構成された1つ以上のプロセッサであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、プロセッサと、予測ブロックに基づいて現在のブロックをエンコードすることと、を含む方法を伴うことがある。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、画素当たりの一定数の比較は、固定された値、又は高レベルシンタックス情報を通じて信号伝送される値のうちの1つである。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、少なくとも1つの他のテンプレートが生じる区域は、現在のブロックの上側及び左側に領域を含む。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、少なくとも1つの他のテンプレートが生じる区域は、複数の領域を含み、この複数の領域は、現在のブロックの上側及び左側の画素であって、現在のブロックを含む現在のCTU内の画素を含む第1領域と、現在のCTUの上側及び左側に画素を含む第2領域と、現在のCTUの上側及び右側に画素を含む第3領域と、現在のCTUの左側に画素を含む第4領域と、を含む。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、少なくとも1つの他のテンプレートが生じる区域は、波面並列処理を可能にするように選択された領域を含む。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、少なくとも1つの他のテンプレートが生じる区域は、各CTUラインの独立したデコードを可能にするように選択された領域を含む。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、領域は、現在のブロックを含むCTUラインの上側のCTUラインへのアクセスをデコードが必要としないように選択される。
実施形態の少なくとも1つの例は、本明細書で説明されるような方法又は装置を伴うことがあり、現在のブロックに関連付けられたテンプレートは、現在のブロックの左側に第1部分と、現在のブロックの上側に第2部分と、を含み、第2部分が現在のブロックを含むCTUラインの上側に延在する場合、比較は第1部分のみに基づく。
実施形態の少なくとも1つの例はデバイスを伴うことがあり、このデバイスは、本明細書で説明されるような装置と、(i)画像情報を表現するデータを含む信号を受信するように構成されたアンテナ、(ii)受信された信号を、画像情報を表現するデータを含む周波数帯域に制限するように構成された帯域制限器、及び(iii)画像情報からの画像を表示するように構成されたディスプレイのうちの少なくとも1つと、を含む。
実施形態の少なくとも1つの例は、本明細書で説明されるようなデバイスを伴うことがあり、デバイスは、テレビジョン、テレビジョン信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、コンピュータ、ラップトップ、又は他の電子デバイスのうちの1つを含む。
概して、実施形態の別の例は、シンタックス要素及びピクチャ情報を含むようにフォーマットされたビットストリーム又は信号を伴うことがあり、本開示による方法の実施形態の例のうちのいずれか1つ以上に基づく処理によって、シンタックス要素は生成され、ピクチャ情報はエンコードされる。
概して、実施形態の1つ以上の他の例は又、本明細書で説明される方法又は装置に従ってビデオデータなどのピクチャ情報をエンコード又はデコードするための命令を自身に記憶して有しているコンピュータ可読記憶媒体、例えば、不揮発性コンピュータ可読記憶媒体を提供することができる。1つ以上の実施形態は又、本明細書で説明される方法又は装置に従って生成されたビットストリームを記憶している自身に記憶して有しているコンピュータ可読記憶媒体を提供することができる。1つ以上の実施形態はまた、本明細書で説明される方法又は装置に従って生成されたビットストリーム又は信号を送信又は受信するための方法及び装置を提供することができる。
本明細書で説明される実施形態の例の多くは、具体性をもって説明され、少なくとも個々の特性を示すために、限定的であると聞こえ得る方法でしばしば説明されている。しかしながら、これは、説明を明確にすることを目的としており、それらの態様の適用又は範囲を限定するものではない。実際には、異なる態様の全てを組み合わせ、かつ置き換えて、更なる態様を提供することができる。更に、実施形態、特徴などを、同様に以前の出願に説明されている他のことと組み合わせ、かつ置き換えることができる。
様々な実装形態は、復号化することを含む。本出願で使用する際、「復号」は、例えば、ディスプレイに好適な最終出力をもたらすために、受信した符号化されたシーケンスに対して行われるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスには、例えば、エントロピ復号化、逆量子化、逆変換、及び差動復号化など、通常、デコーダによって行われるプロセスのうちの1つ以上が含まれる。様々な実施形態において、このようなプロセスには、更に又は代替として、本出願に記載の様々な実装形態のデコーダによって行われるプロセスも含まれる。
更なる例として、一実施形態では、「復号」とは、エントロピ復号のみを指し、別の実施形態では、「復号」とは、差動復号のみを指し、別の実施形態では、「復号」とは、エントロピ復号と差動復号との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
様々な実装形態は、符号化を伴う。「復号化(decoding)」に関する上記の考察と同様に、本出願で使用される「符号化(encoding)」は、例えば、符号化されたビットストリームを作り出すために入力ビデオシーケンスに対して実行されるプロセスの全て又は一部を包含することができる。様々な実施形態において、このようなプロセスは、例えば、分割、差動符号化、変換、量子化、及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。
更なる例として、一実施形態では、「符号化」とは、エントロピ符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化のみを指し、別の実施形態では、「符号化」とは、差動符号化とエントロピ符号化との組み合わせを指す。「符号化プロセス」という句が、具体的に作業部分集合を指すこと目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
本明細書で使用されるシンタックス要素は、説明上の用語であることに留意されたい。したがって、これらは他のシンタックス要素名の使用を排除するものではない。
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
概して、本明細書に説明される実施形態、実装、特徴などの例を、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法の1つ以上の例を、例えば、概して処理デバイスを指すプロセッサに実装することができ、このプロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブル論理デバイスを含む。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル/携帯情報端末(「Personal Digital Assistant、PDA」)などのデバイスなどの通信デバイスも含まれる。又、本明細書における「プロセッサ」という用語の使用には、1つのプロセッサ又は1つよりも多いプロセッサの様々な構成を広く包含することが意図されている。
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、又それらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、又他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、又は情報をメモリから取り出すことのうちの1つ以上を含むことができる。
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの形で関与する。
例えば、「A/B」、「A及び/又はB(A and/or B)」及び「A及びBのうちの少なくとも1つ(at least one of A and B)」の場合、次の「/」、「及び/又は(and/or)」、及び「のうちの少なくとも1つ(at least one of)」のいずれかの使用は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることを理解されるべきである。更なる実施例として、「A、B、及び/又はC(A,B,and/or C)」及び「A、B、及びCのうちの少なくとも1つ(at least one of A,B,and C)」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢のみの選択(B及びC)のみ、又は3つ全ての選択肢の選択(A及びB及びC)を包含することが意図される。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、記載の実施形態のビットストリームを搬送するように、信号をフォーマットすることができる。例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、符号化されたデータストリームで搬送波を変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。
本明細書には様々な実施形態が説明されている。これらの実施形態の特徴は、様々な特許請求の範疇及びタイプにわたって単独でも、いかなる組み合わせでも提供され得る。更に、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの1つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
●ビデオエンコード及び/又はデコードを提供することであって、この提供することは、現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の現在のブロックのための予測ブロックを決定することであって、比較は、現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、予測ブロックに基づいて現在のブロックをエンコード/デコードすることと、を含む。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、画素当たりの一定数の比較は、固定された値、又は高レベルシンタックス情報を通じて信号伝送される値のうちの1つである。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、少なくとも1つの他のテンプレートが生じる区域は、現在のブロックの上側及び左側に領域を含む。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、少なくとも1つの他のテンプレートが生じる区域は、複数の領域を含み、この複数の領域は、現在のブロックの上側及び左側の画素であって、現在のブロックを含む現在のCTU内の画素を含む第1領域と、現在のCTUの上側及び左側に画素を含む第2領域と、現在のCTUの上側及び右側に画素を含む第3領域と、現在のCTUの左側に画素を含む第4領域と、を含む。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、少なくとも1つの他のテンプレートが生じる区域は、波面並列処理を可能にするように選択された領域を含む。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、少なくとも1つの他のテンプレートが生じる区域は、各CTUラインの独立したデコードを可能にするように選択された領域を含む。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することであって、領域は、現在のブロックを含むCTUラインの上側のCTUラインへのアクセスをデコードが必要としないように選択される。
●本明細書で説明されるようにビデオエンコード及び/又はデコードを提供することあって、現在のブロックに関連付けられたテンプレートは、現在のブロックの左側に第1部分と、現在のブロックの上側に第2部分と、を含み、第2部分が現在のブロックを含むCTUラインの上側に延在する場合、比較は第1部分のみに基づく。
●説明されたシンタックス要素のうちの1つ以上、又はその変形形態を含むビットストリーム又は信号を提供すること。
●説明された実施形態のうちのいずれかに従って生成された情報を搬送するシンタックスを含むビットストリーム又は信号を提供すること。
●エンコーダによって使用される方法に対応する方法で、デコーダが動作することを可能にするシンタックス要素を信号伝送に挿入することを提供すること。
●エンコーダ及び/又はデコーダが、本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードを提供することを可能にする信号伝送シンタックス要素に挿入すること。
●これらのシンタックス要素に基づいて、本明細書で説明されるように、特徴又はエンティティを単独で又は任意の組み合わせで選択して、デコーダに適用すること。
●説明されたシンタックス要素又はその変形形態のうちの1つ以上を含むビットストリーム又は信号を作り出し、及び/又は送信し、及び/又は受信し、及び/又はデコードすることを提供すること。
●説明された実施形態のいずれかに従って、ビットストリームを作り出し、及び/又は送信し、及び/又は受信し、及び/又はデコードすることを提供すること。
●説明された実施形態のいずれかに従って、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号。
●本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードを適用することを提供するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードを実行し、結果として得られた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●エンコードされた画像を含む信号を受信するために(例えば、チューナを使用して)チャネルをチューニングし、本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードを実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●エンコードされた画像を含む信号を(例えば、アンテナを使用して)無線で受信し、本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードを実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
●コンピュータによって実行されたときに、本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、エンコード及び/又はデコードするプログラムコードを記憶するコンピュータプログラム製品。
●本明細書で説明されるように、単独で又は任意の組み合わせで、実施形態、特徴、又はエンティティのいずれかに従って、命令を実行するコンピュータにエンコード及び/又はデコードを実装させる、実行可能プログラム命令を含む非一時的なコンピュータ可読媒体。

Claims (23)

  1. 装置であって、
    1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の前記現在のブロックのための予測ブロックを決定することであって、前記比較は、前記現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、
    前記予測ブロックに基づいて前記現在のブロックをデコードすることと、を行うように構成されている、装置。
  2. 方法であって、
    現在のブロックに関連付けられたテンプレートとデコードされたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の前記現在のブロックのための予測ブロックを決定することであって、前記比較は、前記現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、
    前記予測ブロックに基づいて前記現在のブロックをデコードすることと、を含む方法。
  3. 装置であって、
    1つ以上のプロセッサを備え、前記1つ以上のプロセッサが、
    現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の前記現在のブロックのための予測ブロックを決定することであって、前記比較は、前記現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、
    前記予測ブロックに基づいて前記現在のブロックをエンコードすることと、を行うように構成されている、装置。
  4. 方法であって、
    現在のブロックに関連付けられたテンプレートと再構成されたピクチャ情報の区域内の少なくとも1つの他のブロックに関連付けられた少なくとも1つの他のテンプレートとの比較に基づいて、ピクチャ情報の前記現在のブロックのための予測ブロックを決定することであって、前記比較は、前記現在のブロックのサイズとは無関係に画素当たりの一定数の比較に基づいている、決定することと、
    前記予測ブロックに基づいて前記現在のブロックをエンコードすることと、を含む方法。
  5. 画素当たりの前記一定数の比較は、固定された値、又は高レベルシンタックス情報を通じて信号伝送される値のうちの1つである、先行する請求項のいずれか一項に記載の方法又は装置。
  6. 前記少なくとも1つの他のテンプレートが生じる前記区域は、前記現在のブロックの上側及び左側に領域を含む、先行する請求項のいずれか一項に記載の装置又は方法。
  7. 前記少なくとも1つの他のテンプレートが生じる前記区域は、複数の領域を含み、前記複数の領域は、前記現在のブロックの上側及び左側の画素であって、前記現在のブロックを含む現在のCTU内の画素を含む第1領域と、前記現在のCTUの上側及び左側に画素を含む第2領域と、前記現在のCTUの上側及び右側に画素を含む第3領域と、前記現在のCTUの左側に画素を含む第4領域と、を含む、請求項1から5のいずれか一項に記載の装置又は方法。
  8. 前記少なくとも1つの他のテンプレートが生じる前記区域は、波面並列処理を可能にするように選択された領域を含む、請求項1から5のいずれか一項に記載の装置又は方法。
  9. 前記少なくとも1つの他のテンプレートが生じる前記区域は、各CTUラインの独立したデコードを可能にするように選択された領域を含む、請求項1から5のいずれか一項に記載の装置又は方法。
  10. 前記領域は、前記現在のブロックを含むCTUラインの上側のCTUラインへのアクセスをデコードが必要としないように選択される、請求項9に記載の装置又は方法。
  11. 前記現在のブロックに関連付けられた前記テンプレートは、前記現在のブロックの左側に第1部分と、前記現在のブロックの上側に第2部分と、を含み、前記第2部分が前記現在のブロックを含むCTUラインの上側に延在する場合、前記比較は前記第1部分のみに基づく、請求項10に記載の装置又は方法。
  12. 前記現在のブロックの前記テンプレートは、前記現在のブロックの左側の第1左テンプレートのみを含み、前記少なくとも1つの他のブロックの前記少なくとも1つの他のテンプレートは、前記少なくとも1つの他のブロックの左側の第2左テンプレートのみを含み、前記比較は、前記第1左テンプレート及び前記第2左テンプレートのみに基づく、請求項1から4のいずれか一項に記載の装置又は方法。
  13. 前記現在のブロック及び前記予測ブロックは、現在のフレームの第1行に位置する、請求項12に記載の装置又は方法。
  14. 前記現在のブロックの前記テンプレートは、前記現在のブロックの上側の第1上テンプレートのみを含み、前記少なくとも1つの他のブロックの前記少なくとも1つの他のテンプレートは、前記少なくとも1つの他のブロックの上側の第2上テンプレートのみを含み、前記比較は、前記第1上テンプレート及び前記第2上テンプレートのみに基づく、請求項1から4のいずれか一項に記載の装置又は方法。
  15. 前記現在のブロックは、現在のフレームの第1列に位置する、請求項14に記載の装置又は方法。
  16. 前記現在のブロックは、現在のフレームの第1コーディングユニットに対応し、前記第1ブロックの前記テンプレートは、前記現在のフレームの上境界及び左境界の両方を越えて延在する、請求項1から4のいずれか一項に記載の装置又は方法。
  17. 前記予測ブロックを決定することは、1<<(bitDepth-1)に設定された予測値を有するDC予測に基づいている、請求項14に記載の装置又は方法。
  18. コンピュータによって実行されたときに、前記コンピュータに、請求項2又は4から17のいずれか一項に記載の方法を行うことをさせる命令を含む、コンピュータプログラム製品。
  19. 実行可能プログラム命令を記憶する非一時的コンピュータ可読媒体であって、前記命令を実行するコンピュータに、請求項2又は4から17のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読媒体。
  20. 請求項4に記載の方法、又は請求項4に従属する場合には請求項5から17のいずれか一項に記載の方法に従って生成されたデータを含む信号。
  21. 請求項4に従属する場合には請求項5に記載の方法に従って、一定数の比較及びエンコードされた画像情報を示すことに関連するシンタックス要素を含むようにフォーマットされたビットストリーム。
  22. デバイスであって、
    請求項1若しくは3、又は請求項1若しくは3に従属する場合には請求項5から17のいずれか一項に記載の装置と、
    (i)画像情報を表現するデータを含む信号を受信するように構成されたアンテナ、(ii)前記受信された信号を、前記画像情報を表現する前記データを含む周波数帯域に制限するように構成された帯域制限器、及び(iii)前記画像情報からの画像を表示するように構成されたディスプレイのうちの少なくとも1つと、を備えるデバイス。
  23. 前記デバイスは、テレビジョン、テレビジョン信号受信機、セットトップボックス、ゲートウェイデバイス、モバイルデバイス、携帯電話、タブレット、コンピュータ、ラップトップ、又は他の電子デバイスのうちの1つを含む、請求項22に記載のデバイス。
JP2023553015A 2021-03-30 2022-03-22 ビデオエンコード及びデコードのためのテンプレートマッチング予測 Pending JP2024513657A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP21305403 2021-03-30
EP21305403.4 2021-03-30
EP21305892.8 2021-06-29
EP21305892 2021-06-29
PCT/EP2022/057416 WO2022207400A1 (en) 2021-03-30 2022-03-22 Template matching prediction for video encoding and decoding

Publications (1)

Publication Number Publication Date
JP2024513657A true JP2024513657A (ja) 2024-03-27

Family

ID=80978919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023553015A Pending JP2024513657A (ja) 2021-03-30 2022-03-22 ビデオエンコード及びデコードのためのテンプレートマッチング予測

Country Status (6)

Country Link
US (1) US20240171756A1 (ja)
EP (1) EP4315859A1 (ja)
JP (1) JP2024513657A (ja)
KR (1) KR20230162634A (ja)
IL (1) IL307226A (ja)
WO (1) WO2022207400A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10986349B2 (en) * 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11575925B2 (en) * 2018-03-30 2023-02-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and device, and recording medium in which bitstream is stored
WO2020001578A1 (en) * 2018-06-28 2020-01-02 Huawei Technologies Co., Ltd. Motion vector refinement search with integer pixel resolution
US10638153B2 (en) * 2018-07-02 2020-04-28 Tencent America LLC For decoder side MV derivation and refinement

Also Published As

Publication number Publication date
IL307226A (en) 2023-11-01
WO2022207400A1 (en) 2022-10-06
US20240171756A1 (en) 2024-05-23
EP4315859A1 (en) 2024-02-07
KR20230162634A (ko) 2023-11-28

Similar Documents

Publication Publication Date Title
JP2021511698A (ja) 隣接サンプルに応じた線形モデルに基づく映像符号化及び復号のための方法と装置
US11729417B2 (en) Generalized bi-prediction and weighted prediction
JP2022506628A (ja) 隣接サンプル依存パラメトリックモデルに基づいたコーディングモードの簡易化
JP2022510120A (ja) コード化ツールの組み合わせおよび制限の管理
JP2023543985A (ja) 多用途ビデオコーディングのためのテンプレートマッチング予測
KR20210058938A (ko) 픽처 인코딩 및 디코딩을 위한 방법 및 디바이스
JP2023500503A (ja) 符号化及び復号化方法並びに装置
KR20220123666A (ko) 가중-예측 파라미터들의 추정
WO2020263799A1 (en) High level syntax for controlling the transform design
JP2021528893A (ja) 可変重みを使用する複数参照イントラ予測
US20230023837A1 (en) Subblock merge candidates in triangle merge mode
JP2024513873A (ja) 切り替え可能な補間フィルタを用いる幾何学的分割
US20220038704A1 (en) Method and apparatus for determining chroma quantization parameters when using separate coding trees for luma and chroma
JP2024513657A (ja) ビデオエンコード及びデコードのためのテンプレートマッチング予測
US20230336721A1 (en) Combining abt with vvc sub-block-based coding tools
US20230232045A1 (en) Scaling process for joint chroma coded blocks
CN117501692A (zh) 用于视频编码和解码的模板匹配预测
US20210344962A1 (en) Method and apparatus for video encoding and decoding with signaling of coding type or coding tree type
KR20240072180A (ko) Isp 모드를 사용한 템플릿 기반 인트라 모드 도출(timd)의 확장
KR20240056576A (ko) 템플릿 매칭에 기초한 비디오 인코딩 및 디코딩을 위한 크로마 예측
JP2022541723A (ja) アフィン及びsbtmvp動きベクトル予測モードのためのhmvc
JP2022540659A (ja) ルマツークロマ量子化パラメータテーブルシグナリング
JP2022537222A (ja) 局所照明補正フラグインヘリタンス

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20231030