JP7185049B2 - ビデオ符号化及び復号するための方法、装置及びコンピュータ・プログラム - Google Patents

ビデオ符号化及び復号するための方法、装置及びコンピュータ・プログラム Download PDF

Info

Publication number
JP7185049B2
JP7185049B2 JP2021537157A JP2021537157A JP7185049B2 JP 7185049 B2 JP7185049 B2 JP 7185049B2 JP 2021537157 A JP2021537157 A JP 2021537157A JP 2021537157 A JP2021537157 A JP 2021537157A JP 7185049 B2 JP7185049 B2 JP 7185049B2
Authority
JP
Japan
Prior art keywords
block
transform
signaled
video
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537157A
Other languages
English (en)
Other versions
JP2022515813A (ja
Inventor
シン・ジャオ
シアン・リ
シャン・リュウ
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2022515813A publication Critical patent/JP2022515813A/ja
Priority to JP2022186435A priority Critical patent/JP7427756B2/ja
Application granted granted Critical
Publication of JP7185049B2 publication Critical patent/JP7185049B2/ja
Priority to JP2024008823A priority patent/JP2024028602A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/463Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

関連出願の相互参照
本出願は、2019年4月4日に出願された米国仮出願第62/829,435号「Modifications on the Secondary Transform」に対する優先権の利益を主張する、2020年4月2日に出願された米国特許出願第16/838,755号「Method and Apparatus for Video Coding」に対する優先権の利益を主張する。先行出願の開示全体は、参照によりその全体が本明細書に組み込まれる。
本開示は、ビデオ符号化に一般的に関連する実施形態を説明する。
本明細書で提供される背景技術の説明は、本開示の文脈を一般的に提示することを目的としている。本発明者らの研究は、この背景技術の項に記載されている限りにおいて、ならびに出願時に先行技術として認められない可能性がある説明の態様は、本開示に対する先行技術として明示的にも暗示的にも認められない。
ビデオ符号化および復号は、動作補償を伴うインター画像予測を使用して実行することができる。非圧縮デジタルビデオは一連の画像を含み得、各画像は、例えば1920×1080の輝度サンプルと関連するクロミナンスサンプルとの空間次元を有している。一連の画像は、例えば毎秒60画像すなわち60 Hzの固定または可変の画像速度(非公式にはフレームレートとも呼ばれる)を有し得る。非圧縮ビデオには、重要なビットレート要件がある。例えば、サンプルあたり8ビットの1080p60 4:2:0ビデオ(60 Hzのフレームレートにおける1920×1080輝度サンプル解像度)には、1.5 Gbit/sに近い帯域幅が必要である。このようなビデオを1時間使用するには、600 GBを超える記憶領域が必要である。
ビデオ符号化と復号の1つの目的は、圧縮によって入力ビデオ信号の冗長性を減らすことであり得る。圧縮は、前述の帯域幅または記憶領域の要件を、場合によっては2桁以上削減するのに役立ち得る。可逆圧縮と非可逆圧縮の両方、およびそれらの組み合わせを使用できる。可逆圧縮とは、圧縮された元の信号から元の信号の正確な複製を再構築できる手法を指す。非可逆圧縮を使用する場合、再構築された信号は元の信号と同一ではない可能性があるが、元の信号と再構築された信号との間の歪みは十分に小さいため、再構築された信号は目的の用途に役立つ。ビデオの場合、非可逆圧縮が広く採用されている。許容される歪みの量は用途によって異なる。例えば、特定の消費者ストリーミング用途のユーザは、テレビ配信用途のユーザよりも高い歪みを許容し得る。達成可能な圧縮率は、より高い許容/許容歪みにより、より高い圧縮率が得られることを反映し得る。
ビデオ符号化器および復号器は、例えば、動作補償、変換、量子化、エントロピー符号化など、いくつかの広範なカテゴリの手法を利用できる。
ビデオ符号化技術は、イントラ符号化として知られる技術を含むことができる。イントラ符号化では、サンプルまたは以前に再構築された参照画像からの他のデータを参照せずにサンプル値が表される。いくつかのビデオ符号化では、画像は空間的にサンプルのブロックに細分化される。サンプルのすべてのブロックがイントラモードで符号化される場合、その画像は、イントラ画像であり得る。イントラ画像および独立した復号器リフレッシュ画像などのそれらの派生は、復号器状態をリセットするために使用することができ、したがって、符号化ビデオビットストリームおよびビデオセッション内の第1の画像として、または静止画像として使用することができる。イントラブロックのサンプルは、変換にさらされる場合があり、変換係数は、エントロピー符号化の前に量子化され得る。イントラ予測は、変換前領域におけるサンプル値を最小化する技術であり得る。場合によっては、変換後のDC値が小さいほど、およびAC係数が小さいほど、エントロピー符号化後のブロックを表すために所与の量子化ステップサイズで必要とされるビットが少なくなる。
例えばMPEG-2生成符号化技術から知られているような従来のイントラ符号化は、イントラ予測を使用しない。しかしながら、いくつかのより新しいビデオ圧縮技術は、例えば、周囲のサンプルデータおよび/または空間的に隣接し、復号順序で先行するデータのブロックの符号化/復号中に取得されたメタデータから試行する技術を含む。そのような技法は、以後「イントラ予測」技法と呼ばれる。少なくともいくつかの場合において、イントラ予測は、再構築中の現在の画像からの参照データのみを使用し、参照画像からの参照データは使用しないことに留意されたい。
イントラ予測には多くの異なる形態があり得る。そのような技法のうちの2つ以上が所与のビデオ符号化技術において使用され得る場合、使用中の技法はイントラ予測モードで符号化され得る。ある場合には、モードはサブモードおよび/またはパラメータを有することができ、それらは個別に符号化されるかまたはモード符号語に含まれ得る。所与のモード/サブモード/パラメータの組み合わせにどの符号語を使用するかは、イントラ予測を介して符号化効率の利得に影響を与える可能性があり、そのため、符号語をビットストリームに変換するために使用されるエントロピー符号化技術も影響を与え得る。
イントラ予測の特定のモードは、H.264で導入され、H.265で改良され、共同探索モデル(JEM)、汎用ビデオ符号化(VVC)、およびベンチマークセット(BMS)などの新しい符号化技術でさらに改良された。予測器ブロックは、既に利用可能なサンプルに属する隣接サンプル値を使用して形成することができる。隣接サンプルのサンプル値は、方向に従って予測器ブロックにコピーされる。使用中の方向への参照は、ビットストリーム内で符号化され得るか、またはそれ自体が予測され得る。
図1Aを参照すると、右下に示されているのは、H.265の33個の可能な予測器方向(35個のイントラモードのうちの33個の角度モードに対応する)から知られている9つの予測器方向のサブセットである。矢印が収束する点(101)は、予測対象のサンプルを表す。矢印は、サンプルが予測されている方向を表す。例えば、矢印(102)は、サンプル(101)が水平から45度の角度で右上のサンプルから予測されることを示す。同様に、矢印(103)は、サンプル(101)が水平から22.5度の角度で、サンプル(101)の左下のサンプルから予測されることを示す。
さらに図1Aを参照すると、左上には、4×4サンプル(破線の太字で示されている)の正方形ブロック(104)が示されている。正方形ブロック(104)は、各々が「S」で標識された16個のサンプルと、Y次元におけるその位置(例えば、行インデックス)と、X次元におけるその位置(例えば、列インデックス)とを含む。例えば、サンプルS21は、Y次元の(上から)2番目のサンプルであり、X次元の(左から)1番目のサンプルである。同様に、サンプルS44は、ブロック(104)におけるY次元およびX次元の両方の4番目のサンプルである。ブロックのサイズは4×4サンプルであるため、S44は右下にある。同様の番号付け方式に従う参照サンプルをさらに示す。参照サンプルは、ブロック(104)に対して、R、そのY位置(例えば、行インデックス)およびX位置(列インデックス)でラベル付けされる。H.264およびH.265の両方において、予測サンプルは、再構築中のブロックに隣接する。したがって、負の値を使用する必要はない。
イントラ画像予測は、シグナリングされた予測方向によって適切にされるように、隣接サンプルからの参照サンプル値をコピーすることによって機能することができる。例えば、符号化ビデオビットストリームが、このブロックについて、矢印(102)と一致する予測方向を示すシグナリングを含む、すなわち、水平から45度の角度で右上の予測サンプル(単数または複数)からサンプルが予測されると仮定する。その場合、同じ参照サンプルR05からサンプルS41、S32、S23、S14が予測される。そして、参照サンプルR08からサンプルS44が予測される。
特定の場合、特に、方向が45度で均等に割り切れない場合には、参照サンプルを計算するために、例えば補間によって複数の参照サンプルの値を組み合わせることができる。
可能な方向の数は、ビデオ符号化技術が発展するにつれて増加している。H.264(2003年)では、9つの異なる方向を表すことができた。これは、H.265(2013年)では33に増加し、JEM/VVC/BMSは、本開示の時点で、最大65個の方向をサポートすることができる。最も可能性の高い方向を識別するために実験が行われており、エントロピー符号化における特定の技術は、それらの可能性の高い方向を少数のビットで表すために使用され、可能性の低い方向に対して特定のペナルティを受け入れる。さらに、方向自体は、隣接する既に復号されたブロックで使用される隣接する方向から予測できる場合がある。
図1Bは、経時的に増加する予測方向の数を示すためにJEMによる65個のイントラ予測方向を示す概略図(180)を示す。
方向を表す符号化ビデオビットストリーム内のイントラ予測方向ビットのマッピングは、ビデオ符号化技術間で異なり得、例えば、予測方向の単純な直接マッピングからイントラ予測モード、符号語、最も可能性の高いモードを含む複雑な適応方式、および同様の技術に及び得る。しかしながら、すべての場合において、ビデオコンテンツにおいて特定の他の方向よりも統計的に発生する可能性が低い特定の方向が存在し得る。ビデオ圧縮の目的は冗長性の低減であるため、うまく機能するビデオ符号化技術では、それらの可能性の低い方向は、可能性の高い方向よりも多くのビット数で表される。
ビデオ符号化および復号は、動作補償を伴うインター画像予測を使用して実行することができる。動作補償は非可逆圧縮技術とすることができ、以前に再構築された画像またはその一部(参照画像)からのサンプルデータのブロックが、動きベクトル(以降、MV)によって示される方向に空間的にシフトされた後、新たに再構築された画像または画像部分の予測に使用される技術に関することができる。場合によっては、参照画像は、現在再構築中の画像と同じであり得る。MVは、2つの次元XおよびY、または3つの次元を有することができ、第3の次元は、使用中の参照画像の表示である(後者は、間接的に、時間次元とすることができる)。
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMVから、例えば再構築中の領域に空間的に隣接し、復号順でそのMVに先行するサンプルデータの別の領域に関連するMVから予測することができる。そうすることにより、MVの符号化に必要なデータ量を実質的に削減することができ、それによって冗長性が排除され、圧縮が増加する。MV予測は、例えば、カメラ(自然ビデオとして知られている)から導出された入力ビデオ信号を符号化するとき、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動する統計的尤度があり、したがって、場合によっては、隣接領域のMVから導出された同様の動きベクトルを使用して予測することができるため、効果的に機能することができる。これにより、所与の領域について見つかったMVは、周囲のMVから予測されたMVと類似または同じになり、エントロピー符号化後に、MVを直接符号化する場合に使用されるよりも少ないビット数で表すことができる。場合によっては、MV予測は、元の信号(すなわち、サンプルストリーム)から導出された信号(すなわち、MV)の可逆圧縮の一例とすることができる。他の場合では、例えば、いくつかの周囲のMVから予測器を計算するときの丸め誤差のために、MV予測自体が非可逆であり得る。
H.265/HEVC(ITU-T Rec.H.265、「High Efficiency Video Coding」、2016年12月)には様々なMV予測メカニズムが記載されている。ここでは、H.265が提供する多くのMV予測メカニズムのうち、「空間マージ」と呼ばれる技術について説明する。
図2を参照すると、現在のブロック(201)は、空間的にシフトされた同じサイズの前のブロックから予測可能であるように動き探索処理中に符号化器によって見つけられたサンプルを含む。そのMVを直接符号化する代わりに、MVは、A0、A1、およびB0、B1、B2(それぞれ202から206)で示される5つの周囲サンプルのいずれか1つに関連付けられたMVを使用して、1つまたはそれ以上の参照画像に関連付けられたメタデータから、例えば(復号順序において)最新の参照画像から導出することができる。H.265では、MV予測は、隣接ブロックが使用しているのと同じ参照画像からの予測器を使用することができる。
本開示の態様は、ビデオ符号化/復号のための方法および装置を提供する。いくつかの例では、ビデオ復号のための装置は処理回路を含む。処理回路は、符号化ビデオビットストリームから符号化ユニット(CU)の符号化情報を復号することができる。符号化情報は、CUの第1の符号化ブロック(CB)の非ゼロ変換係数の最後の位置を示すことができる。処理回路は、最後の位置に基づいて、符号化情報において二次変換インデックスがシグナリングされるかどうかを判定することができる。処理回路は、符号化情報において二次変換インデックスがシグナリングされると判定されるかどうかに基づいて、第2のCBに対して二次変換を実行するかどうかを判定することができる。二次変換が実行されると判定されたことに応答して、処理回路は、第2のCBに対して二次変換を実行し、第2のCBを再構築することができる。二次変換が実行されないと判定されたことに応答して、処理回路は、第2のCBに対して二次変換を実行することなく第2のCBを再構築することができる。
一実施形態では、処理回路は、最後の位置の水平成分が第1の閾値未満であり、最後の位置の垂直成分が第2の閾値未満であるかどうかを判定することができる。水平成分が第1の閾値未満であると判定され、垂直成分が第2の閾値未満であると判定されたことに応答して、処理回路は、符号化情報において二次変換インデックスがシグナリングされていないと判定することができる。
一実施形態では、処理回路は、最後の位置の水平成分と垂直成分との和が閾値未満であるかどうかを判定することができる。和が閾値未満であると判定されたことに応答して、処理回路は、符号化情報において二次変換インデックスがシグナリングされていないと判定することができる。
一実施形態では、処理回路は、最後の位置の(i)水平成分および(ii)垂直成分のうちの最小成分が閾値未満であるかどうかを判定することができる。最小成分が閾値未満であると判定されたことに応答して、処理回路は、符号化情報において二次変換インデックスがシグナリングされていないと判定することができる。
一実施形態では、処理回路は、最後の位置の(i)水平成分および(ii)垂直成分のうちの最大成分が閾値未満であるかどうかを判定することができる。最大成分が閾値未満であると判定されたことに応答して、処理回路は、符号化情報において二次変換インデックスがシグナリングされていないと判定することができる。
一実施形態では、第1のCBは輝度ブロックである。最後の位置は、輝度ブロックの最後の輝度位置である。処理回路は、最後の輝度位置に基づいて二次変換インデックスがシグナリングされるかどうかを判定することができる。
一実施形態では、第1のCBは輝度ブロックである。最後の位置は、輝度ブロックの最後の輝度位置である。CUは、彩度ブロックをさらに含む。符号化情報は、彩度ブロックの非ゼロ変換係数の最後の彩度位置をさらに示す。処理回路は、最後の輝度位置および最後の彩度位置に基づいて二次変換インデックスがシグナリングされるかどうかを判定することができる。
いくつかの例では、ビデオ復号のための装置は処理回路を含む。処理回路は、符号化ビデオビットストリームから符号化ユニット(CU)の符号化情報を復号することができる。符号化情報は、CUのサイズを示すことができる。処理回路は、CUのサイズおよびCUサイズ閾値に基づいて、二次変換が許可されるかどうかを判定することができ、CUのサイズがCUサイズ閾値以下である場合、二次変換は許可されると判定され、CUのサイズがCUサイズ閾値よりも大きい場合、二次変換は許可されないと判定される。
一実施形態では、CUサイズ閾値は、CU内の変換ユニットの最大サイズである。
一実施形態では、CUのサイズがCUサイズ閾値以下である場合、処理回路は、CU内の少なくとも1つのCBの非ゼロ変換係数の数を判定することができ、少なくとも1つのCBの各々のサイズは第1の閾値以上である。非ゼロ変換係数の数が第2の閾値未満であることに応答して、処理回路は、符号化情報において二次変換インデックスがシグナリングされていないと判定することができる。一例では、符号化情報は、CUの色フォーマットがYUV 4:2:0であることを示す。CUは、輝度ブロックおよび2つの彩度ブロックを含む。処理回路は、輝度ブロックの第1の寸法が4であり、輝度ブロックの第2の寸法がNであるかどうかを判定することができ、Nは4以上である。第1および第2の寸法がそれぞれ4およびNであると判定されたことに応答して、処理回路は、少なくとも1つのCBが輝度ブロックである輝度ブロックのみから非ゼロ変換係数の数を判定することができる。
一実施形態では、符号化情報は、CUの色フォーマットがYUV 4:2:2であることを示す。CUは、輝度ブロックおよび2つの彩度ブロックを含む。処理回路は、輝度ブロックのサイズが4×Nであるかどうかを判定することができ、Nは4以上である。輝度ブロックのサイズが4×Nであると判定されたことに応答して(Nおよび4はそれぞれ輝度ブロックの高さおよび幅である)、処理回路は、輝度ブロックのみから非ゼロ変換係数の数を判定することができる。少なくとも1つのCBは輝度ブロックである。
本開示の態様はまた、ビデオ復号のためにコンピュータによって実行されると、コンピュータにビデオ復号のための方法のいずれかを実行させる命令を記憶する非一時的コンピュータ可読媒体を提供する。
開示される主題のさらなる特徴、性質、および様々な利点は、以下の詳細な説明および添付の図面からより明らかになるであろう。
イントラ予測モードの例示的なサブセットの概略図である。 例示的なイントラ予測方向の図である。 一例における現在のブロックおよびその周囲の空間マージ候補の概略図である。 一実施形態による通信システム(300)の簡略化されたブロック図の概略図である。 一実施形態による通信システム(400)の簡略化されたブロック図の概略図である。 一実施形態による復号器の簡略化されたブロック図の概略図である。 一実施形態による符号化器の簡略化されたブロック図の概略図である。 別の実施形態による符号化器のブロック図である。 別の実施形態による復号器のブロック図である。 一実施形態による変換ユニット構文の一例を示す図である。 一実施形態による残差符号化構文の一例を示す。 一実施形態による残差符号化構文の一例を示す。 一実施形態による残差符号化構文の一例を示す。 一実施形態による一次変換の例を示す。 一実施形態による一次変換の例を示す。 一実施形態による変換処理の一例を示す。 一実施形態による変換処理の一例を示す。 一実施形態による変換処理の一例を示す。 一実施形態による変換処理の一例を示す。 一実施形態による変換処理の一例を示す。 例示的な変換符号化処理(1300)を示す。 例示的な変換符号化処理(1400)を示す。 縮小順変換の例示的な処理(1501)および縮小逆変換の例示的な処理(1502)を示す。 いくつかの実施形態による縮小二次変換の例を示す。 いくつかの実施形態による縮小二次変換の例を示す。 例示的な変換セット選択可能(1550)を示す。 一実施形態に係る例示的なイントラ予測方向およびイントラ予測モードの図を示す。 一実施形態に係る例示的なイントラ予測方向および対応するイントラ予測モードの図を示す。 一実施形態による、符号化ブロック(1710)用の4本の参照ラインの一例を示す。 一実施形態による、いくつかのサブパーティションをブロックサイズと関連付ける表を示す図である。 サイズが4×8または8×4のブロックのサブパーティションの一例を示す。 4×8および8×4よりも大きいサイズを有するブロックのサブパーティションの別の例を示す。 異なるYUVフォーマットの例を示す。 異なるYUVフォーマットの例を示す。 異なるYUVフォーマットの例を示す。 異なるYUVフォーマットの例を示す。 一実施形態による処理(2200)の概要を示すフローチャートを示す。 一実施形態による処理(2300)の概要を示すフローチャートを示す。 一実施形態によるコンピュータシステムの概略図である。
図3は、本開示の実施形態による通信システム(300)の簡略化されたブロック図を示す。通信システム(300)は、例えばネットワーク(350)を介して互いに通信可能な複数の端末機器を含む。例えば、通信システム(300)は、ネットワーク(350)を介して相互接続された端末機器の第1の対(310)および(320)を含む。図3の例では、端末機器の第1の対(310)および(320)は、データの一方向の送信を実行する。例えば、端末機器(310)は、ネットワーク(350)を介して他の端末機器(320)に送信するためにビデオデータ(例えば、端末機器(310)によって取り込まれたビデオ画像のストリーム)を符号化することができる。符号化されたビデオデータは、1つまたはそれ以上の符号化ビデオビットストリームの形態で送信することができる。端末機器(320)は、ネットワーク(350)から符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオ画像を復元し、復元されたビデオデータに従ってビデオ画像を表示することができる。一方向のデータ送信は、メディアサービング用途などでは一般的であり得る。
別の例では、通信システム(300)は、例えばビデオ会議中に発生する可能性がある符号化ビデオデータの双方向送信を実行する端末機器(330)および(340)の第2の対を含む。データの双方向送信のために、一例では、端末機器(330)および(340)の各端末機器は、ネットワーク(350)を介して端末機器(330)および(340)の他方の端末機器に送信するためのビデオデータ(例えば、端末機器によって取り込まれたビデオ画像のストリーム)を符号化することができる。端末機器(330)および(340)の各端末機器はまた、端末機器(330)および(340)の他方の端末機器によって送信された符号化ビデオデータを受信することができ、符号化ビデオデータを復号してビデオ画像を復元することができ、復元されたビデオデータに従ってアクセス可能な表示装置にビデオ画像を表示することができる。
図3の例では、端末機器(310)、(320)、(330)、および(340)は、サーバ、パーソナルコンピュータおよびスマートフォンとして示され得るが、本開示の原理はそのように限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレーヤ、および/または専用のビデオ会議機器での用途を見出す。ネットワーク(350)は、例えば有線(配線された)および/または無線通信ネットワークを含む、端末機器(310)、(320)、(330)、および(340)間で符号化ビデオデータを伝達する任意の数のネットワークを表す。通信ネットワーク(350)は、回路交換チャネルおよび/またはパケット交換チャネルでデータを交換することができる。代表的なネットワークには、通信ネットワーク、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークおよび/またはインターネットなどがある。本議論の目的のために、ネットワーク(350)のアーキテクチャおよびトポロジーは、以下に本明細書で説明されない限り、本開示の動作にとって重要ではない場合がある。
図4は、開示された主題のための用途の例として、ストリーミング環境におけるビデオ符号化器およびビデオ復号器の配置を示す。開示された主題は、例えば、ビデオ会議、デジタルTV、CD、DVD、メモリスティックなどを含むデジタルメディアへの圧縮ビデオの格納などを含む他のビデオ対応用途に等しく適用可能であり得る。
ストリーミングシステムは、例えば非圧縮のビデオサンプルストリーム(402)を作成する、例えばデジタルカメラなどのビデオソース(401)を含み得るキャプチャサブシステム(413)を含み得る。一例では、ビデオ画像のストリーム(402)は、デジタルカメラによって撮影されたサンプルを含む。符号化ビデオデータ(404)(または符号化ビデオビットストリーム)と比較して高いデータ量を強調するために太線として示されているビデオ画像のストリーム(402)は、ビデオソース(401)に結合されたビデオ符号化器(403)を含む電子機器(420)によって処理することができる。ビデオ符号化器(403)は、以下でより詳細に説明されるように、開示された主題の態様を可能にするまたは実装するためのハードウェア、ソフトウェア、またはそれらの組み合わせを含み得る。ビデオ画像ストリーム(402)と比較してデータ量が少ないことを強調するために細い線で示された符号化されたビデオデータ(404)(または符号化されたビデオビットストリーム(404))は、将来の使用のためにストリーミングサーバ(405)に格納され得る。図4のクライアントサブシステム(406)および(408)などの1つまたはそれ以上のストリーミング・クライアント・サブシステムは、符号化されたビデオデータ(404)のコピー(407)および(409)を取得するために、ストリーミングサーバ(405)にアクセスすることができる。クライアントサブシステム(406)は、例えば電子機器(430)内のビデオ復号器(410)を含むことができる。ビデオ復号器(410)は、符号化されたビデオデータの入力コピー(407)を復号し、ディスプレイ(412)(例えば、表示画面)または他のレンダリング装置(図示せず)上にレンダリングすることができるビデオ画像の出力ストリーム(411)を作成する。いくつかのストリーミングシステムでは、符号化されたビデオデータ(404)、(407)、および(409)(例えば、ビデオビットストリーム)は、特定のビデオ符号化/圧縮規格に従って符号化することができる。これらの規格の例には、ITU-T勧告H.265が含まれる。一例では、開発中のビデオ符号化規格は、汎用ビデオ符号化(VVC)として非公式に知られている。開示された主題は、VVCの文脈で使用され得る。
電子機器(420)および(430)は、他の構成要素(図示せず)を含むことができることに留意されたい。例えば、電子機器(420)はビデオ復号器(図示せず)を含むことができ、電子機器(430)はビデオ符号化器(図示せず)も含むことができる。
図5は、本開示の実施形態によるビデオ復号器(510)のブロック図を示す。ビデオ復号器(510)は、電子機器(530)に含まれ得る。電子機器(530)は、受信機(531)(例えば、受信回路)を含むことができる。ビデオ復号器(510)は、図4の例のビデオ復号器(410)の代わりに使用することができる。
受信機(531)は、ビデオ復号器(510)によって復号される1つまたはそれ以上の符号化ビデオシーケンスを受信することができ、同じまたは別の実施形態では、一度に1つの符号化ビデオシーケンスを受信でき、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスから独立している。符号化ビデオシーケンスは、符号化されたビデオデータを記憶する記憶装置へのハードウェア/ソフトウェアリンクであり得るチャネル(501)から受信され得る。受信機(531)は、それぞれの使用エンティティ(図示せず)に転送され得る他のデータ、例えば、符号化オーディオデータおよび/または補助データストリームとともに、符号化されたビデオデータを受信し得る。受信機(531)は、符号化ビデオシーケンスを他のデータから分離することができる。ネットワークジッタに対抗するために、受信機(531)とエントロピー復号器/パーサ(520)(以降、「パーサ(520)」)との間にバッファメモリ(515)が結合され得る。特定の用途では、バッファメモリ(515)は、ビデオ復号器(510)の一部である。他の場合には、ビデオ復号器(510)の外部にあってもよい(図示せず)。さらに他のものでは、例えばネットワークジッタに対抗するためにビデオ復号器(510)の外部にバッファメモリ(図示せず)があり、さらに例えば再生タイミングを処理するためにビデオ復号器(510)の内部に別のバッファメモリ(515)があり得る。受信機(531)が十分な帯域幅および制御性を有するストア/フォワード装置から、または等同期ネットワークからデータを受信している場合、バッファメモリ(515)は必要ないか、小さくてもよい。インターネットなどのベストエフォートパケットネットワークで使用するために、バッファメモリ(515)が必要とされてもよく、比較的大きくてもよく、有利には適応サイズであってもよく、ビデオ復号器(510)の外部のオペレーティングシステムまたは同様の要素(図示せず)に少なくとも部分的に実装されてもよい。
ビデオ復号器(510)は、符号化ビデオシーケンスからシンボル(521)を再構築するためのパーサ(520)を含み得る。これらのシンボルのカテゴリは、ビデオ復号器(510)の動作を管理するために使用される情報、および潜在的に、図5に示すように、電子機器(530)の不可欠な部分ではないが電子機器(530)に結合することができるレンダリング装置(512)(例えば、表示画面)などのレンダリング装置を制御するための情報を含む。レンダリング装置の制御情報は、補足拡張情報(SEIメッセージ)またはビデオユーザビリティ情報(VUI)パラメータセットフラグメント(図示せず)の形であり得る。パーサ(520)は、受信された符号化ビデオシーケンスを解析/エントロピー復号することができる。符号化ビデオシーケンスの符号化は、ビデオ符号化技術またはビデオ符号化規格に従うことができ、可変長符号化、ハフマン符号化、文脈依存性の有無にかかわらず算術符号化などを含む、様々な原理に従い得る。パーサ(520)は、グループに対応する少なくとも1つのパラメータに基づいて、ビデオ復号器内の画素のサブグループのうちの少なくとも1つのサブグループパラメータの組を、符号化ビデオシーケンスから抽出することができる。サブグループは、画像群(GOP)、画像、タイル、スライス、マクロブロック、符号化ユニット(CU)、ブロック、変換ユニット(TU)、予測ユニット(PU)などを含み得る。パーサ(520)はまた、変換係数、量子化パラメータ値、動きベクトルなどのような符号化ビデオシーケンス情報から抽出することができる。
パーサ(520)は、シンボル(521)を作成するために、バッファメモリ(515)から受信されたビデオシーケンスに対してエントロピー復号/パース操作を実行することができる。
シンボル(521)の再構築には、符号化ビデオ画像またはその一部(インター画像およびイントラ画像、インターブロックおよびイントラブロックなど)のタイプ、およびその他の要因に応じて、複数の異なるユニットが含まれ得る。含まれるユニットおよびその方法は、パーサ(520)によって符号化ビデオシーケンスから解析されたサブグループ制御情報によって制御され得る。パーサ(520)と以下の複数のユニットとの間のそのようなサブグループ制御情報の流れは、分かりやすくするために示されていない。
既に述べた機能ブロックのほかに、ビデオ復号器(510)は、概念的には、以下で説明するように、いくつかの機能ユニットに細分化され得る。商業的な制約の下で動作する実際の実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的には互いに統合され得る。しかしながら、開示された主題を説明するために、以下の機能ユニットへの概念的な細分化が適切である。
第1のユニットは、スケーラ/逆変換ユニット(551)である。スケーラ/逆変換ユニット(551)は、使用する変換、ブロックサイズ、量子化係数、量子化スケーリング行列などを含む制御情報と同様に、量子化された変換係数をパーサ(520)からシンボル(521)として受け取る。スケーラ/逆変換ユニット(551)は、アグリゲータ(555)に入力され得るサンプル値を備えるブロックを出力し得る。
場合によっては、スケーラ/逆変換(551)の出力サンプルは、イントラ符号化ブロック、つまり、以前に再構築された画像からの予測情報を使用していないが、現在の画像の以前に再構築された部分からの予測情報を使用できるブロックに関係し得る。そのような予測情報は、イントラ画像予測ユニット(552)によって提供され得る。場合によっては、イントラ画像予測ユニット(552)は、現在の(部分的に再構築された)画像バッファ(558)からフェッチされた周囲の既に再構築された情報を使用して、再構築中のブロックと同じサイズおよび形状のブロックを生成する。現在の画像バッファ(558)は、例えば、部分的に再構築された現在の画像および/または完全に再構築された現在の画像をバッファリングする。アグリゲータ(555)は、場合によっては、サンプルごとに、イントラ予測ユニット(552)が生成した予測情報をスケーラ/逆変換ユニット(551)によって提供された出力サンプル情報に追加する。
他の場合では、スケーラ/逆変換ユニット(551)の出力サンプルは、インター符号化された、潜在的に動作補償されたブロックに関係する可能性がある。そのような場合、動作補償予測ユニット(553)は、参照画像メモリ(557)にアクセスして、予測に使用されるサンプルをフェッチすることができる。フェッチされたサンプルをブロックに関連するシンボル(521)に従って動作補償した後、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ(555)によってスケーラ/逆変換ユニット(551)の出力に追加され得る(この場合、残差サンプルまたは残差信号と呼ばれる)。動作補償予測ユニット(553)が予測サンプルをフェッチする参照画像メモリ(557)内のアドレスは、例えば、X、Y、および参照画像構成要素を有し得るシンボル(521)の形で動作補償予測ユニット(553)が利用できる動きベクトルによって制御され得る。動作補償はまた、サブサンプルの正確な動きベクトルが使用されているときに参照画像メモリ(557)からフェッチされたサンプル値の補間、動きベクトル予測メカニズムなどをも含み得る。
アグリゲータ(555)の出力サンプルは、ループ・フィルタ・ユニット(556)における様々なループフィルタリング技術の対象となり得る。ビデオ圧縮技術には、符号化ビデオシーケンス(符号化ビデオビットストリームとも称される)に含まれるパラメータによって制御され、パーサ(520)からのシンボル(521)としてループ・フィルタ・ユニット(556)で利用できるループ内フィルタ技術を含めることができるが、符号化画像または符号化ビデオシーケンスの以前の(復号順で)部分の復号中に取得されたメタ情報に応答したり、以前に再構築およびループフィルタされたサンプル値に応答したりすることもできる。
ループ・フィルタ・ユニット(556)の出力は、レンダリング装置(512)に出力され得るだけでなく、将来のインター画像予測で使用するために参照画像メモリ(557)に保存できるサンプルストリームであり得る。
特定の符号化画像は、完全に再構築されると、将来の予測のための参照画像として使用され得る。例えば、現在の画像に対応する符号化画像が完全に再構築され、符号化画像が(例えば、パーサ(520)によって)参照画像として識別されると、現在の画像バッファ(558)は参照画像メモリ(557)の一部になり得、次の符号化画像の再構築を開始する前に、新鮮な現在の画像バッファを再割り当てすることができる。
ビデオ復号器(510)は、ITU-T Rec.H.265などの規格における所定のビデオ圧縮技術に従って復号動作を実行することができる。符号化ビデオシーケンスは、符号化ビデオシーケンスがビデオ圧縮技術または規格の構文と、ビデオ圧縮技術または規格に文書化されたプロファイルとの両方に準拠しているという意味において、使用されているビデオ圧縮技術または規格によって指定された構文に準拠している場合がある。具体的には、プロファイルは、ビデオ圧縮技術または規格で利用可能なすべてのツールから、そのプロファイルの下で使用可能な唯一のツールとして特定のツールを選択することができる。また、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術または規格のレベルで定義されている範囲内にあることも、コンプライアンスに必要である。場合によっては、レベルによって、最大画像サイズ、最大フレームレート、最大再構築サンプルレート(例えば、メガサンプル/秒で測定)、最大参照画像サイズなどが制限される。レベルによって設定された制限は、場合によっては、仮想参照復号器(HRD)の仕様と、符号化ビデオシーケンスで通知されるHRDバッファ管理のメタデータとによってさらに制限され得る。
一実施形態では、受信機(531)は、符号化されたビデオとともに追加の(冗長な)データを受信することができる。追加のデータは、符号化ビデオシーケンスの一部として含まれ得る。追加のデータは、データを適切に復号し、および/または元のビデオデータをより正確に再構築するために、ビデオ復号器(510)によって使用され得る。追加のデータは、例えば、時間的、空間的、または信号雑音比(SNR)拡張レイヤ、冗長スライス、冗長画像、前方誤り訂正コードなどの形式であり得る。
図6は、本開示の実施形態によるビデオ符号化器(603)の機能ブロック図を示す。ビデオ符号化器(603)は、電子機器(620)に含まれる。電子機器(620)は、送信機(640)(例えば、送信回路)を含む。ビデオ符号化器(603)は、図4の例のビデオ符号化器(403)の代わりに使用することができる。
ビデオ符号化器(603)は、ビデオ符号化器(603)によって符号化されるビデオ画像を取り込むことができるビデオソース(601)(図6の例では電子機器(620)の一部ではない)からビデオサンプルを受信することができる。別の例では、ビデオソース(601)は電子機器(620)の一部である。
ビデオソース(601)は、ビデオ符号化器(603)によって符号化されるソース・ビデオ・シーケンスを、任意の適切なビット深度(例えば、8ビット、10ビット、12ビット、…)であり得、任意の色空間(例えば、BT.601 Y CrCB、RGB、…)および適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)であり得るデジタル・ビデオ・サンプル・ストリームの形態で提供し得る。メディア・サービング・システムでは、ビデオソース(601)は、以前に準備されたビデオを格納する記憶装置であり得る。ビデオ会議システムでは、ビデオソース(601)は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラであり得る。ビデオデータは、順番に見たときに動きを与える複数の個別の画像として提供され得る。画像自体は、画素の空間配列として編成することができ、各画素は、使用中のサンプリング構造、色空間などに応じて、1つまたはそれ以上のサンプルを含み得る。当業者は、画素とサンプルとの間の関係を容易に理解することができる。以下の説明では、サンプルを中心に説明する。
一実施形態によれば、符号化器(603)は、用途によって要求されるように、リアルタイムで、または任意の他の時間制約の下で、ソース・ビデオ・シーケンスの画像を符号化し、符号化ビデオシーケンス(643)に圧縮し得る。適切な符号化速度を強制することは、コントローラ(650)の1つの機能である。いくつかの実施形態では、コントローラ(650)は、以下に説明するように他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。分かりやすくするために、結合は描かれていない。コントローラ(650)によって設定されたパラメータには、レート制御関連パラメータ(画像スキップ、量子化、レート歪み最適化手法のラムダ値など)、画像サイズ、画像グループ(GOP)レイアウト、最大動きベクトル検索範囲などが含まれ得る。コントローラ(650)は、特定のシステム設計に最適化されたビデオ符号化器(603)に関する他の適切な機能を有するように構成することができる。
いくつかの実施形態では、ビデオ符号化器(603)は、符号化ループで動作するように構成される。過度に簡略化された説明として、一例では、符号化ループは、ソース符号化器(630)(例えば、符号化される入力画像と、参照画像とに基づいて、シンボルストリームのようなシンボルを生成することを担当する)と、ビデオ符号化器(603)に組み込まれた(ローカル)復号器(633)とを含むことができる。復号器(633)は、(リモート)復号器も作成するのと同様の方法でサンプルデータを作成するためにシンボルを再構築する(開示された主題で考慮されるビデオ圧縮技術では、シンボルと符号化ビデオビットストリームとの間の任意の圧縮が可逆的であるため)。再構築されたサンプルストリーム(サンプルデータ)は、参照画像メモリ(634)に入力される。シンボルストリームの復号は、復号器の場所(ローカルまたはリモート)に関係なくビット正確な結果をもたらすため、参照画像メモリ(634)内のコンテンツもローカル符号化器とリモート符号化器間でビットが正確である。言い換えると、符号化器の予測部分は、復号器が復号中に予測を使用するときに「参照」するのとまったく同じサンプル値を参照画像のサンプルとして「見なす」。参照画像の同期性のこの基本原理(および、例えばチャネルエラーのために同期性を維持できない場合に生じるドリフト)は、いくつかの関連技術においても用いられる。
「ローカル」復号器(633)の動作は、ビデオ復号器(510)などの「リモート」復号器の動作と同じであり得、これは、図5に関連して上で詳細に既に説明されている。しかしながら、図5も簡単に参照すると、シンボルが利用可能であり、エントロピー符号化器(645)およびパーサ(520)による符号化ビデオシーケンスへのシンボルの符号化/復号は無損失であり得るため、バッファメモリ(515)、およびパーサ(520)を含むビデオ復号器(510)のエントロピー復号部分は、ローカル復号器(633)に完全に実装されない場合がある。
この時点で行うことができる観察は、復号器に存在する構文解析/エントロピー復号以外の復号器技術も、対応する符号化器に実質的に同一の機能形式で必ず存在する必要があることである。このため、開示された主題は、復号器の動作に重点を置いている。符号化器技術の説明は、包括的に説明された復号器技術の逆であるため、省略できる。特定の領域でのみ、より詳細な説明が必要であり、以下に提供される。
いくつかの例では、動作中、ソース符号化器(630)は、「参照画像」として指定されたビデオシーケンスからの1つまたはそれ以上の以前に符号化された画像を参照して入力画像を予測的に符号化する動作補償予測符号化を実行し得る。このようにして、符号化エンジン(632)は、入力画像の画素ブロックと、入力画像への予測参照として選択され得る参照画像の画素ブロックとの間の差異を符号化する。
ローカルビデオ復号器(633)は、ソース符号化器(630)によって作成されたシンボルに基づいて、参照画像として指定され得る画像の符号化ビデオデータを復号し得る。符号化エンジン(632)の動作は、不可逆処理であることが有利であり得る。符号化ビデオデータがビデオ復号器(図6には示されていない)で復号され得るとき、再構築されたビデオシーケンスは、通常、いくつかのエラーを伴うソース・ビデオ・シーケンスのレプリカであり得る。ローカルビデオ復号器(633)は、参照画像に対してビデオ復号器によって実行され得る復号処理を複製し、再構築された参照画像を参照画像キャッシュ(634)に記憶させることができる。このようにして、ビデオ符号化器(603)は、遠端ビデオ復号器によって得られる(送信エラーがない)再構築参照画像として共通のコンテンツを有する再構築参照画像の複製をローカルに格納し得る。
予測器(635)は、符号化エンジン(632)の予測検索を実行し得る。すなわち、符号化される新しい画像について、予測器(635)は、(候補参照画素ブロックとしての)サンプルデータまたは参照画像の動きベクトル、ブロック形状などの、新しい画像の適切な予測参照として機能する特定のメタデータについて参照画像メモリ(634)を検索することができる。予測器(635)は、適切な予測参照を見つけるために、サンプルブロック-画素ブロックごとに動作し得る。いくつかの場合において、予測器(635)によって得られた検索結果によって決定されるように、入力画像は、参照画像メモリ(634)に記憶された複数の参照画像から引き出された予測参照を有し得る。
コントローラ(650)は、例えば、ビデオデータを符号化するために使用されるパラメータおよびサブグループパラメータの設定を含む、ソース符号化器(630)の符号化動作を管理し得る。
前述のすべての機能ユニットの出力は、エントロピー符号化器(645)においてエントロピー符号化を受けることができる。エントロピー符号化器(645)は、ハフマン符号化、可変長符号化、算術符号化などのような技術に従ってシンボルを可逆圧縮することにより、様々な機能ユニットにより生成されたシンボルを符号化ビデオシーケンスに変換する。
送信機(640)は、エントロピー符号化器(645)によって作成された符号化ビデオシーケンスをバッファリングして、符号化されたビデオデータを格納する記憶装置へのハードウェア/ソフトウェアリンクであり得る通信チャネル(660)を介した送信に備えることができる。送信機(640)は、ビデオ符号化器(603)からの符号化ビデオデータを、送信される他のデータ、例えば符号化オーディオデータおよび/または補助データストリーム(ソースは図示せず)とマージすることができる。
コントローラ(650)は、ビデオ符号化器(603)の動作を管理し得る。符号化中に、コントローラ(650)は、各々の符号化画像に特定の符号化画像タイプを割り当て得、これは、それぞれの画像に適用され得る符号化技法に影響を及ぼし得る。例えば、多くの場合、画像は次の画像タイプのうちの1つとして割り当てられ得る。
イントラ画像(I画像)は、シーケンス内の他の画像を予測のソースとして使用せずに符号化および復号できるものである。一部のビデオ符号化では、例えばIndependent Decoder Refresh(「IDR」)画像など、様々なタイプのイントラ画像を使用できる。当業者は、I画像のそれらの変形およびそれらのそれぞれの用途および特徴を知っている。
予測画像(P画像)は、各ブロックのサンプル値を予測するために最大で1つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。
双方向予測画像(B画像)は、各ブロックのサンプル値を予測するために最大で2つの動きベクトルおよび参照インデックスを使用するイントラ予測またはインター予測を使用して符号化および復号され得るものであり得る。同様に、複数の予測画像は、単一のブロックの再構築に2つを超える参照画像と関連メタデータとを使用できる。
ソース画像は、通常、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8、または16×16サンプルのブロック)に細分化され、ブロックごとに符号化され得る。ブロックは、ブロックのそれぞれの画像に適用される符号化割り当てによって決定されるように、他の(既に符号化された)ブロックを参照して予測的に符号化され得る。例えば、I画像のブロックは非予測的に符号化されてもよく、またはそれらは同じ画像の既に符号化されたブロックを参照して予測的に符号化されてもよい(空間予測またはイントラ予測)。P画像の画素ブロックは、以前に符号化された1つの参照画像を参照して、空間的予測を介して、または時間的予測を介して、予測的に符号化され得る。B画像のブロックは、1つまたは2つの以前に符号化された参照画像を参照して、空間的予測を介して、または時間的予測を介して、予測的に符号化され得る。
ビデオ符号化器(603)は、ITU-T Rec.H.265などの所定のビデオ符号化技術または規格に従って符号化動作を実行し得る。その動作において、ビデオ符号化器(603)は、入力ビデオシーケンスの時間的および空間的冗長性を活用する予測符号化操作を含む、様々な圧縮操作を実行し得る。したがって、符号化ビデオデータは、使用されているビデオ符号化技術または規格で指定された構文に準拠する場合がある。
一実施形態では、送信機(640)は、符号化されたビデオとともに追加のデータを送信し得る。ソース符号化器(630)は、そのようなデータを、符号化ビデオシーケンスの一部として含み得る。追加のデータは、時間/空間/SNR強化レイヤ、冗長画像およびスライスなどの他の形態の冗長データ、SEIメッセージ、VUIパラメータセット断片などを含むことができる。
ビデオは、複数のソース画像(ビデオ画像)として時系列に撮像されてもよい。イントラ画像予測(しばしばイントラ予測と略される)は、所与の画像における空間相関を利用し、インター画像予測は、画像間の(時間的または他の)相関を利用する。一例では、現在の画像と呼ばれる、符号化/復号中の特定の画像がブロックに分割される。現在の画像内のブロックがビデオ内の以前に符号化されてまだバッファされている参照画像内の参照ブロックに類似しているとき、現在の画像内のブロックは、動きベクトルと呼ばれるベクトルによって符号化することができる。動きベクトルは、参照画像内の参照ブロックを指し、複数の参照画像が使用されている場合、参照画像を識別する第3の次元を有することができる。
いくつかの実施形態では、インター画像予測に双予測技術を使用することができる。双予測技術によれば、第1の参照画像および第2の参照画像などの2つの参照画像が使用され、これらは両方ともビデオ内の現在の画像の復号順より前にある(ただし、表示順序は、それぞれ過去および未来のものであってもよい)。現在の画像内のブロックは、第1の参照画像内の第1の参照ブロックを指す第1の動きベクトル、および第2の参照画像内の第2の参照ブロックを指す第2の動きベクトルによって符号化することができる。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測することができる。
さらに、符号化効率を改善するために、インター画像予測にマージモード技術を使用することができる。
本開示のいくつかの実施形態によれば、インター画像予測およびイントラ画像予測などの予測は、ブロック単位で実行される。例えば、HEVC規格によれば、ビデオ画像のシーケンス内の画像は、圧縮のために符号化ツリーユニット(CTU)に分割され、画像内のCTUは、64×64画素、32×32画素、または16×16画素などの同じサイズを有する。一般に、CTUは、1つの輝度CTBおよび2つの彩度CTBである3つの符号化ツリーブロック(CTB)を含む。各CTUは、1つまたはそれ以上の符号化ユニット(CU)に再帰的に四分木分割することができる。例えば、64×64画素のCTUは、64×64画素の1つのCU、または32×32画素の4つのCU、または16×16画素の16個のCUに分割することができる。一例では、各CUは、インター予測タイプまたはイントラ予測タイプなどのCUの予測タイプを判定するために分析される。CUは、時間的および/または空間的な予測可能性に応じて、1つまたはそれ以上の予測ユニット(PU)に分割される。一般に、各PUは、輝度予測ブロック(PB)と、2つの彩度PBとを含む。一実施形態では、符号化(符号化/復号)における予測演算は、予測ブロックの単位で実行される。予測ブロックの例として輝度予測ブロックを使用すると、予測ブロックは、8×8画素、16×16画素、8×16画素、16×8画素などの画素の値の行列(例えば、輝度値)を含む。
図7は、本開示の別の実施形態によるビデオ符号化器(703)の図を示す。ビデオ符号化器(703)は、ビデオ画像のシーケンス内の現在のビデオ画像内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを、符号化ビデオシーケンスの一部である符号化画像に符号化するように構成される。一例では、ビデオ符号化器(703)は、図4の例のビデオ符号化器(403)の代わりに使用される。
HEVCの例では、ビデオ符号化器(703)は、例えば8×8サンプルの予測ブロックのような処理ブロックのためのサンプル値の行列を受信する。ビデオ符号化器(703)は、処理ブロックが、例えばレート歪み最適化を使用して、イントラモード、インターモード、または双予測モードを使用して最良に符号化されるかどうかを判定する。処理ブロックがイントラモードで符号化される場合、ビデオ符号化器(703)は、処理ブロックを符号化画像へ符号化するために、イントラ予測技術を使用し得る。処理ブロックがインターモードまたは双予測モードで符号化されるべきであるとき、ビデオ符号化器(703)は、処理ブロックを符号化画像に符号化するために、それぞれインター予測技術または双予測技術を使用することができる。特定のビデオ符号化技術では、マージモードは、予測器の外側の符号化動きベクトル成分の恩恵を受けずに動きベクトルが1つまたはそれ以上の動きベクトル予測器から導出されるインター画像予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトル成分が存在し得る。一例では、ビデオ符号化器(703)は、処理ブロックのモードを判定するためのモード判定モジュール(図示せず)などの他の構成要素を含む。
図7の例では、ビデオ符号化器(703)は、図7に示すように互いに結合されたインター符号化器(730)、イントラ符号化器(722)、残差計算器(723)、スイッチ(726)、残差符号化器(724)、汎用コントローラ(721)、およびエントロピー符号化器(725)を含む。
インター符号化器(730)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、そのブロックを参照画像(例えば、前の画像および後の画像内のブロック)内の1つまたはそれ以上の参照ブロックと比較し、インター予測情報(例えば、インター符号化技術、動きベクトル、マージモード情報による冗長情報の記述)を生成し、任意の適切な技術を使用してインター予測情報に基づいてインター予測結果(例えば、予測ブロック)を計算するように構成される。いくつかの例では、参照画像は、符号化されたビデオ情報に基づいて復号される復号参照画像である。
イントラ符号化器(722)は、現在のブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、ブロックを同じ画像内で既に符号化されているブロックと比較し、変換後に量子化係数を生成し、場合によってはイントラ予測情報(例えば、1つまたはそれ以上のイントラ符号化技術によるイントラ予測方向情報)も生成するように構成される。一例では、イントラ符号化器(722)は、イントラ予測情報と、同一画像内の参照ブロックとに基づいて、イントラ予測結果(例えば、予測ブロック)を計算する。
汎用コントローラ(721)は、汎用制御データを決定し、汎用制御データに基づいてビデオ符号化器(703)の他の構成要素を制御するように構成される。一例では、汎用コントローラ(721)は、ブロックのモードを判定し、モードに基づいてスイッチ(726)に制御信号を提供する。例えば、汎用コントローラ(721)は、モードがイントラモードである場合、残差計算器(723)が用いるイントラモード結果を選択するようにスイッチ(726)を制御し、イントラ予測情報を選択してビットストリームに含めるようにエントロピー符号化器(725)を制御する。汎用コントローラ(721)は、モードがインターモードである場合、残差計算器(723)が用いるインター予測結果を選択するようにスイッチ(726)を制御し、インター予測情報を選択してビットストリームに含めるようにエントロピー符号化器(725)を制御する。
残差計算器(723)は、受信されたブロックと、イントラ符号化器(722)またはインター符号化器(730)から選択された予測結果との差分(残差データ)を計算する。残差符号化器(724)は、変換係数を生成するために残差データを符号化するために残差データに基づいて動作するように構成される。一例では、残差符号化器(724)は、残差データを空間領域から周波数領域に変換し、変換係数を生成するように構成される。変換係数はその後、量子化された変換係数を得るために量子化処理を受ける。様々な実施形態において、ビデオ符号化器(703)はまた、残差復号器(728)を含む。残差復号器(728)は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラ符号化器(722)およびインター符号化器(730)において好適に用いることができる。例えば、インター符号化器(730)は、復号された残差データとインター予測情報とに基づいて復号されたブロックを生成し、イントラ符号化器(722)は、復号された残差データとイントラ予測情報とに基づいて復号されたブロックを生成することができる。いくつかの例では、復号されたブロックは、復号された画像を生成するために適切に処理され、復号された画像は、メモリ回路(図示せず)にバッファされ、参照画像として使用され得る。
エントロピー符号化器(725)は、符号化されたブロックを含むようにビットストリームをフォーマットするように構成される。エントロピー符号化器(725)は、HEVC規格などの適切な規格に従って様々な情報を含むように構成される。一例では、エントロピー符号化器(725)は、汎用制御データ、選択された予測情報(例えば、イントラ予測情報またはインター予測情報)、残差情報、および他の適切な情報をビットストリームに含めるように構成される。開示された主題によれば、インターモードまたは双予測モードのいずれかのマージサブモードでブロックを符号化するとき、残差情報は存在しないことに留意されたい。
図8は、本開示の別の実施形態によるビデオ復号器(810)の図を示す。ビデオ復号器(810)は、符号化ビデオシーケンスの一部である符号化画像を受信し、符号化画像を復号して再構築された画像を生成するように構成される。一例では、ビデオ復号器(810)は、図4の例のビデオ復号器(410)の代わりに使用される。
図8の例では、ビデオ復号器(810)は、図8に示すように互いに結合されたエントロピー復号器(871)、インター復号器(880)、残差復号器(873)、再構築モジュール(874)、およびイントラ復号器(872)を含む。
エントロピー復号器(871)は、符号化画像から、符号化画像が構成されるシンタックス要素を表す特定のシンボルを再構築するように構成され得る。そのようなシンボルは、例えば、ブロックが符号化されるモード(例えば、イントラモード、インターモード、双予測モード、後者の2つはマージサブモードまたは別のサブモードである)、イントラ復号器(872)またはインター復号器(880)によってそれぞれ予測に使用される特定のサンプルまたはメタデータを識別することができる予測情報(例えば、イントラ予測情報やインター予測情報等)、例えば量子化変換係数の形態の残差情報などを含むことができる。一例では、予測モードがインター予測モードまたは双予測モードである場合、インター予測情報はインター復号器(880)に提供される。予測タイプがイントラ予測タイプである場合、イントラ予測情報がイントラ復号器(872)に提供される。残差情報は逆量子化を受けることができ、残差復号器(873)に提供される。
インター復号器(880)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラ復号器(872)は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
残差復号器(873)は、逆量子化を実行して逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して残差を周波数領域から空間領域に変換するように構成される。残差復号器(873)はまた、(量子化器パラメータ(QP)を含むために)特定の制御情報を必要とする場合があり、その情報はエントロピー復号器(871)によって提供される場合がある(これとして示されていないデータ経路は、低ボリューム制御情報のみであり得る)。
再構築モジュール(874)は、空間領域において、残差復号器(873)による出力としての残差と(場合によってはインターまたはイントラ予測モジュールによる出力としての)予測結果とを組み合わせて、再構築画像の一部であり得る再構築ブロックを形成するように構成され、再構築ブロックは再構築ビデオの一部であり得る。視覚的品質を改善するために、デブロッキング操作などの他の適切な操作を実行することができることに留意されたい。
ビデオ符号化器(403)、(603)、および(703)、ならびにビデオ復号器(410)、(510)、および(810)は、任意の適切な技術を使用して実装することができることに留意されたい。一実施形態では、ビデオ符号化器(403)、(603)、および(703)、ならびにビデオ復号器(410)、(510)、および(810)は、1つまたはそれ以上の集積回路を使用して実装することができる。別の実施形態では、ビデオ符号化器(403)、(603)、および(603)、ならびにビデオ復号器(410)、(510)、および(810)は、ソフトウェア命令を実行する1つまたはそれ以上のプロセッサを使用して実装することができる。
本開示の態様は、逆二次変換の実施のような、二次変換の修正に関する。
HEVCなどのいくつかの実施形態では、一次変換は、4点、8点、16点、および32点の離散コサイン変換(DCT)タイプ2(DCT-2)を含み得、変換コア行列は、8ビット整数(すなわち、8ビット変換コア)を使用して表され得る。より小さいDCT-2の変換コア行列は、付録Iに示すように、より大きいDCT-2の変換コア行列の一部である。
DCT-2コア行列は対称性/逆対称性特性を示す。したがって、演算カウント数(例えば、乗算、加算、減算、シフトなど)を減らすために「部分バタフライ」実装がサポートされてもよく、部分バタフライを使用して行列乗算の同一の結果を得ることができる。
VVCなどのいくつかの実施形態では、上記の4点、8点、16点、および32点のDCT-2変換に加えて、追加の2点および64点のDCT-2も含まれ得る。VVCで使用されるような64点DCT-2コアの例は、64×64行列として付録IIに示されている。
HEVCにおいて使用されるようなDCT-2および4×4 DST-7に加えて、適応多重変換(AMT)(拡張多重変換(EMT)または多重変換選択(MTS)としても知られる)方式を、インター符号化ブロックおよびイントラ符号化ブロックの両方の残差符号化のために、VVCにおいて使用することができる。AMT方式は、HEVCにおける現在の変換以外のDCT/DSTファミリーからの複数の選択された変換を使用することができる。新たに導入された変換行列は、DST-7およびDCT-8である。表1は、N点入力に対する選択されたDST/DCTの基底関数の例を示す。
Figure 0007185049000001
VVCで使用されるような一次変換行列は、8ビット表現で使用され得る。AMTは、幅と高さの両方が32以下のCUに変換行列を適用する。AMTが適用されるか否かは、フラグ(例えば、mts_flag)によって制御されてもよい。mts_flagが0に等しいとき、いくつかの例では、DCT-2のみが符号化残差データに適用される。mts_flagが1に等しい場合、表2に従って使用される水平および垂直変換を識別するために2つのビンを使用してインデックス(例えば、mts_idx)がさらにシグナリングされ得、1のタイプ値はDST-7が使用されることを意味し、2のタイプ値はDCT-8が使用されることを意味する。表2において、trTypeHorおよびtrTypeVerの仕様は、mts_idx[x][y][cIdx]に依存する。
Figure 0007185049000002
いくつかの実施形態では、暗黙的なMTSは、上記のシグナリングベースのMTS(すなわち、明示的なMTS)が使用されない場合に適用され得る。暗黙的なMTSでは、シグナリングの代わりにブロック幅および高さに従って変換選択が行われる。例えば、暗黙的なMTSでは、MxNのブロックの短辺(すなわち、MおよびNのうちの最小のもの)に対してDST-7が選択され、ブロックの長辺(すなわち、MおよびNのうちの最大のもの)に対してDCT-2が選択される。
それぞれが基底ベクトルで構成される行列であるDST-7およびDCT-8の例示的な変換コアを付録IIIに示す。
VVCなどのいくつかの例では、符号化ブロックの高さおよび幅の両方が64以下である場合、TBサイズは符号化ブロックサイズと同じである。符号化ブロックの高さまたは幅のいずれかが64より大きい場合、変換(逆変換、逆一次変換など)またはイントラ予測を行うとき、符号化ブロックは複数のサブブロックにさらに分割され、各サブブロックの幅および高さは64以下である。各サブブロックに対して1つの変換を実行することができる。
VVCにおけるいくつかの例におけるMTSの関連する構文およびセマンティクスは、図9および図10A~図10Cにおいて以下に説明することができる(灰色を使用して強調表示されている)。図9は、変換ユニット構文の一例を示す図である。図10A~図10Cは、残差符号化構文の一例を示す。
変換ユニットセマンティクスの例を以下に示す。1に等しいcu_mts_flag[x0][y0] は、複数の変換選択が関連する輝度変換ブロックの残差サンプルに適用されることを指定する。0に等しいcu_mts_flag[x0][y0]は、複数の変換選択が関連する輝度変換ブロックの残差サンプルに適用されないことを指定する。配列インデックスx0、y0は、画像の左上輝度サンプルに対する考慮される変換ブロックの左上輝度サンプルの位置(x0、y0)を指定する。cu_mts_flag[x0][y0]が存在しない場合、0と等しいと推測される。
残差符号化セマンティクスの例を以下に示す。mts_idx[x0][y0]は、どの変換カーネルが現在の変換ブロックの水平方向および垂直方向に沿って輝度残差サンプルに適用されるかを指定する。配列インデックスx0、y0は、画像の左上輝度サンプルに対する考慮される変換ブロックの左上輝度サンプルの位置(x0、y0)を指定する。mts_idx[x0][y0]が存在しない場合、-1に等しいと推測される。
図11Aは、符号化器によって実行される例示的な順変換(順一次変換とも呼ばれる)を示す。順変換は、順水平変換および順垂直変換を含むことができる。まず、残差データを有する残差ブロック(1110)に順水平変換を施して中間ブロックを得る。続いて、中間ブロックに順垂直変換を適用して、変換係数を有する係数ブロック(1112)を得る。
図11Bは、復号器によって実行される例示的な逆変換(逆一次変換または逆変換とも呼ばれる)を示す。一般的に言えば、逆変換は順変換と一致する。逆一次変換は、逆一次水平変換(逆水平変換とも呼ばれる)および逆一次垂直変換(逆垂直変換とも呼ばれる)を含むことができる。順変換に合わせるために、逆変換では、水平方向および垂直方向の逆変換を適用する順序が切り替えられる。したがって、中間ブロックを得るために、係数ブロック(1122)に逆垂直変換が最初に適用される。続いて、中間ブロックに逆水平変換を施して残差ブロック(1120)を得る。
一次変換は、順一次変換または逆一次変換を指すことができる。水平変換は、逆水平変換または順水平変換を指すことができる。同様に、垂直変換は、逆垂直変換または順垂直変換を指すことができる。
VVCなどの例では、復号器では、グレー色で強調表示されたテキストで図12A~図12Eに示すように、逆垂直一次変換が最初に実行され、次に逆水平一次変換が逆垂直変換を適用した後に2番目に実行される。図12A~図12Eは、例えば、スケーリングされた変換係数のための変換処理の一例を示す。灰色で強調表示されたテキストを図12Eに示す。
一実施形態では、符号化器側での順コア変換と量子化との間、および復号器側での逆量子化と逆コア変換との間に、モード依存の分離不可能な二次変換(NSST)を使用することができる。例えば、低複雑度を維持するために、一次変換(またはコア変換)後の低周波数係数にNSSTが適用される。変換係数ブロックの幅(W)および高さ(H)の両方が8以上である場合、8×8 NSSTが変換係数ブロックの左上8×8領域に適用される。そうではなく、変換係数ブロックの幅Wまたは高さHのいずれかが4であるとき、4×4のNSSTが適用され、4×4のNSSTが変換係数ブロックの左上のmin(8、W)×min(8、H)領域に対して実行される。上記の変換選択方法は、輝度成分と彩度成分の両方に適用される。
NSSTの行列乗算実装は、例として4×4入力ブロックを使用して以下のように説明される。4×4の入力ブロックXは、式(1)に
Figure 0007185049000003
として記載される。
入力ブロックXは、式(2)中のベクトル
Figure 0007185049000004
として表すことができ、ここで、
Figure 0007185049000005
である。
分離不可能変換は、
Figure 0007185049000006
として計算され、
Figure 0007185049000007
は変換係数ベクトルを示し、Tは16×16の変換行列である。16×1変換係数ベクトル
Figure 0007185049000008
は、その後、入力ブロックXの走査順序(例えば、水平走査順、垂直走査順、または対角走査順)を使用して4×4ブロックとして再編成される。4×4係数ブロックでは、インデックスがより小さい係数を、より小さい走査インデックスで配置することができる。いくつかの実施形態では、NSSTの複雑さを低減するために、上述した行列乗算の代わりに、バタフライ実装を有するハイパーキューブ変換(HyGT)を使用することができる。
一例では、4×4および8×8の両方のブロックサイズに対して35×3の分離不可能な二次変換が利用可能であり、35はイントラ予測モードに関連付けられた変換セットの数であり、3は各イントラ予測モードのNSST候補の数である。表3は、イントラ予測モードからそれぞれの変換セットへの例示的なマッピングを示す。輝度/彩度変換係数に適用される変換セットは、イントラ予測モードから変換セットインデックスへのマッピングを示す表3に従って、対応する輝度/彩度イントラ予測モードによって指定される。対角予測方向に対応する34より大きいイントラ予測モードの場合、変換係数ブロックは、符号化器/復号器においてNSSTの前/後にそれぞれ転置される。
各変換セットについて、選択されたNSST候補は、明示的にシグナリングされたCUレベルのNSSTインデックスによってさらに指定することができる。CUレベルのNSSTインデックスは、変換係数の後にイントラ符号化CUごとにビットストリームでシグナリングされ、切り捨てられた単項2値化がCUレベルのNSSTインデックスに使用される。例えば、打ち切り値は、平面モードまたはDCモードでは2であり、角度イントラ予測モードでは3である。一例では、CUレベルのNSSTインデックスは、CUに複数の非ゼロ係数がある場合にのみシグナリングされる。デフォルト値は0であり、シグナリングされず、NSSTがCUに適用されないことを示す。値1~3の各々は、変換セットからどのNSST候補が適用されるかを示す。
Figure 0007185049000009
いくつかの実施形態では、NSSTは、変換スキップモードで符号化されたブロックに適用されない。CUレベルのNSSTインデックスがCUに対してシグナリングされ、0に等しくないとき、NSSTは、CU内の変換スキップモードで符号化されたブロックには使用されない。すべての成分のブロックを有するCUが変換スキップモードで符号化されるか、または非変換スキップモードCBの非ゼロ係数の数が2未満であるとき、CUレベルのNSSTインデックスはCUに対してシグナリングされない。
いくつかの実施形態では、縮小サイズ変換(RST)などのNSSTの変形が使用される。RSTは、変換ゼロアウト方式を使用する。一例では、RSTにおいて、イントラ予測モードが平面であるかDCであるかが、NSSTの変換インデックスをエントロピー符号化するためにチェックされる。
一例では、4つの変換セットが適用され、各変換セットは3つのRST変換コアを含む。RST変換コアは、16×48(または16×64)(高さおよび幅の両方が8以上である変換係数ブロックに適用される)または16×16(高さまたは幅のいずれかが4である変換係数ブロックに適用される)のサイズを有することができる。表記の便宜上、16×48(または16×64)変換はRST 8×8として示され、16×16変換はRST 4×4として示される。
図13および図14は、それぞれ、16×64変換(または変換が順二次変換または逆二次変換であるかに応じた64×16変換)および16×48変換(または変換が順二次変換または逆二次変換であるかに応じた48×16変換)を用いる2つの変換符号化処理(1300)および(1400)の例を示す。図13を参照すると、処理(1300)において、符号化器側では、係数ブロック(1313)を取得するために、まず残差ブロックにわたって順一次変換(1310)を実行することができる。続いて、順二次変換(1312)を係数ブロック(1313)に適用することができる。順二次変換(1312)において、係数ブロック(1313)の左上隅の4×4サブブロックA~Dの64個の係数は、64個の長さベクトルによって表すことができ、64個の長さベクトルは、64x16の変換行列で乗算することができ(すなわち、幅64、高さ16であり)、式(2)により、16の長さベクトルが得られる。16個の長さベクトル内の要素は、係数ブロックの左上の4×4サブブロックAに埋め戻される(1313)。サブブロックB~D内の係数は0とすることができる。順二次変換(1312)の後に得られた係数はその後、ステップ(1314)において量子化され、ビットストリーム(1316)において符号化ビットを生成するためにエントロピー符号化される。
符号化ビットは、復号器側で受信され、エントロピー復号された後、逆量子化(1324)されて係数ブロック(1323)を生成することができる。逆RST 8×8などの逆二次変換(1322)を実行して、例えば、左上の4×4サブブロックEの16個の係数から64個の係数を取得することができる。64個の係数は、4×4サブブロックE~Hに埋め戻すことができる。さらに、逆二次変換(1322)後の係数ブロック(1323)内の係数は、逆一次変換(1320)で処理されて復元された残差ブロックを取得することができる。
図14の例の処理(1400)は、順二次変換(1412)の間に処理される係数がより少ない(すなわち、48)ことを除いて、処理(1300)と同様である。具体的には、サブブロックA~C内の48個の係数は、48×16のサイズのより小さい変換行列で処理される。48×16のより小さい変換行列を使用することにより、変換行列および計算回数(例えば、乗算、加算、減算など)を格納するためのメモリサイズを低減することができ、したがって計算の複雑さを低減することができる。
縮小変換(RT)(RSTとも呼ばれる)は、N次元ベクトルを異なる空間内のR次元ベクトルにマッピングすることができ、R/N(R<N)は縮小係数である。
RST(またはRT)行列は、以下のようなR×N行列である。
Figure 0007185049000010
ここで、変換のR行は、N次元空間のR基底である。RTの逆変換行列は、その順変換の転置である。
図15Aは、縮小順変換の処理(1501)および縮小逆変換の処理(1502)を示す。TはRxNの次元を有するRST変換行列を表し、TTはTの転置行列を表し、TTはNxRの次元を有する。
RST 8×8では、縮小率4(1/4サイズ)を実現することができる。例えば、従来の8×8の分離不可能な変換行列サイズである64×64の代わりに、16×64の直接行列を使用することができる。64×16の逆RST行列は、8×8の左上領域においてコア(一次)変換係数を生成するために復号器側で使用することができる。前方RST 8×8は、前方RST 8×8が所与の8×8の左上領域内の左上4×4領域においてのみ非ゼロ係数を生成するように、16×64(または8×8ブロックの場合は8×64)個の行列を使用する。換言すれば、RSTが適用される場合、8×8の左上の領域のうち、左上の4×4の領域の外側の領域は、0個の係数のみを有する。RST 4×4の場合、16×16(または4×4ブロックの場合は8×16)の直接行列乗算を適用することができる。
加えて、RST 8×8の場合、変換行列サイズをさらに削減するために、二次変換を計算するための入力として残差ブロック(1510)の左上8×8係数(図15Bの斜線サブブロック内の64個の係数)全体を使用する代わりに、残差ブロック(1510)の左上の3つの4×4サブブロック係数(図15Cの斜線サブブロック内の48個の係数)が二次変換を計算するための入力として使用される。したがって、図15Bでは16×64変換行列が使用され、図15Cでは16×48変換行列が使用される。
一例では、以下の2つの条件が満たされたときに逆RSTが適用される場合、逆RSTが条件付きで適用される:(i)ブロックサイズ(例えば、ブロックの幅Wおよび/または高さH)が閾値(例えば、W>=4およびH>=4である)以上である、および(ii)変換スキップモードフラグが0に等しい。例えば、変換係数ブロックの幅(W)および高さ(H)の両方が4より大きい場合、変換係数ブロックの左上8×8領域にRST 8×8が適用される。そうでない場合、RST 4×4は、変換係数ブロックの左上のmin(8、W)×min(8、H)領域に適用される。
一例では、RSTインデックスが0に等しいとき、RSTは適用されない。そうでなければ、RSTが適用され、RSTインデックスを用いてカーネルが選択される。一例では、RSTは、イントラおよびインタースライスの両方におけるイントラCU(例えば、イントラ予測またはイントラモードで符号化されたCU)、ならびに輝度および彩度の両方に適用される。デュアルツリーが有効になっている場合、輝度および彩度のRSTインデックスは別々にシグナリングされる。インタースライス(デュアルツリーが無効にされている)の場合、単一のRSTインデックスがシグナリングされ、輝度と彩度の両方に使用される。ISPモードが選択されると、RSTは無効にされ、RSTインデックスはシグナリングされない。
一例では、各々が2つの変換からなる4つの変換セットからRST行列を選択することができる。どの変換セットを適用するかは、イントラ予測モードに基づいて以下のように決定することができる。3つの交差成分線形モデル(CCLM)モードのうちの1つが示されるとき、変換セット0を選択することができる。そうでなければ、変換セット選択は、図15Dに示される表(1550)に従って実行され得る。表(1550)にアクセスするためのインデックス(例えば、IntraPredMode)は、例えば、広角イントラ予測に用いられる変換後のモードインデックスである[-14、80]の範囲とすることができる。イントラ予測モードの一例を図16Bに示す。一例では、表(1550)にアクセスするためのインデックスは、[-14、83]の範囲または任意の適切な範囲とすることができる。
図16Aは、HEVCで使用される例示的なイントラ予測方向およびイントラ予測モードの図を示す。HEVCには、合計35個のイントラ予測モード(モード0からモード34)がある。モード0およびモード1は無指向性モードであり、モード0は平面モード(図16AではIntra_Planarとラベル付けされている)であり、モード1はDCモード(図16AではIntra_DCとラベル付けされている)である。モード2~34は指向性モードであり、モード10は水平モードであり、モード26は垂直モードであり、モード2、モード18およびモード34は対角モードである。いくつかの例では、イントラ予測モードは、3つの最も可能性の高いモード(MPM)および32個の残りのモードによってシグナリングされる。
図16Bは、いくつかの例(例えば、VVC)における例示的なイントラ予測方向およびイントラ予測モードの図を示す。イントラ予測モードは全部で95個あり(モード-14からモード80)、そのうちモード18は水平モード、モード50は垂直モード、モード2、モード34およびモード66は対角モードである。モード-1~-14およびモード67~80は、広角イントラ予測(WAIP)モードと呼ばれる。
マルチラインイントラ予測は、イントラ予測のためにより多くの参照ラインを使用することができる。参照ラインは、画像内の複数のサンプルを含むことができる。一例では、参照ラインは、行のサンプルおよび列のサンプルを含む。一例では、符号化器は、イントラ予測器を生成するために使用される参照ラインを決定し、信号を送ることができる。参照ラインを示すインデックス(参照ラインインデックスとも呼ばれる)は、イントラ予測モードの前にシグナリングすることができる。一例では、非ゼロ参照ラインインデックスがシグナリングされるときにMPMのみが許容される。図17は、符号化ブロック(1710)の4つの参照ラインの例を示す。図17に示す例では、参照ラインは、6つのセグメント、すなわちセグメントA~Fを含むことができる。参照ライン3は、左上参照サンプルを含むことができる。セグメントAおよびFは、それぞれセグメントBおよびEからの最も近いサンプルでパディングすることができる。HEVCなどのいくつかの例では、1つの参照ライン(例えば、符号化ブロック(1710)に隣接する参照ライン0)のみがイントラ予測に使用される。VVCなどのいくつかの例では、複数の参照ライン(例えば、参照ライン0、1、および3)がイントラ予測に使用される。
イントラ・サブパーティション(ISP)符号化モードが使用され得る。ISP符号化モードでは、輝度イントラ予測ブロックは、ブロックサイズに応じて2つまたは4つのサブパーティションに垂直または水平に分割することができる。
図18は、いくつかのサブパーティションをブロックサイズと関連付ける表4を示す。例えば、ブロックサイズが4×4である場合、ISP符号化モードではブロックに対してパーティションは実行されない。ブロックサイズが4×8または8×4である場合、ブロックはISP符号化モードで2つのサブパーティションに分割される。4×8または8×4より大きい他のすべてのブロックサイズの場合、ブロックは4つのサブパーティションに分割される。図19は、サイズが4×8または8×4のブロックのサブパーティションの一例を示す。図20は、4×8、8×4、および4×4以外のサイズを有するブロックのサブパーティションの別の例を示し、例えば、ブロックサイズは4×8および8×4よりも大きい。一例では、すべてのサブパーティションは、少なくとも16個のサンプルを有するという条件を満たす。彩度成分の場合、ISPは適用されない。
いくつかの例では、サブパーティションのそれぞれについて、復号器は、符号化器から復号器に送信される係数をエントロピー復号することができ、次いで、復号器は、係数を逆量子化および逆変換して、サブパーティションの残差(または残差データ)を生成する。さらに、サブパーティションが復号器によってイントラ予測されるとき、復号器は、サブパーティションの再構築されたサンプルを取得するために、イントラ予測結果を有する残差を加算することができる。したがって、各サブパーティションの再構築されたサンプルは、再構築される次のサブパーティションの予測を生成するために利用可能であり得る。上記の処理は、次のサブパーティションなどに対して繰り返すことができる。一例では、すべてのサブパーティションが同じイントラ予測モードを共有する。いくつかの例では、ISPでは、変換および再構築は各サブパーティションに対して個別に実行されるため、各サブパーティションをTUと見なすことができる。
いくつかの例では、ISPアルゴリズムは、MPMリストの一部であるイントラ予測モードでのみテストされる。このため、ブロックがISPを使用する場合、MPMフラグは1であると推測することができる。さらに、ISPが特定のブロックに使用される場合、いくつかの例では、DCモードを除外し、ISP水平パーティションの水平イントラ予測モード(または水平分割)および垂直パーティションの垂直イントラ予測モード(または垂直分割)を優先するようにMPMリストを修正することができる。
図21A~図21Dは、異なるYUVフォーマットまたは彩度フォーマットの例を示す。各彩度フォーマットは、異なる色成分の異なるダウンサンプリンググリッドを定義することができる。
二次変換は、NSST、RST(またはRT)などを指すことができる。二次変換インデックスは、NSSTインデックス、RSTインデックスなどを参照することができる。一例では、二次変換インデックスは、二次変換(二次変換候補とも呼ばれる)を示す。二次変換インデックスは、CUレベルでシグナリングすることができる。例えば、NSSTインデックスまたはRSTインデックスは、CUのCUレベルでシグナリングされる。二次変換インデックスをシグナリングするかどうかは、CUの非ゼロ係数の数に依存し得る。したがって、復号器は、CUに含まれるすべてのTUをループして、CUの非ゼロ係数の数を決定し得る。いくつかの実施形態では、処理は比較的複雑である。
特定の二次変換(例えば、RST)設計では、例えば、輝度成分および2つの彩度成分を含むCU内の異なる色成分間で単一の分割ツリーが使用される場合、CU内の非ゼロ係数の数をカウントして、二次変換インデックスがシグナリングされるかどうかを判定することができる。しかしながら、4×NまたはN×4の輝度ブロックの場合、対応する彩度ブロックは、YUV 4:2:0フォーマットにおいて2×N/2またはN/2×2である。したがって、RSTなどの二次変換は彩度ブロックに適用されず、彩度ブロックの非ゼロ係数の数をカウントする必要はない。
いくつかの例では、NSSTまたはRSTなどの二次変換は、ISPに対して有効にされない。これは、符号化効率に関して二次変換の完全な利益を制限し得る。
本明細書に記載の実施形態は、別々に使用されてもよく、任意の順序で組み合わされてもよい。さらに、実施形態は、符号化器、復号器などの処理回路(例えば、1つまたはそれ以上のプロセッサまたは1つまたはそれ以上の集積回路)によって実施されてもよい。一例では、1つまたはそれ以上のプロセッサは、非一時的コンピュータ可読媒体に記憶されたプログラムを実行することができる。いくつかの例では、ブロックは、予測ブロック、符号化ブロック、CUなどであってもよい。
本開示では、MTS候補のDST-7の実施形態は、DST-4に適用可能であり、MTS候補のDCT-8の実施形態は、DCT-4に適用可能であり得る。さらに、いくつかの実施形態では、NSSTへの言及は、分離不可能な二次変換の代替設計の一例であるRSTにも適用され得る。
高レベルシンタックス(HLS)要素は、ビデオパラメータセット(VPS)、シーケンスパラメータセット(SPS)、画像パラメータセット(PPS)、スライスヘッダ、タイルヘッダ、タイルグループヘッダなどを参照することができる。CTUヘッダは、例えばヘッダ情報として、CTUのためにシグナリングされたシンタックス要素を指すことができる。一例では、CTUサイズは最大CUサイズである。TUサイズは、TUの最大幅および/または高さ、または面積を指し得る。
一般に、ある単位(例えば、TU、CU)の輝度サイズ(輝度サンプルで表される)が既知である場合、いくつかの彩度サンプルによって指定される対応する彩度サイズを取得することができる。一例では、4:2:0のYUVフォーマットが使用され、CUは64×64の輝度サンプル(または64×64-L)のCUサイズを有する。したがって、CUは、32×32の彩度サンプル(または32×32-C)のCUサイズを有する。CUサイズは、64×64-L、32×32-C、または64×64-L/32×32-Cと呼ぶことができる。CUは、輝度ブロックおよび2つの彩度ブロックを含むことができ、輝度ブロックは64×64の輝度サンプルを有し、2つの彩度ブロックの各々は32×32の彩度サンプルを有する。説明はTUに適合させることができる。簡潔にするために、説明は省略する。
TUサイズは、TU内の輝度サンプルを使用して表すことができる。例えば、M個のサンプルの最大TUサイズは、M個の輝度サンプルの最大TUサイズを指す。同様に、CUサイズは、CU内の輝度サンプルを使用して表すことができる。他の実施形態では、TUサイズおよびCUサイズは、彩度サンプルまたは輝度サンプルと彩度サンプルの組み合わせを使用して表すことができる。
ユニットサイズは、ユニットの幅、高さ、および/または面積を指すことができる。例えば、最大TUサイズは、最大TUの幅、高さ、および/または面積を指すことができる。一般に、TU、CUなどは、長方形、正方形、「L」形状、または任意の適切な形状を含む任意の適切な形状を有することができる。ユニットの形状が「L」字形状のように不規則である場合、ユニットサイズはユニットの領域を指定することができる。
いくつかの実施形態では、最大TUサイズ(TUの最大サイズとも呼ばれる)は、HLS(例えば、SPSおよびPPS)などの符号化ビデオビットストリームでシグナリングすることができる。最大TUサイズは、輝度サンプルまたは彩度サンプルに関して通知され得る。
いくつかの実施形態では、最大TUサイズは、符号化器および/または復号器に格納することができ、したがって、最大TUサイズはシグナリングされない。一例では、最大TUサイズは、プロファイルおよび/またはレベル定義に格納することができる。最大TUサイズは、輝度サンプルまたは彩度サンプルに関して格納することができる。
本開示の態様によれば、CUのために二次変換が許可されているか否かが、CUのサイズ(またはCUサイズ)に基づいて判定され得る。一例では、CUのために二次変換が許可されているか否かが、CUサイズおよびCUサイズ閾値に基づいて判定され得る。CUサイズがCUサイズ閾値以下である場合、二次変換は許可されると判定され、CUサイズがCUサイズ閾値よりも大きい場合、二次変換は許可されないと判定される。一例では、二次変換が許可されないと判定された場合、二次変換インデックスはシグナリングされない。したがって、二次変換が許可されていないと復号器が判定した場合、復号器は、二次変換インデックスがシグナリングされていないと判定することもできる。一例では、CUサイズは、64サンプルなどのCUの幅および/または高さを指すことができる。一例では、CUサイズは、64×64サンプルなどのCUの領域を指すことができる。
一例では、CUサイズ閾値(例えば、CU幅閾値、CU高さ閾値、またはCU面積閾値)は、CU内のTUの最大サイズ以下に制限される。TUの最大サイズは、HLSでシグナリングすることができる。TUの最大サイズは、事前定義され、復号器に格納することもできる。
上述したように、いくつかの例では、復号器は、CU内のTUをループして、CUの非ゼロ係数の数を判定し、次いで、二次変換インデックスがシグナリングされるかどうかを判定することができる。本開示の態様によれば、CUの非ゼロ係数の数をカウントする代わりに、二次変換インデックスがシグナリングされるかどうかは、CUの第1のCBの非ゼロ変換係数の最後の位置(または最後の非ゼロ係数位置)に基づいて決定することができる。第1のCBは、CU内の輝度ブロック、彩度ブロックなどの任意の適切なブロックとすることができる。二次変換インデックスは、CU内の第2のCBに対して選択された二次変換を示すことができる。
本開示の態様によれば、CU内の第2のCBに対して二次変換を実行するかどうかは、二次変換インデックスがシグナリングされると決定されるかどうかに基づいて決定することができる。さらに、二次変換が実行されると判定された場合、第2のCBに対して二次変換インデックスによって示される二次変換が実行された後に、第2のCB内のサンプルを再構築することができる。あるいは、二次変換が実行されないと判定された場合、第2のCB内のサンプルは、第2のCBに対して二次変換を実行することなく再構築することができる。第2のCBは、CU内の輝度ブロックまたは彩度ブロックなどの任意の適切なブロックとすることができる。一例では、第1のCBは第2のCBである。別の例では、第1のCBは第2のCBとは異なる。
一例では、CUは輝度ブロックを含む。第1のCBは輝度ブロックである。最後の位置は、輝度ブロックの最後の非ゼロの輝度係数位置である。したがって、二次変換インデックスがシグナリングされるかどうかは、最後の輝度位置に基づいて判定される。第2のCBも輝度ブロックまたは第1のCBである。
いくつかの実施形態では、後述するように、二次変換インデックスがシグナリングされるかどうかを判定するために追加の情報を含めることができる。
一例では、CUは輝度ブロックおよび彩度ブロックを含む。第1のCBは輝度ブロックである。最後の位置は、輝度ブロックの最後の非ゼロの輝度係数位置である。追加情報は、彩度ブロックの最後の非ゼロ彩度係数位置を含むことができる。したがって、二次変換インデックスがシグナリングされるかどうかは、彩度ブロックの最後の非ゼロ輝度係数位置および最後の非ゼロ彩度係数位置に基づいて判定される。第2のCBは、輝度ブロックおよび彩度ブロックのうちの1つとすることができる。
一例では、CUは、輝度ブロックおよび2つの彩度ブロック(例えば、彩度ブロックIおよび彩度ブロックII)を含む。第1のCBは輝度ブロックである。最後の位置は、輝度ブロックの最後の非ゼロの輝度係数位置である。追加情報は、彩度ブロックIの最後の非ゼロ彩度係数位置Iおよび彩度ブロックIIの最後の非ゼロ彩度係数位置IIを含むことができる。したがって、二次変換インデックスがシグナリングされるかどうかは、最後の非ゼロ輝度係数位置、彩度ブロックIの非ゼロ変換係数の最後の非ゼロ彩度係数位置I、および彩度ブロックIIの非ゼロ変換係数の最後の非ゼロ彩度係数位置IIに基づいて判定することができる。第2のCBは、輝度ブロック、彩度ブロックI、および彩度ブロックIIのうちの1つとすることができる。
上述したように、二次変換インデックスがシグナリングされるかどうかは、CUの第1のCBの最後の非ゼロ係数位置に基づいて判定することができる。最後の非ゼロ係数位置は、水平成分(例えば、last_pos_x)および垂直成分(例えば、last_pos_y)を含むことができ、したがって、二次変換インデックスがシグナリングされるかどうかは、水平成分および/または垂直成分に基づいて判定することができる。水平成分および垂直成分は、0または0より大きい整数とすることができる。垂直成分は、0または0より大きい整数とすることができる。
一実施形態では、水平成分は第1の閾値と比較することができ、および/または垂直成分は第2の閾値と比較することができる。第1の閾値は、第2の閾値と同一であり得る。あるいは、第1の閾値は第2の閾値と異なっていてもよい。第1の閾値および/または第2の閾値は、1、2、3などの正の整数とすることができる。
一例では、水平成分が第1の閾値未満であるかどうか、および垂直成分が第2の閾値未満であるかどうかを判定することができる。水平成分が第1の閾値未満であると判定され、垂直成分が第2の閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定することができる。
一例では、水平成分が第1の閾値以上であるかどうかを判定することができる。さらに、垂直成分が第2の閾値以上であるかどうかを判定することができる。水平成分が第1の閾値以上であると判定され、垂直成分が第2の閾値以上であると判定された場合、二次変換インデックスはシグナリングされると判定することができる。
一実施形態では、最後の位置の水平成分と垂直成分との和が第3の閾値未満であるかどうかを判定することができる。和が第3の閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定することができる。第3の閾値は、1、2、3などの正の整数とすることができる。和が第3の閾値以上であると判定された場合、二次変換インデックスはシグナリングされると判定することができる。
一実施形態では、水平成分および垂直成分のうちの最小成分が第4の閾値未満であるかどうかを判定することができる。水平成分および垂直成分のうちの最小成分が第4の閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定される。第4の閾値は、1、2、3などの正の整数とすることができる。
一実施形態では、水平成分および垂直成分のうちの最大成分が第5の閾値未満であるかどうかを判定することができる。最大成分が第5の閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定される。第5の閾値は、1、2、3などの正の整数とすることができる。第4の閾値は、第5の閾値と同一であり得る。あるいは、第4の閾値は第5の閾値と異なっていてもよい。
一実施形態では、第1のCBはCU内の輝度ブロックである。さらに、CUは彩度ブロックを含む。しかしながら、二次変換インデックスがシグナリングされるかどうかは、CUの輝度ブロックの最後の非ゼロ輝度係数位置のみに基づいて判定される。したがって、二次変換インデックスがシグナリングされるかどうかを判定する際に、彩度ブロックの最後の非ゼロ彩度係数位置は考慮されない。
一実施形態では、CUは、上述のように輝度ブロックおよび彩度ブロックを含む。二次変換インデックスがシグナリングされるかどうかは、輝度ブロックの最後の非ゼロ輝度係数位置および彩度ブロックの最後の非ゼロ彩度係数位置に基づいて判定される。同様に、最後の非ゼロ輝度係数位置は、輝度水平成分および輝度垂直成分を含むことができ、最後の非ゼロ彩度係数位置は、彩度水平成分および彩度垂直成分を含むことができる。したがって、二次変換インデックスがシグナリングされるかどうかは、輝度水平成分、輝度垂直成分、彩度水平成分、および/または彩度垂直成分に基づいて判定することができる。
一実施形態では、最後の非ゼロ輝度および彩度係数位置のそれぞれの水平成分および垂直成分の1つまたはそれ以上を、1、2、3などのそれぞれの閾値と比較することができる。一例では、最後の非ゼロ輝度および彩度係数位置のそれぞれの水平成分および垂直成分のうちの1つまたはそれ以上がそれぞれの閾値未満であるかどうかを判定することができる。最後の非ゼロの輝度および彩度係数位置の各々のそれぞれの水平成分および垂直成分のうちの1つまたはそれ以上がそれぞれの閾値未満であるとき、二次変換インデックスはシグナリングされないと判定することができる。
一実施形態では、水平和は、輝度水平成分と彩度水平成分とを合計することによって得られ、垂直和は、輝度垂直成分と彩度垂直成分とを合計することによって得られる。水平和および垂直和の各々がそれぞれの閾値未満であるかどうかを判定することができる。水平和および垂直和の各々がそれぞれの閾値未満であるとき、二次変換インデックスはシグナリングされないと判定することができる。
一例では、輝度水平成分と輝度垂直成分との第1の和が判定され、彩度水平成分と彩度垂直成分との第2の和が判定される。第1の和および第2の和の各々がそれぞれの閾値未満であるかどうかを判定することができる。第1の和および第2の和の各々がそれぞれの閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定することができる。
一実施形態では、総合計は、第1の和と第2の和とを合計することによって取得され、総合計が閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定することができる。
一実施形態では、輝度水平成分および輝度垂直成分の第1の最小値が決定され、彩度水平成分および彩度垂直成分の第2の最小値が決定される。第1の最小値および第2の最小値の各々がそれぞれの閾値未満であるかどうかを判定することができる。第1の最小値および第2の最小値の各々がそれぞれの閾値未満であると判定された場合、二次変換インデックスはシグナリングされないと判定することができる。上記の説明は、輝度水平成分および輝度垂直成分の第1の最大値と、彩度水平成分および彩度垂直成分の第2の最大値とを使用して、二次変換インデックスがシグナリングされるかどうかを判定するように適合させることができる。
同様に、水平和および垂直和の最小値を使用して、二次変換インデックスがシグナリングされるかどうかを判定することができる。水平和および垂直和の最大値を使用して、二次変換インデックスがシグナリングされるかどうかを判定することができる。
本開示の態様によれば、CUの非ゼロ変換係数の数を判定する場合、CBのサイズ(CBサイズとも呼ばれる)が4などのサイズ閾値以上である場合、CUのCB内の非ゼロ変換係数をカウントすることができる。一例では、CBサイズがサイズ閾値未満である場合、CB内の非ゼロ変換係数はカウントされず、すなわち、CUの非ゼロ変換係数の数に含まれない。サイズ閾値は予め定義され、復号器に格納することができる。サイズ閾値は、例えば、符号化器から復号器に明示的にシグナリングすることができる。さらに、CU内の非ゼロ変換係数の数が数閾値未満である場合、二次変換インデックスはシグナリングされないと判定することができる。
一例では、CUの色フォーマットはYUV 4:2:0である。CUは、輝度ブロックと、輝度ブロックと同じ場所に配置された2つの彩度ブロックとを含む。サイズ閾値は4である。輝度ブロックが4×NまたはN×4のサイズを有する場合、Nは輝度ブロックの幅または高さを指すことができ、4以上とすることができ、2つの彩度ブロックは2×N/2またはN/2×2のサイズを有する。一例では、Nは正の偶数である。CUの非ゼロ変換係数の数は、2つの彩度ブロックを考慮せずに輝度ブロックのみから判定される。2つの彩度ブロックの各々の幅または高さは、サイズ閾値未満である。別の例では、サイズ閾値は4×4であり、2 xN/2またはN/2×2のCBサイズもサイズ閾値より小さく、Nは正の偶数であり得る。2つの彩度ブロックに対して二次変換は実行されない。
一例では、CUの色フォーマットはYUV 4:2:2である。CUは、輝度ブロックと、輝度ブロックと同じ場所に配置された2つの彩度ブロックとを含む。サイズ閾値は4である。輝度ブロックのサイズが4×Nであり、Nが4以上である場合、2つの彩度ブロックのサイズは2×Nである。CUの非ゼロ変換係数の数は、2つの彩度ブロックを考慮せずに輝度ブロックのみから判定される。2つの彩度ブロックの各々の幅(例えば、2)は、サイズ閾値未満である。2つの彩度ブロックに対して二次変換は実行されない。
少なくとも1つの非ゼロ係数を含む4×2(または2×4)の第1のサブブロックを取得するために、第1の係数ブロック(TBなど)に対して二次変換を実行することができる。例えば、第1のサブブロックおよび第2のサブブロックを含む第2のTBを取得するために、4×4の第1のTB(例えば、第1の係数ブロック)にRSTが適用される。4×2(または2×4)の第1のサブブロックは、少なくとも1つの非ゼロ係数を含む。4×2(または2×4)の第2のサブブロックの係数は0とみなされる。したがって、第1のサブブロック(すなわち、4×2(または2×4)係数走査順序)の4×2(または2×4)サブブロック走査は、第2のTBをエントロピー符号化するために適用される。一例では、4×2(または2×4)係数走査順序は、4×2(または2×4)彩度ブロックのエントロピー符号化に適用されるのと同じ走査順序である。
同様に、例えば、第1の係数ブロックが8×4(または4×8)より大きい場合、少なくとも1つの非ゼロ係数を含む8×4(または4×8)の第1のサブブロックを取得するために、第1の係数ブロック(TBなど)に対して二次変換を実行することができる。例えば、第1のサブブロックおよび第2のサブブロックを含む第2のTBを取得するために、8×8の第1のTB(例えば、第1の係数ブロック)にRSTが適用される。8×4(または4×8)の第1のサブブロックは、少なくとも1つの非ゼロ係数を含む。8×4(または4×8)の第2のサブブロックの係数は0とみなされる。したがって、第1のサブブロック(すなわち、8×4(または4×8)係数走査順序)の8×4(または4×8)ブロック走査は、第2のTBのエントロピー符号化に適用される。一例では、8×4(または4×8)係数走査順序は、8×4(または4×8)彩度ブロックのエントロピー符号化に適用されるのと同じ走査順序である。
図22は、本開示の一実施形態による処理(2200)の概要を示すフローチャートを示す。処理(2200)は、再構築中のブロックの予測ブロックを生成するために、イントラモードで符号化されたブロックの再構築に使用することができる。いくつかの例では、処理(2200)は、インターモードで符号化されたブロックの再構築に使用することができる。様々な実施形態では、処理(2200)は、端末機器(310)、(320)、(330)および(340)の処理回路、ビデオ符号化器(403)の機能を実行する処理回路、ビデオ復号器(410)の機能を実行する処理回路、ビデオ復号器(510)の機能を実行する処理回路、ビデオ符号化器(603)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、処理(2200)はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理(2200)を実行する。(S2201)から処理が開始され、(S2210)に進む。
(S2210)において、CUの符号化情報は、符号化ビデオビットストリームから復号され得る。符号化情報は、CUの第1のCBの非ゼロ変換係数の最後の位置(または最後の非ゼロ係数位置)を示すことができる。一例では、CUは輝度ブロックおよび彩度ブロックを含むことができる。第1のCBは、輝度ブロックまたは彩度ブロックとすることができる。
(S2220)において、符号化情報において二次変換インデックスがシグナリングされるかどうかは、上述したように、最後の非ゼロ係数位置に基づいて判定することができる。二次変換インデックスは、CU内の第2のCBに対して実行される二次変換を示すことができる。第2のCBは、輝度ブロックまたは彩度ブロックであり得る。
一例では、最後の非ゼロ係数位置は、水平成分および垂直成分を含むことができ、符号化情報において二次変換インデックスがシグナリングされるかどうかは、水平成分および/または垂直成分に基づいて判定することができる。上述したように、二次変換インデックスがシグナリングされるかどうかを判定するために追加情報を使用することができ、ステップ(S2220)は、追加情報を含むように適切に適合させることができる。一例では、二次変換インデックスがシグナリングされると判定された場合、処理(2200)は(S2230)に進む。そうでない場合には、処理(2200)は、(S2250)に進む。
(S2230)において、第2のCBに対して二次変換を実行するかどうかは、符号化情報において二次変換インデックスがシグナリングされると判定されるかどうかに基づいて判定することができる。いくつかの例では、二次変換インデックスがシグナリングされると判定されると、二次変換が実行されると判定される。二次変換を行うと判定された場合、処理(2200)は、(S2240)に進む。そうでない場合には、処理(2200)は、(S2250)に進む。
(S2240)において、二次変換インデックスによって示される二次変換が、第2のCBに対して実行される。二次変換は、NSSTとすることができる。二次変換は、ゼロアウト方法を含むRSTとすることができる。例えば、第2のCBが8×8である場合、8×4の第1のサブブロックおよび8×4の第2のサブブロックを含む変換ブロックを取得するために、第2のCBにRSTが適用される。第1のサブブロックは、少なくとも1つの非ゼロ係数を含む。第2のサブブロック内の係数は計算されず0とみなされる。
(S2250)において、第2のCB内のサンプルを再構築することができる。そして、処理(2200)は、(S2299)に進み、終了する。
処理(2200)は、上述のように適切に適合させることができる。例えば、1つまたはそれ以上のステップは、修正、省略、または組み合わせることができる。一例では、ステップ(S2220)および(S2230)が組み合わされる。追加のステップを追加することもできる。また、処理(2200)の実行順序も修正可能である。
図23は、本開示の一実施形態による処理(2300)の概要を示すフローチャートを示す。処理(2300)は、再構築中のブロックの予測ブロックを生成するために、イントラモードで符号化されたブロックの再構築に使用することができる。いくつかの例では、処理(2300)は、インターモードで符号化されたブロックの再構築に使用することができる。様々な実施形態では、処理(2300)は、端末機器(310)、(320)、(330)および(340)の処理回路、ビデオ符号化器(403)の機能を実行する処理回路、ビデオ復号器(410)の機能を実行する処理回路、ビデオ復号器(510)の機能を実行する処理回路、ビデオ符号化器(603)の機能を実行する処理回路などの処理回路によって実行される。いくつかの実施形態では、処理(2300)はソフトウェア命令で実施され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は処理(2300)を実行する。(S2301)から処理が開始され、(S2310)に進む。
(S2310)において、CUの符号化情報は、符号化ビデオビットストリームから復号することができ、符号化情報はCUのサイズを示す。
(S2320)において、二次変換が許可されるか否かが、CUのサイズおよびCUサイズ閾値に基づいて判定され得る。CUのサイズがCUサイズ閾値以下である場合、二次変換は許可されると判定される。処理(2300)は、(S2330)に移行する。CUのサイズがCUサイズ閾値より大きい場合、二次変換は許可されないと判定され、処理(2300)は(S2350)に進む。
(S2330)において、CU内のCBに対して二次変換を実行するかどうかは、例えば、上述したように、二次変換インデックスがシグナリングされるかどうかに基づいて判定することができる。二次変換を行うと判定された場合、処理(2300)は、(S2340)に進む。そうでない場合には、処理(2300)は、(S2350)に進む。
(S2340)において、ステップ(S2240)と同様に、二次変換インデックスによって示される二次変換がCBに対して実行される。
(S2350)において、CB内のサンプルを再構築することができる。そして、処理(2300)は、(S2399)に進み、終了する。
処理(2300)は、適切に適合させることができる。例えば、1つまたはそれ以上のステップを修正することができる。追加のステップを追加することもできる。
ステップ(2200)とステップ(2300)は適宜組み合わせることができる。例えば、(S2310)および(S2320)を実施し、続いて(S2210)~(S2250)を実施することができる。
上記の技法は、コンピュータ可読命令を使用してコンピュータソフトウェアとして実装でき、1つまたはそれ以上のコンピュータ可読媒体に物理的に格納できる。例えば、図24は、開示された主題の特定の実施形態を実装するのに適したコンピュータシステム(2400)を示している。
コンピュータソフトウェアは、任意の適切な機械コードまたはコンピュータ言語を使用して符号化でき、アセンブリ、コンパイル、リンク、または同様のメカニズムの対象となり、1つまたはそれ以上のコンピュータ中央処理装置(CPU)、グラフィック処理装置(GPU)などによる直接、または解釈、マイクロコードの実行などを通じて実行できる命令を含むコードを作成する。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置などを含む、様々なタイプのコンピュータまたはその構成要素上で実行することができる。
コンピュータシステム(2400)について図24に示される構成要素は、本質的に例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用または機能の範囲に関していかなる制限を示唆することを意図しない。また、構成要素の構成は、コンピュータシステム(2400)の例示的な実施形態に示されている構成要素のいずれか1つまたは組み合わせに関する依存性または要件を有するものとして解釈されるべきではない。
コンピュータシステム(2400)は、特定のヒューマンインターフェース入力装置を含み得る。そのようなヒューマンインターフェース入力装置は、例えば、触覚入力(キーストローク、スワイプ、データグローブの動きなど)、オーディオ入力(音声、拍手など)、視覚入力(ジェスチャなど)、嗅覚入力(図示せず)など、1人以上のユーザによる入力に応答し得る。ヒューマンインターフェース装置を使用して、音声(スピーチ、音楽、環境音など)、画像(スキャンした画像、静止画像カメラから得られる写真画像など)、ビデオ(2次元ビデオ、立体ビデオを含む3次元ビデオなど)など、人間による意識的な入力に必ずしも直接関係しない特定のメディアをキャプチャすることもできる。
入力ヒューマンインターフェース装置には、キーボード(2401)、マウス(2402)、トラックパッド(2403)、タッチスクリーン(2410)、データグローブ(図示せず)、ジョイスティック(2405)、マイク(2406)、スキャナ(2407)、カメラ(2408)のうち1つまたはそれ以上(それぞれ図示のものの1つのみ)が含まれ得る。
コンピュータシステム(2400)はまた、特定のヒューマンインターフェース出力装置を含み得る。そのようなヒューマンインターフェース出力装置は、例えば、触覚出力、音、光、および嗅覚/味覚を通じて、1人または複数の人間のユーザの感覚を刺激している可能性がある。そのようなヒューマンインターフェース出力装置は、触覚出力装置(例えば、タッチスクリーン(2410)、データグローブ(図示せず)、またはジョイスティック(2405)による触覚フィードバックを含み得るが、入力装置として機能しない触覚フィードバック装置もあり得る)、音声出力装置(スピーカ(2409)、ヘッドホン(図示せず)など)、視覚的出力装置(それぞれにタッチスクリーン入力機能の有無にかかわらず、それぞれ触覚フィードバック機能の有無にかかわらず、ステレオグラフィック出力、仮想現実の眼鏡(図示せず)、ホログラフィックディスプレイおよびスモークタンク(図示せず)などの手段により、2次元の視覚的出力または3次元以上の出力を出力できるものもある、CRTスクリーン、LCDスクリーン、プラズマスクリーン、OLEDスクリーンを含むスクリーン(2410)など)、およびプリンタ(図示せず)を含み得る。
コンピュータシステム(2400)には、人間がアクセスできる記憶装置と、CD/DVDを含むCD/DVD ROM/RW(2420)などの光学メディア(2421)、サムドライブ(2422)、リムーバブルハードドライブまたはソリッド・ステート・ドライブ(2423)、テープおよびフロッピーディスク(図示せず)などのレガシー磁気媒体、セキュリティドングル(図示せず)などの専用のROM/ASIC/PLDベースの装置などの関連媒体も含めることができる。
当業者はまた、ここで開示される主題に関連して使用される「コンピュータ可読媒体」という用語は、送信媒体、搬送波、または他の一時的な信号を包含しないことを理解するべきである。
コンピュータシステム(2400)は、1つまたはそれ以上の通信ネットワークへのインターフェースも含み得る。ネットワークは、例えば、無線、有線、光であり得る。さらに、ネットワークは、ローカル、広域、大都市圏、車両および産業、リアルタイム、遅延耐性などがある。ネットワークの例としては、イーサネット、無線LAN、GSM、3G、4G、5G、LTEなどを含むセルラーネットワークなどのローカル・エリア・ネットワーク、ケーブルテレビ、衛星テレビ、地上波放送テレビを含むTV有線または無線広域デジタルネットワーク、CANBusなどが含まれる車両用、産業用など、などがある。特定のネットワークでは、一般に、特定の汎用データポートまたは周辺バス(2449)(例えば、コンピュータシステムのUSBポート(2400)など)に接続された外部ネットワークインターフェースアダプタが必要であり、他のものは一般に、以下に説明するようにシステムバスに接続することにより、コンピュータシステムのコア(2400)に統合される(例えば、PCコンピュータシステムへのイーサネットインターフェースまたはスマートフォンコンピュータシステムへのセルラーネットワークインターフェース)。これらのネットワークのいずれかを使用して、コンピュータシステム(2400)は他のエンティティと通信できる。このような通信は、単方向、受信のみ(例えば、放送TV)、単方向送信のみ(例えば、CANbusから特定のCANbus装置)、または双方向、例えば、ローカルエリアデジタルネットワークまたはワイドエリアデジタルネットワークを使用する他のコンピュータシステムへの通信であり得る。上記のように、特定のプロトコルとプロトコルスタックは、これらのネットワークとネットワークインターフェースのそれぞれで使用できる。
前述のヒューマンインターフェース装置、ヒューマンアクセス可能な記憶装置、およびネットワークインターフェースは、コンピュータシステム(2400)のコア(2440)に接続することができる。
コア(2440)には、1つまたはそれ以上の中央処理装置(CPU)(2441)、グラフィックス処理装置(GPU)(2442)、フィールド・プログラマブル・ゲート・エリア(FPGA)(2443)、特定のタスクのハードウェアアクセラレータ(2444)などの形式の特殊なプログラマブル処理装置を含めることができる。これらの装置は、読み取り専用メモリ(ROM)(2445)、ランダム・アクセス・メモリ(2446)、ユーザがアクセスできない内部ハードドライブ、SSDなどの内部大容量記憶装置(2447)とともに、システムバス(2448)を介して接続され得る。いくつかのコンピュータシステムでは、システムバス(2448)に1つまたはそれ以上の物理プラグの形でアクセスして、追加のCPU、GPUなどによる拡張を可能にすることができる。周辺機器は、コアのシステムバス(2448)に直接、または周辺バス(2449)を介して接続できる。周辺バスのアーキテクチャには、PCI、USBなどが含まれる。
CPU(2441)、GPU(2442)、FPGA(2443)、およびアクセラレータ(2444)は、組み合わせて前述のコンピュータコードを構成できる特定の命令を実行できる。そのコンピュータコードは、ROM(2445)またはRAM(2446)に格納できる。移行データはRAM(2446)にも保存できるが、永続データは、例えば内部大容量記憶装置(2447)に保存できる。1つまたはそれ以上のCPU(2441)、GPU(2442)、大容量記憶装置(2447)、ROM(2445)、RAM(2446)などと密接に関連付けることができるキャッシュメモリを使用することにより、任意のメモリ装置に対する高速記憶および読み出しが可能になる。
コンピュータ可読媒体は、様々なコンピュータ実施操作を実行するためのコンピュータコードをその上に有することができる。メディアおよびコンピュータコードは、本開示の目的のために特別に設計および構築されたものであり得るか、またはそれらは、コンピュータソフトウェア技術の当業者に周知であり利用可能な種類のものであり得る。
限定ではなく例として、アーキテクチャ(2400)、特にコア(2440)を有するコンピュータシステムは、1つまたはそれ以上の有形のコンピュータ可読媒体に組み込まれたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、アクセラレータなどを含む)の結果として機能を提供できる。このようなコンピュータ可読媒体は、上で紹介したユーザがアクセス可能な大容量記憶装置、およびコア内部大容量記憶装置(2447)やROM(2445)などの非一時的な性質を持つコア(2440)の特定の記憶装置に関連付けられた媒体であり得る。本開示の様々な実施形態を実装するソフトウェアは、そのような装置に格納され、コア(2440)によって実行され得る。コンピュータ可読媒体は、特定のニーズに従って、1つまたはそれ以上のメモリ装置またはチップを含み得る。ソフトウェアは、コア(2440)、特にその中のプロセッサ(CPU、GPU、FPGAなどを含む)に、RAM(2446)に格納されているデータ構造の定義すること、およびソフトウェアで定義された処理に従ってそのようなデータ構造を変更することを含む、ここで説明する特定の処理または特定の処理の特定の部分を実行させることができる。加えて、または代替として、コンピュータシステムは、ここで説明する特定の処理または特定の処理の特定の部分を実行するためにソフトウェアの代わりに、またはソフトウェアと一緒に動作できる、回路(例:アクセラレータ(2444))に組み込まれたまたは他の方法で実装されたロジックの結果として機能を提供できる。ソフトウェアへの参照はロジックを含むことができ、その逆も適宜可能である。コンピュータ可読媒体への言及は、適宜、実行のためのソフトウェア、実行のためのロジックを具体化する回路、またはその両方を格納する回路(集積回路(IC)など)を包含することができる。本開示は、ハードウェアとソフトウェアとの任意の適切な組み合わせを包含する。
付録A:頭字語
JEM:joint exploration model 共同探索モデル
VVC:versatile video coding 汎用ビデオ符号化
BMS:benchmark set ベンチマークセット
MV:Motion Vector 動きベクトル
HEVC:High Efficiency Video Coding 高効率ビデオ符号化
SEI:Supplementary Enhancement Information 補足エンハンスメント情報
VUI:Video Usability Information ビデオのユーザビリティ情報
GOP:Group of Pictures 画像群
TU:Transform Units,変換ユニット
PU:Prediction Units 予測ユニット
CTU:Coding Tree Units 符号化ツリーユニット
CTB:Coding Tree Blocks 符号化ツリーブロック
PB:Prediction Blocks 予測ブロック
HRD:Hypothetical Reference Decoder 仮想参照復号器
SNR:Signal Noise Ratio 信号雑音比
CPU:Central Processing Units 中央処理装置
GPU:Graphics Processing Units グラフィックス処理ユニット
CRT:Cathode Ray Tube ブラウン管
LCD:Liquid-Crystal Display 液晶ディスプレイ
OLED:Organic Light-Emitting Diode 有機発光ダイオード
CD:Compact Disc コンパクトディスク
DVD:Digital Video Disc デジタル・ビデオ・ディスク
ROM:Read-Only Memory 読み出し専用メモリ
RAM:Random Access Memory ランダム・アクセス・メモリ
ASIC:Application-Specific Integrated Circuit 特定用途向け集積回路
PLD:Programmable Logic Device プログラマブル・ロジック・デバイス
LAN:Local Area Network ローカル・エリア・ネットワーク
GSM:Global System for Mobile communications グローバル移動体通信システム
LTE:Long-Term Evolution ロング・ターム・エボリューション
CANBus:Controller Area Network Bus コントローラ・エリア・ネットワーク・バス
USB:Universal Serial Bus ユニバーサル・シリアル・バス
PCI:Peripheral Component Interconnect 周辺構成要素相互接続
FPGA:Field Programmable Gate Areas フィールド・プログラマブル・ゲート・エリア
SSD:solid-state drive ソリッド・ステート・ドライブ
IC:Integrated Circuit 集積回路
CU:Coding Unit 符号化ユニット
本開示はいくつかの例示的な実施形態を説明してきたが、本開示の範囲内にある変更、置換、および様々な代替均等物が存在する。したがって、当業者は、本明細書では明示的に示されていないか、または記載されていないが、本開示の原理を具現化し、したがってその精神および範囲内にある多数のシステムおよび方法を考案できることが理解されよう。
付録I
4×4変換
Figure 0007185049000011
8×8変換
Figure 0007185049000012
16×16変換
Figure 0007185049000013
32×32変換
Figure 0007185049000014
付録II
64点DCT-2コア

{aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa、aa}
{bf、bg、bh、bi、bj、bk、bl、bm、bn、bo、bp、bq、br、bs、bt、bu、bv、bw、bx、by、bz、ca、cb、cc、cd、ce、cf、cg、ch、ci、cj、ck、-ck、-cj、-ci、-ch、-cg、-cf、-ce、-cd、-cc、-cb、-ca、-bz、-by、-bx、-bw、-bv、-bu、-bt、-bs、-br、-bq、-bp、-bo、-bn、-bm、-bl、-bj、-bi、-bh、-bg、-bf}
{ap、aq、ar、as、at、au、aw、ax、ay、az、ba、bb、bc、bd、be、-be、-bd、-bc、-bb、-ba、-az、-ay、-ax、-aw、-av、-au、-at、-as、-ar、-aq、-ap、-ap、-aq、-ar、-as、-at、-au、-av、-aw、-ax、-ay、-az、-ba、-bb、-bc、-bd、-be、be、bd、bc、bb、ba、az、ay、ax、aw、av、au、at、as、ar、aq、ap、}
{bg、bj、bm、bp、bs、bv by、cb、ce、ch、ck、-ci、-cf、-cc、-bz、-bw、-bt、-bq、-bn、-bk、-bh、-bf、-bi、-bl、-bo、-br、-bu、-bx、-ca、-cd、-cg、-cj、cj、cg、cd、ca、bx、bu、br、bo、bl、bi、bf、bh、bk、bn、bq、bt、bw、bz、cc、cf、ci、-ck、-ch、-ce、-cb、-by、-bs、-bp、-bm、-bj、-bg}
{ah、ai、aj、ak、al、am、an、ao、-ao、-an、-am、-al、-ak、-aj、-ai、-ah、-ah、-ai、-aj、-ak、-al、-am、-an、-ao、ao、an、am、al、ak、aj、ai、ah、ai、aj、ak、al、am、an、ao、-an、-am、-al、-ak、-aj、-ai、-ah、-ah、-ai、-aj、-ak、-al、-am、-an、-ao、ao、an、am、al、ak、aj、ai、ah、}
{bh、bm、br、bw、cb、cg、-ck、-cf、-ca、-bv、-bq、-bl、-bg、-bi、-bn、-bs、-bx、-cc、-ch、cj、ce、bz、bu、bp、bk、bf、bj、bo、bt、by、cd、ci、-ci、-cd、-by、-bt、-bo、-bj、-bf、-bk、-bp、-bu、-bz、-ce、-cj、ch、cc、bx、bs、bn、bg、bl、bq、bv、ca、cf、ck、-cg、-cb、-bw、-br、-bm、-bh}
{aq、at、aw、az、bc、-be、-bb、-ay、-av、-as、-ap、-ar、-au、-ax、-ba、-bd、bd、ba、ax、au、ar、ap、as、av、ay、bb、be、-bc、-az、-aw、-at、-aq、-aq、-at、-aw、-az、-bc、be、bb、ay、av、as、ap、ar、au、ax、ba、bd、-bd、-ba、-ax、-au、-ar、-ap、-as、-av、-ay、-bb、-be、bc、az、aw、at}
{bi、bp、bw、cd、ck、-ce、-bx、-bq、-bj、-bh、-bo、-bv、-cc、-cj、cf、by、br、bk、bg、bn、bu、cb、ci、-cg、-bz、-bs、-bl、-bf、-bm、-bt、-ca、-ch、ch、ca、bt、bm、bf、bl、bs、bz、cg、-ci、-cb、-bu、-bn、-bg、-bk、-br、-by、-cf、cj、cc、bv、bo、bh、bj、bq、bx、ce、-ck、-cd、-bw、-bp}
{ad、ae、af、ag、-ag、-af、-ae、-ad、-ad、-ad、-ae、-af、-ag、ag、af、ae、ad、ae、af、-ag、-af、-ae、-ad、-ad、-ae、-af、-ag、af、ae、ad、ad、ae、af、ag、-ag、-af、-ae、-ad、-ad、-ae、-af、-ag、ag、af、ae、ad、ad、ae、af、ag、-ag、-af、-ae、-ad、-ad、-ae、-af、-ag、ag、ag、af、ae、ad}
{bj、bs、cb、ck、-cc、-bt、-bk、-bi、-br、-ca、-cj、cd、bu、bl、bh、bq、bz、ci、-ce、-bv、-bm、-bg、-bp、-by、-ch、cf、bw、bn、bf、bo、bx、cg、-cg、-bx、-bo、-bf、-bn、-bw、-cf、ch、by、bp、bg、bm、bv、ce、-ci、-bz、-bq、-bh、-bl、-bu、-cd、cj、ca、br、bi、bt、cc、-ck、-cb、-bs、-bj}
{ar、aw、bb、-bd、-ay、-at、-ap、-au、-az、-be、ba、av、aq、as、ax、bc、-bc、-ax、-as、-aq、-av、-ba、be、az、au、ap、at、ay、bd、-bb、-aw、-ar、-ar、-aw、-bb、bd、ay、at、ap、au、az、be、-ba、-av、-aq、-as、-ax、-bc、bc、ax、as、aq、av、ba、-be、-az、-au、-ap、-at、-ay、-bd、bb、aw、ar}
{bk、bv、cg、-ce、-bt、-bi、-bm、-bx、-ci、cc、br、bg、bo、bz、ck、-ca、-bp、-bf、-bq、-cb、cj、by、bn、bh、bs、cd、-ch、-bw、-bl、-bj、-bu、-cf、cf、bu、bj、bl、bw、ch、-cd、-bs、-bh、-bn、-by、-cj、cb、bq、bf、bp、ca、-ck、-bz、-bo、-bg、-br、-cc、ci、bx、bm、bi、bt、ce、-cg、-bv、-bk}
{ai、al、ao、-am、-aj、-ah、-ak、-an、an、ak、ah、aj、am、-ao、-al、-ai、-al、-ao、am、aj、ah、ak、an、-an、-ak、-ah、-aj、-am、ao、al、ai、al、ao、-am、-aj、-ah、-ak、-an、an、ak、ah、aj、am、-ao、-al、-ai、-ai、-al、-ao、am、aj、ah、ak、-an、-an、-ak、-ah、-aj、-am、ao、al、ai}
{bl、by-ck、-bx、-bk、-bm、-bz、cj、bw、bj、bn、ca、-ci、-bv、-bi、-bo、-cb、ch、bu、bh、bp、cc、-cg、-bt、-bg、-bq、-cd、cf、bs、bf、br、ce、-ce、-br、-bs、-cf、cd、bq、bg、bt、cg、-cc、-bp、-bh、-bu、-ch、cb、bo、bi、bv、ci、-ca、-bn、-bj、-bw、-cj、bz、bm、bk、bx、ck、-by-bl}
{as、az、-bd、-aw、-ap、-av、-bc、ba、at、ar、ay、-be、-ax、-aq、-au、-bb、bb、au、aq、ax、be、-ay、-ar、-at、-ba、bc、av、ap、aw、bd、-az、-as、-az、bd、aw、ap、av、bc、-ba、-at、-ar、-ay、be、ax、aq、au、bb、-bb、-au、-aq、-ax、-be、ay、ar、at、ba、-bc、-av、-ap、-aw、-bd、az、as}
{bm、cb、-cf、-bq、-bi、-bx、cj、bu、bf、bt、ci、-by、-bj、-bp、-ce、cc、bn、bl、ca、-cg、-br、-bh、-bw、ck、bv、bg、bs、ch、-bz、-bk、-bo、-cd、cd、bo、bk、bz、-ch、-bs、-bg、-bv、-ck、bw、bh、br、cg、-ca、-bl、-bn、-cc、ce、bp、bj by、-ci、-bt、-bf、-bu、-cj、bx、bi、bq、cf、-cb、-bm}
{ab、ac、-ac、-ab、-ab、-ac、ac、ab、ab、ac、-ac、-ab、-ab、-ac、ac、ab、ab、ac、ac、-ac、-ac、-ab、-ab、ac、-ac、-ab、-ac、-ab、-ab、-ac、ac、ab、ab、ac、ac、-ac、-ab、-ab、-ac、ac、ab、-ab、-ab、-ab、-ac、ac、ab、-ab、-ac、-ab、-ab、-ac、-ab、-ab、-ac、-ac、-ab、-ac、-ab、-ac、-ab}
{bn、ce、-ca、-bj、-br、-ci、bw、bf、bv、-cj、-bs、-bi、-bz、cf、bo、bm、cd、-cb、-bk、-bq、-ch、bx、bg、bu、-ck、-bt、-bh、-by、cg、bp、bl、cc、-cc、-bl、-bp、-cg、by、bh、bt、ck、-bu、-bg、-bx、ch、bq、bk、cb、-cd、-bm、-bo、-cf、bz、bi、bs、-bv、-bf、-bw、ci、br、bj、ca、-ce、-bn}
{at、bc、-ay、-ap、-ax、bd、au、as、bb、-az、-aq、-aw、be、av、ar、ba、-ba、-ar、-av、-be、aw、aq、az、-bb、-as、-au、-bd、ax、ap、ay、-bc、-at、-at、-bc、ay、ap、ax、-bd、-au、-as、-bb、az、aq、aw、-be、-av、-ar、-ba、ba、ar、av、be、-aw、-aq、-az、bb、as、au、bd、-ax、-ap、-ay、bc、at}
{bo、ch、-bv、-bh、-ca、cc、bj、bt、-cj、-bq、-bm、-cf、bx、bf、by、-ce、-bl、-br、-ck、bs、bk、cd、-bz、-bg、-bw、cg、bn、bp、ci、-bu、-bi、-cb、cb、bi、-ci、-bp、-bn、-cg、bw、bg、bz、-cd、-bk、-bs、ck、br、bl、ce、-by、-bf、-bx、cf、bm、bq、cj、-bt、-bj、-cc、ca、bh、bv、-ch、-bo}
{aj、ao、-ak、-ai、-an、al、ah、am、-am、-ah、-al、an、ai、ak、-ao、-aj、-aj、-ao、ak、ai、an、-al、-ah、-am、ah、al、-an、-ai、-ak、ao、aj、aj、ao、-ak、-ai、-an、al、ah、-am、-ah、-al、an、ai、ak、-aj、-aj、-ao、ak、ai、an、-al、-ah、am、am、ah、al、-an、-ai、-ak、ao、aj}
{bp、ck、-bq、-bo、-cj、br、bn、ci、-bs、-bm、-ch、bt、bl、cg、-bu、-bk、-cf、bv、bj、ce、-bw、-bi、-cd、bx、bh、cc、-by、-bg、-cb、bz、bf、ca、-ca、-bf、-bz、cb、bg、by、-cc、-bh、-bx、cd、bi、bw、-ce、-bj、-bv、cf、bu、-cg、-bl、-bt、ch、bm、bs、-ci、-bn、-br、cj、bo、bq、-ck、-bp}
{au、-be、-at、-av、bd、as、aw、-bc、-ar、-ax、bb、aq、ay、-ba、-ap、-az、az、ap、ba、-ay、-aq、-bb、ax、ar、bc、-aw、-as、-bd、av、at、be、-au、-au、be、at、av、-bd、-as、-aw、bc、ar、ax、-bb、-aq、-ay、ba、ap、az、-az、-ap、-ba、ay、aq、bb、-ax、-ar、-bc、aw、as、bd、-av、-at、-be、au}
{bq、-ci、-bl、-bv、cd、bg、ca、-by、-bi、-cf、bt、bn、ck、-bo、-bs、cg、bj、bx、-cb、-bf、-cc、bw、bk、ch、-br、-bp、cj、bm、bu、-ce、-bh、-bz、bz、bh、ce、-bu、-bm、-cj、bp、br、-ch、-bk、-bw、cc、bf、cb、-bx、-bj、-cg、bs、bo、-ck、-bn、-bt、cf、bi、by、-ca、-bg、-cd、bv、bl、ci、-bq}
{ae,-ag,-ad,-af,af,ad,ag,-ae,-ae,ag,ad,af,-af,-ad,-ag,ae,ae,-ag,-ad,-af,af,ad,ag,-ae,-ae,ag,ad,af,-af,-ad,-ag,ae,ae,-ag,-ad,-af,af,ad,ag,-ae,-ae,ag,ad,af,-af,-ad,-ag,ae,ae,-ag,-ad,-af,af,ad,ag,-ae,-ae,ag,ad,af,-af,-ad,-ag,ae}
{br、-cf、-bg、-cc、bu、bo、-ci、-bj、-bz、bx、bl、ck、-bm、-bw、ca、bi、ch、-bp、-bt、cd、bf、ce、-bs、-bq、cg、bh、cb、-bv、-bn、cj、bk、by、-by、-bk、-cj、bn、bv、-cb、-bh、-cg、bq、bs、-ce、-bf、-cd、bt、bp、-ch、-bi、-ca、bw、bm、-ck、-bl、-bx、bz、bj、ci、-bu、-bg、cf、-br}
{av、-bb、-ap、-bc、au、aw、-ba、-aq、-bd、at、ax、-az、-ar、-be、as、ay、-ay、-as、be、ar、az、-ax、-at、bd、aq、ba、-aw、-au、bc、ap、bb、-av、-av、bb、ap、bc、-au、-aw、ba、aq、bd、-at、-ax、az、ar、be、-as、-ay、ay、as、-be、-ar、-az、ax、at、-bd、-ba、aw、-bc、-ap、-bb、}
{bs、-cc、-bi、-cj、bl、bz、-bv、-bp、cf、bf、cg、-bo、-bw、by、bm、-ci、-bh、-cd、br、bt、-cb、-bj、-ck、bk、ca、-bu、-bq、ce、bg、ch、-bn、-bx、bx、bn、-ch、-bg、-ce、bq、bu、-ca、-bk、ck、bj、cb、-bt、-br、cd、bh、ci、-bm、-by、bw、bo、-cg、-bf、bp、bv、-bz、-bl、cj、bi、cc、-bs}
{ak、-am、-ai、ao、ah、an、-aj、-al、al、aj、-an、-ah、-ao、ai、am、-ak、-ak、am、ai、-ao、-ah、-an、aj、al、-al、-aj、an、ah、ao、-ai、-am、ak、ak、-am、-ai、ao、ah、an、-aj、-al、al、aj、-an、-ah、-ao、ai、am、-ak、-ak、am、ai、-ao、-ah、-an、aj、al、-al、-aj、an、ah、ao、-ai、-am、ak}
{bt、-bz、-bn、cf、bh、ck、-bi、-ce、bo、by、-bu、-bs、ca、bm、-cg、-bg、-cj、bj、cd、-bp、-bx、bv、br、-cb、-bl、ch、bf、ci、-bk、-cc、bq、bw、-bw、-bq、cc、bk、-ci、-bf、-ch、bl、cb、-br、-bv、bx、bp、-cd、-bj、cj、bg、cg、-bm、-ca、bs、bu、-by、-bo、ce、bi、-ck、-bh、-cf、bn、bz}
{aw、-ay、-au、ba、as、-bc、-aq、be、ap、bd、-ar、-bb、at、az、-av、-ax、ax、av、-az、-at、bb、ar、-bd、-ap、-be、aq、bc、-as、-ba、au、ay、-aw、-aw、ay、au、-ba、-as、bc、aq、-be、-ap、-bd、ar、bb、-at、-az、av、ax、-ax、-av、az、at、-bb、-ar、bd、ap、be、-aq、-bc、as、ba、-au、-ay、-aw}
{bu、-bw、-bs、by、bq、-ca、-bo、cc、bm、-ce、-bk、cg、bi、-ci、-bg、ck、bf、cj、-bh、-ch、bj、cf、-bl、-cd、bn、cb、-bp、-bz、br、bx、-bt、-bv、bv、bt、-bx、-br、bz、bp、-cb、-bn、cd、bl、-cf、-bj、ch、bh、-cj、-bf、-ck、bg、ci、-bi、-bo、bk、ce、-bm、-cc、ca、-bq、-by、bs、}
{aa、-aa、-aa、-aa、-aa、-aa、aa、aa、-aa、-aa、-aa、aa、-aa、-aa、-aa、aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa、-aa}
{bv、-bt、-bx、br、bz、-bp、-cb、bn、cd、-bl、-cf、bj、ch、-bh、-cj、bf、-ck、-bg、ci、bi、-cg、-bk、ce、bm、-cc、-bo、ca、bq、-by、-bs、bw、bu、-bu、-bs、by、-bq、-ca、bo、cc、-ce、bk、cg、-bi、-ci、bg、ck、-bf、cj、bh、-ch、-bj、cf、bl、-cd、-bn、cb、bp、-bz、-br、bx、bt、-bv}
{ax、-av、-az、at、bb、-ar、-bd、ap、-be、-aq、bc as、-ba、-au、ay、aw、-aw、-ay、au、ba、-as、-bc、aq、be、-ap、bd、ar、-bb、-at、az、av、-ax、-ax、av、az、-at、-bb、ar、bd、-ap、be、aq、-bc、-as、ba、au、-ay、-aw、aw、ay、-au、-ba、as、bc、-aq、-be、ap、-bd、-ar、bb、at、-az、-av、-ax、}
{bw、-bq、-cc、bk、ci、-bf、ch、bl、-cb、-br、bv、bx、-bp、-cd、bj、cj、-bg、cg、bm、-ca、-bs、bu、by、-bo、-ce、bi、ck、-bh、cf、bn、-bz、-bt、bt、bz、-bn、-cf、bh、-ck、-bi、ce、bo、-by、-bu、bs、ca、-bm、-cg、bg、-cj、-bj、cd、bp、-bx、-bv、br、cb、-bl、-ch、bf、-ci、-bk、cc、bq bw}
{al、-aj、-an、ah、-ao、-ai、am、ak、-ak、-am、ai、ao、-ah、an、aj、-al、-al、aj、an、-ah、ao、ai、-am、-ak、ak、am、-ai、-ao、ah、-an、-aj、al、al、-aj、-an、ah、-ao、-ai、am、ak、-am、ai、ao、-ah、an、aj、-al、-al、aj、an、-ah、ao、ai、-am、-ak、ak、am、-ai、-ao、ah、-an、-aj、al}
{bx、-bn、-ch、bg、-ce、-bq、bu、ca、-bk、-ck、bj、-cb、-bt、br、cd、-bh、ci、bm、-by、-bw、bo、cg、-bf、cf、bp、-bv、-bz、bl、cj、-bi、cc、bs、-bs、-cc、bi、-cj、-bl、bz、bv、-bp、-cf、bf、-cg、-bo、bw、by、-bm、-ci、bh、-cd、-br、bt、cb、-bj、ck、bk、-ca、-bu、ce、-bg、ch、bn、-bx}
{ay、-as、-be、ar、-az、-ax、at、bd、-aq、ba、aw、-au、-bc、ap、-bb、-av、av、bb、-ap、bc、au、-aw、-ba、aq、-bd、-at、ax、az、-ar、be、as、-ay、-ay、as、be、-ar、az、ax、-at、-bd、aq、-ba、-aw、au、bc、-ap、bb、av、-av、-bb、ap、-bc、-au、aw、ba、-aq、bd、at、-ax、-az、ar、-be、-as、ay}
{by、-bk、cj、bn、-bv、-cb、bh、-cg、-bq、bs、ce、-bf、cd、bt、-bp、-ch、bi、-ca、-bw、bm、ck、-bl、bx、bz、-bj、ci、bo、-bu、-cc、bg、-cf、-br、br、cf、-bg、cc、bu、-bo、-ci、bj、-bz、-bx、bl、-ck、-bm、bw、ca、-bi、ch、bp、-bt、-cd、bf、-ce、-bs、bq、cg、-bh、cb、bv、-bn、-cj、bk、-by}
{af,-ad,ag,ae,-ae,-ag,ad,-af,-af,ad,-ag,-ae,ae,ag,-ad,af,af,-ad,ag,ae,-ae,-ag,ad,-af,-af,ad,-ag,-ae,ae,ag,-ad,af,af,-ad,ag,ae,-ae,-ag,ad,-af,-af,ad,-ag,-ae,ae,ag,-ad,af,af,-ad,ag,ae,-ae,-ag,ad,-af,-af,ad,-ag,-ae,ae,ag,-ad,af}
{bz、-bh、ce、bu、-bm、cj、bp、-br、-ch、bk、-bw、-cc、bf、-cb、-bx、bj、-cg、-bs、bo、ck、-bn、bt、cf、-bi、by、ca、-bg、cd、bv、-bl、ci、bq、-bq、-ci、bl、-bv、-cd、bg、-ca、-by、bi、-cf、-bt、bn、-ck、-bo、bs、cg、-bj、bx、cb、-bf、cc、bw、-bk、ch、br、-bp、-cj、bm、-bu、-bz}
{az、-ap、ba、ay、-aq、bb、ax、-ar、bc、aw、-as、bd、av、-at、be、au、-au、-be、at、-av、-bd、as、-aw、-bc、ar、-ax、-bb、aq、-ay、-ba、ap、-az、-az、ap、-ba、-ay、aq、-bb、-ax、ar、-bc、-aw、as、-bd、-av、at、-be、-au、au、be、-at、av、bd、-as、aw、bc、-ar、ax、bb、-aq、ay、ba、-ap、az}
{ca、-bf、bz、cb、-bg、by、cc、-bh、bx、cd、-bi、bw、ce、-bj、bv、cf、-bk、bu、cg、-bl、bt、ch、-bm、bs、ci、-bn、br、cj、-bo、bq、ck、-bp、bp、-ck、-bq、bo、-cj、-br、bn、-ci、-bs、bm、-ch、-bt、bl、-cg、-bu、bk、-cf、-bv、bj、-ce、-bw、bi、-cd、-bx、bh、-cc、-by、bg、-cb、-bz、bf、-ca}
{am、-ah、al、an、-ai、ak、ao、-aj、aj、-ao、-ak、ai、-an、-al、ah、-am、-am、ah、-al、-an、ai、-ak、-ao、aj、-aj、ao、ak、-ai、an、al、-ah、am、am、-ah、al、an、-ai、ak、ao、-aj、aj、-ao、-ak、ai、-an、-al、ah、-am、-am、ah、-al、-an、ai、-ak、-ao、aj、-aj、ao、ak、-ai、an、al、-ah、am}
{cb,-bi,bu,ci,-bp,bn,-cg,-bw,bg,-bz,-cd,bk,-bs,-ck,br,-bl,ce,by,-bf,bx,cf,-bm,bq,-cj,-bt,bj,-cc,-ca,bh,-bv,-ch,bo,-bo,ch,bv,-bh,ca,cc,-bj,bt,cj,-bq,bm,-cf,-bx,bf,-by,-ce,bl,-br,ck,bs,-bk,cd,bz,-bg,bw,cg,-bn,bp,-ci,-bu,bi,-cb}
{ba、-ar、av、-be、-aw、aq、-az、-bb、as、-au、bd、ax、-ap、ay、bc、-at、at、-bc、-ay、ap、-ax、-bd、au、-as、bb、az、-aq、aw、be、-av、ar、-ba、-ba、ar、-av、be、aw、-aq、az、bb、-as、au、-bd、-ax、ap、-ay、-bc、at、-at、bc、ay、-ap、ax、bd、-au、as、-bb、-az、aq、-aw、-be、av、-ar、ba、}
{cc、-bl、bp、-cg、-by、bh、-bt、ck、bu、-bg、bx、ch、-bq、bk、-cb、-cd、bm、-bo、cf、bz、-bi、bs、-cj、-bv、bf、-bw、-ci、br、-bj、ca、ce、-bn、bn、-ce、-ca、bj、-br、ci、bw、-bf、bv、cj、-bs、bi、-bz、-cf、bo、-bm、cd、cb、-bk、bq、-ch、-bx、bg、-bu、-ck、bt、-bh、by、cg、-bp、-cc}
{ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac,ac,-ab,ab,-ac,-ac,ab,-ab,ac}
{cd、-bo、bk、-bz、-ch、bs、-bg、bv、-ck、-bw、bh、-br、cg、ca、-bl、bn、-cc、-ce、bp、-bj、by ci、-bt、bf、-bu、cj、bx、-bi、bq、-cf、-cb、bm、-bm、cb、cf、-bq、bi、-bx、-cj、bu、-bf、bt、-ci、-by、bj、-bp、ce、cc、-bn、bl、-ca、-cg、br、-bh、bw、ck-bv、bg、-bs、ch、bz、-bk、-cd}
{bb、-au、aq、-ax、be、ay、-ar、at、-ba、-bc、av、-ap、aw、-bd、-az、as、-as、az、bd、-aw、ap、-av、bc、ba、-at、ar、-ay、-be、ax、-aq、au、-bb、-bb、au、-aq、ax、-be、-ay、ar、-at、ba、bc、-av、ap、-aw、bd、az、-as、as、-az、-bd、aw、-ap、av、-bc、-ba、at、-ar、ay、be、-ax、aq、-au、bb}
{ce、-br、bf、-bs、cf、cd、-bq、bg、-bt、cg、cc、-bp、bh、-bu、ch、cb、-bo、bi、-bv、ci、ca、-bn、bj、-bw、cj、bz、-bm、bk、-bx、ck、by、-bl、bl、-by、-ck、bx、-bk、bm、-bz、-cj、bw、-bj、bn、-ca、-ci、bv、-bi、bo、-cb、-ch、bu、-bh、bp、-cc、-cg、bt、-bg、bq、-cd、-cf、bs、-br、-ce}
{an,-ak,ah,-aj,am,ao,-al,ai,-ai,al,-ao,-am,aj,-ah,ak,-an,-an,ak,-ah,aj,-am,-ao,al,-ai,ai,-al,ao,am,-aj,ah,-ak,an,an,-ak,ah,-aj,am,ao,-al,ai,-ai,al,-ao,-am,aj,-ah,ak,-an,-an,ak,-ah,aj,-am,-ao,al,-ai,ai,-al,ao,am,-aj,ah,-ak,an}
{cf、-bu、bj、-bl、bw、-ch、-cd、bs、-bh、bn、-by、cj、cb、-bq、bf、-bp、ca、ck、-bz、bo、-bg、br、-cc、-ci、bx、-bm、bi、-bt、ce、cg、-bv、bk、-bk、bv、-cg、-ce、bt、-bi、bm、-bx、ci、cc、-br、bg、-bo、bz、-ck、-ca、bp、-bf、bq、-cb、-cj、by、-bn、bh、-bs、cd、ch、-bw、bl、-bu、-cf}
{bc、-ax、as、-aq、av、-ba、-be、az、-au、ap、-at、ay、-bd、-bb、aw、-ar、ar、-aw、bb、bd、-ay、at、-ap、au、-az、be、ba、-av、aq、-as、ax、-bc、-bc、ax、-as、aq、-av、ba、be、-az、au、-ap、at、-ay、bd、bb、-aw、ar、-ar、aw、-bb、-bd、ay、-at、ap、-au、az、-be、-ba、av、-aq、as、-ax、bc、}
{cg、-bx、bo、-bf、bn、-bw、cf、ch、-by、bp、-bg、bm、-bv、ce、ci、-bz、bq、-bh、bl、-bu、cd、cj、-ca、br、-bi、bk、-bt、cc、ck、-cb、bs、-bj、bj、-bs、cb、-ck、-cc、bt、-bk、bi、-br、ca、-cj、-cd、bu、-bl、bh、-bq、bz、-ci、-ce、bv、-bm、bg、-bp、by、-ch、-cf、bw、-bn、bf、-bo、bx、-cg}
{ag,-af,ae,-ad,ad,-ae,af,-ag,-ag,af,-ae,ad,-ad,ae,-af,ag,ag,-af,ae,-ad,ad,-ae,af,-ag,-ag,af,-ae,ad,-ad,ae,-af,ag,ag,-af,ae,-ad,ad,-ae,af,-ag,-ag,af,-ae,ad,-ad,ae,-af,ag,ag,-af,ae,-ad,ad,-ae,af,-ag,-ag,af,-ae,ad,-ad,ae,-af,ag}
{ch、-ca、bt、-bm、bf、-bl、bs、-bz、cg、ci、-cb、bu、-bn、bg、-bk、br、-by、cf、cj、-cc、bv、-bo、bh、-bj、bq、-bx、ce、ck、-cd、bw、-bp、bi、-bi、bp、-bw、cd、-ck、-ce、bx、-bq、bj、-bh、bo、-bv、cc、-cj、-cf、by、-br、bk、-bg、bn、-bu、cb、-ci、-cg、bz、-bs、bl、-bf、bm、-bt、ca、-ch}
{bd、-ba、ax、-au、ar、-ap、as、-av、ay、-bb、be、bc、-az、aw、-at、aq、-aq、at、-aw、az、-bc、-be、bb、-ay、av、-as、ap、-ar、au、-ax、ba、-bd、-bd、ba、-ax、au、-ar、ap、-as、av、-ay、bb、-be、-bc、az、-aw、at、-aq、aq、-at、aw、-az、bc、be、-bb、ay、-av、as、-ap、ar、-au、ax、-ba、-bd}
{ci、-cd、-bt、bo、-bj、bf、-bk、bp、-bu、bz、-ce、cj、ch、-cc、bx、-bs、bn、-bi、bg、-bl、bq、-bv、ca、-cf、ck、cg、-cb、bw、-br、bm、-bh、bh、-bm、br、-bw、cb、-cg、-ck、cf、-ca、bv、-bq、bl、-bg、bi、-bn、bs、-bx、cc、-ch、-cj、ce、-bz、bu、-bp、bk、-bf、bj、-bo、bt、-by、cd、-ci}
{ao,-an,am,-al,ak,-aj,ai,-ah,ah,-ai,aj,-ak,al,-am,an,-ao,-ao,an,-am,al,-ak,aj,-ai,ah,-ah,ai,-aj,ak,-al,am,-an,ao,ao,-an,am,-al,ak,-aj,ai,-ah,ah,-ai,aj,-ak,al,-am,an,-ao,-ao,an,-am,al,-ak,aj,-ai,ah,-ah,ai,-aj,ak,-al,am,-an,ao}
{cj,-cg,cd,-ca,bx,-bu,br,-bo,bl,-bi,bf,-bh,bk,-bn,bq,-bt,bw,-bz,cc,-cf,ci,ck,-ch,ce,-cb,by,-bv,bs,-bp,bm,-bj,bg,-bg,bj,-bm,bp,-bs,bv,-by,cb,-ce,ch,-ck,-ci,cf,-cc,bz,-bw,bt,-bq,bn,-bk,bh,-bf,bi,-bl,bo,-br,bu,-bx,ca,-cd,cg,-cj}
{be、-bd、bc、-bb、ba、-az、ay、-ax、aw、-av、au、-at、as、-ar、aq、-ap、ap、-aq、ar、-as、at、-au、av、-aw、ax、-ay、az、-ba、bb、-bc、bd、-be、-be、bd、-bc、bb、-ba、az、-ay、ax、-aw、av、-au、at、-as、ar、-aq、ap、-ap、aq、-ar、as、-at、au、-av、aw、-ax、ay、-az、ba、-bb、bc、-bd、be}
{ck、-cj、ci、-ch、cg、-cf、ce、-cd、cc、-cb、ca、-bz、by、-bx、bw、-bv、bu、-bt、bs、-br、bq、-bp、bo、-bn、bm、-bl、bk、-bj、bi、-bh、bg、-bf、bf、-bg、bh、-bi、bj、-bk、bl、-bm、bn、-bo、bp、-bq、br、-bs、bt、-bu、bv、-bw、bx、-by、bz、-ca、cb、-cc、cd、-ce、cf、-cg、ch、-ci、cj-ck}

ここで、
{aa、ab、ac、ad、ae、af、ag、ah、ai、aj、ak、al、am、an、ao、ap、aq、ar、as、at、au、av、aw、ax、ay、az、ba、bb、bc、bd、be、bf、bg、bh、bi、bj、bk、bl、bm、bn、bo、bp、bq、br、bs、bt、bu、bv、bw、bx、by、bz、ca、cb、cc、cd、ce、cf、cg、ch、ci、cj、ck}=
{64、83、36、89、75、50、18、90、87、80、70、57、43、25、9、90、90、88、85、82、78、73、67、61、54、46、38、31、22、13、4、91、90、90、90、88、87、86、84、83、81、79、77、73、71、69、65、62、59、56、52、48、44、41、37、33、28、24、20、15、11、7、2}
付録III
4点DST-7
{a、b、c、d}
{c、c、0、-c}
{d、-a、-c、b}
{b、-d、c、-a}
ここで、{a、b、c、d}={29、55、74、84}
8点DST-7:
{a、b、c、d、e、f、g、h、}
{c、f、h、e、b、-a、-d、-g、}
{e、g、b、-c、-h、-d、a、f、}
{g、c、-d、-f、a、h、b、-e、}
{h、-a、-g、b、f、-c、-e、d、}
{f、-e、-a、g、-d、-b、h、-c、}
{d、-h、e、-a、-c、g、-f、b、}
{b、-d、f、-h、g、-e、c、-a、}
ここで、{a、b、c、d、e、f、g、h}={17、32、46、60、71、78、85、86}
16点DST-7
{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、}
{c、f、i、l、o、o、l、i、f、c、0、-c、-f、-i、-l、-o、}
{e、j、o、m、h、c、-b、-g、-l、-p、-k、-f、-a、d、i、n、}
{g、n、l、e、-b、-i、-p、-j、-c、d、k、o、h、a、-f、-m、}
{i、o、f、-c、-l、-l、-c、f、o、i、0、-i、-o、-f、c、l、}
{k、k、0、-k、-k、0、k、k、0、-k、-k、0、k、k、0、-k、}
{m、g、-f、-n、-a、l、h、-e、-o、-b、k、i、-d、-p、-c、j、}
{o、c、-l、-f、i、i、-f、-l、c、o、0、-o、-c、l、f、-i、}
{p、-a、-o、b、n、-c、-m、d、l、-e、-k、f、j、-g、-i、h、}
{n、-e、-i、j、d、-o、a、m、-f、-h、k、c、-p、b、l、-g、}
{l、-i、-c、o、-f、-f、o、-c、-i、l、0、-l、i、c、-o、f、}
{j、-m、c、g、-p、f、d、-n、i、a、-k、l、-b、-h、o、-e、}
{h、-p、i、-a、-g、o、-j、b、f、-n、k、-c、-e、m、-l、d、}
{f、-l、o、-i、c、c、-i、o、-l、f、0、-f、l、-o、i、-c、}
{d、-h、l、-p、m、-i、e、-a、-c、g、-k、o、-n、j、-f、b、}
{b、-d、f、-h、j、-l、n、-p、o、-m、k、-i、g、-e、c、-a、}
ここで、{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p}={9、17、25、33、41、49、56、62、66、72、77、81、83、87、89、90}
32点DST-7
{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、q、r、s、t、u、v、w、x、y、z、A、B、C、D、E、F、}
{c、f、i、l、o、r、u、x、A、D、F、C、z、w、t、q、n、k、h、e、b、-a、-d、-g、-j、-m、-p、-s、-v、-y、-B、-E、}
{e、j、o、t、y、D、D、y、t、o、j、e、0、-e、-j、-o、-t、-y、-D、-D、-y、-t、-o、-j、-e、0、e、j、o、t、y、D、}
{g、n、u、B、D、w、p、i、b、-e、-l、-s、-z、-F、-y、-r、-k、-d、c、j、q、x、E、A、t、m、f、-a、-h、-o、-v、-C、}
{i、r、A、C、t、k、b、-g、-p、-y、-E、-v、-m、-d、e、n、w、F、x、o、f、-c、-l、-u、-D、-z、-q、-h、a、j、s、B、}
{k、v、F、u、j、-a、-l、-w、-E、-t、-i、b、m、x、D、s、h、-c、-n、-y、-C、-r、-g、d、o、z、B、q、f、-e、-p、-A、}
{m、z、z、m、0、-m、-z、-z、-m、0、m、z、z、m、0、-m、-z、-z、-m、0、m、z、z、m、0、-m、-z、-z、-m、0、m、z、}
{o、D、t、e、-j、-y、-y、-j、e、t、D、o、0、-o、-D、-t、-e、j、y、y、j、-e、-t、-D、-o、0、o、D、t、e、-j、-y、}
{q、E、n、-c、-t、-B、-k、f、w、y、h、-i、-z、-v、-e、l、C、s、b、-o、-F、-p、a、r、D、m、-d、-u、-A、-j、g、x、}
{s、A、h、-k、-D、-p、c、v、x、e、-n、-F、-m、f、y、u、b、-q、-C、-j、i、B、r、-a、-t、-z、-g、l、E、o、-d、-w、}
{u、w、b、-s、-y、-d、q、A、f、-o、-C、-h、m、E、j、-k、-F、-l、i、D、n、-g、-B、-p、e、z、r、-c、-x、-t、a、v、}
{w、s、-d、-A、-o、h、E、k、-l、-D、-g、p、z、c、-t、-v、a、x、r、-e、-B、-n、i、F、j、-m、-C、-f、q、y、b、-u、}
{y、o、-j、-D、-e、t、-e、-D、-j、o、y、0、-y、-o、j、D、e、-t、-t、e、D、j、-o、-y、0、y、o、-j、-D、-e、t、}
{A、k、-p、-v、e、F、f、-u、-q、j、B、a、-z、-l、o、w、-d、-E、-g、t、r、-i、-C、-b、y、m、-n、-x、c、D、h、-s、}
{C、g、-v、-n、o、u、-h、-B、a、D、f、-w、-m、p、t、-i、-A、b、E、e、-x、-l、q、s、-j、-z、c、F、d、-y、-k、r、}
{E、c、-B、-f、y、i、-v、-l、s、o、-p、-r、m、u、-j、-x、g、A、-d、-D、a、F、b、-C、-e、z、h、-w、-k、t、n、-q、}
{F、-a、-E、b、D、-c、-C、d、B、-e、-A、f、z、-g、-y、h、x、-i、-w、j、v、-k、-u、l、t、-m、-s、n、r、-o、-q、p、}
{D、-e、-y、j、t、-o、-o、t、j、-y、-e、D、0、-D、e、y、-j、-t、o、-t、-j、y、e、-D、0、D、-e、-y、j、t、-o、}
{B、-i、-s、r、j、-A、-a、C、-h、-t、q、k、-z、-b、D、-g、-u、p、l、-y、-c、E、-f、-v、o、m、-x、-d、F、-e、-w、n、}
{z、-m、-m、z、0、-z、m、m、-z、0、z、-m、-m、z、0、-z、m、m、-z、0、z、-m、-m、z、0、-z、m、-m、-z、0、z、-m、}
{x、-q、-g、E、-j、-n、A、-c、-u、t、d、-B、m、k、-D、f、r、-w、-a、y、-p、-h、F、-i、-o、z、-b、-v、s、e、-C、l、}
{v、-u、-a、w、-t、-b、x、-s、-c、y、-r、-d、z、-q、-e、A、-p、-f、B、-o、-g、C、-n、-h、D、-m、-i、E、-l、-j、F、-k、}
{t、-y、e、o、-D、j、j、-D、o、e、-y、t、0、-t、y、-e、-o、D、-j、-j、D、-o、-e、y、-t、0、t、-y、e、o、-D、j、}
{r、-C、k、g、-y、v、-d、-n、F、-o、-c、u、-z、h、j、-B、s、-a、-q、D、-l、-f、x、-w、e、m、-E、p、b、-t、A、-i、}
{p、-F、q、-a、-o、E、-r、b、n、-D、s、-c、-m、C、-t、d、l、-B、u、-e、-k、A、-v、f、j、-z、w、-g、-i、y、-x、h、}
{n、-B、w、-i、-e、s、-F、r、-d、-j、x、-A、m、a、-o、C、-v、h、f、-t、E、-q、c、k、-y、z、-l、-b、p、-D、u、-g、}
{l、-x、C、-q、e、g、-s、E、-v、j、b、-n、z、-A、o、-c、-i、u、-F、t、-h、-d、p、-B、y、-m、a、k、-w、D、-r、f、}
{j、-t、D、-y、o、-e、-e、o、-y、D、-t、j、0、-j、t、-D、y、-o、e、e、-o、y、-D、t、-j、0、j、-t、D、-y、o、-e、}
{h、-p、x、-F、y、-q、i、-a、-g、o、-w、E、-z、r、-j、b、f、-n、v、-D、A、-s、k、-c、-e、m、-u、C、-B、t、-l、d、}
{f、-l、r、-x、D、-C、w、-q、k、-e、-a、g、-m、s、-y、E、-B、v、-p、j、-d、-b、h、-n、t、-z、F、-A、u、-o、i、-c、}
{d、-h、l、-p、t、-x、B、-F、C、-y、u、-q、m、-i、e、-a、-c、g、-k、o、-s、w、-A、E、-D、z、-v、r、-n、j、-f、b、}
{b、-d、f、-h、j、-l、n、-p、r、-t、v、-x、z、-B、D、-F、E、-C、A、-y、w、-u、s、-q、o、-m、k、-i、g、-e、c、-a、}
ここで、{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、q、r、s、t、u、v、w、x、y、z、A、B、C、D、E、F}={4、9、13、17、21、26、30、34、38、42、45、50、53、56、60、63、66、68、72、74、77、78、80、82、84、85、86、88、88、89、90、90}
4点DCT-8
{a、b、c、d、}
{b、0、-b、-b、}
{c、-b、-d、a、}
{d、-b、a、-c、}
ここで、{a、b、c、d}={84、74、55、29}
8点DCT-8:
{a、b、c、d、e、f、g、h、}
{b、e、h、-g、-d、-a、-c、-f、}
{c、h、-e、-a、-f、g、b、d、}
{d、-g、-a、-h、c、e、-f、-b、}
{e、-d、-f、c、g、-b、-h、a、}
{f、-a、g、e、-b、h、d、-c、}
{g、-c、b、-f、-h、d、-a、e、}
{h、-f、d、-b、a、-c、e、-g、}
ここで、{a、b、c、d、e、f、g、h}={86、85、78、71、60、46、32、17}
16点DCT-8
{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、}
{b、e、h、k、n、0、-n、-k、-h、-e、-b、-b、-e、-h、-k、-n、}
{c、h、m、-p、-k、-f、-a、-e、-j、-o、n、i、d、b、g、l、}
{d、k、-p、-i、-b、-f、-m、n、g、a、h、o、-l、-e、-c、-j、}
{e、n、-k、-b、-h、0、h、b、k、-n、-e、-e、-n、k、b、h、}
{f、0、-f、-f、0、f、0、-f、-f、0、f、0、-f、-f、-f、}
{g、-n、-a、-m、h、f、-o、-b、-l、i、e、-p、-c、-k、j、d、}
{h、-k、-e、n、b、0、-b、-n、e、k、-h、-h、k、e、-n、-b、}
{i、-h、-j、g、k、-f、-l、e、m、-d、-n、c、o、-b、-p、a、}
{j、-e、-o、a、-n、-f、i、k、-d、-p、b、-m、-g、h、l、-c、}
{k、-b、n、h、-e、0、e、-h、-n、b、-k、-k、b、-n、-h、e、}
{l、-b、i、o、-e、f、-p、-h、c、-m、-k、a、-j、-n、d、-g、}
{m、-e、d、-l、-n、f、-c、k、o、-g、b、-j、-p、h、-a、i、}
{n、-h、b、-e、k、0、-k、e、-b、h、-n、-n、h、-b、e、-k、}
{o、-k、g、-c、b、-f、j、-n、-p、l、-h、d、-a、e、-i、m、}
{p、-n、l、-j、h、-f、d、-b、a、-c、e、-g、i、-k、m、-o、}
ここで、{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p}={90、89、87、83、81、77、72、66、62、56、49、41、33、25、17、9}
32点DCT-8
{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、q、r、s、t、u、v、w、x、y、z、A、B、C、D、E、F、}
{b、e、h、k、n、q、t、w、z、C、F、-E、-B、-y、-v、-s、-p、-m、-j、-g、-d、-a、-c、-f、-i、-l、-o、-r、-u、-x、-A、-D、}
{c、h、m、r、w、B、0、-B、-w、-r、-m、-h、-c、-c、-h、-m、-r、-w、-B、0、B、w、r、m、h、c、c、h、m、r、w、B、}
{d、k、r、y、F、-A、-t、-m、-f、-b、-i、-p、-w、-D、C、v、o、h、a、g、n、u、B、-E、-x、-q、-j、-c、-e、-l、-s、-z}
{e、n、w、F、-y、-p、-g、-c、-l、-u、-D、A、r、i、a、j、s、B、-C、-t、-k、-b、-h、-q、-z、E、v、m、d、f、o、x、}
{f、q、B、-A、-p、-e、-g、-r、-C、z、o、d、h、s、D、-y、-n、-c、-i、-t、-E、x、m、b、j、u、F、-w、-l、-a、-k、-v}
{g、t、0、-t、-g、-g、-t、0、t、g、g、t、0、-t、-g、-t、0、t、g、g、t、0、-t、-g、-g、-t、0、t、g、g、t、}
{h、w、-B、-m、-c、-r、0、r、c、m、B、-w、-h、-h、-w、B、m、c、r、0、-r、-c、-m、-B、w、h、h、w、-B、-m、-c、-r、}
{i、z、-w、-f、-l、-C、t、c、o、F、-q、-a、-r、E、n、d、u、-B、-k、-g、-x、y、h、j、A、-v、-e、-m、-D、s、b、p、}
{j、C、-r、-b、-u、z、g、m、F、-o、-e、-x、w、d、p、-E、-l、-h、-A、t、a、s、-B、-i、-k、-D、q、c、v、-y、-f、-n、}
{k、F、-m、-i、-D、o、g、B、-q、-e、-z、s、c、x、-u、-a、-v、w、b、t、-y、-d、-r、A、f、p、-C、-h、-n、E、j、l、}
{l、-E、-h、-p、A、d、t、-w、-a、-x、s、e、B、-o、-i、-F、k、m、-D、-g、-q、z、c、u、-v、-b、-y、r、f、C、-n、-j、}
{m、-B、-c、-w、r、h、0、-h、-r、w、c、B、-m、-m、B、c、w、-r、-h、0、h、r、-w、-c、-B、m、m、-B、-c、-w、r、h、}
{n、-y、-c、-D、i、s、-t、-h、E、d、x、-o、-m、z、b、C、-j、-r、u、g、-F、-e、-w、p、l、-A、-a、-B、k、q、-v、-f、}
{o、-v、-h、C、a、D、-g、-w、n、p、-u、-i、B、b、E、-f、-x、m、q、-t、-j、A、c、F、-e、-y、l、r、-s、-k、z、d、}
{p、-s、-m、v、j、-y、-g、B、d、-E、-a、-F、c、C、-f、-z、i、w、-l、-t、o、q、-r、-n、u、k、-x、-h、A、e、-D、-b、}
{q、-p、-r、o、s、-n、-t、m、u、-l、-v、k、w、-j、-x、i、y、-h、-z、g、A、-f、-B、e、C、-d、-D、c、E、-b、-F、a、}
{r、-m、-w、h、B、-c、0、c、-B、-h、w、m、-r、-r、m、w、-h、-B、c、0、-c、B、h、-w、-m、r、r、-m、-w、h、B、-c、}
{s、-j、-B、a、-C、-i、t、r、-k、-A、b、-D、-h、u、q、-l、-z、c、-E、-g、v、p、-m、-y、d、-F、-f、w、o、-n、-x、e、}
{t、-g、0、g、-t、-t、g、0、-g、t、t、-g、0、g、-t、-t、g、0、-g、t、t、-g、0、g、-t、-t、g、0、-g、t、t、-g、}
{u、-d、B、n、-k、-E、g、-r、-x、a、-y、-q、h、-F、-j、o、A、-c、v、t、-e、C、m、-l、-D、f、-s、-w、b、-z、-p、i}
{v、-a、w、u、-b、x、t、-c、y、s、-d、z、r、-e、A、q、-f、B、p、-g、C、o、-h、D、n、-i、E、m、-j、F、l、-k、}
{w、-c、r、B、-h、m、0、-m、h、-B、-r、c、-w、-w、c、-r、-B、h、-m、0、m、-h、B、r、-c、w、w、-c、r、B、-h、m、}
{x、-f、m、-E、-q、b、-t、-B、j、-i、A、u、-c、p、F、-n、e、-w、-y、g、-l、D、r、-a、s、C、-k、h、-z、-v、d、-o、}
{y、-i、h、-x、-z、j、-g、w、A、-k、f、-v、-B、l、-e、u、C、-m、d、-t、-D、n、-c、s、E、-o、b、-r、-F、p、-a、q、}
{z、-l、c、-q、E、u、-g、h、-v、-D、p、-b、m、-A、-y、k、-d、r、-F、-t、f、-i、w、C、-o、a、-n、B、x、-j、e、-s、}
{A、-o、c、-j、v、F、-t、h、-e、q、-C、-y、m、-a、l、-x、-D、r、-f、g、-s、E、w、-k、b、-n、z、B、-p、d、-i、u、}
{B、-r、h、-c、m、-w、0、w、-m、c、-h、r、-B、-B、r、-h、c、-m、w、0、-w、m、-c、h、-r、B、B、-r、h、-c、m、-w、}
{C、-u、m、-e、d、-l、t、-B、-D、v、-n、f、-c、k、-s、A、E、-w、o、-g、b、-j、r、-z、-F、x、-p、h、-a、i、-q、y、}
{D、-x、r、-l、f、-a、g、-m、s、-y、E、C、-w、q、-k、e、-b、h、-n、t、-z、F、B、-v、p、-j、d、-c、i、-o、u、-A、}
{E、-A、w、-s、o、-k、g、-c、b、-f、j、-n、r、-v、z、-D、-F、B、-x、t、-p、l、-h、d、-a、e、-i、m、-q、u、-y、C、}
{F、-D、B、-z、x、-v、t、-r、p、-n、l、-j、h、-f、d、-b、a、-c、e、-g、i、-k、m、-o、q、-s、u、-w、y、-A、C、-E、}
ここで、{a、b、c、d、e、f、g、h、i、j、k、l、m、n、o、p、q、r、s、t、u、v、w、x、y、z、A、B、C、D、E、F}={90、90、89、88、88、86、85、84、82、80、78、77、74、72、68、66、63、60、56、53、50、45、42、38、34、30、26、21、17、13、9、4}
102 矢印
103 矢印
104 正方形ブロック
180 概略図
201 現在のブロック
202 周囲サンプル
203 周囲サンプル
204 周囲サンプル
205 周囲サンプル
206 周囲サンプル
300 通信システム
310 端末機器
320 端末機器
330 端末機器
340 端末機器
350 ネットワーク
400 通信システム
401 ビデオソース
402 ビデオ画像のストリーム
403 ビデオ符号化器
404 符号化されたビデオデータ
405 ストリーミングサーバ
406 クライアントサブシステム
407 コピー
408 クライアントサブシステム
409 コピー
410 ビデオ復号器
411 ビデオ画像の出力ストリーム
412 ディスプレイ
413 キャプチャサブシステム
420 電子機器
430 電子機器
501 チャネル
510 ビデオ復号器
512 レンダリング装置
515 バッファメモリ
520 パーサ
521 シンボル
530 電子機器
531 受信機
551 スケーラ/逆変換ユニット
552 イントラ画像予測ユニット
553 動作補償予測ユニット
555 アグリゲータ
556 ループ・フィルタ・ユニット
557 参照画像メモリ
558 画像バッファ
601 ビデオソース
603 ビデオ符号化器
620 電子機器
630 ソース符号化器
632 符号化エンジン
633 復号器
634 参照画像メモリ
635 予測器
640 送信機
643 符号化ビデオシーケンス
645 エントロピー符号化器
650 コントローラ
660 通信チャネル
703 ビデオ符号化器
721 汎用コントローラ
722 イントラ符号化器
723 残差計算器
724 残差符号化器
725 エントロピー符号化器
726 スイッチ
728 残差復号器
730 インター符号化器
810 ビデオ復号器
871 エントロピー復号器
872 イントラ復号器
873 残差復号器
874 再構築モジュール
880 インター復号器
1110 残差ブロック
1112 係数ブロック
1120 残差ブロック
1122 係数ブロック
1300 変換符号化処理
1310 順一次変換
1312 順二次変換
1316 ビットストリーム
1320 逆一次変換
1322 逆二次変換
1400 変換符号化処理
1412 順二次変換
1501 縮小順変換の処理
1502 縮小逆変換の処理
1510 残差ブロック
1550 表
1710 符号化ブロック
2200 処理
2300 処理
2400 コンピュータシステム
2401 キーボード
2402 マウス
2403 トラックパッド
2405 ジョイスティック
2406 マイク
2407 スキャナ
2408 カメラ
2409 スピーカ
2410 タッチスクリーン
2421 光学メディア
2422 サムドライブ
2423 ソリッド・ステート・ドライブ
2440 コア
2443 フィールドプログラマブルゲートエリア(FPGA)
2444 特定のタスクのハードウェアアクセラレータ
2445 読み取り専用メモリ(ROM)
2446 ランダム・アクセス・メモリ
2447 内部大容量記憶装置
2448 システムバス
2449 周辺バス
2450 グラフィックアダプタ
2454 ネットワークインターフェース

Claims (11)

  1. 符号化ビデオビットストリームから符号化ユニット(CU)の符号化情報を復号するステップであって、前記符号化情報は、前記CUにおける第1の符号化ブロック(CB)の非ゼロ変換係数の最後の位置を示す、ステップと、
    前記最後の位置に基づいて、前記符号化情報において二次変換インデックスがシグナリングされるかどうかを判定するステップと、
    前記符号化情報において前記二次変換インデックスがシグナリングされると判定されるかどうかに基づいて、前記CUにおける第2のCBに対して二次変換を実行するかどうかを判定するステップと、
    前記二次変換が実行されると判定されたことに応答して、前記第2のCBに対して前記二次変換を実行し、前記第2のCBを再構築するステップと、
    前記二次変換が実行されないと判定されたことに応答して、前記第2のCBに対して前記二次変換を実行することなく前記第2のCBを再構築するステップと、
    を含む、復号器が実行するビデオ復号のための方法。
  2. 前記第1のCBは前記第2のCBであり、または、前記第1のCBは前記第2のCBとは異なる、請求項1に記載の方法。
  3. 前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、
    前記最後の位置の水平成分が第1の閾値未満であり、前記最後の位置の垂直成分が第2の閾値未満であるかどうかを判定するステップと、
    前記水平成分が前記第1の閾値未満であると判定され、前記垂直成分が前記第2の閾値未満であると判定されたことに応答して、前記符号化情報において前記二次変換インデックスがシグナリングされていないと判定するステップと、をさらに含む、請求項1に記載の方法。
  4. 前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、
    前記最後の位置の水平成分と垂直成分との和が閾値未満であるかどうかを判定するステップと、
    前記和が前記閾値未満であると判定されたことに応答して、前記符号化情報において前記二次変換インデックスがシグナリングされていないと判定するステップと、をさらに含む、請求項1に記載の方法。
  5. 前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、
    前記最後の位置の(i)水平成分および(ii)垂直成分のうちの最小成分が閾値未満であるかどうかを判定するステップと、
    前記最小成分が前記閾値未満であると判定されたことに応答して、前記符号化情報において前記二次変換インデックスがシグナリングされていないと判定するステップと、をさらに含む、請求項1に記載の方法。
  6. 前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、
    前記最後の位置の(i)水平成分および(ii)垂直成分のうちの最大成分が閾値未満であるかどうかを判定するステップと、
    前記最大成分が前記閾値未満であると判定されたことに応答して、前記符号化情報において前記二次変換インデックスがシグナリングされていないと判定するステップと、をさらに含む、請求項1に記載の方法。
  7. 前記第1のCBは輝度ブロックであり、
    前記最後の位置は前記輝度ブロックの最後の輝度位置であり、
    前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、前記最後の輝度位置に基づいて前記二次変換インデックスがシグナリングされるかどうかを判定するステップをさらに含む、
    請求項1に記載の方法。
  8. 前記第1のCBは輝度ブロックであり、
    前記最後の位置は前記輝度ブロックの最後の輝度位置であり、
    前記CUは彩度ブロックをさらに含み、
    前記符号化情報は前記彩度ブロックについての非ゼロ変換係数の最後の彩度位置をさらに示し、
    前記二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、前記最後の輝度位置および前記最後の彩度位置に基づいて前記二次変換インデックスがシグナリングされるかどうかを判定するステップをさらに含む、
    請求項1に記載の方法。
  9. 前記最後の位置に基づいて、前記符号化情報において二次変換インデックスがシグナリングされるかどうかを判定する前記ステップは、
    非ゼロ変換係数の前記最後の位置が、前記CUにおける前記第1のCBがゼロ係数のみを有すること、または、前記CUにおける前記第1のCBが前記最後の係数位置に1つの非ゼロ係数のみを有することを示すかどうかに基づいて、前記符号化情報において二次変換インデックスがシグナリングされるかどうかを判定するステップであって、非ゼロ変換係数の前記最後の位置が、前記CUにおける前記第1のCBがゼロ係数のみを有すること、または、前記CUにおける前記第1のCBが前記最後の係数位置に1つの非ゼロ係数のみを有することを示すことに応答して、前記符号化情報において前記二次変換インデックスがシグナリングされないと判定される、ステップを含む、請求項1~8のいずれか一項に記載の方法。
  10. 請求項1~9のいずれか一項に記載の方法を実行するように構成されている処理回路を備える、ビデオ復号のための装置。
  11. コンピュータに、請求項1~9のいずれか一項に記載の方法を実行させる命令を含むプログラム。
JP2021537157A 2019-04-04 2020-04-03 ビデオ符号化及び復号するための方法、装置及びコンピュータ・プログラム Active JP7185049B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022186435A JP7427756B2 (ja) 2019-04-04 2022-11-22 ビデオ符号化のための方法および装置
JP2024008823A JP2024028602A (ja) 2019-04-04 2024-01-24 ビデオ符号化のための方法および装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962829435P 2019-04-04 2019-04-04
US62/829,435 2019-04-04
US16/838,755 2020-04-02
US16/838,755 US11172211B2 (en) 2019-04-04 2020-04-02 Method and apparatus for video coding
PCT/US2020/026578 WO2020206254A1 (en) 2019-04-04 2020-04-03 Method and apparatus for video coding

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022186435A Division JP7427756B2 (ja) 2019-04-04 2022-11-22 ビデオ符号化のための方法および装置

Publications (2)

Publication Number Publication Date
JP2022515813A JP2022515813A (ja) 2022-02-22
JP7185049B2 true JP7185049B2 (ja) 2022-12-06

Family

ID=72661978

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021537157A Active JP7185049B2 (ja) 2019-04-04 2020-04-03 ビデオ符号化及び復号するための方法、装置及びコンピュータ・プログラム
JP2022186435A Active JP7427756B2 (ja) 2019-04-04 2022-11-22 ビデオ符号化のための方法および装置
JP2024008823A Pending JP2024028602A (ja) 2019-04-04 2024-01-24 ビデオ符号化のための方法および装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022186435A Active JP7427756B2 (ja) 2019-04-04 2022-11-22 ビデオ符号化のための方法および装置
JP2024008823A Pending JP2024028602A (ja) 2019-04-04 2024-01-24 ビデオ符号化のための方法および装置

Country Status (9)

Country Link
US (2) US11172211B2 (ja)
EP (1) EP3949410A4 (ja)
JP (3) JP7185049B2 (ja)
KR (2) KR102550425B1 (ja)
CN (3) CN117857792A (ja)
AU (2) AU2020253601B2 (ja)
CA (1) CA3133111A1 (ja)
SG (1) SG11202110364XA (ja)
WO (1) WO2020206254A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021517795A (ja) * 2018-04-01 2021-07-26 エルジー エレクトロニクス インコーポレイティド 分割されたブロックに2次変換を適用して、ビデオ信号を処理する方法及び装置
KR20210154151A (ko) 2019-04-23 2021-12-20 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩된 비디오에서 이차 변환의 사용
EP4329309A3 (en) 2019-05-10 2024-03-27 Beijing Bytedance Network Technology Co., Ltd. Selection of secondary transform matrices for video processing
KR20220016844A (ko) * 2019-06-07 2022-02-10 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 비트스트림들에서 감축된 2차 변환의 조건부 시그널링
KR20220037434A (ko) * 2019-06-25 2022-03-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 인트라 서브 파티션들을 위한 코딩을 포함하는 디코더, 인코더, 및 방법들
CN116055745A (zh) * 2019-06-25 2023-05-02 三星电子株式会社 使用二次变换的视频信号处理方法及装置
WO2021023151A1 (en) 2019-08-03 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Position based mode derivation in reduced secondary transforms for video
CN114223208B (zh) 2019-08-17 2023-12-29 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
US20230269372A1 (en) * 2020-03-18 2023-08-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium having stored bitstream

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8526495B2 (en) * 2010-11-22 2013-09-03 Mediatek Singapore Pte. Ltd. Apparatus and method of constrained partition size for high efficiency video coding
US9049452B2 (en) * 2011-01-25 2015-06-02 Mediatek Singapore Pte. Ltd. Method and apparatus for compressing coding unit in high efficiency video coding
CN103597838B (zh) * 2011-04-15 2017-03-29 黑莓有限公司 对末位有效系数的位置进行编码和解码的方法和设备
EP2745519B1 (en) * 2011-08-17 2017-09-27 MediaTek Singapore Pte Ltd. Method and apparatus for intra prediction using non-square blocks
KR102257379B1 (ko) * 2014-07-22 2021-06-01 삼성전자주식회사 비디오 인코딩 회로 및 그것을 이용하는 비디오 인코딩 방법
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
MX2018001540A (es) * 2015-09-10 2018-05-17 Samsung Electronics Co Ltd Dispositivo de codificacion, dispositivo de decodificacion y metodo de codificacion y decodificacion para los mismos.
US10681379B2 (en) * 2015-09-29 2020-06-09 Qualcomm Incorporated Non-separable secondary transform for video coding with reorganizing
US10708164B2 (en) * 2016-05-03 2020-07-07 Qualcomm Incorporated Binarizing secondary transform index
CN114339229B (zh) * 2016-05-04 2024-04-12 夏普株式会社 用于对变换数据进行编码的系统和方法
MX2018013461A (es) * 2016-05-13 2019-03-28 Sony Corp Aparato y metodo de procesamiento de imagenes.
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
BR112019013834A2 (pt) * 2017-01-03 2020-01-28 Lg Electronics Inc método e aparelho para codificar / decodificar sinal de vídeo usando transformada secundária
WO2018166429A1 (en) * 2017-03-16 2018-09-20 Mediatek Inc. Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
US10855997B2 (en) * 2017-04-14 2020-12-01 Mediatek Inc. Secondary transform kernel size selection
US10750181B2 (en) * 2017-05-11 2020-08-18 Mediatek Inc. Method and apparatus of adaptive multiple transforms for video coding
US10630974B2 (en) * 2017-05-30 2020-04-21 Google Llc Coding of intra-prediction modes
US10567801B2 (en) * 2018-03-07 2020-02-18 Tencent America LLC Method and apparatus for video coding with primary and secondary transforms
US10491914B2 (en) * 2018-03-29 2019-11-26 Tencent America LLC Transform information prediction
CN112166613B (zh) * 2018-04-01 2022-10-21 Lg电子株式会社 使用缩减二次变换来处理视频信号的方法和装置
PL3806476T3 (pl) * 2018-06-03 2023-09-11 Lg Electronics Inc. Sposób i urządzenie do przetwarzania sygnału video za pomocą transformacji zredukowanej
CN112166609A (zh) * 2018-06-08 2021-01-01 株式会社Kt 用于处理视频信号的方法和设备
CN112840648B (zh) * 2018-08-12 2023-06-16 Lg电子株式会社 用于处理图像信号的方法和装置
WO2020050702A1 (ko) * 2018-09-07 2020-03-12 주식회사 윌러스표준기술연구소 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
US11323748B2 (en) * 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
US10986339B2 (en) * 2019-02-08 2021-04-20 Tencent America LLC Method and apparatus for harmonization between transform skip mode and multiple transform selection
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
WO2020211777A1 (en) * 2019-04-16 2020-10-22 Mediatek Inc. Methods and apparatuses for coding video data with secondary transform
US11290731B2 (en) * 2019-05-22 2022-03-29 Tencent America LLC Method and apparatus for video coding
US11695960B2 (en) * 2019-06-14 2023-07-04 Qualcomm Incorporated Transform and last significant coefficient position signaling for low-frequency non-separable transform in video coding
US11949870B2 (en) * 2019-06-21 2024-04-02 Qualcomm Incorporated Context modeling for low-frequency non-separable transformation signaling for video coding
CN116055745A (zh) * 2019-06-25 2023-05-02 三星电子株式会社 使用二次变换的视频信号处理方法及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Alican Nalci, et al.,Non-CE6: Combination of JVET-O0472 and JVET-O0569 for TU-level LFNST Signaling with Last Position Co,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0963-v4,15th Meeting: Gothenburg, SE,2019年07月,pp.1-10
Jason Jung, et al.,Non-CE6: Simplified LFNST signalling,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0472-v5,15th Meeting: Gothenburg, SE,2019年07月,pp.1-5
Moonmo Koo et al.,CE6: Reduced Secondary Transform (RST) (test 6.5.1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0292,13th Meeting: Marrakech, MA,2019年01月,pp.1-14
Moonmo Koo, Jaehyun Lim, Mehdi Salehifar, and Seung Hwan Kim,CE6: Reduced Secondary Transform (RST) (CE6-3.1),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0193,14th Meeting: Geneva, CH,2019年03月,pp.1-19

Also Published As

Publication number Publication date
AU2020253601A1 (en) 2021-10-07
AU2020253601B2 (en) 2023-03-09
CN113557732B (zh) 2023-12-26
CA3133111A1 (en) 2020-10-08
US20210392345A1 (en) 2021-12-16
US20200322617A1 (en) 2020-10-08
EP3949410A1 (en) 2022-02-09
EP3949410A4 (en) 2023-03-29
KR20210068511A (ko) 2021-06-09
KR102550425B1 (ko) 2023-07-04
CN117528083A (zh) 2024-02-06
WO2020206254A1 (en) 2020-10-08
CN117857792A (zh) 2024-04-09
US11172211B2 (en) 2021-11-09
JP7427756B2 (ja) 2024-02-05
JP2023010887A (ja) 2023-01-20
SG11202110364XA (en) 2021-10-28
AU2023203638A1 (en) 2023-07-06
JP2024028602A (ja) 2024-03-04
JP2022515813A (ja) 2022-02-22
KR20230104757A (ko) 2023-07-10
CN113557732A (zh) 2021-10-26

Similar Documents

Publication Publication Date Title
JP7187702B2 (ja) ビデオ符号化の方法、装置及びコンピュータ・プログラム
JP7159423B2 (ja) 映像復号化のための方法、装置及びコンピュータ・プログラム
JP7187703B2 (ja) ビデオデコーディングのための方法、装置、媒体、およびプログラム
JP7185049B2 (ja) ビデオ符号化及び復号するための方法、装置及びコンピュータ・プログラム
US11218728B2 (en) Method and apparatus for video coding
JP7279168B2 (ja) 映像復号方法及び装置
JP7465918B2 (ja) デコーダが実行するビデオデコーディングのための方法及び装置、並びにエンコーダが実行するビデオエンコーディングのための方法
US10986334B2 (en) Method and apparatus for video coding
KR102631373B1 (ko) 비디오 코딩을 위한 방법 및 장치
JP7258168B2 (ja) ビデオコーディングのための方法並びにその、装置およびコンピュータプログラム
JP2023513772A (ja) ビデオコーディングのための方法、装置およびコンピュータプログラム
JP7189370B2 (ja) Cuに基づく補間フィルタ選択のシグナリング
JP2023524406A (ja) 複数基準線イントラ予測と変換分割との間の調和した設計
JP2023525216A (ja) ビデオ情報を処理するための方法及びコンピュータプログラム
KR20220074973A (ko) 비디오 코딩 방법 및 장치
JP7338053B2 (ja) ビデオコード化のための方法及び装置
JP2024074928A (ja) ビデオコーディングのための方法および装置
JP2023525668A (ja) 多重変換選択を用いた適応スキャン
KR20230065344A (ko) 서브블록 교차 성분 선형 모델 예측

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221124

R150 Certificate of patent or registration of utility model

Ref document number: 7185049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150