JP7257523B2 - エンコーダおよびデコーダにおける変換選択を選択するための方法および装置 - Google Patents

エンコーダおよびデコーダにおける変換選択を選択するための方法および装置 Download PDF

Info

Publication number
JP7257523B2
JP7257523B2 JP2021537996A JP2021537996A JP7257523B2 JP 7257523 B2 JP7257523 B2 JP 7257523B2 JP 2021537996 A JP2021537996 A JP 2021537996A JP 2021537996 A JP2021537996 A JP 2021537996A JP 7257523 B2 JP7257523 B2 JP 7257523B2
Authority
JP
Japan
Prior art keywords
transform
flag
video block
dct
horizontal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021537996A
Other languages
English (en)
Other versions
JP2022516497A (ja
Inventor
クリストファー ホルマン,
ヤコブ ストレム,
ペール ウェナーストン,
ダブート サファル,
Original Assignee
テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テレフオンアクチーボラゲット エルエム エリクソン(パブル) filed Critical テレフオンアクチーボラゲット エルエム エリクソン(パブル)
Publication of JP2022516497A publication Critical patent/JP2022516497A/ja
Application granted granted Critical
Publication of JP7257523B2 publication Critical patent/JP7257523B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本出願は、符号化および復号における変換選択のための方法および装置に関する。
標準化多用途ビデオコーディング(VVC)の下での、ビデオコーデックの現在の試験モデルVTMは、複数変換選択(MTS)と呼ばれるツールを含む。このツールは、エンコーダが3つの異なる変換の間で選ぶことを可能にする。これらの変換は、離散コサイン変換(DCT)の2つの変換と、離散サイン変換(DST)の1つの変換とからなる。符号化の間、変換は通常、ブロックの横(horizontal)方向に行われ、縦(vertical)方向での第2の変換が続く。これらの2つの変換は互いに独立であるので、異なる変換を異なる方向に用いることは全く可能である。選択され得る変換のセットは、DCT-2、DST-7、およびDCT-8を含む[2]。
エンコーダは、用いる変換を選択するとき、すべての許容される組合せを試験する。これらは、ブロックタイプ(インター/イントラ)、ブロックサイズ、チャネルタイプ、および予測モードに依存する。例えば、4×4サンプルと32×32サンプルとの間のサイズを有する輝度チャネルにおけるイントラブロックに対しては、5つの異なる組合せが試験される。
1.DCT-2を横およびDCT-2を縦
2.DST-7を横およびDST-7を縦
3.DST-7を横およびDCT-8を縦
4.DCT-8を横およびDST-7を縦
5.DCT-8を横およびDCT-8を縦
より大きなまたは色度チャネル内のブロックは、DCT-2のみを両方向に用いる。ツールは、イントラおよびインター予測に対して別々にイネーブルされ得る。共通試験条件(CTC)[1]では、ツールはイントラ予測されたブロックに対してのみイネーブルされる。ツールが無効にされたとき、エンコーダは、DCT-2を両方向に用いる。
選ばれた組合せをコード化するために必要なビットの数を低減するために、適応確率による算術コーダが用いられ得る(コンテキスト適応バイナリ算術符号化、CABAC)。コーダは異なるコンテキストを用い、それぞれは最も効率的な形でビンを符号化するように別々の確率を示す。ビットストリームにおいて、エンコーダによって選ばれた組合せは、以下のようにシグナリングされる。
・emt_cu_flag:DCT-2が横および縦の両方に用いられるかどうかをシグナリングするための6つのCABACコンテキストを用いる1つのビン(bin)。コンテキストは、現在のブロックの分割深さに基づいて選ばれる。フラグは、4×4と32×32サンプルとの間のサイズを有する輝度ブロックに対してのみ、およびMTSが現在の予測モードに対して許容される場合のみにシグナリングされる。フラグの値が0である場合は、DCT-2が用いられ、そうでない場合は変換の組合せを決定するためにemt_tu_idxが用いられる。
・emt_tu_idx:残りの4つの組合せのどれが用いられるかをシグナリングするために4つのCABACコンテキストを用いる2つのビン(bin)。ブロックがイントラ符号化されている場合は2つのコンテキストが用いられ、残りの2つのコンテキストはインター符号化されたブロックに対して用いられる。(CTCにおいて、CTCではインター符号化に対してMTSはオフにされるので、これらの最後の2つのコンテキストは用いられない)。ビン当たり1つのコンテキストが用いられるので、第1のビンはコンテキスト0または2を用い(予測モードに応じて)、一方、第2のビンは常にコンテキスト1または3を用いる。これら2つのビンに対する可能な値の範囲は、0(00、両方向でのDST-7を示す)から3(11、両方向でのDCT-8を示す)までである。これら2つのビンは、emt_cu_flagが値1を有する場合のみにシグナリングされる。
デコーダにおいて、対応するプロセスが遂行される。最初に、emt_cu_flagが構文解析される。フラグが設定された場合、用いられることになる変換を決定するためにemt_tu_idxが構文解析される。
いくつかの場合において、変換ツールに対して、EMT(明示的複数コア変換)またはAMT(適応マルチコア変換)という名前が用いられることに留意されたい。これらはツールの以前の名前であり、それ以後MTSに変更されている。すべての名前は同じツールを指すので、それらは同義的に用いられ得る。
VVC標準の現在の草案は、すべての可能な組合せを通して網羅的な検索を行う。これは結果としてエンコーダが、異なるモードを試験するのに多くの時間を費やすことになり、そのいくつかは選ばれる可能性が非常に低い。さらに、バイナリーコーダは、変換インデックスをシグナリングするのに非効率的な形を用いる。
実施形態の第1の態様は、デコーダによって行われる方法を規定する。方法は、コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することを含む。方法は、少なくとも1つのフラグを構文解析して、少なくとも1つのフラグが、複数の変換の第1の変換が、符号化されたビデオブロックを横方向と縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定することを含む。少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、方法は、符号化されたビデオブロックを、第1の変換を用いて横方向および縦方向で復号して、復号されたビデオブロックを生成することをさらに含む。少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、方法は、少なくとも1つのフラグのうちの第2のフラグを構文解析して、復号されたビデオブロックを生成するために符号化されたビデオブロックを横方向と縦方向の両方で復号するように複数の変換の第2の変換が用いられるべきであることをシグナリングするように第2のフラグが設定されているかどうかを決定することを含む。第2のフラグが、第2の変換が横方向および縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、方法は、符号化されたビデオブロックを、第2の変換を用いて横方向および縦方向で復号して、復号されたビデオブロックを生成することを含む。第2のフラグが、第2の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、方法は、少なくとも1つのフラグのうちの第3のフラグを構文解析して、符号化されたビデオブロックを復号するために、第2の変換が横方向と縦方向のどちらで用いられるべきか、および符号化されたビデオブロックを復号するために、第3の変換が横方向と縦方向のどちらで用いられるべきかを決定することを含む。方法は、第2および第3の変換を用いて符号化されたビデオブロックを復号して、復号されたビデオブロックを生成することを含む。
実施形態の第2の態様は、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを備えたデコーダを規定する。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、少なくとも1つのフラグを構文解析して、少なくとも1つのフラグが、複数の変換の第1の変換が、符号化されたビデオブロックを横方向と縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、符号化されたビデオブロックを、第1の変換を用いて横方向および縦方向の両方で復号して、復号されたビデオブロックを生成することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、少なくとも1つのフラグのうちの第2のフラグを構文解析して、復号されたビデオブロックを生成するために符号化されたビデオブロックを横方向と縦方向の両方で復号するように複数の変換の第2の変換が用いられるべきであることをシグナリングするように第2のフラグが設定されているかどうかを決定することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、少なくとも1つのフラグが、第1の変換が横方向におよび縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、符号化されたビデオブロックを、第2の変換を用いて横方向および縦方向で復号して、復号されたビデオブロックを生成することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、少なくとも1つのフラグのうちの第3のフラグを構文解析して、符号化されたビデオブロックを復号するために、第2の変換が横方向と縦方向のどちらで用いられるべきか、および符号化されたビデオブロックを復号するために、第3の変換が横方向と縦方向のどちらで用いられるべきかを決定することを行わせることができる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、第2および第3の変換を用いて符号化されたビデオブロックを復号して、復号されたビデオブロックを生成することを行わせることができる。
実施形態の第3の態様は、デコーダのためのコンピュータプログラムを規定する。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することを行わせる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、少なくとも1つのフラグを構文解析して、少なくとも1つのフラグが、複数の変換の第1の変換が、符号化されたビデオブロックを横方向と縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、符号化されたビデオブロックを、第1の変換を用いて横方向および縦方向で復号して、復号されたビデオブロックを生成させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、少なくとも1つのフラグが、第1の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、少なくとも1つのフラグのうちの第2のフラグを構文解析して、復号されたビデオブロックを生成するために符号化されたビデオブロックを横方向と縦方向の両方で復号するように複数の変換の第2の変換が用いられるべきであることをシグナリングするように第2のフラグが設定されているかどうかを決定させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、第2のフラグが、第2の変換が横方向および縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、符号化されたビデオブロックを、第2の変換を用いて横方向および縦方向で復号して、復号されたビデオブロックを生成させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、第2のフラグが、第2の変換が横方向および縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、少なくとも1つのフラグのうちの第3のフラグを構文解析して、符号化されたビデオブロックを復号するために、第2の変換が横方向と縦方向のどちらで用いられるべきか、および符号化されたビデオブロックを復号するために、第3の変換が横方向と縦方向のどちらで用いられるべきかを決定させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、第2および第3の変換を用いて符号化されたビデオブロックを復号して、復号されたビデオブロックを生成させる。
実施形態の第4の態様は、コンピュータ可読手段と、コンピュータ可読手段に記憶された第3の態様によるコンピュータプログラムとを備えたコンピュータプログラム製品を規定する。
実施形態の第5の態様は、エンコーダによって行われる方法を規定する。方法は、符号化のためにビデオブロックを受信することを含む。方法は、ビデオブロックの特性を決定することを含む。方法は、特性が、複数変換選択が用いられることを示すタイプであることに応答して、複数変換選択の一部であり、用いるのに最も計算コストがかかるか、またはビデオブロックを符号化するのに用いられる可能性が最も低い、複数の変換の第1の変換を選択することをさらに含む。方法は、第1の変換が横方向と縦方向の両方で用いられる組合せを試験せずに、複数の変換の組合せを横方向および縦方向に試験することを含む。方法は、組合せから、最も低いレート歪みをもたらす組合せを選択することを含む。方法は、選択された組合せを用いてビデオブロックを符号化して、符号化されたビデオブロックを生成することを含む。方法は、特性が、複数変換選択は用いられるべきでないことを示すタイプであることに応答して、デフォルト変換を横方向および縦方向に用いてビデオブロックを符号化することを含む。
実施形態の第6の態様は、ビデオのブロックをブロックのブロックサイズに基づいて符号化するためのエンコーダを規定し、ブロックの横方向および縦方向のそれぞれは変換を用いて符号化され、変換は第1の変換、第2の変換、または第3の変換のうちの1つとすることができる。エンコーダは、少なくとも1つのプロセッサと、プロセッサに結合されたメモリとを備える。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、ビデオブロックの特性を決定することを行わせる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、特性が、複数変換選択が用いられることを示すタイプであることに応答して、複数変換選択の一部であり、用いるのに最も計算コストがかかるか、またはビデオブロックを符号化するのに用いられる可能性が最も低い、複数の変換の第1の変換を選択することを行わせる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、第1の変換が横方向と縦方向の両方で用いられる組合せを試験せずに、複数の変換の組合せを横方向および縦方向に試験することを行わせる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、組合せから、最も低いレート歪みをもたらす組合せを選択することを行わせる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、選択された組合せを用いてビデオブロックを符号化して、符号化されたビデオブロックを生成することを行わせる。メモリはプロセッサによって実行可能な命令を備え、命令はプロセッサに、特性が、複数変換選択は用いられるべきでないことを示すタイプであることに応答して、デフォルト変換を横方向および縦方向に用いてビデオブロックを符号化することを行わせる。
実施形態の第7の態様は、ビデオのブロックをブロックのブロックサイズに基づいて符号化するためのコンピュータプログラムを規定し、ブロックの横方向および縦方向のそれぞれは変換を用いて符号化され、変換は第1の変換、第2の変換、または第3の変換のうちの1つとすることができる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、ビデオブロックの特性を決定させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、特性が、複数変換選択が用いられることを示すタイプであることに応答して、複数変換選択の一部であり、用いるのに最も計算コストがかかるか、またはビデオブロックを符号化するのに用いられる可能性が最も低い、複数の変換の第1の変換を選択させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、第1の変換が横方向と縦方向の両方で用いられる組合せを試験せずに、複数の変換の組合せを横方向および縦方向に試験させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、組合せから、最も低いレート歪みをもたらす組合せを選択させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、選択された組合せを用いてビデオブロックを符号化して、符号化されたビデオブロックを生成させる。コンピュータプログラムはコード手段を備え、コード手段はコンピュータ上で実行されたとき、コンピュータに、特性が、複数変換選択は用いられるべきでないことを示すタイプであることに応答して、デフォルト変換を横方向および縦方向に用いてビデオブロックを符号化させる。
実施形態の第8の態様は、コンピュータ可読手段と、コンピュータ可読手段に記憶された第7の態様によるコンピュータプログラムとを備えたコンピュータプログラム製品を規定する。
本発明の概念によってもたらされる利点は、上述の5つの組合せのうちの1つを取り除くことによってエンコーダの複雑さを低減することを含む。エンコーダおよびデコーダの両方の複雑さは、ある特定のブロックサイズに対して複雑さが低い変換を用いることによって低減される。さらに、2値化(binarization)の効率は、最も共通の組合せ(両方向におけるDST-7)のためのビン(bin)の数が3から2に低減されるので向上される。
本開示のさらなる理解をもたらすために含まれ、本出願に組み込まれ、その一部を構成する添付の図面は、本発明の概念のいくつかの非限定的な実施形態を例示する。
いくつかの実施形態によるエンコーダおよびデコーダが実施され得るシステムの環境の例を例示するブロック図である。 いくつかの実施形態によるエンコーダを例示するブロック図である。 いくつかの実施形態によるデコーダを例示するブロック図である。 MTSツールの構成要素を例示するブロック図である。 いくつかの実施形態によるMTSツールの構成要素を例示するブロック図である。 いくつかの実施形態によるMTSツールの構成要素を例示するブロック図である。 本発明の概念のいくつかの実施形態によるエンコーダの動作を例示するフローチャートである。 本発明の概念のいくつかの実施形態によるデコーダの動作を例示するフローチャートである。 本発明の概念のいくつかの実施形態によるデコーダの動作を例示するフローチャートである。 本発明の概念のいくつかの実施形態によるデコーダの動作を例示するフローチャートである。 本発明の概念のいくつかの実施形態によるデコーダの動作を例示するフローチャートである。
次に、本発明の概念の実施形態の例が示される添付の図面を参照して、本発明の概念が本明細書の以下でより十分に述べられる。しかし、本発明の概念は多くの異なる形で具体化されることができ、本明細書に記載される実施形態に限定されると解釈されるべきではない。むしろ、これらの実施形態は、本開示が十分および完全となるようにもたらされ、当業者に本発明の概念の範囲を十分に伝えるようになる。また、これらの実施形態は、相互に排他的ではないことが留意されるべきである。1つの実施形態からの構成要素は、別の実施形態において存在する/用いられることが暗黙に想定され得る。
以下の説明は、本開示の主題の様々な実施形態を提示する。これらの実施形態は、教示する例として提示され、本開示の主題の範囲を限定するものと解釈されるものではない。例えば、述べられる実施形態のいくつかの詳細は、述べられる主題の範囲から逸脱せずに、変更され、省かれ、または拡張され得る。
図1は、本明細書で述べられるようにビットストリームを符号化するために用いられ得るエンコーダ100の動作環境の例を例示する。エンコーダ100は、符号化に用いられる複数変換選択(MTS)構成要素102を有する。エンコーダ100は、ビデオをネットワーク104からおよび/またはストレージ106から受信し、以下で述べられるように、ビデオの規定されたブロックサイズに対して、MTS構成要素102を用いてビデオをビットストリームに符号化し、符号化されたビデオをネットワーク110を通じてデコーダ108に送信する。ストレージデバイス106は、ストアのストレージ保存場所またはストリーミングビデオサービス、個別のストレージ構成要素、モバイルデバイスの構成要素など、ビデオのストレージ保管場所の一部とすることができる。デコーダ108は、オーディオ/ビデオ(A/V)メディアプレーヤ114を有するデバイス112の一部とすることができる。デバイス112は、モバイルデバイス、セットトップデバイス、デスクトップコンピュータなどとすることができる。
図2は、本発明の概念のいくつかの実施形態による、ビデオフレームを符号化するように設定されたエンコーダ100の要素を例示するブロック図である。示されるように、エンコーダ100は、他のデバイス/エンティティ/機能などとの通信をもたらすように設定されたネットワークインターフェース回路205(ネットワークインターフェースとも呼ばれる)を含み得る。エンコーダ100はまた、ネットワークインターフェース回路205に結合されたプロセッサ回路201(プロセッサとも呼ばれる)と、プロセッサ回路に結合されたメモリ回路203(メモリとも呼ばれる)とを含み得る。メモリ回路203は、プロセッサ回路201によって実行されたとき、プロセッサ回路に、本明細書で開示される実施形態による動作を行わせるコンピュータ可読プログラムコードを含み得る。
他の実施形態によれば、プロセッサ回路201は、別個のメモリ回路が不要となるように、メモリを含むように規定され得る。本明細書で論じられるように、エンコーダ100の動作は、プロセッサ201および/またはネットワークインターフェース205によって行われ得る。例えば、プロセッサ201は、通信をデコーダ108に送信する、および/または他のエンコーダノード、保管場所サーバなど1つまたは複数の他のネットワークノード/エンティティ/サーバからネットワークインターフェース104を通して通信を受信するように、ネットワークインターフェース205を制御し得る。さらに、モジュールはメモリ203に記憶されることができ、これらのモジュールは、モジュールの命令がプロセッサ201によって実行されたとき、プロセッサ201がそれぞれの動作を行うように命令をもたらし得る。
図3は、本発明の概念のいくつかの実施形態による、ビデオフレームを復号するように設定されたデコーダ108の要素を例示するブロック図である。示されるように、デコーダ108は、他のデバイス/エンティティ/機能などとの通信をもたらすように設定されたネットワークインターフェース回路305(ネットワークインターフェースとも呼ばれる)を含み得る。デコーダ108はまた、ネットワークインターフェース回路305に結合されたプロセッサ回路301(プロセッサとも呼ばれる)と、プロセッサ回路に結合されたメモリ回路303(メモリとも呼ばれる)とを含み得る。メモリ回路303は、プロセッサ回路301によって実行されたとき、プロセッサ回路に、本明細書で開示される実施形態による動作を行わせるコンピュータ可読プログラムコードを含み得る。
他の実施形態によれば、プロセッサ回路301は、別個のメモリ回路が不要となるように、メモリを含むように規定され得る。本明細書で論じられるように、デコーダ108の動作は、プロセッサ301および/またはネットワークインターフェース305によって行われ得る。例えば、プロセッサ301は、エンコーダ100から通信を受信するように、ネットワークインターフェース305を制御し得る。さらに、モジュールはメモリ303に記憶されることができ、これらのモジュールは、モジュールの命令がプロセッサ301によって実行されたとき、プロセッサ301がそれぞれの動作を行うように命令をもたらし得る。
本明細書で述べられる本発明の概念によってもたらされる潜在的な利点は、ソフトウェアにおいて実施されるエンコーダの場合に評価されることになる変換組合せの数を制限することによって、エンコーダ実行時間を短縮することを含む。ハードウェアにおいて実施されるエンコーダの場合は、複雑さの低減は、エンコーダ実行時間の代わりに低下されたシリコン面積使用量など、別の形をとり得る。
本明細書で述べられる実施形態は、用いるのに計算コストがかかる、またはある特定のブロックサイズに対して別の変換によって用いられる頻度が低い変換を置き換えることによって、エンコーダおよびデコーダの両方の複雑さを低減する。例えば、VVC標準の下で動作するように設定されたエンコーダにおいて、相対的に言って計算コストがかかるDCT-8は、ある特定のブロックサイズに対して相対的に言ってかかる計算コストが低いDCT-2によって置き換えられ得る。
さらに、圧縮効率は、CABACコンテキストを用いることによってemt_cu_flagおよびemt_tu_idxを2値化することによって向上される。
さらなる改善は、置き換えられた変換(例えば、サイズ32のDCT-8)に対する変換係数はメモリに記憶される必要がないので、メモリ使用量の低減である。ハードウェア実装形態において、これはより小さなシリコン面積に繋がる。
例えば、[1]で述べられている共通試験条件(CTC)に従ってVTM2.0.1を用いたアンカに基づく実装形態では、圧縮効率(輝度に対する平均BDレート)は、すべてイントラの設定において0.07%改善され、ランダムアクセス(RA)設定において0.02%改善される。同時に、符号化時間は、それぞれアンカと比較して85%(AI)および95%(RA)に低減される。デコーダの複雑さに対する影響はあったとしても最小限であり、影響の範囲において、有益である。この1つの理由は、DCT-8を横およびDCT-8を縦の計算コストがかかる組合せが使用から取り除かれることによる。VTM3.0において同じ変更を実施したとき、圧縮効率における改善はそれぞれ0.03%(AI)および0.01%(RA)であり、エンコーダ実行時間はそれぞれ88%(AI)および98%(RA)に低減される。
以下の説明において、VVC標準化の部分により動作するように設定されエンコーダおよびデコーダが、本発明の概念を述べるために用いられる。他の標準化は、本明細書で述べられる概念を用いて実装され得る。
図4は、MTSツールがどのように現在実施されるかの実施形態を例示する。図5は、一実施形態においてどのように図4のMTSが変更されるかを例示する。図4では、各ノードは、コロン記号が続く文字によって印が付けられる(すなわち、「a:」から「j:」)。図5では、各ノードは、コロン記号が続く2文字によって印が付けられる(すなわち、「aa:」から「hh:」)。図6では、各ノードはコロン記号が続く3文字によって印が付けられる(すなわち、「aaa:」から「jjj:」)。発明者らは、VVC標準の草案において現在実施されているMTSツールに対して、いくつかの異なる変更が、エンコーダおよびデコーダの計算効率を向上させるためになされ得ることを認識した。変更の以下の説明において、図4~6のノードは図中の文字によって参照される。図4に基づいて、以下の変更がなされる。
変更1:分枝2(ノードg)におけるDCT-8を横およびDCT-8を縦の組合せは、もはや許容されない。これはエンコーダがこの組合せを評価しないことを意味し、従って評価実行時間を短縮する。デコーダは、mts_tu_idx_horがDCT-8(ノードe)を示す場合、mts_tu_idx_verは、変更により、常にDST-7(ノードh)を示すようになると結論付けることができる。
変更2:ある特定のブロックサイズに対して、分枝2におけるDCT-8(図4のノードe、g、およびi、図5のノードggおよびhh)は、DCT-2によって置き換えられる。ブロックが特定のサイズである場合、エンコーダは、分枝2でDCT-8の代わりにDCT-2を評価することになることを知るようになる。これは変更1に加えてこれらのブロックに対して、分枝2におけるDCT-2を横およびDCT-2を縦の組合せは、この厳密なケースはすでに分枝1でカバーされるので、評価されるべきではない。デコーダは、ブロックが特定のサイズであり、mts_tu_idx_horまたはmts_tu_idx_verがDCT-8の使用を示す場合において、DCT-8の代わりにDCT-2を適用することによってこの変更を認識する。この変更により、下の文はDCT-Xを指し、これはいくつかのブロックサイズに対してDCT-8、他のブロックサイズに対してDCT-2を意味する。
変更3:最も共通の変換の組合せである、DST-7を横およびDST-7を縦の組合せ(ノードj)は、図5のコーディングツリー内でDCT-Xを横(ノードee)によって現在占有されている位置に移動される。変更1により、mts_tu_idx_verは、mts_tu_idx_horがDCT-Xを示す場合、符号化される必要はない。この変更は、この省略をうまく利用する。
変更4:mts_tu_idx_verフラグは、mts_tu_idx_horフラグの値に基づいてのみ符号化されるので、両方のフラグが取り除かれ、2つの新たなフラグによって置き換えられる。2つの新たなフラグ(図5にも例示される)は、mts_dst_flagおよびmts_tu_flagである。
a)mts_dst_flagは、DST-7を両方向に用いるかどうかを示す。
b)mts_tu_flagは、DCT-XおよびDST-7がどの方向で用いられるべきかを示す。
変更5:mts_tu_flagは、より好ましい組合せか、それともより好ましくない組合せを用いるかをシグナリングする。使用可能な組合せのうちのどれがより好ましいかの決定は、イントラ予測の方向に基づいてなされる。ブロックがインター予測を用いる場合、フラグはまた、より好ましい組合せを用いるかどうかをシグナリングするが、どの組合せがより好ましいかの決定は、異なる情報、例えばブロックサイズまたはブロック形状に基づく。
変更6:以前は、mts_cu_flagのコンテキスト選択は、分割深さに基づいてなされた。これらの変更において、正しいコンテキストは、ブロックのより大きな寸法(幅または高さ)、およびイントラ予測の方向に基づいて決定される。ブロックがインター予測を用いる場合、コンテキストは異なる情報、例えば、ブロックサイズまたはブロック形状に基づいて選択される。
変更7(図6を参照):mts_tu_idx_horフラグは、両方の変換が同一であるかを示すフラグ(例えば、mst_same_flag)によって置き換えられる。フラグがセットされた場合、同じ変換が両方向に用いられることになる。どの変換を用いるかを示すために、追加のビットが符号化されるようになる。フラグがセットされない場合、どちらの変換をどちらの方向に用いるかを示すために追加のビットが符号化されて、2つの異なる変換が2つの方向に用いられるようになる。
変更1から変更6は図5に反映され、変更7は図6に反映される。以下の説明において、特定のブロックサイズに対して、および特定のブロックのタイプ(すなわち、インター符号化されたブロックまたはイントラ符号化されたブロック)に対して、どの変更がなされるか示す、様々な実施形態が述べられる。
上記の変更に基づいて様々な実施形態を述べる前に、実施される変更によってどのようにエンコーダ100およびデコーダ108が動作するかの概観が述べられる。次に図7を参照すると、動作701でエンコーダ100は、符号化されることになるビデオブロックの特性を決定する。特性は、ブロックサイズ、ブロックタイプ(インター/イントラ)、チャネルタイプ、予測モード、ブロックの寸法(幅または高さ)、およびイントラ予測の方向などとすることができる。
特性が、複数変換選択構成要素が用いられることを示すタイプであることに応答して、動作703でエンコーダ100は、複数選択変換構成要素(MST)によって用いられる複数の変換から、最も計算コストがかかるか、またはビデオブロックの符号化において用いられる可能性が最も低い第1の変換を選択する。例えば、MSTによって用いられる変換がDCT-2、DST-7、およびDCT-8であるとき、DCT-8は、しばしば用いるのに最も計算コストがかかる。このようなシナリオにおいて、DCT-8変換が第1の変換として選択され、指定され得る。
動作705で、エンコーダ100は、第1の変換が横方向と縦方向の両方で用いられる組合せを試験せずに、変換の組合せを試験する。例えば、動作703で述べられたシナリオにおいてDCT-8変換は、横方向および縦方向の両方で試験されないようになる。
動作707で、他の試験組合せと比べて最も低いレート歪みをもたらす組合せが選択される。他の決定因子も、用いる組合せを選択するのに用いられ得る。例えば、変換のうちの1つが別の変換より好ましく、両方の変換が同等のレート歪みを有する場合、好ましい変換が用いられ得る。
動作709で、ビデオブロックは、符号化されたブロックを生成するように、選択された組合せを用いて符号化される。動作711で、符号化されたブロックは、どの組合せが符号化において用いられたか、および符号化されたブロックを復号するために用いられるべきかを決定するために、デコーダによって用いられるフラグを有して、デコーダ108などのデコーダに送信される。
特性がタイプでないことに応答して、ビデオブロックは横方向および縦方向の両方でデフォルト変換を用いて符号化される。一実施形態において、DCT-2変換がデフォルト変換として用いられ得る。動作715で、符号化されたブロックは、どの組合せが符号化において用いられたか、および符号化されたブロックを復号するために用いられるべきかを決定するために、デコーダによって用いられるフラグを有して、デコーダ108などのデコーダに送信される。
次に図8を参照すると、デコーダ108が行い得る動作が例示される。動作801で、デコーダは、フラグを有する符号化されたビデオブロックを受信する。動作803で、第1のフラグがセットされているかどうかを決定するために、第1のフラグが構文解析される。第1のフラグは、mts_cu_flagとすることができる。フラグ設定は、第1の変換が、横方向および縦方向の両方で符号化されたビデオブロックを復号するために用いられるべきかどうかを示し得る。例えば、一実施形態において、設定は1または0のバイナリ設定とすることができる。言い換えれば、第1のフラグは第1の値または第2の値に等しい。1の設定は、第1の変換が両方向に用いられるべきであることを示し得る。他の実施形態では、0の設定が、第1の変換が両方向に用いられるべきであることを示すために用いられ得る。
動作805で、ビデオブロックは、第1のフラグが、第1の変換が両方向に用いられることに関連付けられた値を有することに応答して(例えば、第1のフラグが第1の値に等しい)、横方向および縦方向の両方で第1の変換を用いて復号される。例えば、DCT-2変換は、ビデオブロックを復号するために、横方向および縦方向の両方で用いられ得る。
動作807で、第1の変換は両方向に用いられないことに関連付けられた値を有する第1のフラグ設定に応答して、第2のフラグが構文解析される。第2のフラグは、第2のフラグ設定を決定するために構文解析される。フラグ設定は、第2の変換が、横方向および縦方向の両方で符号化されたビデオブロックを復号するために用いられるべきかどうかを示し得る。例えば、一実施形態において、設定は1または0のバイナリ設定とすることができる。言い換えれば、第2のフラグは第1の値または第2の値に等しい。1の設定は、第2の変換が両方向に用いられるべきであることを示し得る。他の実施形態では、0の設定が、第2の変換が両方向に用いられるべきであることを示すために用いられ得る。
第2の変換は、2つの変換のうちの1つとすることができる。第2のフラグは、ビデオブロックを復号するために2つの変換のどちらが用いられるべきかを決定するために、構文解析され得る。例えば、一実施形態において2つの変換はDST-7変換およびDCT-8変換とすることができる。
動作809で、ビデオブロックは、第2のフラグが、第2の変換が両方向に用いられることに関連付けられた値を有する(例えば、第2のフラグは第1の値に等しい)ことに応答して、第2の変換を横方向および縦方向の両方に用いて復号される。例えば、動作809で、ビデオブロックを復号するために、DST-7変換は横方向および縦方向の両方に用いられ得る。
動作811で、第2の変換は両方向に用いられないことに関連付けられた値を有する第2のフラグ設定に応答して、第3のフラグが構文解析される。第3のフラグは、第3のフラグ設定を決定するために構文解析される。第3のフラグ設定は、符号化されたビデオブロックを復号するために第2の変換が横方向または縦方向に用いられるべきか、および、復号するために第3の変換が横方向および縦方向の他方で用いられるべきかどうかを示し得る。これは第1の好ましい変換組合せとすることができる。例えば、一実施形態において、設定は1または0のバイナリ設定とすることができる。1の設定は、第2の変換が横方向で用いられるべきであり、第3の変換が縦方向で用いられるべきであることを示し得る。他の実施形態では、0の設定が、第2の変換が横方向で用いられるべきであり、第3の変換が縦方向で用いられるべきであることを示すために用いられ得る。これは第2の好ましい変換組合せとすることができる。実施形態において、第3の変換は第1の変換とすることができる。
動作813で、ビデオブロックは第2の変換を用いて、第3のフラグの設定に基づいて横方向または縦方向に復号される。例えば、動作813でビデオブロックを復号するために、DST-7変換は横方向で用いられ、DCT-2またはDCT-8変換は縦方向で用いられ得る。あるいは、動作813でビデオブロックを復号するために、DST-7変換は縦方向で用いられ、DCT-2またはDCT-8変換は横方向で用いられ得る。
動作815で、デコーダは、復号されたビデオブロックの再生のために、復号されたビデオブロックをメディアプレーヤに出力することができる。
次に図9を参照すると、代替実施形態において、動作901でデコーダ108は、符号化されたビデオブロックのブロックサイズに基づいて、第1の基準が満たされるかどうかを決定する。基準は、ブロックサイズ、ブロックタイプ(インター/イントラ)、チャネルタイプ、予測モード、ブロックの寸法(幅または高さ)などとすることができる。
動作903で、第1の基準が満たされることに応答して、デコーダは、縦方向と横方向の両方での第1の変換、縦方向と横方向の両方での第3の変換、縦方向での第1の変換および横方向での第3の変換、ならびに縦方向での第3の変換および横方向での第1の変換のうちの1つから変換組合せを選択する。
動作905で、第1の基準が満たされることに応答して、デコーダは、縦方向と横方向の両方での第1の変換、縦方向と横方向の両方での第3の変換、縦方向での第2の変換および横方向での第3の変換、ならびに縦方向での第3の変換および横方向での第2の変換のうちの1つから変換組合せを選択する。
動作907で、デコーダは、選択された組合せを用いてブロックを復号する。動作909で、デコーダは、符号化されたブロックをメディアプレーヤに向かって送信し得る。
以下で述べられる実施形態において、第1の変換はDCT-2変換、第2の変換はDCT-8変換、および第3の変換はDST-7変換である。以下の実施形態の説明において、第1の基準はブロックサイズである。
第1の実施形態において、MTSツールが許容される場合、変更1がすべてのブロックサイズに対してなされ、少なくとも1つの寸法が32サンプルの長さを有する場合、変更2がすべてのブロックに対してなされる。この第1の実施形態において、サイズ16×16以下のすべてのブロックは、以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第1の実施形態においてサイズ32×NまたはN×32のブロックに対して、以下の組合せが評価され、Nは4、8、16、または32とすることができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグおよびブロックサイズに基づいて、正しい変換の組合せを決定することができる。ブロックがサイズ16×16以下である場合、復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第1の実施形態においてブロックがサイズ32×NまたはN×32である場合、以下の組合せが示されることができ、Nは4、8、16、または32とすることができる(すなわち、図9の第1の基準は、符号化されたブロックが形式32×NまたはN×32のサイズを有するとき満たされ、Nは4、8、16、または32の値をとることができる)。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
表1は、第1の実施形態においてDCT-2およびDCT-8が用いられるものを示す。
Figure 0007257523000001
第2の実施形態において、MTSツールが許容される場合、変更1がすべてのブロックサイズに対してなされ、および変更2がサイズ16×32、32×16、または32×32のすべてのブロックに対してなされる。この実施形態において、サイズ16×16以下、4×32、8×32、32×4、および32×8のすべてのブロックは、以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第2の実施形態において、サイズ32×16、16×32、または32×32のブロックに対して、以下の組合せが評価される。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグおよびブロックサイズに基づいて、正しい変換の組合せを決定することができる。ブロックがサイズ16×16以下、4×32、8×32、32×4、または32×8である場合、復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第2の実施形態においてブロックがサイズ32×16、16×32、または32×32である場合(すなわち、図9の第1の基準は、符号化されたブロックが形式32×32または32×16または16×32のサイズを有するとき満たされる)、以下の組合せが示され得る。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
表2は、第2の実施形態においてDCT-2およびDCT-8が用いられるものを示す。
Figure 0007257523000002
第3の実施形態において、変更1、3、および4はすべてのブロックサイズに対してなされる。図5の右側へのステップが「1」として符号化され、左側へのステップが「0」として符号化される場合、組合せは以下のように符号化されるようになる。
Figure 0007257523000003
デコーダは、フラグを構文解析し、復号されたビンに基づいて変換の組合せを決定するようになる。図8に関して、mts_cu_flagは第1のフラグとすることができ、mts_dst_flagは第2のフラグとすることができ、およびmts_tu_flagは第3のフラグとすることができる。
Figure 0007257523000004
実施形態のセットにおいて、変更1、3、4、および5はすべてのブロックサイズに対してなされる。例として、変更5で述べられたようなより好ましい組合せは、mts_tu_flagを「1」に設定することによって印を付けることができ、変更5で述べられたようなより好ましくない組合せは、mts_tu_flagを「0」に設定することによって印が付けられ得る。図10はこの実施形態を例示する。図10を参照すると、用いる変換組合せを決定するために、表4がデコーダによって用いられ得る。動作1001で、デコーダは第1のフラグを構文解析して、第1のフラグが第1の値または第2の値に等しいかを決定する。動作1003で、第1のフラグが第1の値に等しいことに応答して、符号化されたブロックを縦方向と横方向の両方で復号するように、第1の変換が選択される。動作1005で、第1のフラグが第2の値に等しいことに応答して、第2のフラグが第1の値または第2の値に等しいかを決定するために、第2のフラグが構文解析される。動作1007で、第2のフラグが第1の値に等しいことに応答して、符号化されたブロックを縦方向と横方向の両方で復号するように、第3の変換が選択される。動作1009で、第2のフラグが第2の値に等しいことに応答して、第3のフラグが第1の値または第2の値に等しいかを決定するために、第3のフラグが構文解析される。動作1011で、第3のフラグが第1の値に等しいことに応答して、符号化されたブロックを復号するためにより好ましい変換組合せが選択される。動作1013で、第3のフラグが第2の値に等しいことに応答して、符号化されたブロックを復号するためにより好ましくない変換組合せが選択される。
実施形態のセットの1つである第5の実施形態において、ブロックがイントラ予測を用いる場合、イントラ方向が縦より横に近い場合は、DST-7を横におよびDCT-Xを縦に用いる組合せがより好ましいと考えられる。同時に、イントラ方向が横より縦に近い場合は、DCT-Xを横におよびDST-7を縦に用いる組合せがより好ましいと考えられる。従って、デコーダは、ブロックのイントラ方向に基づいて組合せを決定するようになる。
イントラ方向が、例えば、純粋に横であり、デコーダがmts_tu_flagを「1」として読み出した場合、デコーダはDST-7を横およびDCT-Xを縦の変換組合せを用いるようになる。フラグが「0」として読み出された場合、デコーダはDCT-Xを横およびDST-7を縦の変換組合せを用いるようになる。
イントラ方向が、例えば、純粋に縦であり、デコーダがmts_tu_flagを「1」として読み出した場合、デコーダはDCT-Xを横およびDST-7を縦の変換組合せを用いるようになる。フラグが「0」として読み出された場合、デコーダはDST-7を横およびDCT-Xを縦の変換組合せを用いるようになる。
実施形態のセットの1つである第6の実施形態において、ブロックがインター予測を用いる場合、DST-7を横およびDCT-Xを縦に用いる組合せは、ブロックが高さより大きな幅を有する場合、より可能性が高いと考えられる。ブロックが幅より大きな高さを有する場合、DCT-Xを横およびDST-7を縦に用いる組合せがより可能性が高いと考えられる。
ブロックが、例えば、16×4サンプルのサイズを有し、デコーダがmts_tu_flagを「1」として読み出した場合、デコーダはDST-7を横およびDCT-Xを縦の変換組合せを用いるようになる。フラグが「0」として読み出された場合、デコーダは、DCT-Xを横およびDST-7を縦の変換組合せを用いるようになる。
ブロックが、例えば、4×16サンプルのサイズを有し、デコーダがmts_tu_flagを「1」として読み出した場合、デコーダはDCT-Xを横およびDST-7を縦の変換組合せを用いるようになる。フラグが「0」として読み出された場合、デコーダは、DST-7を横およびDCT-Xを縦の変換組合せを用いるようになる。
上記の実施形態において、45度の予測方向は、縦と横に対して等しく近い。従って、デコーダおよびエンコーダは、同じやり方で、45度方向を扱うための均衡を破る規則に同意しなければならない。上記の実施形態のセットにおいて、これは45度方向を横より縦として扱うことによって対処される。異なる実施形態において、45度方向を横として扱うなど、異なる均衡を破る規則を用いることが有利になり得る。別の可能性は、45度方向とは別の角度で変化させることである。例として、45度方向を縦として扱うだけでなく、例えば、43度方向も縦として扱うことが、数学的にはそれらは横方向により近いが、有利となり得る。従って、一般に均衡を破る規則において、対角線方向だけでなく任意の角度を用いることが可能である。
均衡を破る規則が規定されるべき別のケースは、無方向性イントラ予測モード(プレーナまたはDC)である。上記の実施形態のセットにおいて、これらの予測は、縦より横として扱われる。わずかに異なる実施形態において、これらを横より縦として扱うことが有利になり得る。例えば、実装形態において、イントラモード0~34は横により近いとして扱われ、イントラモード35~66は縦により近いとして扱われる。
第7の実施形態において、変更6はイントラ符号化されたブロックに対して用いられる。mts_cu_flagを符号化および復号するために用いるコンテキストの選択は、ブロックのより長い側と、イントラ方向とに基づいてなされる。イントラ方向は、2つのグループに分割され、DCT-2を横および縦に用いるのがより好ましいグループと、DCT-2を横におよび縦に用いるのがより好ましくないグループである。これらのグループは異なるブロックサイズに対して同一とすることができる。DCT-2を横および縦の両方で用いることは、例えばイントラモードが横または縦に近い場合、より好ましくなり得る。同じ例において、組合せは、イントラ方向が対角線に近い場合、より好ましくなくなる。
図11を参照すると、動作1101で、デコーダは、ブロックがサイズ32×NまたはN×32であるかどうかを決定し、Nは4、8、16、または32とすることができる。動作1103で、ブロックがサイズ32×NまたはN×32のうちの1つであり、イントラ方向が横に近いまたは縦に近い(すなわち、動作1103で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格する)ことに応答して、例えば純粋に横である場合、動作1105で例えば第1の識別子(id)0を有する1つのコンテキストが選ばれるようになる。
ブロックが、Nを4、8、16、または32とすることができる、サイズ32×NまたはN×32であること、およびイントラ方向が対角線に近い(すなわち、動作1103で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格しない)ことに応答して、例えば純粋に対角線である場合、動作1107で例えば第2のid1を有する異なるコンテキストが選ばれるようになる。
動作1108で、デコーダは、ブロックがサイズ16×NまたはN×16であるかどうかを決定し、Nは4、8、または16とすることができる。動作1111で、ブロックがサイズ16×NまたはN×16のうちの1つであり、イントラ方向が横に近いまたは縦に近い(すなわち、動作1111で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格する)ことに応答して、例えば純粋に縦である場合、動作1113で例えば第3のid2を有する異なるコンテキストが選ばれるようになる。
Nを4、8、または16とすることができるものとして、ブロックがサイズ16×NまたはN×16であり、イントラ方向が対角線に近い(すなわち、動作1111で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格しない)ことに応答して、例えば純粋に対角線である場合、動作1115で例えば第4のid3を有する異なるコンテキストが選ばれるようになる。
動作1117で、デコーダは、ブロックがサイズ8×8、8×4、4×8、または4×4であるかどうかを決定する。動作1119で、ブロックがサイズ8×8、8×4、4×8、または4×4のうちの1つであり、イントラ方向が横に近いまたは縦に近い(すなわち、動作1119で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格する)ことに応答して、例えば純粋に横である場合、動作1121で例えば第5のid4を有する異なるコンテキストが選ばれるようになる。
ブロックがサイズ8×8、8×4、4×8、または4×4であり、イントラ方向が対角線に近い(すなわち、動作1119で決定されるように、横の近接度試験および縦の近接度試験のうちの1つに合格しない)ことに応答して、例えば純粋に対角線である場合、動作1123で例えば第6のid5を有する異なるコンテキストが選ばれるようになる。
これは以下の表に要約され得る。
Figure 0007257523000005
前の実施形態で述べられたように、予測方向が横および縦に等しく近い場合のために、エンコーダおよびデコーダに対して均衡を破る規則のセットが規定されるべきである。均衡を破る規則はまた、無方向性イントラ予測モードプレーナまたはDCに対して規定されるべきである。例えば、一実装形態において、イントラモード10~22は横に近いと見られ、横であるとして扱われ、イントラモード46~57は縦に近いと見られ、縦であるとして扱われ、残りのイントラモード0~9、23~45、および58~66は、対角線に近いと見られ、対角線として扱われ得る。
第8の実施形態において、変更6はインター符号化されたブロックに対して用いられる。mts_cu_flagを符号化および復号するために用いるコンテキストの選択は、ブロックサイズおよび形状に基づいてなされる。例えば、6つのコンテキストが以下のように選択され得る。
a)第8の実施形態でブロックがサイズ4×32または32×4である場合、1つのコンテキストが用いられ、例えば識別子(id)0を有する。
b)第8の実施形態でブロックがサイズ4×16、8×32、32×8、または16×4である場合、異なるコンテキストが用いられ、例えばid1を有する。
c)第8の実施形態でブロックがサイズ4×8または8×4である場合、異なるコンテキストが用いられ、例えばid2を有する。
d)第8の実施形態でブロックがサイズ8×16、16×32、32×16、または16×8である場合、異なるコンテキストが用いられ、例えばid3を有する。
e)第8の実施形態でブロックがサイズ16×16、32×32である場合、異なるコンテキストが用いられ、例えばid4を有する。
f)第8の実施形態でブロックがサイズ8×8または4×4である場合、異なるコンテキストが用いられ、例えばid5を有する。
第8の実施形態は、表6に要約され得る。
Figure 0007257523000006
第9の実施形態において、MTSツールが許容される場合、変更1がすべてのブロックサイズに対してなされ、少なくとも1つの寸法が16または32サンプルの長さを有する場合、変更2がすべてのブロックに対してなされる。この実施形態において、サイズ8×8以下のすべてのブロックは、以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第9の実施形態においてサイズ16×N、N×16、32×N、またはN×32のブロックに対して、以下の組合せが評価され、Nは4、8、16、または32とすることができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグおよびブロックサイズに基づいて、正しい変換の組合せを決定することができる。ブロックがサイズ8×8以下である場合、復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第9の実施形態においてブロックがサイズ16×N、N×16、32×N、またはN×32である場合、以下の組合せが示されることができ、Nは4、8、16、または32とすることができる(すなわち、図9の第1の基準は、符号化されたブロックが形式16×N、N×16、32×N、またはN×32のサイズを有するとき満たされ、Nは4、8、16、または32の値をとることができる)。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
表7は、第9の実施形態でDCT-2およびDCT-8が用いられる場合を示す。
Figure 0007257523000007
第10の実施形態において、MTSツールが許容される場合、変更1がすべてのブロックサイズに対してなされ、少なくとも1つの寸法が32サンプルまたは4サンプルの長さを有する場合、変更2がすべてのブロックに対してなされる。この実施形態において、サイズ8×8、8×16、16×8、または16×16のすべてのブロックは、以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第10の実施形態においてサイズ4×N、N×4、32×N、またはN×32のブロックに対して、以下の組合せが評価され、Nは4、8、16、または32とすることができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグおよびブロックサイズに基づいて、正しい変換の組合せを決定することができる。ブロックがサイズ8×8、8×16、16×8、または16×16である場合、復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第10の実施形態においてブロックがサイズ4×N、N×4、32×N、またはN×32である場合、以下の組合せが示されることができ、Nは4、8、16、または32とすることができる(すなわち、図9の第1の基準は、符号化されたブロックが形式4×N、N×4、32×N、またはN×32のサイズを有するとき満たされ、Nは4、8、16、または32の値をとることができる)。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
表8は、第10の実施形態でDCT-2およびDCT-8が用いられる場合を示す。
Figure 0007257523000008
第11の実施形態において、MTSツールが許容される場合、変更1がすべてのブロックサイズに対してなされ、少なくとも1つの寸法が32サンプルの長さを有するか、またはブロックが4×4サンプルのサイズを有する場合、変更2がすべてのブロックに対してなされる。この実施形態において、サイズ16×16以下であるが4×4より大きなすべてのブロックは、以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第11の実施形態においてサイズ4×4、32×N、またはN×32のブロックに対して、以下の組合せが評価され、Nは4、8、16、または32とすることができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグおよびブロックサイズに基づいて、正しい変換の組合せを決定することができる。ブロックがサイズ16×16以下であるが、4×4より大きい場合、復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-8を縦に
- DCT-8を横およびDST-7を縦に
第11の実施形態においてブロックがサイズ4×4、32×N、またはN×32である場合、以下の組合せが示されることができ、Nは4、8、16、または32とすることができる(すなわち、図9の第1の基準は、符号化されたブロックが形式4×4、32×N、またはN×32のサイズを有するとき満たされ、Nは4、8、16、または32の値をとることができる)。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
表9は、第11の実施形態でDCT-2およびDCT-8が用いられる場合を示す。
Figure 0007257523000009
第12の実施形態において、MTSツールが許容される場合、変更1および2がすべてのブロックサイズに対してなされる。この実施形態において、すべてのブロックは以下の組合せを評価する。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
デコーダは、構文解析されたフラグに基づいて、正しい変換の組合せを決定することができる。復号されたビンは以下の組合せを示すことができる。
- DCT-2を横およびDCT-2を縦に
- DST-7を横およびDST-7を縦に
- DST-7を横およびDCT-2を縦に
- DCT-2を横およびDST-7を縦に
実施形態のさらなるセットにおいて、変更7が組み込まれる。mts_same_flagと呼ばれる新たなフラグは、ブロックが同じ変換を横方向および縦方向の両方で用いるかどうかを示すためにシグナリングされる。一実施形態において、フラグが値「1」を有する場合は、ブロックは同一の変換を両方向に用い、一方、フラグが値「0」を有する場合は、2つの異なる変換が用いられるようになる。
実施形態において、mts_same_flagは、ブロックが同じ変換を横方向および縦方向の両方で用いることを示す。追加のフラグmts_tu_idxは、DCT-8またはDST-7を両方向に用いるかどうかを示すためにシグナリングされる。
別の実施形態において、mts_same_flagは、ブロックが異なる変換を横方向および縦方向に用いることを示す。追加のフラグmts_tu_idxは、DCT-8を横方向およびDST-7を縦方向に、またはDST-7を横方向におよびDCT-8を縦方向に用いるかどうかを示すためにシグナリングされる。
デコーダでの処理は、類似的に働く。最初に、mts_same_flagがデコーダによって構文解析され、続いてmts_tu_idxが構文解析されて、用いる正しい変換の組合せを決定する。
別の実施形態において、mts_same_flagはデコーダによって構文解析され、同じ変換が横方向および縦方向の両方で用いられるべきであることを示す。その後に、mts_tu_idxがデコーダによって構文解析され、DST-7またはDCT-8を両方向に用いるかどうかを示す。
別の実施形態において、mts_same_flagはデコーダによって構文解析され、2つの異なる変換が、現在のブロックに対して用いられるべきであることを示す。mts_tu_idxがデコーダによって構文解析されて、DCT-8を横方向およびDST-7を縦方向に、またはDST-7を横方向およびDCT-8を縦方向に用いるかどうかを決定する。
従って、変換組合せのうちの1つを無効にすることは、2つの新たなフラグを用いて本明細書で述べられるように、2つの既存のフラグを置き換えることによって、CABAC符号化への変更を可能にする。別の主要な態様は、いくつかの場合に1つの変換を異なる変換に置き換えることである。
参考文献
[1]F.Bossen, J.Boyce, X.Li, V.Seregin, K.Suhring (editors): “JVET common test conditions and software reference configurations for SDR video”, JVET-L1010, Macau, October 2018
[2]G.J.Sullivan, J.-R.Ohm: “Meeting Report of the 11th JVET Meeting, (Ljubljana, 10-18 July 2018)”, section 6.6, JVET-K1000, Ljubljana, July 2018

Claims (15)

  1. デコーダによって行われる方法であって、
    コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することと、
    前記少なくとも1つのフラグを構文解析して、前記少なくとも1つのフラグが、複数の変換の第1の変換が、前記符号化されたビデオブロックを横方向および縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第1の変換を用いて前記横方向および前記縦方向で復号して、復号されたビデオブロックを生成することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第2のフラグを構文解析して、前記復号されたビデオブロックを生成するために前記符号化されたビデオブロックを横方向および縦方向の両方で復号するように前記複数の変換の第2の変換が用いられるべきであることをシグナリングするように前記第2のフラグが設定されているかどうかを決定することと、
    前記第2のフラグが、前記第2の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第2の変換を用いて前記横方向および前記縦方向で復号して、前記復号されたビデオブロックを生成することと、
    前記第2のフラグが、前記第2の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第3のフラグを構文解析して、前記符号化されたビデオブロックを復号するために、前記第2の変換が前記横方向と前記縦方向のどちらで用いられるべきか、および前記符号化されたビデオブロックを復号するために、第3の変換が前記横方向と前記縦方向のどちらで用いられるべきかを決定することと、
    前記第2の変換および前記第3の変換を用いて前記符号化されたビデオブロックを復号して、前記復号されたビデオブロックを生成することと
    を含む方法。
  2. 前記第2の変換は2つの変換のうちの1つを含み、前記方法は前記第2のフラグを構文解析して、前記ビデオブロックを復号するために前記2つの変換のどちらが用いられるべきかを決定することをさらに含む、請求項1に記載の方法。
  3. 前記2つの変換は、離散サイン変換、DST-7、および離散コサイン変換、DCT-8を含む、請求項2に記載の方法。
  4. 前記第1の変換はDCT-2変換を含む、請求項1から3のいずれか一項に記載の方法。
  5. 前記第2の変換はDST-7変換を含む、請求項1から4のいずれか一項に記載の方法。
  6. 前記第3の変換は、DCT-2変換またはDCT-8変換のうちの1つを含む、請求項1から5のいずれか一項に記載の方法。
  7. 前記横方向に復号することは、前記複数の変換からの1つの変換を前記横方向に適用することを含み、前記縦方向に復号することは、前記複数の変換からの1つの変換を前記縦方向に適用することを含む、請求項1から6のいずれか一項に記載の方法。
  8. デコーダであって、
    少なくとも1つのプロセッサ(301)と、
    前記プロセッサに結合されたメモリ(303)とを備え、前記メモリは、前記プロセッサに動作を行わせる、前記プロセッサによって実行可能な命令を備え、前記動作は、
    コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することと、
    前記少なくとも1つのフラグを構文解析して、前記少なくとも1つのフラグが、複数の変換の第1の変換が、前記符号化されたビデオブロックを横方向および縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第1の変換を用いて前記横方向および前記縦方向で復号して、復号されたビデオブロックを生成することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第2のフラグを構文解析して、前記復号されたビデオブロックを生成するために前記符号化されたビデオブロックを横方向および縦方向の両方で復号するように前記複数の変換の第2の変換が用いられるべきであることをシグナリングするように前記第2のフラグが設定されているかどうかを決定することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第2の変換を用いて前記横方向および前記縦方向で復号して、前記復号されたビデオブロックを生成することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第3のフラグを構文解析して、前記符号化されたビデオブロックを復号するために、前記第2の変換が前記横方向と前記縦方向のどちらで用いられるべきか、および前記符号化されたビデオブロックを復号するために、第3の変換が前記横方向と前記縦方向のどちらで用いられるべきかを決定することと、
    前記第2の変換および前記第3の変換を用いて前記符号化されたビデオブロックを復号して、前記復号されたビデオブロックを生成することと
    を含む、デコーダ。
  9. 前記第2の変換は2つの変換のうちの1つを含み、前記メモリは、前記プロセッサに、前記第2のフラグを構文解析して、前記ビデオブロックを復号するために前記2つの変換のどちらが用いられるべきかを決定することを行わせる命令をさらに備える、請求項8に記載のデコーダ。
  10. 前記2つの変換は、離散サイン変換、DST-7、および離散コサイン変換、DCT-8変換を含む、請求項9に記載のデコーダ。
  11. 前記第1の変換はDCT-2変換を含む、請求項8から10のいずれか一項に記載のデコーダ。
  12. 前記第2の変換はDST-7変換を含む、請求項8から11のいずれか一項に記載のデコーダ。
  13. 前記第3の変換は、DCT-2変換またはDCT-8変換のうちの1つを含む、請求項8から12のいずれか一項に記載のデコーダ。
  14. デコーダのためのコンピュータプログラムであって、コード手段を備え、前記コード手段は、コンピュータ上で実行されたときに、前記コンピュータに、
    コンテキストベースの適応算術符号化を用いて符号化された少なくとも1つのフラグを有する符号化されたビデオブロックを受信することと、
    前記少なくとも1つのフラグを構文解析して、前記少なくとも1つのフラグが、複数の変換の第1の変換が、前記符号化されたビデオブロックを横方向および縦方向の両方で復号するために用いられるべきであることをシグナリングするように設定されているかどうかを決定することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第1の変換を用いて前記横方向および前記縦方向で復号して、復号されたビデオブロックを生成することと、
    前記少なくとも1つのフラグが、前記第1の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第2のフラグを構文解析して、前記復号されたビデオブロックを生成するために前記符号化されたビデオブロックを横方向および縦方向の両方で復号するように前記複数の変換の第2の変換が用いられるべきであることをシグナリングするように前記第2のフラグが設定されているかどうかを決定することと、
    前記第2のフラグが、前記第2の変換が前記横方向および前記縦方向の両方で用いられるべきであることをシグナリングするように設定されていることに応答して、
    前記符号化されたビデオブロックを、前記第2の変換を用いて前記横方向および前記縦方向で復号して、前記復号されたビデオブロックを生成することと、
    前記第2のフラグが、前記第2の変換が前記横方向および前記縦方向の両方で用いられるべきでないことをシグナリングするように設定されていることに応答して、
    前記少なくとも1つのフラグのうちの第3のフラグを構文解析して、前記符号化されたビデオブロックを復号するために、前記第2の変換が前記横方向と前記縦方向のどちらで用いられるべきか、および前記符号化されたビデオブロックを復号するために、第3の変換が前記横方向と前記縦方向のどちらで用いられるべきかを決定することと、
    前記第2の変換および前記第3の変換を用いて前記符号化されたビデオブロックを復号して、前記復号されたビデオブロックを生成することと
    を行わせる、コンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムを記憶するコンピュータ可読記憶手段。
JP2021537996A 2018-12-28 2019-11-28 エンコーダおよびデコーダにおける変換選択を選択するための方法および装置 Active JP7257523B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862785856P 2018-12-28 2018-12-28
US62/785,856 2018-12-28
PCT/SE2019/051206 WO2020139182A1 (en) 2018-12-28 2019-11-28 Method and apparatus for selecting transform selection in an encoder and decoder

Publications (2)

Publication Number Publication Date
JP2022516497A JP2022516497A (ja) 2022-02-28
JP7257523B2 true JP7257523B2 (ja) 2023-04-13

Family

ID=71129247

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021537996A Active JP7257523B2 (ja) 2018-12-28 2019-11-28 エンコーダおよびデコーダにおける変換選択を選択するための方法および装置

Country Status (9)

Country Link
US (3) US11082692B2 (ja)
EP (1) EP3903487A4 (ja)
JP (1) JP7257523B2 (ja)
KR (1) KR20210104895A (ja)
CN (1) CN113302923B (ja)
CO (1) CO2021009769A2 (ja)
MX (1) MX2021007633A (ja)
RU (1) RU2767513C1 (ja)
WO (1) WO2020139182A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102487598B1 (ko) * 2017-09-28 2023-01-12 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
JP2021529462A (ja) * 2018-06-29 2021-10-28 ヴィド スケール インコーポレイテッド アフィン動きモデルを基にしたビデオコーディングのためのアダプティブ制御点の選択
EP3989581A4 (en) 2019-06-19 2023-06-28 LG Electronics Inc. Signaling of information indicating transform kernel set in image coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506905A (ja) 2015-01-26 2018-03-08 クアルコム,インコーポレイテッド 予測残差のための機能強化された複数の変換
US20180332289A1 (en) 2017-05-11 2018-11-15 Mediatek Inc. Method and Apparatus of Adaptive Multiple Transforms for Video Coding
WO2019230670A1 (en) 2018-05-31 2019-12-05 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101753273B1 (ko) * 2010-03-10 2017-07-03 톰슨 라이센싱 변환 선택을 갖는 비디오 코딩 및 디코딩을 위한 제약 변환 방법 및 장치
EP2725793A4 (en) * 2011-06-27 2014-12-03 Panasonic Ip Corp America IMAGE DECODING METHOD, IMAGE ENCODING METHOD, IMAGE DECODING DEVICE, IMAGE ENCODING DEVICE, AND IMAGE ENCODING / DECODING DEVICE
US9210438B2 (en) * 2012-01-20 2015-12-08 Sony Corporation Logical intra mode naming in HEVC video coding
US9866829B2 (en) 2012-01-22 2018-01-09 Qualcomm Incorporated Coding of syntax elements that correspond to coefficients of a coefficient block in video coding
US9621921B2 (en) * 2012-04-16 2017-04-11 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
CN106464908A (zh) 2014-06-20 2017-02-22 三星电子株式会社 用于传输深度图像的预测模式以供层间视频编码和解码的方法和装置
CN107534780A (zh) * 2015-02-25 2018-01-02 瑞典爱立信有限公司 视频中的帧间画面的编码和解码
KR20230130772A (ko) * 2016-02-12 2023-09-12 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10972733B2 (en) * 2016-07-15 2021-04-06 Qualcomm Incorporated Look-up table for enhanced multiple transform
WO2018128222A1 (ko) * 2017-01-03 2018-07-12 엘지전자 주식회사 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
US11146795B2 (en) * 2017-03-10 2021-10-12 Qualcomm Incorporated Intra filtering flag in video coding
US11134272B2 (en) * 2017-06-29 2021-09-28 Qualcomm Incorporated Memory reduction for non-separable transforms
MX2020001290A (es) * 2017-08-03 2020-03-12 Sharp Kk Sistemas y metodos para particionar bloques de video en un corte de interprediccion de datos de video.
JP6863208B2 (ja) * 2017-09-29 2021-04-21 株式会社ニューフレアテクノロジー マルチ荷電粒子ビーム描画装置及びマルチ荷電粒子ビーム描画方法
US10491914B2 (en) * 2018-03-29 2019-11-26 Tencent America LLC Transform information prediction
CN112753220A (zh) * 2018-09-02 2021-05-04 Lg电子株式会社 基于多重变换选择的图像编码方法及其装置
EP4152748A1 (en) * 2018-09-02 2023-03-22 LG Electronics, Inc. Method and apparatus for processing image signal
US10819979B2 (en) * 2018-09-06 2020-10-27 Tencent America LLC Coupled primary and secondary transform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018506905A (ja) 2015-01-26 2018-03-08 クアルコム,インコーポレイテッド 予測残差のための機能強化された複数の変換
US20180332289A1 (en) 2017-05-11 2018-11-15 Mediatek Inc. Method and Apparatus of Adaptive Multiple Transforms for Video Coding
WO2019230670A1 (en) 2018-05-31 2019-12-05 Sharp Kabushiki Kaisha Systems and methods for partitioning video blocks in an inter prediction slice of video data

Also Published As

Publication number Publication date
CO2021009769A2 (es) 2021-08-09
KR20210104895A (ko) 2021-08-25
US20210136376A1 (en) 2021-05-06
MX2021007633A (es) 2021-08-11
US11558613B2 (en) 2023-01-17
US20230109113A1 (en) 2023-04-06
CN113302923B (zh) 2024-04-02
EP3903487A4 (en) 2022-09-21
RU2767513C1 (ru) 2022-03-17
CN113302923A (zh) 2021-08-24
US20210329243A1 (en) 2021-10-21
JP2022516497A (ja) 2022-02-28
WO2020139182A1 (en) 2020-07-02
EP3903487A1 (en) 2021-11-03
US11082692B2 (en) 2021-08-03

Similar Documents

Publication Publication Date Title
US20230164342A1 (en) Video decoding method and apparatus using multi-core transform, and video encoding method and apparatus using multi-core transform
AU2023202899B2 (en) Method and device for entropy encoding, decoding video signal
TWI753356B (zh) 用於編碼或解碼轉換塊的方法與裝置
JP7257523B2 (ja) エンコーダおよびデコーダにおける変換選択を選択するための方法および装置
KR101356733B1 (ko) 컨텍스트 기반 적응적 이진 산술 부호화, 복호화 방법 및장치
KR20130106340A (ko) 인트라 예측 모드 부호화/복호화 방법 및 컴퓨터로 읽을 수 있는 기록 매체
US20220417553A1 (en) Encoding method and apparatus therefor, and decoding method and apparatus therefor
TWI789668B (zh) 脈絡適應性二進制算術寫碼用參數化體系決定技術
KR20240033178A (ko) 비디오 데이터의 양상을 엔트로피 코딩 및 디코딩하기 위한 방법 및 장치
WO2012128453A1 (ko) 영상 부호화/복호화 방법 및 장치
KR101707164B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR101642092B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CN108702521B (zh) 编码和解码方法、装置、编码器、解码器及存储介质
US11743467B2 (en) Method and device for entropy encoding coefficient level, and method and device for entropy decoding coefficient level
WO2021207035A1 (en) Methods and apparatus on transform and coefficient signaling
WO2021055970A1 (en) Methods and apparatus of video coding using palette mode
KR20220097913A (ko) 변환 및 계수 시그널링에 대한 방법 및 장치
EP4088455A1 (en) Methods and apparatus of video coding using palette mode
CN115299047A (zh) 使用调色板模式的视频编解码的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210908

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230403

R150 Certificate of patent or registration of utility model

Ref document number: 7257523

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150