JP7436526B2 - 非線形適応ループフィルタのためのクリッピングレベル - Google Patents
非線形適応ループフィルタのためのクリッピングレベル Download PDFInfo
- Publication number
- JP7436526B2 JP7436526B2 JP2021576551A JP2021576551A JP7436526B2 JP 7436526 B2 JP7436526 B2 JP 7436526B2 JP 2021576551 A JP2021576551 A JP 2021576551A JP 2021576551 A JP2021576551 A JP 2021576551A JP 7436526 B2 JP7436526 B2 JP 7436526B2
- Authority
- JP
- Japan
- Prior art keywords
- luma
- clipping
- pixel
- lim
- bitdepthluma
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003044 adaptive effect Effects 0.000 title claims description 31
- 241000023320 Luma <angiosperm> Species 0.000 claims description 238
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 238
- 238000000034 method Methods 0.000 claims description 176
- 238000001914 filtration Methods 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 67
- 230000008569 process Effects 0.000 claims description 42
- 238000003860 storage Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 4
- 238000013139 quantization Methods 0.000 description 73
- 238000005192 partition Methods 0.000 description 57
- 230000006854 communication Effects 0.000 description 29
- 238000004891 communication Methods 0.000 description 29
- 239000000872 buffer Substances 0.000 description 20
- 238000010586 diagram Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 18
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 15
- 238000003491 array Methods 0.000 description 15
- 238000000638 solvent extraction Methods 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 13
- 239000011449 brick Substances 0.000 description 11
- 229910003460 diamond Inorganic materials 0.000 description 11
- 239000010432 diamond Substances 0.000 description 11
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000007667 floating Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 4
- 101150114515 CTBS gene Proteins 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101150039623 Clip1 gene Proteins 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007620 mathematical function Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000007727 signaling mechanism Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001502919 Gambusia luma Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 108010063123 alfare Proteins 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
［関連出願への相互参照］
本出願は、2019年6月24日にロシア特許庁に出願された国際特許出願PCT/RU2019/000454、2019年6月25日にロシア特許庁に出願された国際特許出願PCT/RU2019/000456、2019年7月3日にロシア特許庁に出願された国際特許出願PCT/RU2019/000476、2019年7月7日に米国特許庁に出願された米国仮出願62,871,200、及び2019年7月8日にロシア特許庁に出願された国際特許出願PCT/RU2019/000483からの優先権を主張し、これらの開示を、その全体を参照することにより援用する。
本出願は、2019年6月24日にロシア特許庁に出願された国際特許出願PCT/RU2019/000454、2019年6月25日にロシア特許庁に出願された国際特許出願PCT/RU2019/000456、2019年7月3日にロシア特許庁に出願された国際特許出願PCT/RU2019/000476、2019年7月7日に米国特許庁に出願された米国仮出願62,871,200、及び2019年7月8日にロシア特許庁に出願された国際特許出願PCT/RU2019/000483からの優先権を主張し、これらの開示を、その全体を参照することにより援用する。
［技術分野］
一般的に、本開示は、ビデオコーディングの分野に関する。より具体的には、本開示は、ビデオコーディングのためのフィルタ(例えば、非線形インループフィルタ)、及び再構成ビデオフレームをフィルタリングするための方法、並びにビデオコーディングのためのフィルタを含む符号化装置及び復号装置に関する。
一般的に、本開示は、ビデオコーディングの分野に関する。より具体的には、本開示は、ビデオコーディングのためのフィルタ(例えば、非線形インループフィルタ)、及び再構成ビデオフレームをフィルタリングするための方法、並びにビデオコーディングのためのフィルタを含む符号化装置及び復号装置に関する。
ビデオコーディング(ビデオ符号化及び/又は復号)は、広範囲のデジタルビデオアプリケーション、例えば、放送デジタルTV、インターネット及び移動ネットワーク上のビデオ送信、ビデオチャットのようなリアルタイム会話アプリケーション、ビデオ会議、DVD及びブルーレイディスク、ビデオコンテンツ取得及び編集システム、並びにセキュリティアプリケーションのカムコーダにおいて使用される。
比較的短いビデオですら描写するために必要なビデオデータの量は相当なものになる可能性があり、これは、データがストリーミングされるとき或いは限られた帯域幅容量を有する通信ネットワークを横切って通信されるときに、困難を生じることがある。したがって、ビデオデータは、一般的に、現代の電気通信ネットワークを横切って通信される前に圧縮される。メモリリソースが制限されることがあるので、ビデオが記憶デバイスに記憶されるとき、ビデオのサイズも問題になる可能性がある。ビデオ圧縮デバイスは、しばしば、送信又は記憶の前にビデオデータをコーディングするためにソースにおいてソフトウェア及び/又はハードウェアを使用し、それにより、デジタルビデオ画像を表すために必要なデータの量を減少させる。次いで、圧縮されたデータは、ビデオデータを復号するビデオ解凍デバイスにより宛先で受信される。限られたネットワークリソース及びより高いビデオ品質についての更に高まる要求のため、ピクチャ品質にほとんど或いは全く犠牲を払わず、圧縮比を改善する圧縮及び解凍技術が望ましい。
最近採択されたITU-T H.265/HEVC標準(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding", 2013年11月)は、コーディング効率と計算複雑性との間の適度なトレードオフを提供する最新技術のビデオコーディングツールのセットを宣言している。
ITU-T H.265/HEVC標準の概要は、Gary J. Sullivan, "Overview of the High Efficiency Video Coding (HEVC) Standard", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, No. 12, 2012年12月に与えられており、その全内容を参照することにより援用する。
この標準からのビデオコーディングツールの1つは、予測のために再構成フレームを使用する前に、このフレームに対してフィルタリングを実行する適応ループフィルタである。従来の適応ループフィルタは、Qian Chen, Yunfei Zheng, Peng Yin, Xiaoan Lu, Joel Sol’e, Qian Xu, Edouard Francois, and Dapeng Wu, "Classified Quadtree-based Adaptive Loop Filter", 2011 IEEE International Conference on Multimedia and Expo,1-6ページに記載されている。このフィルタでは、フィルタリングされた再構成フレームの各ピクセルは、生成中のフィルタリングされたピクセルの位置の周辺の再構成フレームからのピクセルの接続領域内のいくつかのピクセルの加重和である。ピクセルの接続領域は、一般的に、そのピクセルの隣接ピクセルのセットとして定義される。当該セットは、ピクセルの周囲に対称的に配置されてもよく、修正は、再構成フレームの境界又は再構成ブロックの境界の近くに適用されてもよい。頻繁に使用されるセットは、図１２に示すように、ルマ成分についての7×7のダイヤモンド形状又はクロマ成分についての5×5のダイヤモンド形状のようなダイヤモンドの形状を有してもよい。
(線形)適応ループフィルタのフィルタリングプロセスは、以下、すなわち、
のように実行され、ここで、サンプルI(x+i,y+j)は座標(x,y)を有するピクセルの接続領域からの入力再構成サンプルであり、O(x,y)はフィルタリングされた出力再構成サンプル(すなわち、フィルタ結果)であり、w(i,j)はフィルタ係数を示す。
上記の式は、コーディング効率の影響なしに(http://phenix.it-sudparis.eu/jvet/で公に入手可能なJVET-M0385に記載の非線形適応ループフィルタ方法に従って)以下の式、すなわち、
に修正できる。
最大重み係数w(i,j)がnビット整数値であり、BitDepthLumaがルマ成分ビット深度(ルマピクセルの最大ビット数)であり、BitDepthChromaがクロマ成分ビット深度である場合、フィルタの実装は、ルマ成分フィルタリングについて(BitDepthLuma+3)ビット値により、且つ、クロマ成分フィルタリングについて(BitDepthChroma+3)ビット値により、nビット値のN個の整数乗算を必要とし、Nはフィルタ長である。
以下に記載の方法は、ルマ成分についての最新技術の解決策における(BitDepthChroma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、(BitDepthLuma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要とする低い複雑性の非線形インループフィルタを提供する。クロマ成分について、以下に記載の方法は、最新技術の解決策における(BitDepthChroma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、(BitDepthChroma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要とする低い複雑性の非線形インループフィルタを提供する。
本開示の実施形態は、再構成フレームのフィルタリングのための改善された低い複雑性のインループフィルタを提供する。
本開示の実施形態は、品質劣化をフィルタリングすることなく、必要な乗算の複雑性を低下させることを可能にする。
上記及び他の目的は、独立請求項の対象物によって達成される。更なる実現形式は、従属請求項、詳細な説明及び図面から明らかである。
本開示の実施形態は、符号化デバイス又は復号デバイスによって実現される、ビデオストリームの再構成フレームに対して適応ループフィルタリングを実行することによるインループフィルタリングのための方法を提供し、当該方法は、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成/決定するステップと、それぞれのクリッピングレベルに従って差をクリッピングするステップと、クリッピングされた差の加重和を形成/決定するステップと、ピクセルのルマ及びクロマ成分のうち少なくとも1つに加重和を加算して、ピクセルのフィルタリングされたそれぞれの成分を決定するステップとを含み、それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じクリッピングレベルのセットから選択される。
本開示によれば、適応ループフィルタリングは、再構成フレームのピクセルのルマ及びクロマ成分のうち1つ以上に適用できる。適応ループフィルタリングが2つ以上の成分、特にピクセルのルマ及びクロマ成分の全てに適用される場合、フィルタリングは成分毎に別々に実行される。言い換えると、以下により詳細に説明する上記の方法のステップは、適応ループフィルタリングに提示される各成分に対して別々に実行される。
適応ループフィルタリングは、再構成フレームの単一のピクセル、特にコーディングブロックのようなブロックに対応するピクセルのグループ、又は再構成フレームのピクセルの全てに適用されてもよい。
上記のように、ピクセルの接続領域は、一般的に、そのピクセルの隣接ピクセルのセットとして定義されてもよい。当該セットは、ピクセルの周囲に対称的に配置されてもよく、修正は、再構成フレームの境界又は再構成ブロックの境界の近くに適用されてもよい。頻繁に使用されるセットは、ルマ成分についての7×7のダイヤモンド形状又はクロマ成分についての5×5のダイヤモンド形状のようなダイヤモンドの形状を有してもよい。
接続領域内の各隣接ピクセルについて、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つ、すなわち、ルマ成分又はクロマ成分と、隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つ、すなわち、ルマ成分又はそれぞれのクロマ成分との間の差が決定される。結果の差のそれぞれは、そのそれぞれのクリッピングレベルに従ってクリッピングされる。言い換えると、接続領域内の各隣接ピクセルは、ルマ及びクロマ成分のうち少なくとも1つのそれぞれについて、関連するそれぞれのクリッピングレベルを有する。したがって、それぞれのクリッピングレベルは、フィルタリングされている成分と、ルマ及びクロマ成分のうち少なくとも1つがフィルタリングされているピクセルの座標(x,y)に関する対応する隣接ピクセルの座標(x+i,y+j)のオフセット(i,j)とに依存する。
ピクセルのどの成分、すなわち、ルマ成分又は2つのクロマ成分のうち1つがフィルタリングされるかに関係なく、それぞれのクリッピングレベルは単一のクリッピングレベルのセットから選択される。同じクリッピングレベルのセットは、特に、ルマ及びクロマ成分の双方について許可されるか或いは可能性のあるクリッピングレベルの全てを含んでもよい。
同じクリッピングレベルのセットからルマ及びクロマ成分についてのクリッピングレベルを選択することは、非線形適応ループフィルタの実装を簡略化し得る。特に、クリッピングレベルの決定は、公式からであれテーブルからであれ、簡略化され得る。
それぞれのクリッピングレベルは、ルマ及びクロマ成分のうち少なくとも1つのビット深度に従って選択されてもよい。代替として或いはさらに、それぞれのクリッピングレベルは、接続領域内のそれぞれの隣接ピクセルについてのそれぞれのクリッピングインデックスに従って選択されてもよい。言い換えると、各隣接ピクセルについて、対応するクリッピングレベルは、その隣接ピクセルについてのクリッピングインデックスに従って選択され、これは、その隣接ピクセルの異なる成分について異なってもよい。
ルマ及びクロマ成分について同じクリッピングレベルのセットからそれぞれのクリッピングレベルを選択することは、ルマ及びクロマ成分が同じビット深度を有する場合、同じクリッピングレベルが特定のクリッピングインデックスについてのルマ成分及びクロマ成分について選択されることを特に示唆してもよい。言い換えると、ビット深度及びクリッピングインデックスは、ルマフィルタリングが実行されるかクロマフィルタリングが実行されるかに関係なく、クリッピングレベルのセット内でクリッピングレベルを一意に識別する。したがって、同じクリッピングレベルが同じクリッピングインデックスについての同じビット深度のルマ及びクロマ成分についてのクリッピングレベルのセットから選択される限り、クリッピングレベルのセットは、ルマ及びクロマ成分について統一されてもよい。これは、隣接ピクセルのルマ及びクロマ成分が異なるビット深度及び/又は異なるクリッピングインデックスを有する場合、異なるクリッピングレベルが隣接ピクセルのルマ及びクロマ成分について選択される可能性があることを除外しない。
それぞれのクリッピングインデックスは、ビデオストリーム内でシグナリングされてもよい。
それぞれのクリッピングレベルは、2BitDepth-1以下の正のクリッピング値でもよく、BitDepthはルマ及びクロマ成分のうち少なくとも1つのビット深度を示す。代替として、それぞれのクリッピングレベルは、2BitDepth以下の正のクリッピング値でもよく、BitDepthは、ルマ及びクロマ成分のうち少なくとも1つのビット深度を示す。
クリッピングレベルに対する第1の制限は、ハードウェア正方形領域を節約する、乗算のそれぞれについて最新技術と比較して、フィルタリング乗算ビット深度を1ビットだけ低減することを可能にし得る。
実現方式によれば、再構成フレーム内の座標(x,y)を有するピクセルのフィルタリングされたそれぞれの成分O’(x,y)は、以下の式、すなわち、
に従って取得されてもよく、ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有するピクセルのルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、w(i,j)は、フィルタリングされたピクセルに関して位置がオフセット(i,j)を有するピクセルの接続領域内の隣接ピクセルに対応するnビット整数フィルタ係数を示し、Lim(i,j)は、オフセット(i,j)を有するピクセルの接続領域内の隣接ピクセルに対応するそれぞれのクリッピングレベルを示す。
それぞれのクリッピングレベルは、k<=BitDepthの正のkビットクリッピング値でもよく、BitDepthは、ルマ及びクロマ成分のうち少なくとも1つのビット深度を示す。
それぞれのクリッピングレベルは、特に、ルマ成分についてLim(i,j)<=2BitDepthLuma-1でもよく、クロマ成分についてLim(i,j)<=2BitDepthChroma-1でもよい。代替として、それぞれのクリッピングレベルは、特に、ルマ成分についてLim(i,j)<=2BitDepthLumaでもよく、クロマ成分についてLim(i,j)<=2BitDepthChromaでもよい。
実現方式によれば、それぞれのクリッピングレベルは、ルマ及びクロマ成分についての可能なクリッピングレベルのセットを表すルックアップテーブル(LUT, look-up table)から選択されてもよい。
LUTの形式でクリッピングレベルを提供することは、非線形ALFの実装を更に簡略化し得る。それぞれのクリッピングレベルは、それぞれのビット深度と、ビットストリームに符号化されてビットストリームからパースされてもよいクリッピングインデックスclipIdxとからデコーダ側で決定されてもよい。
LUTは以下のように定義されてもよく、
ここで、BitDepthはルマ及びクロマ成分のうち少なくとも1つのビット深度を示し、clipIdxはクリッピングインデックスを示す。
代替として、LUTは以下のように定義されてもよい。
ここで、BitDepthはルマ及びクロマ成分のうち少なくとも1つのビット深度を示し、clipIdxはクリッピングインデックスを示す。
ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットは、ルマ成分及びクロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
代替として、ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットは、ルマ成分及びクロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
代替として、ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットは、ルマ又は成分のビット深度BitDepthの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットを表すLUTは、ルマ成分及びクロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って取得されてもよい。
代替として、ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットを表すLUTは、ルマ成分及びクロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
代替として、ルマ及びクロマ成分についてのクリッピングレベルLim(i,j)のセットを表すLUTは、ルマ又はクロマ成分のビット深度BitDepthの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
実現方式によれば、クリッピングレベルのセットについて、インデックスIdx(i,j)は、0からmの正の値の範囲から選択され、mは正の整数値である。実現方式によれば、可能なクリッピングレベルのセットについて、Idx(i,j)=0,1,2,...,mであり、mは正の整数である。mは3に等しく設定されてもよい。
実現方式によれば、ルマ及びクロマ成分についての可能なクリッピングレベルLim(i,j)のセットは、ルマ成分及びクロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
に従って決定されてもよい。
インループフィルタリングは、再構成フレームのルマ及びクロマ成分に適用されてもよい。
実施形態の一態様によれば、ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置が提供され、インループフィルタリング装置は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタ装置は、実施形態による方法のうちいずれか1つを実行するように構成された1つ以上の処理回路を含む。
実施形態の更なる態様によれば、実施形態による方法のうちいずれか1つを実行するための処理回路を含むエンコーダが提供される。
実施形態の更なる態様によれば、実施形態による方法のうちいずれか1つを実行するための処理回路を含むデコーダが提供される。
実施形態の更なる態様によれば、プログラムがコンピュータによって実行されたとき、コンピュータに実施形態による方法のうちいずれか1つを実行させる命令を含むコンピュータプログラム製品が提供される。
実施形態の更なる態様によれば、1つ以上のプロセッサと、1つ以上のプロセッサに結合され、1つ以上のプロセッサによる実行のための命令を記憶する非一時的なコンピュータ読み取り可能記憶媒体とを含むエンコーダが提供され、命令は、1つ以上のプロセッサにより実行されたとき、実施形態による方法のうちいずれか1つを実行するようにエンコーダを構成する。
実施形態の更なる態様によれば、1つ以上のプロセッサと、1つ以上のプロセッサに結合され、1つ以上のプロセッサによる実行のための命令を記憶する非一時的なコンピュータ読み取り可能記憶媒体とを含むデコーダが提供され、命令は、1つ以上のプロセッサにより実行されたとき、実施形態による方法のうちいずれか1つを実行するようにデコーダを構成する。
実施形態の更なる態様によれば、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するためのエンコーダが提供され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、エンコーダは、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成/決定するように構成された減算ユニットと、それぞれのクリッピングレベルに従って差をクリッピングするように構成されたクリッピングユニットと、クリッピングされた差の加重和を形成/決定するように構成された第1の加算ユニットと、ピクセルのルマ及びクロマ成分のうち少なくとも1つに加重和を加算して、ピクセルのフィルタリングされたそれぞれの成分を決定するように構成された第2の加算ユニットとを含み、それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じクリッピングレベルのセットから選択される。
実施形態の更なる態様によれば、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するためのデコーダが提供され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、デコーダは、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成/決定するように構成された減算ユニットと、それぞれのクリッピングレベルに従って差をクリッピングするように構成されたクリッピングユニットと、クリッピングされた差の加重和を形成/決定するように構成された第1の加算ユニットと、ピクセルのルマ及びクロマ成分のうち少なくとも1つに加重和を加算して、ピクセルのフィルタリングされたそれぞれの成分を決定するように構成された第2の加算ユニットとを含み、それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じクリッピングレベルのセットから選択される。
上記の実施形態では、再構成フレームのピクセル(フィルタリングされたピクセル又はフィルタリングされるべきピクセル)と、一方向に沿った線上にあるピクセルの接続領域内の隣接ピクセルとの間の差が形成される。言い換えると、フィルタリングされたピクセルの位置の周囲の再構成フレームからピクセルの接続領域内のいくつかのピクセルの加重和が形成され、隣接ピクセルは、再構成フレーム又はブロック内のフィルタリングされたピクセルの周囲のいくつかのピクセルを示す。一例では、方向は、座標(x,y)、(x+i,x+j)、(x-i,x-j)を有するm個の点(3つの点等)を介して進む線として理解されてもよい。言い換えると、フィルタリングされたピクセルは座標(x,y)に対応し、隣接ピクセルはそれぞれ座標(x+i,x+j)、(x-i,x-j)に対応し、各方向及びオフセット(i,j)について、フィルタリングされたピクセル(x,y)と隣接ピクセル(x+i,x+j)との間の1つのクリッピングされた差と、フィルタリングされたピクセル(x,y)と隣接ピクセル(x-i,x-j)との間の他のクリッピングされた差とが形成される。対称的フィルタリングを提供するために、複数の方向が考えられてもよい。頻繁に使用される例は、図１２に示すように、ルマフィルタリングについての7×7のダイヤモンド形状、及びクロマフィルタリングについての5×5のダイヤモンド形状である。
本開示の更なる態様によれば、再構成フレームの上記のフィルタリング方法は、エンコーダ及びデコーダ側において、ルマ及びクロマ成分について使用できる。
更なる態様によれば、本開示は、プロセッサ及びメモリを含むビデオストリームを復号するための装置に関する。メモリは、プロセッサに実施形態による方法のうちいずれか1つを実行させる命令を記憶している。
更なる態様によれば、本開示は、プロセッサ及びメモリを含むビデオストリームを符号化するための装置に関する。メモリは、プロセッサに実施形態による方法のうちいずれか1つを実行させる命令を記憶している。
更なる態様によれば、実行されたとき、ビデオデータをコーディングするように構成された1つ以上のプロセッサをもたらす命令を記憶したコンピュータ読み取り可能記憶媒体が提案される。当該命令は、1つ以上のプロセッサに実施形態による方法のうちいずれか1つを実行させる。
更なる態様によれば、本開示は、コンピュータ上で実行されたとき、実施形態による方法のうちいずれか1つを実行するためのプログラムコードを含むコンピュータプログラムに関する。
したがって、記載のインループフィルタは、ルマ成分について、最新技術の解決策のように(BitDepthLuma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、フィルタリングされるべきピクセルと、一方向に沿った線上にある隣接ピクセルとの間の2つのクリッピングされた差の和の(BitDepthLuma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要としてもよい。クロマ成分については、インループフィルタは、最新技術の解決策のように(BitDepthChroma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、フィルタリングされるべきピクセルと、一方向に沿った線上にある隣接ピクセルとの間の2つのクリッピングされた差の和の(BitDepthChroma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要としてもよい。
1つ以上の実施形態の詳細は、添付の図面及び以下の詳細な説明に記載されている。他の特徴、目的及び利点は、詳細な説明、図面及び特許請求の範囲から明らかになる。
以下に、本発明の実施形態について、添付の図及び図面を参照してより詳細に説明する。
本開示の実施形態を実現するように構成されたビデオコーディングシステムの例を示すブロック図である。
本開示の実施形態を実現するように構成されたビデオコーディングシステムの他の例を示すブロック図である。
本開示の実施形態によるフィルタを含む符号化装置を示す概略図を示す。
本開示の実施形態によるフィルタを含む復号装置を示す概略図を示す。
符号化装置又は復号装置の例を示すブロック図である。
符号化装置又は復号装置の他の例を示すブロック図である。
最新技術に関するクリッピングレベルにおける変更を示す概略図である。
本開示の実施形態による例示的なプロセスの例示的なメカニズムを示す概略図である。
本開示の実施形態によるビデオ符号化/復号の方法のフローチャートを示す。
本開示の実施形態による符号化/復号装置の例を示すブロック図を示す。
コンテンツ配信サービスを実現するコンテンツ供給システムの例示的な構造を示すブロック図である。
端末デバイスの例の構造を示すブロック図である。
ALFのための例示的な7×7及び5×5のダイヤモンド形状のフィルタタップを示す。
以下では、同一の参照符号は、他に明示的に指定されていない場合、同一の或いは少なくとも機能的に等価な特徴を示す。
以下の説明では、本開示の一部を形成し、例示により本開示の実施形態の特定の態様又は本開示の実施形態が使用され得る特定の態様を示す、添付の図面に参照が行われる。本開示の実施形態は、他の態様で使用され、図面に示さない構造的又は論理的変更を含んでもよいことが理解される。したがって、以下の詳細な説明は、限定的な意味で考えられるべきではなく、本開示の範囲は、添付の特許請求の範囲により定義される。
例えば、記載の方法に関連する開示はまた、方法を実行するように構成された対応するデバイス又はシステムにも当てはまってもよく、逆も同様であることが理解される。例えば、1つ又は複数の特定の方法のステップが記載される場合、対応するデバイスは、記載される1つ又は複数の方法のステップを実行するための1つ又は複数のユニット、例えば、機能ユニットを、このような1つ以上のユニットが明示的に記載されないか或いは図面に示されない場合でも含んでもよい(例えば、1つのユニットが1つ又は複数のステップを実行するか、或いは、複数のユニットが複数のステップのうち1つ以上をそれぞれ実行する)。他方、例えば、特定の装置が1つ又は複数のユニット、例えば、機能ユニットに基づいて記載される場合、対応する方法は、1つ又は複数のユニットの機能を実行するための1つのステップを、このような1つ又は複数のステップが明示的に記載されないか或いは図面に示されない場合でも含んでもよい(例えば、1つのステップが1つ又は複数のユニットの機能を実行するか、或いは、複数のステップが複数のユニットのうち1つ以上の機能をそれぞれ実行する)。さらに、ここに記載の様々な例示的な実施形態及び/又は態様の特徴は、特に断りのない限り、互いに結合されてもよいことが理解される。
以下の用語は、本開示を通じて使用される。
-コーディングブロック:M及びNの正の整数値についてのサンプルのM×Nブロックであり、コーディングツリーブロック(CTB, coding tree block)のコーディングブロックへの分割はパーティションと呼ばれる。
-コーディングツリーブロック(CTB, coding tree block):Lの正の整数値についてのサンプルのL×Lブロックであり、成分フレームのCTBへの分割はパーティションと呼ばれる。
-コーディングツリーユニット(CTU, coding tree unit):3つのサンプル配列を有するピクチャのルマサンプルのCTB及びクロマサンプルの2つの対応するCTB、又はモノクロピクチャ若しくはサンプルをコーディングするために使用される3つの別個の色平面及びシンタックス構造を使用してコーディングされるピクチャのサンプルのCTBを含む。
-コーディングユニット(CU, coding unit):3つのサンプル配列を有するピクチャのルマサンプルのコーディングブロック及びクロマサンプルの2つの対応するコーディングブロック、又はモノクロピクチャ若しくはサンプルをコーディングするために使用される3つの別個の色平面及びシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックを含む。
-成分:4:2:0、4:2:2若しくは4:4:4のカラーフォーマットのピクチャを構成する3つ配列(ルマ及び2つのクロマ)のうち1つからの配列若しくは単一のサンプル、又はモノクロフォーマットのピクチャを構成する配列の配列若しくは単一のサンプル。
-ピクチャ:モノクロフォーマットのルマサンプルの配列、又は4:2:0、4:2:2及び4:4:4カラーフォーマットのルマサンプルの配列及びクロマサンプルの対応する2つの配列。
-コーディングブロック:M及びNの正の整数値についてのサンプルのM×Nブロックであり、コーディングツリーブロック(CTB, coding tree block)のコーディングブロックへの分割はパーティションと呼ばれる。
-コーディングツリーブロック(CTB, coding tree block):Lの正の整数値についてのサンプルのL×Lブロックであり、成分フレームのCTBへの分割はパーティションと呼ばれる。
-コーディングツリーユニット(CTU, coding tree unit):3つのサンプル配列を有するピクチャのルマサンプルのCTB及びクロマサンプルの2つの対応するCTB、又はモノクロピクチャ若しくはサンプルをコーディングするために使用される3つの別個の色平面及びシンタックス構造を使用してコーディングされるピクチャのサンプルのCTBを含む。
-コーディングユニット(CU, coding unit):3つのサンプル配列を有するピクチャのルマサンプルのコーディングブロック及びクロマサンプルの2つの対応するコーディングブロック、又はモノクロピクチャ若しくはサンプルをコーディングするために使用される3つの別個の色平面及びシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックを含む。
-成分:4:2:0、4:2:2若しくは4:4:4のカラーフォーマットのピクチャを構成する3つ配列(ルマ及び2つのクロマ)のうち1つからの配列若しくは単一のサンプル、又はモノクロフォーマットのピクチャを構成する配列の配列若しくは単一のサンプル。
-ピクチャ:モノクロフォーマットのルマサンプルの配列、又は4:2:0、4:2:2及び4:4:4カラーフォーマットのルマサンプルの配列及びクロマサンプルの対応する2つの配列。
典型的には、ビデオコーディングは、ビデオ又はビデオシーケンスを形成するピクチャのシーケンスの処理を示す。「ピクチャ」という用語の代わりに、「フレーム」又は「画像」という用語がビデオコーディングの分野において同義語として使用されてもよい。ビデオコーディング(又は一般的にコーディング)は、ビデオ符号化及びビデオ復号の2つの部分を含む。ビデオ符号化は、ソース側で実行され、典型的には、(より効率的な記憶及び/又は送信のために)ビデオピクチャを表すために必要なデータの量を低減するように、(例えば、圧縮により)元のビデオピクチャを処理することを含む。ビデオ復号は、宛先側で実行され、典型的には、ビデオピクチャを再構成するために、エンコーダと比較して逆の処理を含む。ビデオピクチャ(又は一般的にピクチャ)の「コーディング」を参照する実施形態は、ビデオピクチャ又はそれぞれのビデオシーケンスの「符号化」又は「復号」に関連すると理解されるものとする。符号化部及び復号部の組み合わせはまた、コーデック(CODEC, Coding and Decoding)とも呼ばれる。
可逆ビデオコーディングの場合、元のビデオピクチャは再構成でき、すなわち、再構成ビデオピクチャは、元のビデオピクチャと同じ品質を有する(記憶又は送信の間の送信損失又は他のデータ損失が発生しないと仮定する)。非可逆ビデオコーディングの場合、ビデオピクチャを表すデータの量を低減するために、例えば、量子化による更なる圧縮が実行され、これは、デコーダで完全には再構成できず、すなわち、再構成ビデオピクチャの品質は、元のビデオピクチャの品質と比較して低いか或いは悪い。
いくつかのビデオコーディング標準は、「非可逆ハイブリッドビデオコーデック」のグループに属する(すなわち、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用するための2D変換コーディングとを組み合わせる)。ビデオシーケンスの各ピクチャは、典型的には、重複しないブロックのセットにパーティションされ、コーディングは、典型的には、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば、空間(イントラピクチャ)予測及び/又は時間(インターピクチャ)予測を使用して予測ブロックを生成し、現在ブロック(現在処理されている/処理されるべきブロック)から予測ブロックを減算して残差ブロックを取得し、残差ブロックを変換して変換ドメインにおいて残差ブロックを量子化して送信されるべきデータの量を低減すること(圧縮)により、ビデオは典型的にはブロック(ビデオブロック)レベルで処理され、すなわち、符号化される。一方、デコーダにおいて、エンコーダと比較して逆の処理が符号化又は圧縮されたブロックに適用されて、表現のために現在ブロックを再構成する。さらに、エンコーダは、デコーダ処理ループを複製し、それにより、双方は、後続のブロックを処理する、すなわち、コーディングするために、同一の予測(例えば、イントラ及びインター予測)及び/又は再構成を生成する。
ビデオコーディングシステム10の以下の実施形態では、ビデオエンコーダ20及びビデオデコーダ30について図１～３に基づいて説明する。
図１Ａは、本願の技術を利用し得る例示的なコーディングシステム10、例えばビデオコーディングシステム10(又は略してコーディングシステム10)を示す概略ブロック図である。ビデオコーディングシステム10のビデオエンコーダ20(又は略してエンコーダ20)及びビデオデコーダ30(又は略してデコーダ30)は、本願に記載の様々な例による技術を実行するように構成され得るデバイスの例を表す。
図１Ａに示すように、コーディングシステム10は、符号化ピクチャデータ21を、例えば、符号化ピクチャデータ13を復号するための宛先デバイス14に提供するように構成されたソースデバイス12を含む。
ソースデバイス12は、エンコーダ20を含み、さらに、すなわち任意選択で、ピクチャソース16と、プリプロセッサ(又は前処理ユニット)18、例えばピクチャプリプロセッサ18と、通信インタフェース又は通信ユニット22とを含んでもよい。
ピクチャソース16は、いずれかの種類のピクチャキャプチャデバイス、例えば、現実世界のピクチャをキャプチャするためのカメラ、及び/又はいずれかの種類のピクチャ生成デバイス、例えば、コンピュータアニメーションピクチャを生成するためのコンピュータグラフィックスプロセッサ、又は現実世界のピクチャ、コンピュータにより生成されたピクチャ(例えば、スクリーンコンテンツ、仮想現実(VR, virtual reality)ピクチャ)及び/又はこれらのいずれかの組み合わせ(例えば、拡張現実(AR, augmented reality)ピクチャ)を取得及び/又は提供するためのいずれかの種類の他のデバイスでもよく或いはこれを含んでもよい。ピクチャソースは、上記のピクチャのうちいずれかを記憶するいずれかの種類のメモリ又はストレージでもよい。
プリプロセッサ18、及び前処理ユニット18により実行される処理と対照的に、ピクチャ又はピクチャデータ17はまた、生ピクチャ又は生ピクチャデータ17とも呼ばれてもよい。
プリプロセッサ18は、(生)ピクチャデータ17を受信し、ピクチャデータ17に対して前処理を実行して、前処理されたピクチャ19又は前処理されたピクチャデータ19を取得するように構成されてもよい。プリプロセッサ18により実行される前処理は、例えば、トリミング、カラーフォーマット変換(例えば、RGBからYCbCrへ)、色補正又はノイズ除去を含んでもよい。前処理ユニット18は任意選択のコンポーネントでもよいことが理解できる。
ビデオエンコーダ20は、前処理されたピクチャデータ19を受信し、符号化ピクチャデータ21を提供するように構成されてもよい(更なる詳細については、例えば、図２に基づいて以下に説明する)。
ソースデバイス12の通信インタフェース22は、符号化ピクチャデータ21を受信し、記憶又は直接の再構成のために、通信チャネル13上で符号化ピクチャデータ21(又はそのいずれかの更なる処理されたバージョン)を他のデバイス、例えば、宛先デバイス14又はいずれかの他のデバイスに送信するように構成されてもよい。
宛先デバイス14は、デコーダ30(例えば、ビデオデコーダ30)を含み、さらに、すなわち任意選択で、通信インタフェース又は通信ユニット28と、ポストプロセッサ32(又は後処理ユニット32)と、ディスプレイデバイス34とを含んでもよい。
宛先デバイス14の通信インタフェース28は、例えば、ソースデバイス12から直接に或いはいずれかの他のソース、例えば、符号化ピクチャデータ記憶デバイスのような記憶デバイスから、符号化ピクチャデータ21(又はそのいずれかの更なる処理されたバージョン)を受信し、符号化ピクチャデータ21をデコーダ30に提供するように構成されてもよい。
通信インタフェース22及び通信インタフェース28は、ソースデバイス12と宛先デバイス14との間の直接通信リンク、例えば、直接有線又は無線接続を介して、或いはいずれかの種類のネットワーク、例えば、有線若しくは無線ネットワーク又はこれらのいずれかの組み合わせ、又はいずれかの種類の私設及び公衆ネットワーク、又はこれらのいずれかの種類の組み合わせを介して、符号化ピクチャデータ21又は符号化データ13を送信又は受信するように構成されてもよい。
通信インタフェース22は、符号化ピクチャデータ21を適切なフォーマット、例えばパケットにパッケージ化し、及び/又は通信リンク又は通信ネットワーク上での送信のために、いずれかの種類の送信符号化又は処理を使用して符号化ピクチャデータを処理するように構成されてもよい。
通信インタフェース22の相手方を形成する通信インタフェース28は、送信データを受信し、いずれかの種類の対応する送信復号若しくは処理及び/又はパッケージ解除を使用して、送信データを処理して、符号化ピクチャデータ21を取得するように構成されてもよい。
通信インタフェース22及び通信インタフェース28の双方は、図１Ａにおいてソースデバイス12から宛先デバイス14を指す通信チャネル13についての矢印により示されるような単方向通信インタフェースとして、或いは双方向通信インタフェースとして構成されてもよく、メッセージを送信及び受信して、例えば、接続を設定するために、符号化ピクチャデータ送信のような通信リンク及び/又はデータ送信に関連するいずれかの他の情報を承認及び交換するように構成されてもよい。
デコーダ30は、符号化ピクチャデータ21を受信し、復号ピクチャデータ31又は復号ピクチャ31を提供するように構成されてもよい(更なる詳細については、例えば、図３又は図５に基づいて以下に説明する)。
宛先デバイス14のポストプロセッサ32は、復号ピクチャデータ31(再構成ピクチャデータとも呼ばれる)、例えば復号ピクチャ31を後処理して、後処理されたピクチャ33のような後処理されたピクチャデータ33を取得するように構成されてもよい。後処理ユニット32により実行される後処理は、カラーフォーマット変換(例えば、YCbCrからRGBへ)、色補正、トリミング若しくは再サンプリング、又は例えば復号ピクチャデータ31を、例えば、ディスプレイデバイス34による表示のために準備するためのいずれかの他の処理のうちいずれか1つ以上を含んでもよい。
宛先デバイス14のディスプレイデバイス34は、後処理されたピクチャデータ33を受信して、例えば、ユーザ又はビューアにピクチャを表示するように構成されてもよい。ディスプレイデバイス34は、一体型若しくは外部ディスプレイ又はモニタのような、再構成ピクチャを提示するいずれかの種類のディスプレイでもよく或いはこれを含んでもよい。ディスプレイは、液晶ディスプレイ(LCD, liquid crystal display)、有機発光ダイオード(OLED, organic light emitting diode)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、シリコン上液晶(LCoS, liquid crystal on silicon)、デジタル光プロセッサ(DLP, digital light processor)又はいずれかの種類の他のディスプレイでもよい。
図１Ａはソースデバイス12及び宛先デバイス14を別個のデバイスとして示すが、デバイスの実施形態はまた、双方のデバイス又は双方の機能、すなわち、ソースデバイス12又は対応する機能及び宛先デバイス14又は対応する機能を含んでもよい。このような実施形態では、ソースデバイス12又は対応する機能及び宛先デバイス14又は対応する機能は、同じハードウェア及び/又はソフトウェアを使用して或いは別個のハードウェア及び/又はソフトウェア又はこれらのいずれかの組み合わせにより実現されてもよい。
説明に基づいて当業者に明らかなように、図１Ａに示すようなソースデバイス12及び/又は宛先デバイス14内の異なるユニット又は機能の存在及び(正確な)分割は、実際のデバイス及び用途に依存して変化してもよい。
エンコーダ20(例えば、ビデオエンコーダ20)若しくはデコーダ30(例えば、ビデオデコーダ30)又はエンコーダ20及びデコーダ30の双方は、1つ以上のマイクロプロセッサ、デジタルシグナルプロセッサ(DSP, digital signal processor)、特定用途向け集積回路(ASIC, application-specific integrated circuit)、フィールドプログラマブルゲートアレイ(FPGA, field-programmable gate array)、ディスクリートロジック、ハードウェア、専用ビデオコーディング又はこれらのいずれかの組み合わせのような、図１Ｂに示すような処理回路を介して実現されてもよい。エンコーダ20は、図２のエンコーダ20及び/又はここに記載のいずれかの他のエンコーダシステム又はサブシステムに関して説明するように、様々なモジュールを具体化するように処理回路46を介して実現されてもよい。デコーダ30は、図３のデコーダ30及び/又はここに記載のいずれかの他のデコーダシステム又はサブシステムに関して説明するように、様々なモジュールを具体化するように処理回路46を介して実現されてもよい。処理回路は、以下に説明するように、様々な動作を実行するように構成されてもよい。図５に示すように、技術が部分的にソフトウェアで実現される場合、デバイスは、適切な非一時的なコンピュータ読み取り可能記憶媒体内にソフトウェアのための命令を記憶してもよく、本開示の技術を実行するために1つ以上のプロセッサを使用してハードウェアで命令を実行してもよい。ビデオエンコーダ20及びビデオデコーダ30は、例えば、図１Ｂに示すように、単一のデバイス内の結合されたエンコーダ/デコーダ(CODEC, encoder/decoder)の部分として統合されてもよい。
図１Ｂに示すビデオコーディングシステム40は、ビデオエンコーダ20とビデオデコーダ30との双方を実現する処理回路を含む。さらに、実世界のピクチャをキャプチャするためのカメラのような1つ以上の撮像デバイス41、アンテナ42、1つ以上のメモリストア44、1つ以上のプロセッサ43、及び/又は上記のディスプレイデバイス34のようなディスプレイデバイス45が、ビデオコーディングシステム40の一部として提供されてもよい。
ソースデバイス12及び宛先デバイス14は、いずれかの種類のハンドヘルド又は固定デバイス、例えば、ノートブック又はラップトップコンピュータ、携帯電話、スマートフォン、タブレット又はタブレットコンピュータ、カメラ、デスクトップコンピュータ、セットトップボックス、テレビ、ディスプレイデバイス、デジタルメディアプレイヤ、ビデオゲームコンソール、ビデオストリーミングデバイス(コンテンツサービスサーバ又はコンテンツ配信サーバ等)、放送受信機デバイス、放送送信機デバイス等を含む、広範なデバイスのうちいずれかを含んでもよく、いずれかの種類のオペレーティングシステムを使用してもよく或いは使用しなくてもよい。いくつかの場合、ソースデバイス12及び宛先デバイス14は、無線通信のために装備されてもよい。したがって、ソースデバイス12及び宛先デバイス14は無線通信デバイスでもよい。
いくつかの場合、図１Ａに示すビデオコーディングシステム10は単に例であり、本願の技術は、必ずしも符号化デバイスと復号デバイスとの間にいずれかのデータ通信を含むとは限らないビデオコーディングシステム(例えば、ビデオ符号化又はビデオ復号)に適用してもよい。他の例では、データはローカルメモリから取り出される、ネットワーク上でストリーミングされる、等である。ビデオ符号化デバイスは、データを符号化してメモリに記憶してもよく、及び/又はビデオ復号デバイスはデータをメモリから取り出して復号してもよい。いくつかの例では、符号化及び復号は、互いに通信しないが単にデータをメモリに符号化し及び/又はメモリからデータを取り出して復号するデバイスにより実行される。
説明の便宜上、本開示の実施形態は、ここでは、例えば高効率ビデオコーディング(HEVC, High-Efficiency Video Coding)又はバーサタイルビデオコーディング(VVC, Versatile Video coding)のリファレンスソフトウェア、ITU-Tビデオコーディング専門家委員会(VCEG, Video Coding Experts Group)及びISO/IEC動画専門家委員会(MEPEG, Motion Picture Experts Group)のビデオコーディングに関する共同作業部会(JCT-VC, Joint Collaboration Team on Video Coding)により開発された次世代ビデオコーディング標準を参照することにより記載される。当業者は、本開示の実施形態がHEVC又はVVCに限定されないことを理解する。
エンコーダ及び符号化方法
図２は、本願の技術を実現するように構成された例示的なビデオエンコーダ20の概略ブロック図を示す。図２の例では、ビデオエンコーダ20は、入力201(又は入力インタフェース201)と、残差計算ユニット204と、変換処理ユニット206と、量子化ユニット208と、逆量子化ユニット210と、逆変換処理ユニット212と、再構成ユニット214と、ループフィルタユニット220と、復号ピクチャバッファ(DPB, decoded picture buffer)230と、モード選択ユニット260と、エントロピー符号化ユニット270と、出力272(又は出力インタフェース272)とを含む。モード選択ユニット260は、インター予測ユニット244と、イントラ予測処理ユニット254と、パーティションユニット262とを含んでもよい。インター予測ユニット244は、動き推定ユニット及び動き補償ユニット(図示せず)を含んでもよい。図２に示すようなビデオエンコーダ20はまた、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
図２は、本願の技術を実現するように構成された例示的なビデオエンコーダ20の概略ブロック図を示す。図２の例では、ビデオエンコーダ20は、入力201(又は入力インタフェース201)と、残差計算ユニット204と、変換処理ユニット206と、量子化ユニット208と、逆量子化ユニット210と、逆変換処理ユニット212と、再構成ユニット214と、ループフィルタユニット220と、復号ピクチャバッファ(DPB, decoded picture buffer)230と、モード選択ユニット260と、エントロピー符号化ユニット270と、出力272(又は出力インタフェース272)とを含む。モード選択ユニット260は、インター予測ユニット244と、イントラ予測処理ユニット254と、パーティションユニット262とを含んでもよい。インター予測ユニット244は、動き推定ユニット及び動き補償ユニット(図示せず)を含んでもよい。図２に示すようなビデオエンコーダ20はまた、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックによるビデオエンコーダとも呼ばれてもよい。
残差計算ユニット204、変換処理ユニット206、量子化ユニット208及びモード選択ユニット260は、エンコーダ20の順方向信号経路を形成するものと呼ばれてもよい。一方で、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB, decoded picture buffer)230、インター予測ユニット244及びイントラ予測ユニット254は、ビデオエンコーダ20の逆方向信号経路を形成するものと呼ばれてもよく、ビデオエンコーダ20の逆方向信号経路はデコーダの信号経路に対応する(図３におけるデコーダ30を参照する)。逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB, decoded picture buffer)230、インター予測ユニット244及びイントラ予測ユニット254はまた、ビデオエンコーダ20の「内蔵デコーダ」を形成するものとも呼ばれる。
ピクチャ及びピクチャパーティション(ピクチャ及びブロック)
エンコーダ20は、例えば、入力201を介して、ピクチャ17(又はピクチャデータ17)、例えば、ビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するように構成されてもよい。受信したピクチャ又はピクチャデータはまた、前処理ピクチャ19(前処理ピクチャデータ19)でもよい。簡潔にするために、以下の説明はピクチャ17を参照する。ピクチャ17はまた、(特に、ビデオコーディングにおいて、現在ピクチャを他のピクチャ、例えば、同じビデオシーケンス、すなわち、現在ピクチャも含むビデオシーケンスの前に符号化及び/又は復号されたピクチャと区別するために)現在ピクチャ又はコーディングされるべきピクチャとも呼ばれてもよい。
エンコーダ20は、例えば、入力201を介して、ピクチャ17(又はピクチャデータ17)、例えば、ビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するように構成されてもよい。受信したピクチャ又はピクチャデータはまた、前処理ピクチャ19(前処理ピクチャデータ19)でもよい。簡潔にするために、以下の説明はピクチャ17を参照する。ピクチャ17はまた、(特に、ビデオコーディングにおいて、現在ピクチャを他のピクチャ、例えば、同じビデオシーケンス、すなわち、現在ピクチャも含むビデオシーケンスの前に符号化及び/又は復号されたピクチャと区別するために)現在ピクチャ又はコーディングされるべきピクチャとも呼ばれてもよい。
(デジタル)ピクチャは、強度値を有するサンプルの2次元配列又は行列であるか或いはそれとして考えられることができる。配列内のサンプルはまた、ピクセル(ピクチャエレメントの短縮形)又はペル(pel)とも呼ばれてもよい。配列又はピクチャの水平及び垂直方向(又は軸)におけるサンプルの数は、ピクチャのサイズ及び/又は解像度を定義する。色の表現のために、典型的には3つの色成分が使用され、すなわち、ピクチャは、3つのサンプル配列として表されてもよく或いはこれらを含んでもよい。RBGフォーマット又は色空間では、ピクチャは、対応する赤、緑及び青のサンプル配列を含む。しかし、ビデオコーディングでは、各ピクセルは、典型的には、ルミナンス及びクロミナンスフォーマット又は色空間、例えば、Y(場合によっては代わりにLも使用される)により示されるルミナンス成分とCb及びCrにより示される2つのクロミナンス成分とを含むYCbCrで表される。ルミナンス(又は略してルマ)成分Yは、明るさ又はグレーレベル強度(例えば、グレースケールピクチャにおけるもの等)を表す。一方で、2つのクロミナンス(又は略してクロマ)成分Cb及びCrは、色度又は色情報成分を表す。したがって、YCbCrフォーマットのピクチャは、ルミナンスサンプル値(Y)のルミナンスサンプル配列と、クロミナンス値(Cb及びCr)の2つのクロミナンスサンプル配列とを含む。RGBフォーマットのピクチャは、YCbCrフォーマットに転換又は変換されてもよく、逆も同様である。プロセスはまた、色変換又は転換としても知られる。ピクチャがモノクロである場合、ピクチャは、ルミナンスサンプル配列のみを含んでもよい。したがって、ピクチャは、例えば、モノクロフォーマットのルマサンプルの配列、又は4:2:0、4:2:2及び4:4:4カラーフォーマットのルマサンプルの配列及びクロマサンプルの2つの対応する配列でもよい。
ビデオエンコーダ20の実施形態は、ピクチャ17を複数の(典型的には重複しない)ピクチャブロック203にパーティションするように構成されたピクチャパーティションユニット(図２に図示せず)を含んでもよい。これらのブロックはまた、ルートブロック、マクロブロック(H.264/AVC)又はコーディングツリーブロック(CTB, coding tree block)又はコーディングツリーユニット(CTU, coding tree unit)(H.265/HEVC及びVVCによる)とも呼ばれてもよい。ピクチャパーティションユニットは、ビデオシーケンスの全てのピクチャ、及びブロックサイズを定義する対応するグリッドに同じブロックサイズを使用するように、或いは、ピクチャ又はピクチャのサブセット若しくはグループの間でブロックサイズを変更し、各ピクチャを対応するブロックにパーティションするように構成されてもよい。
更なる実施形態では、ビデオエンコーダは、ピクチャ17のブロック203、例えば、ピクチャ17を形成する1つ、いくつか又は全てのブロックを直接受信するように構成されてもよい。ピクチャブロック203はまた、現在ピクチャブロック又はコーディングされるべきピクチャブロックとも呼ばれてもよい。
ピクチャ17と同様に、ピクチャブロック203は、ここでも、強度値(サンプル値)を有するサンプルの2次元配列又は行列であるか或いはそれとして考えられることができるが、ピクチャ17よりも小さい次元である。言い換えると、ブロック203は、例えば、1つのサンプル配列(例えば、モノクロピクチャ17の場合のルマ配列、又はカラーピクチャの場合のルマ又はクロマ配列)若しくは3つのサンプル配列(例えば、カラーピクチャ17の場合のルマ及び2つのクロマ配列)、又は適用されるカラーフォーマットに依存していずれかの他の数及び/又は種類の配列を含んでもよい。ブロック203の水平及び垂直方向(又は軸)におけるサンプルの数は、ブロック203のサイズを定義する。したがって、ブロックは、例えば、サンプルのM×N(M列×N行)配列、又は変換係数のM×N配列を含んでもよい。
図２に示すようなビデオエンコーダ20の実施形態は、ブロック毎にピクチャ17を符号化するように構成されてもよく、例えば、符号化及び予測がブロック203毎に実行される。
図２に示すようなビデオエンコーダ20の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによりピクチャをパーティション及び/又は符号化するように更に構成されてもよく、ピクチャは、(典型的には重複しない)1つ以上のスライスにパーティションされてもよく或いはこれを使用して符号化されてもよく、各スライスは、1つ以上のブロック(例えば、CTU)又は1つ以上のブロックのグループ(例えば、タイル(H.265/HEVC又はVVC)又はブリック(VVC))を含んでもよい。
図２に示すようなビデオエンコーダ20の実施形態は、スライス/タイルグループ(ビデオタイルグループとも呼ばれる)及び/又はタイル(ビデオタイルとも呼ばれる)を使用することによりピクチャをパーティション及び/又は符号化するように更に構成されてもよく、ピクチャは、(典型的には重複しない)1つ以上のスライス/タイルグループにパーティションされてもよく或いはこれを使用して符号化されてもよく、各スライス/タイルグループは、1つ以上のブロック(例えば、CTU)又は1つ以上のタイルを含んでもよく、各タイルは、長方形形状でもよく、1つ以上のブロック(例えば、CTU)、例えば完全な或いは部分的なブロックを含んでもよい。
残差計算
残差計算ユニット204は、ピクチャブロック203及び予測ブロック265(予測ブロック265に関する更なる詳細は以下に提供される)に基づいて、例えば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算して、サンプルドメインにおける残差ブロック205を取得することにより、残差ブロック205を計算するように構成される。
残差計算ユニット204は、ピクチャブロック203及び予測ブロック265(予測ブロック265に関する更なる詳細は以下に提供される)に基づいて、例えば、サンプル毎に(ピクセル毎に)ピクチャブロック203のサンプル値から予測ブロック265のサンプル値を減算して、サンプルドメインにおける残差ブロック205を取得することにより、残差ブロック205を計算するように構成される。
変換
変換処理ユニット206は、残差ブロック205のサンプル値に対して、離散コサイン変換(DCT, discrete cosine transform)又は離散サイン変換(DST, discrete sine transform)のような変換を適用して、変換ドメインにおける変換係数207を取得するように構成される。変換係数207はまた、変換残差係数とも呼ばれ、変換ドメインにおける残差ブロック205を表してもよい。
変換処理ユニット206は、残差ブロック205のサンプル値に対して、離散コサイン変換(DCT, discrete cosine transform)又は離散サイン変換(DST, discrete sine transform)のような変換を適用して、変換ドメインにおける変換係数207を取得するように構成される。変換係数207はまた、変換残差係数とも呼ばれ、変換ドメインにおける残差ブロック205を表してもよい。
変換処理ユニット206は、H.265/HEVCについて指定された変換のようなDCT/DSTの整数近似を適用するように構成されてもよい。直交DCT変換と比較して、このような整数近似は、典型的には、特定のファクタによりスケーリングされる。順変換及び逆変換により処理される残差ブロックのノルムを維持するために、更なるスケーリングファクタが変換プロセスの一部として適用される。スケーリングファクタは、典型的には、スケーリングファクタがシフト演算のために2の冪乗であること、変換係数のビット深度、精度と実現コストとの間のトレードオフ等のような特定の制約に基づいて選択される。特定のスケーリングファクタは、例えば、逆変換処理ユニット212による逆変換(及び例えば、ビデオデコーダ30における逆変換処理ユニット312による対応する逆変換)について指定され、例えば、エンコーダ20における変換処理ユニット206による順変換についての対応するスケーリングファクタが相応して指定されてもよい。
ビデオエンコーダ20の実施形態(それぞれ、変換処理ユニット206)は、例えば、直接或いはエントロピー符号化ユニット270を介して符号化又は圧縮される、変換パラメータ、例えば、変換又は複数の変換のタイプを出力するように構成されてもよく、それにより、例えば、ビデオデコーダ30は、復号のために変換パラメータを受信して使用してもよい。
量子化
量子化ユニット208は、例えば、スカラー量子化又はベクトル量子化を適用することにより、変換係数207を量子化して、量子化された係数209を取得するように構成されてもよい。量子化された係数209はまた、量子化された変換係数209又は量子化された残差係数209とも呼ばれてもよい。
量子化ユニット208は、例えば、スカラー量子化又はベクトル量子化を適用することにより、変換係数207を量子化して、量子化された係数209を取得するように構成されてもよい。量子化された係数209はまた、量子化された変換係数209又は量子化された残差係数209とも呼ばれてもよい。
量子化プロセスは、変換係数207の一部又は全部に関連するビット深度を低減してもよい。例えば、nビットの変換係数は、量子化の間にmビットの変換係数に切り捨てられてもよく、nはmよりも大きい。量子化の程度は、量子化パラメータ(QP, quantization parameter)を調整することにより変更されてもよい。例えば、スカラー量子化では、より精細な或いはより粗い量子化を達成するために異なるスケーリングが適用されてもよい。より小さい量子化ステップサイズは、より精細な量子化に対応する。一方で、より大きい量子化ステップサイズは、より粗い量子化に対応する。適用可能な量子化ステップは、量子化パラメータ(QP, quantization parameter)により示されてもよい。量子化パラメータは、例えば、適用可能な量子化ステップサイズの所定のセットのインデックスでもよい。例えば、小さい量子化パラメータは、精細な量子化(小さい量子化ステップサイズ)に対応してもよく、大きい量子化パラメータは、粗い量子化(大きい量子化ステップサイズ)に対応してもよく、逆も同様である。量子化は、量子化ステップサイズによる除算を含んでもよく、例えば、逆量子化ユニット210による対応するもの及び/又は逆の反量子化は、量子化ステップサイズによる乗算を含んでもよい。いくつかの標準、例えば、HEVCによる実施形態は、量子化ステップサイズを決定するために量子化パラメータを使用するように構成されてもよい。一般的に、量子化ステップサイズは、除算を含む式の固定点近似を使用して、量子化パラメータに基づいて計算されてもよい。量子化ステップサイズ及び量子化パラメータについての式の固定点近似において使用されるスケーリングのため、変更され得る残差ブロックのノルムを復元するために、量子化及び反量子化のための更なるスケーリングファクタが導入されてもよい。1つの例示的な実現方式では、逆変換及び反量子化のスケーリングは組み合わされてもよい。代替として、カスタマイズされた量子化テーブルが使用され、例えば、ビットストリームでエンコーダからデコーダにシグナリングされてもよい。量子化は非可逆動作であり、量子化ステップサイズの増加に伴い損失が増加する。
ビデオエンコーダ20の実施形態(それぞれ、量子化ユニット208)は、例えば、直接或いはエントロピー符号化ユニット270を介して符号化される、量子化パラメータ(QP, quantization parameter)を出力するように構成されてもよく、それにより、例えば、ビデオデコーダ30は、復号のために量子化パラメータを受信して適用してもよい。
逆量子化
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて或いはこれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット208の逆量子化を適用して、反量子化された係数211を取得するように構成される。反量子化された係数211はまた、反量子化された残差係数211とも呼ばれ、典型的には量子化による損失のため変換係数と同一ではないが、変換係数207に対応してもよい。
逆量子化ユニット210は、例えば、量子化ユニット208と同じ量子化ステップサイズに基づいて或いはこれを使用して、量子化ユニット208により適用された量子化方式の逆を適用することにより、量子化された係数に対して量子化ユニット208の逆量子化を適用して、反量子化された係数211を取得するように構成される。反量子化された係数211はまた、反量子化された残差係数211とも呼ばれ、典型的には量子化による損失のため変換係数と同一ではないが、変換係数207に対応してもよい。
逆変換
逆変換処理ユニット212は、変換処理ユニット206により適用された変換の逆変換、例えば、逆離散コサイン変換(DCT, discrete cosine transform)若しくは逆離散サイン変換(DST, discrete sine transform)又は他の逆変換を適用して、サンプルドメインにおける再構成された残差ブロック213(又は対応する反量子化された係数213)を取得するように構成される。再構成された残差ブロック213はまた、変換ブロック213とも呼ばれてもよい。
逆変換処理ユニット212は、変換処理ユニット206により適用された変換の逆変換、例えば、逆離散コサイン変換(DCT, discrete cosine transform)若しくは逆離散サイン変換(DST, discrete sine transform)又は他の逆変換を適用して、サンプルドメインにおける再構成された残差ブロック213(又は対応する反量子化された係数213)を取得するように構成される。再構成された残差ブロック213はまた、変換ブロック213とも呼ばれてもよい。
再構成
再構成ユニット214(例えば、加算器又は合計器214)は、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算して、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値とをサンプル毎に加算することにより、サンプルドメインにおける再構成されたブロック215を取得するように構成される。
再構成ユニット214(例えば、加算器又は合計器214)は、変換ブロック213(すなわち、再構成された残差ブロック213)を予測ブロック265に加算して、例えば、再構成された残差ブロック213のサンプル値と予測ブロック265のサンプル値とをサンプル毎に加算することにより、サンプルドメインにおける再構成されたブロック215を取得するように構成される。
フィルタリング
ループフィルタユニット220(又は略して「ループフィルタ」220)は、再構成されたブロック215をフィルタリングして、フィルタリングされたブロック221を取得するように、或いは一般的に、再構成されたサンプルをフィルタリングして、フィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、ピクセル遷移を円滑化するように、或いは、ビデオ品質を改善するように構成されてもよい。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO, sample-adaptive offset)フィルタ、又は適応ループフィルタ(ALF, adaptive loop filter)、ノイズ抑制フィルタ(NSF, noise suppression filter)若しくはこれらのいずれかの組み合わせのような1つ以上のループフィルタを含んでもよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ及びALFフィルタを含んでもよい。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO及びALFでもよい。他の例では、クロマスケーリングを伴うルママッピング(LMCS, luma mapping with chroma scaling)(すなわち、適応インループリシェーパ)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。他の例では、デブロッキングフィルタプロセスはまた、内部サブブロックエッジ、例えば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT, sub-block transform)エッジ及びイントラサブパーティション(ISP, intra sub-partition)エッジに適用されてもよい。ループフィルタユニット220はインループフィルタであるとして図２に示されているが、他の構成では、ループフィルタユニット220はポストループフィルタとして実現されてもよい。フィルタリングされたブロック221はまた、フィルタリングされた再構成ブロック221と呼ばれてもよい。
ループフィルタユニット220(又は略して「ループフィルタ」220)は、再構成されたブロック215をフィルタリングして、フィルタリングされたブロック221を取得するように、或いは一般的に、再構成されたサンプルをフィルタリングして、フィルタリングされたサンプルを取得するように構成される。ループフィルタユニットは、ピクセル遷移を円滑化するように、或いは、ビデオ品質を改善するように構成されてもよい。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(SAO, sample-adaptive offset)フィルタ、又は適応ループフィルタ(ALF, adaptive loop filter)、ノイズ抑制フィルタ(NSF, noise suppression filter)若しくはこれらのいずれかの組み合わせのような1つ以上のループフィルタを含んでもよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ及びALFフィルタを含んでもよい。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO及びALFでもよい。他の例では、クロマスケーリングを伴うルママッピング(LMCS, luma mapping with chroma scaling)(すなわち、適応インループリシェーパ)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。他の例では、デブロッキングフィルタプロセスはまた、内部サブブロックエッジ、例えば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT, sub-block transform)エッジ及びイントラサブパーティション(ISP, intra sub-partition)エッジに適用されてもよい。ループフィルタユニット220はインループフィルタであるとして図２に示されているが、他の構成では、ループフィルタユニット220はポストループフィルタとして実現されてもよい。フィルタリングされたブロック221はまた、フィルタリングされた再構成ブロック221と呼ばれてもよい。
ビデオエンコーダ20の実施形態(それぞれ、ループフィルタユニット220)は、例えば、直接或いはエントロピー符号化ユニット220を介して符号化される、ループフィルタパラメータ(SAOフィルタパラメータ又はALFフィルタパラメータ又はLMCSパラメータ等)を出力するように構成されてもよく、それにより、例えば、デコーダ30は、復号のために同じループフィルタパラメータ又はそれぞれのループフィルタを受信して適用してもよい。
復号ピクチャバッファ
復号ピクチャバッファ(DPB, decoded picture buffer)230は、ビデオエンコーダ20によりビデオデータを符号化するために、参照ピクチャ又は一般的に参照ピクチャデータを記憶するメモリでもよい。DPB230は、シンクロナスDRAM(SDRAM, synchronous DRAM)を含むダイナミックランダムアクセスメモリ(DRAM, dynamic random access memory)、磁気抵抗RAM(MRAM, magnetoresistive RAM)、抵抗RAM(RRAM, resistive RAM)、又は他のタイプのメモリデバイスのような様々なメモリデバイスのうちいずれかにより形成されてもよい。復号ピクチャバッファ(DPB, decoded picture buffer)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在ピクチャ又は異なるピクチャ、例えば、前に再構成されたピクチャの他の前にフィルタリングされたブロック、例えば、前に再構成されてフィルタリングされたブロック221を記憶するように更に構成されてもよく、例えば、インター予測のために、完全な前に再構成された、すなわち、復号されたピクチャ(及び対応する参照ブロック及びサンプル)、及び/又は部分的に再構成された現在ピクチャ(及び対応する参照ブロック及びサンプル)を提供してもよい。復号ピクチャバッファ(DPB, decoded picture buffer)230はまた、1つ以上のフィルタリングされていない再構成ブロック215、又は一般的には、例えば、再構成されたブロック215がループフィルタユニット220によりフィルタリングされない場合には、フィルタリングされていない再構成サンプル、又は再構成されたブロック若しくはサンプルのいずれかの他の更に処理されたバージョンを記憶するように構成されてもよい。
復号ピクチャバッファ(DPB, decoded picture buffer)230は、ビデオエンコーダ20によりビデオデータを符号化するために、参照ピクチャ又は一般的に参照ピクチャデータを記憶するメモリでもよい。DPB230は、シンクロナスDRAM(SDRAM, synchronous DRAM)を含むダイナミックランダムアクセスメモリ(DRAM, dynamic random access memory)、磁気抵抗RAM(MRAM, magnetoresistive RAM)、抵抗RAM(RRAM, resistive RAM)、又は他のタイプのメモリデバイスのような様々なメモリデバイスのうちいずれかにより形成されてもよい。復号ピクチャバッファ(DPB, decoded picture buffer)230は、1つ以上のフィルタリングされたブロック221を記憶するように構成されてもよい。復号ピクチャバッファ230は、同じ現在ピクチャ又は異なるピクチャ、例えば、前に再構成されたピクチャの他の前にフィルタリングされたブロック、例えば、前に再構成されてフィルタリングされたブロック221を記憶するように更に構成されてもよく、例えば、インター予測のために、完全な前に再構成された、すなわち、復号されたピクチャ(及び対応する参照ブロック及びサンプル)、及び/又は部分的に再構成された現在ピクチャ(及び対応する参照ブロック及びサンプル)を提供してもよい。復号ピクチャバッファ(DPB, decoded picture buffer)230はまた、1つ以上のフィルタリングされていない再構成ブロック215、又は一般的には、例えば、再構成されたブロック215がループフィルタユニット220によりフィルタリングされない場合には、フィルタリングされていない再構成サンプル、又は再構成されたブロック若しくはサンプルのいずれかの他の更に処理されたバージョンを記憶するように構成されてもよい。
モード選択(パーティション及び予測)
モード選択ユニット260は、パーティションユニット262と、インター予測ユニット244と、イントラ予測ユニット254とを含み、元のブロック203(現在ピクチャ17の現在ブロック203)のような元のピクチャデータと、同じ(現在)ピクチャの及び/又は1つ又は複数の前に復号されたピクチャからの、例えば、復号ピクチャバッファ230又は他のバッファ(例えば、図示しないラインバッファ)からのフィルタリングされた及び/又はフィルタリングされていない再構成サンプル又はブロックのような再構成ピクチャデータとを受信又は取得するように構成される。再構成ピクチャデータは、予測ブロック265又は予測子265を取得するために、予測、例えば、インター予測又はイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、パーティションユニット262と、インター予測ユニット244と、イントラ予測ユニット254とを含み、元のブロック203(現在ピクチャ17の現在ブロック203)のような元のピクチャデータと、同じ(現在)ピクチャの及び/又は1つ又は複数の前に復号されたピクチャからの、例えば、復号ピクチャバッファ230又は他のバッファ(例えば、図示しないラインバッファ)からのフィルタリングされた及び/又はフィルタリングされていない再構成サンプル又はブロックのような再構成ピクチャデータとを受信又は取得するように構成される。再構成ピクチャデータは、予測ブロック265又は予測子265を取得するために、予測、例えば、インター予測又はイントラ予測のための参照ピクチャデータとして使用される。
モード選択ユニット260は、現在ブロック予測モードについてのパーティション(パーティションしないことを含む)と、予測モード(例えば、イントラ又はインター予測モード)とを決定又は選択し、残差ブロック205の計算のため且つ再構成ブロック215の再構成のために使用される対応する予測ブロック265を生成するように構成されてもよい。
モード選択ユニット260の実施形態は、最良の適合若しくは言い換えると最小残差(最小残差は送信又は記憶のためのより良い圧縮を意味する)又は最小シグナリングオーバヘッド(最小シグナリングオーバヘッドは送信又は記憶のためのより良い圧縮を意味する)を提供するか、或いは、双方を考慮するか或いはバランスさせるパーティション及び予測モードを(例えば、モード選択ユニット260によりサポートされるか或いは利用可能なものから)選択するように構成されてもよい。モード選択ユニット260は、レート歪み最適化(RDO, rate distortion optimization)に基づいて、パーティション及び予測モードを決定するように、すなわち、最小のレート歪みを提供する予測モードを選択するように構成されてもよい。この文脈における「最良」、「最小」、「最適」等のような用語は、必ずしも全体的な「最良」、「最小」、「最適」等を示すとは限らず、閾値を超えるか或いはそれよりも下である値のような終了若しくは選択基準、又は潜在的に「準最適選択」をもたらすが複雑さ及び処理時間を低減する他の制約の充足を示してもよい。
言い換えると、パーティションユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU, coding tree unit)のシーケンスにパーティションするように構成されてもよく、CTU203は、例えば、四分木パーティション(QT, quad-tree-partitioning)、二分木パーティション(BT, binary-tree partitioning)若しくは三分木パーティション(TT, triple-tree-partitioning)又はこれらのいずれかの組み合わせを繰り返し使用して、より小さいブロックパーティション又はサブブロック(これも再びブロックを形成する)に更にパーティションされてもよく、ブロックパーティション又はサブブロックのそれぞれについて予測を実行し、モード選択は、パーティションされたブロック203の木構造の選択を含み、予測モードは、ブロックパーティション又はサブブロックのそれぞれに適用される。
以下に、例示的なビデオエンコーダ20により実行される(例えば、パーティションユニット262による)パーティション及び(インター予測ユニット244及びイントラ予測ユニット254による)予測処理について更に詳細に説明する。
パーティション
パーティションユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU, coding tree unit)のシーケンスにパーティションするように構成されてもよく、パーティションユニット262は、コーディングツリーユニット(CTU, coding tree unit)203を、より小さいパーティション、例えば正方形又は長方形サイズのより小さいブロックにパーティション(又は分割)してもよい。3つのサンプル配列を有するピクチャについて、CTUは、ルマサンプルのN×Nブロックを、クロマサンプルの2つの対応するブロックと共に含む。CTU内のルマブロックの最大許容サイズは、現在のバーサタイルビデオコーディング(VVC, versatile video coding)仕様では128×128と指定されているが、将来128×128とは異なる値、例えば256×256と指定されてもよい。ピクチャのCTUは、スライス/タイルグループ、タイル又はブリックとしてクラスタ化/グループ化されてもよい。タイルは、ピクチャの長方形領域をカバーし、タイルは、1つ以上のブリックに分割できる。ブリックは、タイル内の複数のCTU行から構成される。複数のブリックにパーティションされないタイルは、ブリックと呼ばれることができる。しかし、ブリックはタイルの真のサブセットであり、タイルとは呼ばれない。VVCでサポートされるタイルグループの2つのモード、すなわち、ラスタ走査スライス/タイルグループモード及び長方形スライスモードが存在する。ラスタ走査タイルグループモードでは、スライス/タイルグループは、ピクチャのタイルラスタ走査におけるタイルのシーケンスを含む。長方形スライスモードでは、スライスは、ピクチャの長方形領域をまとめて形成するピクチャの多数のブリックを含む。長方形スライス内のブリックは、スライスのブリックラスタ走査の順序になっている。
パーティションユニット262は、ビデオシーケンスからのピクチャをコーディングツリーユニット(CTU, coding tree unit)のシーケンスにパーティションするように構成されてもよく、パーティションユニット262は、コーディングツリーユニット(CTU, coding tree unit)203を、より小さいパーティション、例えば正方形又は長方形サイズのより小さいブロックにパーティション(又は分割)してもよい。3つのサンプル配列を有するピクチャについて、CTUは、ルマサンプルのN×Nブロックを、クロマサンプルの2つの対応するブロックと共に含む。CTU内のルマブロックの最大許容サイズは、現在のバーサタイルビデオコーディング(VVC, versatile video coding)仕様では128×128と指定されているが、将来128×128とは異なる値、例えば256×256と指定されてもよい。ピクチャのCTUは、スライス/タイルグループ、タイル又はブリックとしてクラスタ化/グループ化されてもよい。タイルは、ピクチャの長方形領域をカバーし、タイルは、1つ以上のブリックに分割できる。ブリックは、タイル内の複数のCTU行から構成される。複数のブリックにパーティションされないタイルは、ブリックと呼ばれることができる。しかし、ブリックはタイルの真のサブセットであり、タイルとは呼ばれない。VVCでサポートされるタイルグループの2つのモード、すなわち、ラスタ走査スライス/タイルグループモード及び長方形スライスモードが存在する。ラスタ走査タイルグループモードでは、スライス/タイルグループは、ピクチャのタイルラスタ走査におけるタイルのシーケンスを含む。長方形スライスモードでは、スライスは、ピクチャの長方形領域をまとめて形成するピクチャの多数のブリックを含む。長方形スライス内のブリックは、スライスのブリックラスタ走査の順序になっている。
より小さいブロック(サブブロックとも呼ばれてもよい)は、一層小さいパーティションに更にパーティションされてもよい。これはまた、ツリーパーティション又は階層ツリーパーティションとも呼ばれ、例えば、ルートツリーレベル0(階層レベル0、深度0)におけるルートブロックは、再帰的にパーティションされ、例えば、次のより下のツリーレベルの2つ以上のブロック、例えば、ツリーレベル1(階層レベル1、深度1)におけるノードにパーティションされてもよく、これらのブロックは、例えば、終了基準が充足されたため、例えば、最大ツリー深度又は最小ブロックサイズに達したため、パーティションが終了するまで、再び、次のより下のツリーレベル、例えば、ツリーレベル2(階層レベル2、深度2)の2つ以上のブロックにパーティションされる、等でもよい。更にパーティションされないブロックはまた、ツリーのリーフブロック又はリーフノードとも呼ばれる。2つのパーティションへのパーティションを使用するツリーは、二分木(BT, binary-tree)と呼ばれ、3つのパーティションへのパーティションを使用するツリーは三分木(TT, ternary-tree)と呼ばれ、4つのパーティションへのパーティションを使用するツリーは四分木(QT, quad-tree)と呼ばれる。
例えば、コーディングツリーユニット(CTU, coding tree unit)は、3つのサンプル配列を有するピクチャのルマサンプルのCTB及びクロマサンプルの2つの対応するCTB、又はモノクロピクチャ若しくは3つの別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を使用してコーディングされるピクチャのサンプルのCTBでもよく或いはこれを含んでもよい。対応して、コーディングツリーブロック(CTB, coding tree block)は、何らかの値のNについて、サンプルのN×Nブロックでもよく、それにより、CTBへの成分の分割はパーティションである。コーディングユニット(CU, coding unit)は、3つのサンプル配列を有するピクチャのルマサンプルのコーディングブロック及びクロマサンプルの2つの対応するコーディングブロック、又はモノクロピクチャ若しくは3つの別個の色平面及びサンプルをコーディングするために使用されるシンタックス構造を使用してコーディングされるピクチャのサンプルのコーディングブロックでもよく或いはこれを含んでもよい。対応して、コーディングブロック(CB, coding block)は、何らかの値のM及びNについて、サンプルのM×Nブロックでもよく、それにより、コーディングブロックへのCTBの分割はパーティションである。
例えば、HEVCによるいくつかの実施形態では、コーディングツリーユニット(CTU, coding tree unit)は、コーディングツリーとして示される四分木構造を使用することによりCUに分割されてもよい。インターピクチャ(時間)予測を使用してピクチャ領域をコーディングするか、イントラピクチャ(空間)予測を使用してピクチャ領域をコーディングするかの判断は、リーフCUレベルで行われる。各リーフCUは、PU分割タイプに従って、1つ、2つ又は4つのPUに更に分割できる。1つのPU内で、同じ予測プロセスが適用され、関連情報がPU毎にデコーダに送信される。PU分割タイプに基づいて予測プロセスを適用することにより残差ブロックを取得した後に、リーフCUは、CUについてのコーディングツリーと同様の他の四分木構造に従って、変換ユニット(TU, transform unit)にパーティションできる。
例えば、バーサタイルビデオコーディング(VVC, Versatile Video Coding)と呼ばれる現在策定中の最新のビデオコーディング標準による実施形態では、二分割及び三分割セグメント化構造を使用する結合された四分木ネスト型マルチタイプツリーが、例えば、コーディングツリーユニットをパーティションするために使用される。コーディングツリーユニット内のコーディングツリー構造では、CUは正方形又は長方形形状のいずれかを有することができる。例えば、コーディングツリーユニット(CTU, coding tree unit)は、まず、四分木によりパーティションされる。次いで、四分木リーフノードは、マルチタイプツリー構造により更にパーティションできる。マルチタイプツリー構造には、4つの分割タイプ、すなわち、垂直二分割(SPLIT_BT_VER)、水平二分割(SPLIT_BT_HOR)、垂直三分割(SPLIT_TT_VER)及び水平三分割(SPLIT_TT_HOR)が存在する。マルチタイプツリーリーフノードは、コーディングユニット(CU, coding unit)と呼ばれ、CUが最大変換長にとって大きすぎない限り、このセグメント化は、更なるパーティションなしで予測及び変換処理に使用される。これは、ほとんどの場合、CU、予測ユニット(PU, prediction unit)及び変換ユニット(TU, transform unit)がネスト型マルチタイプツリーのコーディングブロック構造を有する四分木において同じブロックサイズを有することを意味する。例外は、最大サポート変換長がCUの色成分の幅又は高さよりも小さいときに発生する。
VVCは、ネスト型マルチタイプツリーのコーディングツリー構造を有する四分木におけるパーティション分割情報の独特のシグナリングメカニズムを策定している。当該シグナリングメカニズムでは、コーディングツリーユニット(CTU, coding tree unit)は四分木のルートとして扱われ、まず、四分木構造によりパーティションされる。次いで、各四分木リーフノード(それを許容するほど十分に大きいとき)は、マルチタイプツリー構造により更にパーティションされる。マルチタイプツリー構造では、第1のフラグ(mtt_split_cu_flag)は、ノードが更にパーティションされるか否かを示すためにシグナリングされ、ノードが更にパーティションされるとき、第2のフラグ(mtt_split_cu_vertical_flag)は、分割方向を示すためにシグナリングされ、次いで、第3のフラグ(mtt_split_cu_binary_flag)は、分割が二分割であるか三分割であるかを示すためにシグナリングされる。mtt_split_cu_vertical_flag及びmtt_split_cu_binary_flagの値に基づいて、CUのマルチタイプツリー分割モード(MttSplitMode)は、所定のルール又はテーブルに基づいてデコーダにより導出できる。特定の設計、例えば、VVCハードウェアデコーダにおける64×64ルマブロック及び32×32クロマパイプライン設計では、ルマコーディングブロックの幅又は高さのいずれかが64よりも大きいとき、TT分割は禁止される。クロマコーディングブロックの幅又は高さのいずれかが32より大きいときも、TT分割は禁止される。パイプライン設計は、ピクチャを仮想パイプラインデータユニット(VPDU, Virtual pipeline data unit)に分割し、これらは、ピクチャ内の重複しないユニットとして定義される。ハードウェアデコーダでは、連続するVPDUが複数のパイプライン段により同時に処理される。VPDUサイズは、ほとんどのパイプライン段においてバッファサイズにほぼ比例するので、VPDUサイズを小さく保持することが重要である。ほとんどのハードウェアデコーダでは、VPDUサイズは最大変換ブロック(TB, transform block)サイズに設定できる。しかし、VVCでは、三分木(TT, ternary tree)及び二分木(BT, binary tree)パーティションはVPDUのサイズの増加をもたらす可能性がある。
さらに、ツリーノードブロックの一部が下側又は右側ピクチャ境界を超えるとき、ツリーノードブロックは、全てのコーディングされたCUの全てのサンプルがピクチャ境界内に位置するまで、強制的に分割される点に留意すべきである。
一例として、イントラサブパーティション(ISP, Intra Sub-Partitions)ツールは、ブロックサイズに依存して、ルマイントラ予測ブロックを垂直又は水平に2つ又は4つのサブパーティションに分割してもよい。
一例では、ビデオエンコーダ20のモード選択ユニット260は、ここに記載のパーティション技術のいずれかの組み合わせを実行するように構成されてもよい。
上記のように、ビデオエンコーダ20は、(例えば、予め決定された)予測モードのセットから最良又は最適な予測モードを決定又は選択するように構成される。予測モードのセットは、イントラ予測モード及び/又はインター予測モードを含んでもよい。
イントラ予測
イントラ予測モードのセットは、DC(又は平均)モード及びプラナーモードのような非方向性モード、又は例えば、HEVCで定義されたような方向性モードのように、35個の異なるイントラ予測モードを含んでもよく、或いは、DC(又は平均)モード及びプラナーモードのような非方向性モード、又は例えば、VVCについて定義されたような方向性モードのように、67個の異なるイントラ予測モードを含んでもよい。一例として、いくつかの従来の角度イントラ予測モードは、例えばVVCにおいて定義されたような非正方形ブロックのための広角イントラ予測モードに適応的に置き換えられる。他の例として、DC予測のための分割動作を回避するために、長辺のみが非正方形ブロックについての平均を計算するために使用される。また、プラナーモードのイントラ予測の結果は、位置依存イントラ予測結合(PDPC, position dependent intra prediction combination)方法により更に修正されてもよい。
イントラ予測モードのセットは、DC(又は平均)モード及びプラナーモードのような非方向性モード、又は例えば、HEVCで定義されたような方向性モードのように、35個の異なるイントラ予測モードを含んでもよく、或いは、DC(又は平均)モード及びプラナーモードのような非方向性モード、又は例えば、VVCについて定義されたような方向性モードのように、67個の異なるイントラ予測モードを含んでもよい。一例として、いくつかの従来の角度イントラ予測モードは、例えばVVCにおいて定義されたような非正方形ブロックのための広角イントラ予測モードに適応的に置き換えられる。他の例として、DC予測のための分割動作を回避するために、長辺のみが非正方形ブロックについての平均を計算するために使用される。また、プラナーモードのイントラ予測の結果は、位置依存イントラ予測結合(PDPC, position dependent intra prediction combination)方法により更に修正されてもよい。
イントラ予測ユニット254は、イントラ予測モードのセットからの或るイントラ予測モードに従って(イントラ)予測ブロック265を生成するために、同じ現在ピクチャの隣接ブロックの再構成されたサンプルを使用するように構成される。
イントラ予測ユニット254(又は一般的にモード選択ユニット260)は、符号化ピクチャデータ21に含めるためにシンタックスエレメント226の形式で、イントラ予測パラメータ(又は一般的にブロックについて選択されたイントラ予測モードを示す情報)をエントロピー符号化ユニット270に出力するように更に構成されてもよく、それにより、例えば、ビデオデコーダ30は、復号のために予測パラメータを受信して使用してもよい。
インター予測
インター予測モードのセット(又は可能なもの)は、利用可能な参照ピクチャ(すなわち、例えば、DBP230に記憶された、前の少なくとも部分的に復号されたピクチャ)及び他のインター予測パラメータ、例えば、最良の適合する参照ブロックを探索するために全体の参照ピクチャが使用されるか、参照ピクチャの部分のみ、例えば、現在ブロックの領域の周辺の探索ウインドウ領域が使用されるか、及び/又は、例えば、ハーフ/セミペル及び/又は４分の１ペル及び/又は1/16ペル補間のようなピクセル補間が適用されるか否かに依存する。
インター予測モードのセット(又は可能なもの)は、利用可能な参照ピクチャ(すなわち、例えば、DBP230に記憶された、前の少なくとも部分的に復号されたピクチャ)及び他のインター予測パラメータ、例えば、最良の適合する参照ブロックを探索するために全体の参照ピクチャが使用されるか、参照ピクチャの部分のみ、例えば、現在ブロックの領域の周辺の探索ウインドウ領域が使用されるか、及び/又は、例えば、ハーフ/セミペル及び/又は４分の１ペル及び/又は1/16ペル補間のようなピクセル補間が適用されるか否かに依存する。
上記の予測モードに加えて、スキップモード、直接モード及び/又は他のインター予測モードが適用されてもよい。
例えば、拡張マージ予測について、このようなモードのマージ候補リストは、順に以下の5つのタイプの候補、すなわち、空間隣接CUからの空間MVP、同一位置のCUからの時間MVP、FIFOテーブルからの履歴ベースMVP、対の平均MVP及びゼロMVを含めることにより構成される。また、マージモードのMVの精度を高めるために、バイラテラルマッチングベースのデコーダ側動きベクトル精緻化(DMVR, decoder-side motion vector refinement)が適用されてもよい。
MVDを伴うマージモード(MMVD, Merge mode with MVD)は、動きベクトル差(MVD, motion vector difference)を伴うマージモードである。MMVDモードがCUに使用されるか否かを指定するために、スキップフラグ及びマージフラグを送信した直後にMMVDフラグがシグナリングされる。また、CUレベルの適応動きベクトル精度(AMVR, adaptive motion vector resolution)方式が適用されてもよい。AMVRは、CUのMVDが異なる精度でコーディングされることを可能にする。現在のCUについての予測モードに依存して、現在のCUのMVDが適応的に選択できる。
CUがマージモードでコーディングされるとき、結合インター/イントラ予測(CIIP, combined inter/intra prediction)モードが現在のCUに適用されてもよい。CIIP予測を取得するために、インター及びイントラ予測信号の加重平均が実行される。アフィン動き補償予測では、ブロックのアフィン動き場は、2つの制御点(4パラメータ)又は3つの制御点(6パラメータ)動きベクトルの動き情報により記述される。サブブロックベース時間動きベクトル予測(SbTMVP, sub-block-based temporal motion vector prediction)は、HEVCにおける時間動きベクトル予測(TMVP, temporal motion vector prediction)と同様であるが、現在のCU内のサブCUの動きベクトルを予測する。以前はBIOと呼ばれていた双方向オプティカルフロー(BDOF, bi-directional optical flow)は、特に乗算の数及び乗算器のサイズに関して非常に少ない計算量を必要とするより簡単なバージョンである。三角パーティションモードでは、CUは、対角分割又は非対角分割のいずれかを使用して2つの三角形の形状のパーティションに均等に分割される。その上、双予測モードは、2つの予測信号の加重平均を可能にするために、単純平均を越えて拡張される。
インター予測ユニット244は、動き推定(ME, motion estimation)ユニット及び動き補償(ME, motion compensation)ユニット(双方とも図２に図示せず)を含んでもよい。動き推定ユニットは、動き推定のために、ピクチャブロック203(現在ピクチャ17の現在ブロック203)及び復号ピクチャ231、又は1つ若しくは複数の他の/異なる前の復号ピクチャ231の再構成されたブロックのような少なくとも1つ若しくは複数の前に再構成されたブロックを受信又は取得するように構成されてもよい。一例として、ビデオシーケンスは、現在ピクチャ及び前の復号ピクチャ231を含んでもよく、或いは言い換えると、現在ピクチャ及び前の復号ピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部でもよく或いはこれを形成してもよい。
エンコーダ20は、複数の以前に復号されたピクチャの同じ或いは異なるピクチャの複数の参照ブロックから参照ブロックを選択し、参照ピクチャ(又は参照ピクチャインデックス)及び/又は参照ブロックの位置(x,y座標)と現在ブロックの位置との間のオフセット(空間オフセット)を、インター予測パラメータとして動き推定ユニットに提供するように構成されてもよい。このオフセットはまた、動きベクトル(MV, motion vector)とも呼ばれる。
動き補償ユニットは、インター予測パラメータを取得し、例えば、受信し、インター予測パラメータに基づいて或いはこれを使用してインター予測を実行して、(インター)予測ブロック265を取得するように構成されてもよい。動き補償ユニットにより実行される動き補償は、動き推定により決定された動き/ブロックベクトルに基づいて、予測ブロックをフェッチ又は生成し、場合によってはサブピクセル精度への補間を実行することを含んでもよい。補間フィルタリングは、既知のピクセルサンプルから更なるピクセルサンプルを生成してもよく、したがって、ピクチャブロックをコーディングするために使用され得る候補予測ブロックの数を潜在的に増加させる。現在ピクチャブロックのPUの動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうち1つの中で動きベクトルが指す予測ブロックを見つけてもよい。
動き補償ユニットはまた、ビデオスライスのピクチャブロックを復号する際にビデオデコーダ30による使用のために、ブロック及びビデオスライスに関連するシンタックスエレメントを生成してもよい。スライス及びそれぞれのシンタックスエレメントに加えて或いはその代替として、タイルグループ及び/又はタイル及びそれぞれのシンタックスエレメントが生成又は使用されてもよい。
エントロピーコーディング
エントロピー符号化ユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び/又は他のシンタックスエレメントに対して、例えば、エントロピー符号化アルゴリズム又は方式(例えば、可変長コーディング(VLC, variable length coding)方式、コンテキスト適応型VLC方式(CAVLC, context adaptive VLC, scheme)、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング(CABAC, context adaptive binary arithmetic coding)、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC, syntax-based context-adaptive binary arithmetic coding)、確率区間区分エントロピー(PIPE, probability interval partitioning entropy)コーディング又は他のエントロピー符号化方法若しくは技術)を適用するか或いは迂回して(非圧縮)、例えば、符号化ビットストリーム21の形式で出力272を介して出力できる符号化ピクチャデータ21を取得するように構成され、それにより、例えば、ビデオデコーダ30は、復号のためにパラメータを受信して使用してもよい。符号化ビットストリーム21は、ビデオデコーダ39に送信されてもよく、或いは、ビデオデコーダ30による後の送信又は取り出しのためにメモリに記憶されてもよい。
エントロピー符号化ユニット270は、量子化された係数209、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ及び/又は他のシンタックスエレメントに対して、例えば、エントロピー符号化アルゴリズム又は方式(例えば、可変長コーディング(VLC, variable length coding)方式、コンテキスト適応型VLC方式(CAVLC, context adaptive VLC, scheme)、算術コーディング方式、二値化、コンテキスト適応型バイナリ算術コーディング(CABAC, context adaptive binary arithmetic coding)、シンタックスベースのコンテキスト適応型バイナリ算術コーディング(SBAC, syntax-based context-adaptive binary arithmetic coding)、確率区間区分エントロピー(PIPE, probability interval partitioning entropy)コーディング又は他のエントロピー符号化方法若しくは技術)を適用するか或いは迂回して(非圧縮)、例えば、符号化ビットストリーム21の形式で出力272を介して出力できる符号化ピクチャデータ21を取得するように構成され、それにより、例えば、ビデオデコーダ30は、復号のためにパラメータを受信して使用してもよい。符号化ビットストリーム21は、ビデオデコーダ39に送信されてもよく、或いは、ビデオデコーダ30による後の送信又は取り出しのためにメモリに記憶されてもよい。
ビデオエンコーダ20の他の構造的変形は、ビデオストリームを符号化するために使用できる。例えば、非変換ベースのエンコーダ20は、特定のブロック又はフレームについて、変換処理ユニット206なしに、残差信号を直接量子化できる。他の実現方式では、エンコーダ20は、単一のユニットに結合された量子化ユニット208及び逆量子化ユニット210を有することができる。
デコーダ及び復号方法
図３は、本願の技術を実現するように構成されたビデオデコーダ30の例を示す。ビデオデコーダ30は、復号ピクチャ331を取得するために、例えば、エンコーダ20により符号化された符号化ピクチャデータ21(例えば、符号化ビットストリーム21)を受信するように構成される。復号ピクチャデータ又はビットストリームは、符号化ピクチャデータを複合するための情報、例えば、符号化ビデオスライス(及び/又はタイルグループ又はタイル)のピクチャブロック及び関連するシンタックスエレメントを表すデータを含む。
図３は、本願の技術を実現するように構成されたビデオデコーダ30の例を示す。ビデオデコーダ30は、復号ピクチャ331を取得するために、例えば、エンコーダ20により符号化された符号化ピクチャデータ21(例えば、符号化ビットストリーム21)を受信するように構成される。復号ピクチャデータ又はビットストリームは、符号化ピクチャデータを複合するための情報、例えば、符号化ビデオスライス(及び/又はタイルグループ又はタイル)のピクチャブロック及び関連するシンタックスエレメントを表すデータを含む。
図３の例では、デコーダ30は、エントロピー復号ユニット304と、逆量子化ユニット310と、逆変換処理ユニット312と、再構成ユニット314(例えば、合計器314)と、ループフィルタ320と、復号ピクチャバッファ(DBP, decoded picture buffer)330と、モード適用ユニット360と、インター予測ユニット344と、イントラ予測ユニット354とを含む。インター予測ユニット344は、動き補償ユニットでもよく或いはこれを含んでもよい。ビデオデコーダ30は、いくつかの例では、図２からビデオエンコーダ20に関して説明した符号化経路と一般的に逆の復号経路を実行してもよい。
エンコーダ20に関して説明したように、逆量子化ユニット210、逆変換処理ユニット212、再構成ユニット214、ループフィルタ220、復号ピクチャバッファ(DPB, decoded picture buffer)230、インター予測ユニット244及びイントラ予測ユニット254はまた、ビデオエンコーダ20の「内蔵デコーダ」を形成するとも呼ばれてもよい。したがって、逆量子化ユニット310は逆量子化ユニット210と機能的に同一でもよく、逆変換処理ユニット312は逆変換処理ユニット212と機能的に同一でもよく、再構成ユニット314は再構成ユニット214と機能的に同一でもよく、ループフィルタ320はループフィルタ220と機能的に同一でもよく、復号ピクチャバッファ330は復号ピクチャバッファ230と機能的に同一でもよい。したがって、ビデオ20エンコーダのそれぞれのユニット及び機能について提供された説明は、対応して、ビデオデコーダ30のそれぞれのユニット及び機能に適用する。
エントロピー復号
エントロピー復号ユニット304は、ビットストリーム21(又は一般的には符号化ピクチャデータ21)をパースし、例えば、符号化ピクチャデータ21に対してエントロピー復号を実行して、例えば、インター予測パラメータ(例えば、参照ピクチャインデックス及び動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モード又はインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ及び/又は他のシンタックスエレメントのうちいずれか又は全てのような、量子化された係数309及び/又は復号されたコーディングパラメータ366を取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関して説明したような符号化方式に対応する復号アルゴリズム又は方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ及び/又は他のシンタックスエレメントをモード適用ユニット360に提供し、他のパラメータをデコーダ30の他のユニットに提供するように更に構成されてもよい。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルのシンタックスエレメントを受信してもよい。スライス及びそれぞれのシンタックスエレメントに加えて或いはその代替として、タイルグループ及び/又はタイル及びそれぞれのシンタックスエレメントが受信及び/又は使用されてもよい。
エントロピー復号ユニット304は、ビットストリーム21(又は一般的には符号化ピクチャデータ21)をパースし、例えば、符号化ピクチャデータ21に対してエントロピー復号を実行して、例えば、インター予測パラメータ(例えば、参照ピクチャインデックス及び動きベクトル)、イントラ予測パラメータ(例えば、イントラ予測モード又はインデックス)、変換パラメータ、量子化パラメータ、ループフィルタパラメータ及び/又は他のシンタックスエレメントのうちいずれか又は全てのような、量子化された係数309及び/又は復号されたコーディングパラメータ366を取得するように構成される。エントロピー復号ユニット304は、エンコーダ20のエントロピー符号化ユニット270に関して説明したような符号化方式に対応する復号アルゴリズム又は方式を適用するように構成されてもよい。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ及び/又は他のシンタックスエレメントをモード適用ユニット360に提供し、他のパラメータをデコーダ30の他のユニットに提供するように更に構成されてもよい。ビデオデコーダ30は、ビデオスライスレベル及び/又はビデオブロックレベルのシンタックスエレメントを受信してもよい。スライス及びそれぞれのシンタックスエレメントに加えて或いはその代替として、タイルグループ及び/又はタイル及びそれぞれのシンタックスエレメントが受信及び/又は使用されてもよい。
逆量子化
逆量子化ユニット310は、符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)量子化パラメータ(QP, quantization parameter)(又は一般的に逆量子化に関する情報)及び量子化された係数を受信し、量子化パラメータに基づいて、復号済みの量子化された係数309に逆量子化を適用して、変換係数311とも呼ばれてもよい反量子化された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス(又はタイル若しくはタイルグループ)内の各ビデオブロックについてビデオエンコーダ20により決定された量子化パラメータの使用を含んでもよい。
逆量子化ユニット310は、符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)量子化パラメータ(QP, quantization parameter)(又は一般的に逆量子化に関する情報)及び量子化された係数を受信し、量子化パラメータに基づいて、復号済みの量子化された係数309に逆量子化を適用して、変換係数311とも呼ばれてもよい反量子化された係数311を取得するように構成されてもよい。逆量子化プロセスは、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定するために、ビデオスライス(又はタイル若しくはタイルグループ)内の各ビデオブロックについてビデオエンコーダ20により決定された量子化パラメータの使用を含んでもよい。
逆変換
逆変換処理ユニット312は、変換係数311とも呼ばれる反量子化された係数311を受信し、サンプルドメインにおいて再構成された残差ブロック313を取得するために反量子化された係数311に変換を適用するように構成されてもよい。再構成された残差ブロック313はまた、変換ブロック313とも呼ばれてもよい。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換又は概念的に同様の逆変換プロセスでもよい。逆変換処理ユニット312は、符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)変換パラメータ又は対応する情報を受信して、反量子化された係数311に適用されるべき変換を決定するように更に構成されてもよい。
逆変換処理ユニット312は、変換係数311とも呼ばれる反量子化された係数311を受信し、サンプルドメインにおいて再構成された残差ブロック313を取得するために反量子化された係数311に変換を適用するように構成されてもよい。再構成された残差ブロック313はまた、変換ブロック313とも呼ばれてもよい。変換は、逆変換、例えば、逆DCT、逆DST、逆整数変換又は概念的に同様の逆変換プロセスでもよい。逆変換処理ユニット312は、符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)変換パラメータ又は対応する情報を受信して、反量子化された係数311に適用されるべき変換を決定するように更に構成されてもよい。
再構成
再構成ユニット314(例えば、加算器又は合計器314)は、再構成された残差ブロック313を予測ブロック365に加算して、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することにより、サンプルドメインにおける再構成されたブロック315を取得するように構成されてもよい。
再構成ユニット314(例えば、加算器又は合計器314)は、再構成された残差ブロック313を予測ブロック365に加算して、例えば、再構成された残差ブロック313のサンプル値と予測ブロック365のサンプル値とを加算することにより、サンプルドメインにおける再構成されたブロック315を取得するように構成されてもよい。
フィルタリング
(コーディングループ内又はコーディングループの後のいずれかの)ループフィルタユニット320は、再構成されたブロック315をフィルタリングして、フィルタリングされたブロック321を取得するように、例えば、ピクセル遷移を円滑化するように或いはビデオ品質を改善するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO, sample-adaptive offset)フィルタ又は1つ以上の他のフィルタ、例えば、適応ループフィルタ(ALF, adaptive loop filter)、ノイズ抑制フィルタ(NSF, noise suppression filter)又はこれらのいずれかの組み合わせのような1つ以上のループフィルタを含んでもよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ及びALFフィルタを含んでもよい。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO及びALFでもよい。他の例では、クロマスケーリングを伴うルママッピング(LMCS, luma mapping with chroma scaling)(すなわち、適応インループリシェーパ)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。他の例では、デブロッキングフィルタプロセスはまた、内部サブブロックエッジ、例えば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT, sub-block transform)エッジ及びイントラサブパーティション(ISP, intra sub-partition)エッジに適用されてもよい。ループフィルタユニット320はインループフィルタであるとして図３に示されるが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてもよい。
(コーディングループ内又はコーディングループの後のいずれかの)ループフィルタユニット320は、再構成されたブロック315をフィルタリングして、フィルタリングされたブロック321を取得するように、例えば、ピクセル遷移を円滑化するように或いはビデオ品質を改善するように構成される。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(SAO, sample-adaptive offset)フィルタ又は1つ以上の他のフィルタ、例えば、適応ループフィルタ(ALF, adaptive loop filter)、ノイズ抑制フィルタ(NSF, noise suppression filter)又はこれらのいずれかの組み合わせのような1つ以上のループフィルタを含んでもよい。一例では、ループフィルタユニット220は、デブロッキングフィルタ、SAOフィルタ及びALFフィルタを含んでもよい。フィルタリングプロセスの順序は、デブロッキングフィルタ、SAO及びALFでもよい。他の例では、クロマスケーリングを伴うルママッピング(LMCS, luma mapping with chroma scaling)(すなわち、適応インループリシェーパ)と呼ばれるプロセスが追加される。このプロセスはデブロッキングの前に実行される。他の例では、デブロッキングフィルタプロセスはまた、内部サブブロックエッジ、例えば、アフィンサブブロックエッジ、ATMVPサブブロックエッジ、サブブロック変換(SBT, sub-block transform)エッジ及びイントラサブパーティション(ISP, intra sub-partition)エッジに適用されてもよい。ループフィルタユニット320はインループフィルタであるとして図３に示されるが、他の構成では、ループフィルタユニット320はポストループフィルタとして実現されてもよい。
復号ピクチャバッファ
ピクチャの復号ビデオブロック321は、次いで、他のピクチャのための後の動き補償のための参照ピクチャとして及び/又は出力又はそれぞれの表示のために復号ピクチャを記憶する復号ピクチャバッファ330に記憶される。
ピクチャの復号ビデオブロック321は、次いで、他のピクチャのための後の動き補償のための参照ピクチャとして及び/又は出力又はそれぞれの表示のために復号ピクチャを記憶する復号ピクチャバッファ330に記憶される。
デコーダ30は、ユーザへの提示又は閲覧のために、例えば、出力312を介して復号ピクチャ331を出力するように構成される。
予測
インター予測ユニット344は、インター予測ユニット244(特に、動き補償ユニット)と同一でもよく、イントラ予測ユニット354は、イントラ予測ユニット254と機能的に同一でもよく、パーティション及び/又は予測パラメータ又は符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)受信したそれぞれの情報に基づいて、分割又はパーティション判断及び予測を実行する。モード適用ユニット360は、再構成ピクチャ、ブロック又はそれぞれの(フィルタリングされた或いはフィルタリングされていない)サンプルに基づいて、ブロック毎に予測(イントラ又はインター予測)を実行して、予測ブロック365を取得するように構成されてもよい。
インター予測ユニット344は、インター予測ユニット244(特に、動き補償ユニット)と同一でもよく、イントラ予測ユニット354は、イントラ予測ユニット254と機能的に同一でもよく、パーティション及び/又は予測パラメータ又は符号化ピクチャデータ21から(例えば、エントロピー復号ユニット304により例えばパース及び/又は復号することにより)受信したそれぞれの情報に基づいて、分割又はパーティション判断及び予測を実行する。モード適用ユニット360は、再構成ピクチャ、ブロック又はそれぞれの(フィルタリングされた或いはフィルタリングされていない)サンプルに基づいて、ブロック毎に予測(イントラ又はインター予測)を実行して、予測ブロック365を取得するように構成されてもよい。
ビデオスライスがイントラコーディングされた(I, intra-coded)スライスとしてコーディングされるとき、モード適用ユニット360のイントラ予測ユニット354は、シグナリングされたイントラ予測モード及び現在ピクチャの前に復号されたブロックからのデータに基づいて、現在ビデオスライスのピクチャブロックについて予測ブロック365を生成するように構成される。ビデオピクチャがインターコーディングされた(すなわち、B又はP)スライスとしてコーディングされるとき、モード適用ユニット360のインター予測ユニット344(例えば、動き補償ユニット)は、エントロピー復号ユニット304から受信した動きベクトル及び他のシンタックスエレメントに基づいて、現在ビデオスライスのビデオブロックについて予測ブロック365を生成するように構成される。インター予測では、予測ブロックは、参照ピクチャリストのうち1つの中の参照ピクチャのうち1つから生成されてもよい。ビデオデコーダ30は、DPB330に記憶された参照ピクチャに基づいて、デフォルト構成技術を使用して、参照ピクチャリスト、リスト0及びリスト1を構成してもよい。同じ又は同様の手法が、スライス(例えば、ビデオスライス)に加えて或いはその代替として、タイルグループ(例えば、ビデオタイルグループ)及び/又はタイル(例えば、ビデオタイル)を使用する実施形態に或いはそれにより適用されてもよく、例えば、ビデオは、I、P又はBタイルグループ及び/又はタイルを使用してコーディングされてもよい。
モード適用ユニット360は、動きベクトル又は関連情報及び他のシンタックスエレメントをパースすることにより、現在ビデオスライスのビデオ/ピクチャブロックについて予測情報を決定し、復号されている現在ビデオブロックについて予測ブロックを生成するために予測情報を使用するように構成される。例えば、モード適用ユニット360は、受信したシンタックスエレメントのうちいくつかを使用して、ビデオスライスのビデオブロックをコーディングするために使用される予測モード(例えば、イントラ又はインター予測)、インター予測スライスタイプ(例えば、Bスライス、Pスライス又はGPBスライス)、スライスの参照ピクチャリストのうち1つ以上についての構成情報、スライスの各インターコーディングされたビデオブロックの動きベクトル、スライスの各インターコーディングされたビデオブロックについてのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。同じ又は同様の手法が、スライス(例えば、ビデオスライス)に加えて或いはその代替として、タイルグループ(例えば、ビデオタイルグループ)及び/又はタイル(例えば、ビデオタイル)を使用する実施形態に或いはそれにより適用されてもよく、例えば、ビデオは、I、P又はBタイルグループ及び/又はタイルを使用してコーディングされてもよい。
図３に示すようなビデオデコーダ30の実施形態は、スライス(ビデオスライスとも呼ばれる)を使用することによりピクチャをパーティション及び/又は復号するように構成されてもよく、ピクチャは、(典型的には重複しない)1つ以上のスライスにパーティションされてもよく或いはこれを使用して復号されてもよく、各スライスは、1つ以上のブロック(例えば、CTU)又は1つ以上のブロックのグループ(例えば、タイル(H.265/HEVC及びVVC又はブリック(VVC))を含んでもよい。
図３に示すようなビデオデコーダ30の実施形態は、スライス/タイルグループ(ビデオタイルグループとも呼ばれる)及び/又はタイル(ビデオタイルとも呼ばれる)を使用することによりピクチャをパーティション及び/又は復号するように構成されてもよく、ピクチャは、(典型的には重複しない)1つ以上のスライス/タイルグループにパーティションされてもよく或いはこれを使用して復号されてもよく、各スライス/タイルグループは、1つ以上のブロック(例えば、CTU)又は1つ以上のタイルを含んでもよく、各タイルは、長方形形状でもよく、1つ以上のブロック(例えば、CTU)、例えば完全な或いは部分的なブロックを含んでもよい。
ビデオデコーダ30の他の変形は、符号化ピクチャデータ21を復号するために使用できる。例えば、デコーダ30は、ループフィルタユニット320なしに、出力ビデオストリームを生成できる。例えば、非変換ベースのデコーダ30は、特定のブロック又はフレームについて、逆変換処理ユニット312なしに、残差信号を直接逆量子化できる。他の実現方式では、ビデオデコーダ30は、単一のユニットに結合された逆量子化ユニット310及び逆変換処理ユニット312を有することができる。
エンコーダ20及びデコーダ30において、現在ステップの処理結果は更に処理され、次いで次のステップに出力されてもよいことが理解されるべきである。例えば、補間フィルタリング、動きベクトル導出又はループフィルタリングの後に、クリップ又はシフトのような更なる動作が、補間フィルタリング、動きベクトル導出又はループフィルタリングの処理結果に対して実行されてもよい。
図４は、本開示の実施形態によるビデオコーディングデバイス400の概略図である。ビデオコーディングデバイス400は、以下に説明するような開示の実施形態を実現するのに適する。実施形態では、ビデオコーディングデバイス400は、図１Ａのビデオデコーダ30のようなデコーダ又は図１Ａのビデオエンコーダ20のようなエンコーダでもよい。
ビデオコーディングデバイス400は、データを受信するための入口ポート410(又は入力ポート410)及び1つ以上の受信機ユニット(Rx)420と、データを処理するためのプロセッサ、論理ユニット又は中央処理装置(CPU, central processing unit)430と、データを送信するための1つ以上の送信機ユニット(Tx)440及び出口ポート450(又は出力ポート450)と、データを記憶するためのメモリ460とを含んでもよい。ビデオコーディングデバイス400はまた、光若しくは電気信号の出口又は入口のための、入口ポート410、受信機ユニット420、送信機ユニット440及び出口ポート450に結合された光電気(OE, optical-to-electrical)コンポーネント及び電気光(EO, electrical-to-optical)コンポーネントを含んでもよい。
プロセッサ430は、ハードウェア及びソフトウェアにより実現されてもよい。プロセッサ430は、1つ以上のCPUチップ、コア(例えば、マルチコアプロセッサ)、FPGA、ASIC及びDSPとして実現されてもよい。プロセッサ430は、入口ポート410、受信機ユニット420、送信機ユニット440、出口ポート450及びメモリ460と通信してもよい。プロセッサ430は、コーディングモジュール470を含んでもよい。コーディングモジュール470は、上記及び以下に記載する開示の実施形態を実現する。例えば、コーディングモジュール470は、様々なコーディング動作を実現、処理、準備又は提供してもよい。したがって、コーディングモジュール470に含まれるものは、ビデオコーディングデバイス400の機能に実質的な改善を提供し、異なる状態へのビデオコーディングデバイス400の変換をもたらす。代替として、コーディングモジュール470は、メモリ460に記憶されてプロセッサ430により実行される命令として実現されてもよい。
メモリ460は、1つ以上のディスク、テープドライブ及びソリッドステートドライブを含んでもよく、プログラムが実行のために選択されるときこのようなプログラムを記憶するため且つプログラムの実行中に読み取られる命令及びデータを記憶するためのオーバフローデータ記憶デバイスとして使用されてもよい。メモリ460は、例えば、揮発性及び/又は不揮発性でもよく、読み取り専用メモリ(ROM, read-only memory)、ランダムアクセスメモリ(RAM, random access memory)、三値連想メモリ(TCAM, ternary content-addressable memory)及び/又はスタティックランダムアクセスメモリ(SRAM, static random-access memory)でもよい。
図５は、例示的な実施形態による図１Ａからのソースデバイス12及び宛先デバイス14の一方又は双方として使用されてもよい装置500の簡略ブロック図である。
装置500内のプロセッサ502は、中央処理装置とすることができる。代替として、プロセッサ502は、現在存在するか或いは今後開発される、情報を操作又は処理できるいずれかの他のタイプのデバイス又は複数のデバイスとすることができる。開示の実現方式は図示のように単一のプロセッサ、例えばプロセッサ502で実施できるが、速度及び効率における利点は、1つよりも多くのプロセッサを使用して達成できる。
装置500内のメモリ504は、実現方式では、読み取り専用メモリ(ROM, read only memory)デバイス又はランダムアクセスメモリ(RAM, random access memory)デバイスとすることができる。いずれかの他の適切なタイプの記憶デバイスが、メモリ504として使用できる。メモリ504は、バス512を使用してプロセッサ502によりアクセスされるコード及びデータ506を含むことができる。メモリ504は、オペレーティングシステム508及びアプリケーションプログラム510を更に含むことができ、アプリケーションプログラム510は、プロセッサ502がここに記載の方法を実行することを可能にする少なくとも1つのプログラムを含む。例えば、アプリケーションプログラム510は、ここに記載の方法を実行するビデオコーディングアプリケーションを更に含むアプリケーション1～Nを含むことができる。
装置500はまた、ディスプレイ518のような1つ以上の出力デバイスを含むことができる。ディスプレイ518は、一例では、タッチ入力を感知するよう動作可能なタッチセンシティブ素子とディスプレイを結合したタッチセンシティブディスプレイでもよい。ディスプレイ518は、バス512を介してプロセッサ502に結合できる。
ここでは単一のバスとして示されるが、装置500のバス512は複数のバスで構成できる。さらに、２次ストレージ(図示せず)は、装置500の他のコンポーネントに直接結合でき、或いは、ネットワークを介してアクセスでき、メモリカードのような単一の統合ユニット又は複数のメモリカードのような複数のユニットを含むことができる。したがって、装置500は、広範な構成で実現できる。
非線形適応ループフィルタ
本開示は、http://phenix.it-sudparis.eu/jvet/で公に入手可能なJVET-M0385に記載されているような非線形適応ループフィルタ(ALF, adaptive loop filter)の様々な改善を提供する。本開示の導入部に記載のように、非線形ALFは、図２に示すエンコーダ20のループフィルタユニット220と、対応して図３に示すデコーダ30のループフィルタユニット320とにおいて実現されてもよい。非線形ALFは、予測のために再構成フレームを使用する前に、このフレームに対してフィルタリングを実行してもよい。
本開示は、http://phenix.it-sudparis.eu/jvet/で公に入手可能なJVET-M0385に記載されているような非線形適応ループフィルタ(ALF, adaptive loop filter)の様々な改善を提供する。本開示の導入部に記載のように、非線形ALFは、図２に示すエンコーダ20のループフィルタユニット220と、対応して図３に示すデコーダ30のループフィルタユニット320とにおいて実現されてもよい。非線形ALFは、予測のために再構成フレームを使用する前に、このフレームに対してフィルタリングを実行してもよい。
一般的に、本開示に従って符号化デバイス又は復号デバイスにより実現される、ビデオストリームの再構成フレームに対して適応ループフィルタリングを実行することによるインループフィルタリングのための方法は、図８に示すように、以下のステップにより実現されてもよい。
ステップ1310:再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成/決定する。ピクセルの接続領域は、一般的に、そのピクセルの隣接ピクセルのセットとして定義される。当該セットは、ピクセルの周囲に対称的に配置されてもよく、修正は、再構成フレームの境界又は再構成ブロックの境界の近くに適用されてもよい。頻繁に使用されるセットは、ルマ成分についての7×7のダイヤモンド形状又はクロマ成分についての5×5のダイヤモンド形状のようなダイヤモンドの形状を有してもよい。インループフィルタリングは、再構成フレームのルマ及びクロマ成分に対して別々に実行されてもよい。それぞれのフィルタリングプロセスに入る差は、ピクセルのそれぞれの成分の間で決定される。言い換えると、ルマ成分に対して非線形ALFフィルタリングを実行するために、ピクセルのルマ成分の間の差が決定される。同様に、各クロマ成分について、それぞれのクロマ成分に対して非線形ALFフィルタリングを実行するために、ピクセルのそれぞれのクロマ成分の間の差が決定される。
ステップ1320:それぞれのクリッピングレベルに従って差をクリッピングする。各隣接ピクセル、したがって各差は、それ自身のクリッピングレベルを有してもよい。言い換えると、クリッピングレベルは、フィルタリングされるべきピクセルの座標(x,y)に関するそれぞれの隣接ピクセルのオフセット(i,j)に依存してもよい。
ステップ1330:クリッピングされた差の加重和を形成/決定する。重み付け係数は、差毎に別々に定義されてもよい。言い換えると、重み付け係数又は重みは、フィルタリングされるべきピクセルの座標(x,y)に関するそれぞれの隣接ピクセルのオフセット(i,j)に依存してもよい。
ステップ1340:ピクセルのルマ及びクロマ成分のうち少なくとも1つに加重和を加算することにより、ピクセルのフィルタリングされたそれぞれの成分、すなわち、ルマ成分又はそれぞれのクロマ成分を決定する。
本開示の一態様によれば、それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じ可能なクリッピングレベルのセットから選択されてもよい。言い換えると、単一のクリッピングレベルのセットが提供されてもよく、それから、上記の方法において使用されるクリッピングレベルの全てが得られる。特にルマ及びクロマ成分の異なるビット深度に従って、ルマ及びクロマ成分について異なるクリッピングレベルが適用されてもよいが、全ての成分について同じ可能なクリッピングレベルのセットが提供される。この手法は、ビデオのRGBコーディングにも一貫したクリッピングを提供する。
可能なクリッピングレベルのセットは予め定義されてもよく、或いは、1つ以上の予め定義された公式に従って決定されてもよい。可能なクリッピングレベルのセットは、テーブル、特にルックアップテーブル(LUT, look-up table)の形式で予め定義されてもよい。可能なクリッピングレベルのセット、特にLUTは、1つ以上のパラメータ公式の結果として決定されてもよい。言い換えると、可能なクリッピング値のセットを決定するために、パラメータを有する1つ以上の公式が使用されてもよい。パラメータは、ビット深度及びインデックスを含んでもよい。パラメータの変化を通じて、可能なクリッピング値のセットは、テーブルの行及び列を示すパラメータを有するテーブルの形式で決定されてもよい。
本開示は、フィルタリングプロセス中に適応クリッピング動作が適用されるVVCテストモデル5.0(VTM5.0, VVC Test Model 5.0)に採用される非線形適応ループフィルタの簡略化を更に提供する。最悪の場合のシナリオでは、非線形適応ループフィルタは、フィルタリングサンプルと隣接サンプルとの間のクリッピングされた差の和に等しい(BitDepth+3)ビット値による8ビットフィルタ係数の12個の乗算を必要とする。
本開示の実施形態による方法は、クリッピング値の計算の公式を修正し、加算後の乗算演算対象のビット深度を保証するように二次クリッピングを適用する。当該方法は、最悪の場合のシナリオにおける12個の乗算のそれぞれについて、8×(BitDepth+3)から8×(BitDepth+1)に乗算ビット深度の2ビットの節約を可能にする。上記のように、ルマ及びクロマ成分について同じクリッピングレベルの式/公式が計算を統一するために使用されてもよい。簡略化は、無視できる性能変化、すなわち、全イントラ(AI, All-Intra)及び対応してランダムアクセス(RA, Random-Access)構成において0.00%/-0.02%/-0.01%及び0.02%/-0.04%/-0.04%(Y/Cb/Cr)を示す。
本開示は、適応ループフィルタ(ALF, adaptive loop filter)の非線形部分の簡略化のための3つの態様を広く提供する。
1.クリッピングレベルの公式を修正して、クリッピングされた差が11ビットの範囲にあることを確保する。
2.二次クリッピングを適用して、クリッピングされた差の和が依然として11ビットの範囲にあることを確保する。
3.ルマ及びクロマクリッピング値の計算に、同じ可能なクリッピングレベルのセット、特に同じ公式を使用する。
1.クリッピングレベルの公式を修正して、クリッピングされた差が11ビットの範囲にあることを確保する。
2.二次クリッピングを適用して、クリッピングされた差の和が依然として11ビットの範囲にあることを確保する。
3.ルマ及びクロマクリッピング値の計算に、同じ可能なクリッピングレベルのセット、特に同じ公式を使用する。
これらの修正は、ハードウェア正方形領域を節約する12個の乗算のそれぞれについて、フィルタリング乗算ビット深度を8×(BitDepth+3)から8×(BitDepth+1)に低減することを可能にする。
態様1:クリッピング値の計算の公式を修正する
本開示の第1の態様として、Lim(i,j)の負及び正の値によるクリッピングの後の出力が11ビットの範囲(10ビットの内部BitDepthの場合)にあることを確保するために、クリッピング値の計算の公式を修正することが提案される。ルマ及びクロマ成分についてのクリッピングレベルのための例示的な公式のセットは、以下の通りでもよい。
当該公式によれば、Idx=0で最大クリッピングレベルが達成される。BitDepthLuma=10であると仮定すると、最大クリッピング値はLim(i,j)=2BitDepthLuma-1=210-1=1023である。これは正の値について10ビットに適合し、負のクリッピング値も考慮される場合には11ビットを必要とする。
本開示の第1の態様として、Lim(i,j)の負及び正の値によるクリッピングの後の出力が11ビットの範囲(10ビットの内部BitDepthの場合)にあることを確保するために、クリッピング値の計算の公式を修正することが提案される。ルマ及びクロマ成分についてのクリッピングレベルのための例示的な公式のセットは、以下の通りでもよい。
Idxについて、他の値、特に分数値が可能である。
VVC仕様のテキストにおいて、以下の修正が実現されてもよい。
特に以下により詳細に説明するような異なる公式に基づいて、代替の実現方式も可能である。2つのパラメータBitDepth及びIdxについての可能なクリッピングレベルのセットは、テーブルの形式で提供されてもよい。BitDepthの異なる値は、テーブル内の異なる行に関連付けられてもよい。Idxの異なる値は、テーブル内の異なる列に関連付けられてもよい。本開示に記載の公式のうち1つを使用して、そのエントリの計算に基づいてテーブルを決定することに代えて、テーブルは、以下にも記載されるように、予め定義されてもよい。
当該修正は、フィルタリング乗算ビット深度の1ビットを節約する。
態様2:二次クリッピング
第2の態様によれば、フィルタリングサンプル、すなわち、フィルタリングされるべきサンプルと、隣接サンプルとの間のクリッピングされた差の和の二次クリッピングを追加して、クリッピングされた差の和が依然として11ビットの範囲(10ビットの内部BitDepthの場合)にあることを確保することが提案される。
ここで、Thrは二次クリッピングについてのクリッピングレベルである。
第2の態様によれば、フィルタリングサンプル、すなわち、フィルタリングされるべきサンプルと、隣接サンプルとの間のクリッピングされた差の和の二次クリッピングを追加して、クリッピングされた差の和が依然として11ビットの範囲(10ビットの内部BitDepthの場合)にあることを確保することが提案される。
上記の式を実現するVVC仕様の可能な修正は、以下の通りでもよい。
ここで、ThrLはルマ成分について二次クリッピングについてのクリッピングレベルを示す。
また、クロマ成分について、以下の通りである。
この修正は、フィルタリング乗算ビット深度の1ビットを更に節約する。
態様3:ルマ及びクロマクリッピング値の計算に同じ公式を使用する
第3の態様によれば、ルマ及びクロマの双方について、クリッピング値の計算に同じ公式を使用することが提案される。
第3の態様によれば、ルマ及びクロマの双方について、クリッピング値の計算に同じ公式を使用することが提案される。
VVC仕様において以下の変更が実現されてもよい。
図６は、最新技術に関するクリッピングレベルにおける上記の例示的な変更を示す概略図である。本開示のこの態様によるルマ及びクロマ成分についてのクリッピングレベルAlfClipL[adaptation_parameter_set_id][filtIdx][j]及びAlfClipC[adaptation_parameter_set_id][j]は、同じ公式を使用して決定され、ビット深度(BitDepthY及びBitDepthC)及びクリッピングインデックス(alf_luma_clip_idx及びalf_chroma_clip_idx)は、可能なクリッピングレベルを決定するパラメータである。したがって、可能なクリッピングレベルのセットは、ルックアップテーブルのようなテーブルの形式で提供されてもよく、テーブル内のエントリは、上記の公式に従って生成されてもよい。クリッピングインデックス(alf_luma_clip_idx及びalf_chroma_clip_idx)は、sfIdx及びjに依存し、したがって、それぞれの隣接ピクセルのオフセット(i,j)に依存する。クリッピングレベル、特に可能なクリッピングレベルのセットを決定するために、別の公式が使用されてもよいことが理解される。特に、上記のように態様1を実現する1の減算が省略されてもよい。
図７は、数学用語において最新技術に関するクリッピングレベルにおける上記の例示的な変更を示す概略図である。ルマ及びクロマ成分についてクリッピングレベルの決定のために、同じ公式が使用される。その結果、単一の可能なクリッピングレベルのセットのみがルマ及びクロマ成分の双方に使用され、それぞれのビット深度及びクリッピングインデックスが、それぞれ適用されるクリッピングレベルを指すパラメータとして使用されてもよい。言い換えると、実際に適用されるクリッピングレベルは、それぞれの成分のビット深度及びインデックスに依存し、それ自体が隣接ピクセルのオフセット(i,j)に依存してもよいが、クリッピングレベルは、成分の可能なビット深度の範囲及びインデックスの範囲により定義される同じ可能なクリッピングレベルのセットから得られる。したがって、同一のビット深度及び隣接ピクセルについて、同じクリッピングレベルがルマ及びクロマ成分に適用される。ルマ及びクロマ成分について同じクリッピングレベルのセットを使用することは、フィルタリングプロセスをRGBコーディングと一致させる。
一般的に、ルマ及びクロマ成分について、単一の可能なクリッピングレベルのセットが使用されてもよい。クリッピングレベルは、上記のようにルマ及びクロマ成分について同じ公式を使用して決定されてもよい。計算は、可能なクリッピングレベルのセットを決定するパラメータを表すBitDepthLuma/BitDepthChroma及びIdxによって可能なクリッピングレベルのセットを生じる。当該セットは2つのパラメータに基づいて決定されるので、これはテーブルにより表されることができる。上記のように、テーブルの行はBitDepthLuma/BitDepthChromaの異なる値に関連付けられてもよいが、列はインデックスIdxの異なる値に関連付けられてもよい。
テーブル内のエントリは、BitDepthLuma/BitDepthChroma及びIdxについての許容値のセットから始めて、上記の公式又は下記に説明する公式のいずれかに従って計算されてもよい。代替として、テーブルは予め定義されてもよい。
第3の態様は、ルマ及びクロマ成分について、クリッピング値又はクリッピングレベル、特にこれらの計算の統一化のため、更なる簡略化をもたらす。
この態様(ルマ/クロマの調和)に従って、他の実現方式では、公式の代わりにテーブルが使用されてもよい。これはまた、以下に説明するように、第1の態様(クリッピング公式における10ビットのビット深度)と組み合わされてもよい。
本開示の実施形態のいくつかによるクリッピングレベルの計算における浮動小数点演算を回避するために、テーブル定義が代わりに使用されてもよく、これは、ビット深度8、9、10、...16及び4つのクリッピングインデックスIdxについての例示的な実施形態において、整数出力(4×9=36エントリ)を指定する。第3の態様によれば、ルマ及びクロマ成分に同じテーブルが使用されてもよく、特に、以下のルマ公式を使用して計算されてもよい。
VTM-5.0では、適応ループフィルタのクリッピング値は浮動小数点算術演算で計算される。本開示では、クリッピング値の計算は、整数演算を使用することにより簡略化され得る。VTM-5.0と比較して、開示の方法は、共通のテスト条件下で、同様のコーディング効率及び符号化/復号時間を達成する。
既に上記に記載したように、インループフィルタ320、220は、フィルタリングされた再構成フレームを生成するために、復号された再構成ビデオストリームから再構成フレームを処理するように構成される。
図８は、本開示の実施形態によるビデオ符号化/復号の方法のフローチャートを示す。図示の方法は、以下のように、ビデオストリームの再構成フレームに対して適応ループフィルタリングを実行することにより、インループフィルタリングを実行する。ステップ1310において、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差が決定される。ステップ1320において、決定された差は、それぞれのクリッピングレベルに従ってクリッピングされる。ステップ1330において、クリッピングされた差の加重和が形成される。最後にステップ1340において、ピクセルのフィルタリングされたそれぞれの成分を決定するために、加重和が、ピクセルのルマ及びクロマ成分のうち少なくとも1つに加算される。それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じ可能なクリッピングレベルのセットから選択される。
図９は、本開示の実施形態による符号化/復号装置の例を示すブロック図を示す。符号化/復号装置20/30は、再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成するように構成された減算ユニット1410と、それぞれのクリッピングレベルに従って差をクリッピングするように構成されたクリッピングユニット1420と、クリッピングされた差の加重和を形成するように構成された第1の加算ユニット1430と、ピクセルのルマ及びクロマ成分のうち少なくとも1つに加重和を加算して、ピクセルのフィルタリングされたそれぞれの成分を決定するように構成された第2の加算ユニット1440とを含み、それぞれのクリッピングレベルは、ルマ及びクロマ成分について同じ可能なクリッピングレベルのセットから選択される。
加算ユニット1430及び1440、減算ユニット1410、並びにクリッピングユニット1420は、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせで実現されてもよい。ソフトウェアで実現される場合、機能は、コンピュータ読み取り可能媒体に記憶されてもよく、或いは、1つ以上の命令又はコードとして通信媒体上で送信され、ハードウェアベースの処理ユニットにより実行されてもよい。命令は、1つ以上のデジタルシグナルプロセッサ(DSP, digital signal processor)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC, application specific integrated circuit)、フィールドプログラマブルロジックアレイ(FPGA, field programmable logic array)又は他の等価な集積或いはディスクリート論理回路のような1つ以上のプロセッサにより実行されてもよい。したがって、ここで使用される「プロセッサ」という用語は、上記の構造、又はここに記載の技術の実現に適したいずれかの他の構造のいずれかを示してもよい。さらに、いくつかの態様では、ここに記載の機能は、符号化及び復号のために構成された専用ハードウェア及び/又はソフトウェアモジュール内に提供されてもよく、或いは、組み合わされたコーデックに組み込まれてもよい。また、当該技術は、1つ以上の回路又は論理素子で完全に実現されてもよい。
本開示は、上記の態様のうち1つ以上に従って非線形ALFの以下の実現方式を提供する。
以下の実施形態及び実現方式では、インデックスIdx(i,j)の範囲についての制限値mは3に設定できる。
第1の実現方式によれば、再構成フレーム(それぞれの再構成フレーム等)は、ブロック(スーパーピクセル)のセットに分割され、各ブロックは、適応ループフィルタによりフィルタリングされ、フィルタリングされた再構成フレームの各ピクセルが、以下の式、すなわち、
に従って、生成されたフィルタリング後のピクセルの位置の周囲の再構成フレームからのピクセルの接続領域内のいくつかのピクセルの加重和となり、ここで、Idx(i,j)=0、1、2又はmのように、Idx(i,j)は0からmまでの正の値の範囲から選択でき、mは正の整数値である。
ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値である。O’(x,y)は再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)はフィルタリングされたピクセルに対してオフセット(i,j)を有するピクセル位置に対応するnビット整数のフィルタ係数を示し、Lim(i,j)は正のkビットクリッピング値であり、k<=BitDepthであり、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1であり、インデックスIdx(i,j)は0からmの正の値の範囲から選択でき、mは正の整数値である。クリッピングレベルについての上記の式において整数値の指数を生成するために、浮動小数点値又は分数がIdxに使用されてもよい。
第2の実現方式によれば、クリッピングレベルLim(i,j)は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
により決定でき、ここで、Idx(i,j)=0、1、2又はmのように、Idx(i,j)は0からmまでの正の値の範囲から選択でき、mは正の整数値である。
クリッピングレベルについての上記の式において整数値の指数を生成するために、浮動小数点値又は分数がIdxに使用されてもよい。
第3の実現方式によれば、ルマ成分フィルタリングについて、BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023であり、BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第4の実現方式によれば、クロマ成分フィルタリングについて、BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023であり、BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第5の実現方式によれば、クリッピングレベルLim(i,j)は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
により決定でき、ここで、Idx(i,j)=0、1、2又はmのように、Idx(i,j)は0からmまでの正の値の範囲から選択でき、mは正の整数値である。
この実現方式では、クリッピングレベルLim(i,j)は正のkビットのクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaである。
クリッピングレベルについての上記の式において整数値の指数を生成するために、浮動小数点値又は分数がIdxに使用されてもよい。
第6の実現方式によれば、クリッピングレベルLim(i,j)は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
により決定でき、ここで、Idx(i,j)=1、2又はmのように、Idx(i,j)は1からmまでの正の値の範囲から選択でき、mは正の整数値である。
クリッピングレベルについての上記の式において整数値の指数を生成するために、浮動小数点値又は分数がIdxに使用されてもよい。
第7の実現方式によれば、クリッピングレベルLim(i,j)は、ルマ及びクロマ成分について以下の公式、すなわち、
により決定でき、ここで、Idx(i,j)=1、2又はmのように、Idx(i,j)は1からmまでの正の値の範囲から選択でき、mは正の整数値であり、例えば、BitDepthはBitDepthLuma又はBitDepthChromaとすることができる。
クリッピングレベルについての上記の式において整数値の指数を生成するために、浮動小数点値又は分数がIdxに使用されてもよい。
第5～第7の実現方式は、単一の可能なクリッピングレベルLim(i,j)のセットを提供し、そこから、オフセット(i,j)を有するそれぞれの隣接ピクセルについてのクリッピングレベルが、BitDepthLuma/BitDepthChromaの値及びIdx(i,j)に従って決定される。ルマ及びクロマ成分の双方について、1つのクリッピングレベルのセットのみが提供され、それにより、ALFプロセスを簡略化する。
第8の実現方式によれば、可能なクリッピングレベルLim(i,j)のセットは、第5～第7の実現方式のうちいずれか1つの公式に従ってテーブル表現により決定できる。
本開示では、ルマ及びクロマ成分フィルタリングのためのクリッピングレベルLim(i,j)は、テーブル表現を有してもよい。
本開示では、以下の2つのテーブル表現の例がここで提供され、クリッピングレベルLim(i,j)のテーブル表現は、以下の2つのテーブル表現の例を含んでもよいが、これらに限定されない点に留意する。
一例では、クリッピングレベルLim(i,j)は、テーブル表現を使用することにより決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
他の例では、クリッピングレベルLim(i,j)は、他のテーブル表現を使用することにより決定されてもよい。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
第9の実現方式によれば、再構成フレームの上記のフィルタリング方法は、エンコーダ及びデコーダ側において、ルマ及びクロマ成分について使用できる。
したがって、ルマ成分についての最大クリッピングレベルLim(i,j)<=2BitDepthLuma-1及びクロマ成分についてのLim(i,j)<=2BitDepthChroma-1を有する記載のインループフィルタは、ルマ成分について、最新技術の解決策における(BitDepthLuma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、フィルタリングピクセルとピクセルの接続領域内の隣接ピクセルとの間の2つのクリッピングされた差の和の(BitDepthLuma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要としてもよい。クロマ成分について、インループフィルタは、最新技術の解決策における(BitDepthChroma+3)ビット値によるnビットフィルタ係数のN個の乗算の代わりに、フィルタリングピクセルと接続領域内の隣接ピクセルとの間の2つのクリッピングされた差の和の(BitDepthChroma+2)ビット値によるnビットフィルタ係数のN個の乗算を必要としてもよい。当該技術分野にあるように、接続領域は、ルマ及びクロマ成分のフィルタリングについて異なってもよい。
いくつかの特定の実施形態が以下に概説される。以下の実施形態では、再構成フレームは、適応ループフィルタ(非線形ALF等)によりフィルタリングされる。
第1の実施形態によれば、本開示は、ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置に関し、インループフィルタリング装置は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタ装置は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、フィルタリングピクセル(I(x,y)等)と、フィルタリングピクセルと隣接ピクセルとの間のクリッピングされた差の加重和(Σ(i,j)≠(0,0)w(i,j)×{Clip[Δ(x,y,i,j),Lim(i,j)]+Clip[Δ(x,y,-i,-j),Lim(i,j)]}等)との和であるか、或いは、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、当該和に基づく。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、フィルタリングピクセル(I(x,y)等)と、フィルタリングピクセルと隣接ピクセルとの間のクリッピングされた差の加重和(Σ(i,j)≠(0,0)w(i,j)×{Clip[Δ(x,y,i,j),Lim(i,j)]+Clip[Δ(x,y,-i,-j),Lim(i,j)]}等)との和であるか、或いは、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、当該和に基づく。
クリッピングレベルは2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
特に、フィルタリングされたピクセルは、以下の式、すなわち、
に従って取得されてもよく、ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、Lim(i,j)は正のクリッピング値(例えば、上記の式におけるLim(i,j)=b)であり、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1である。
特に、クリッピングレベル(又はクリッピング値)Lim(i,j)は、正のkビットクリッピング値でもよく、k<=BitDepthである。
ルマ及びクロマ成分フィルタリングのためのクリッピングレベルLim(i,j)は、特にルックアップテーブル(LUT, look-up table)の形式のテーブル表現を有してもよい。
ルマ及びクロマ成分フィルタリングのためのクリッピングレベルLim(i,j)は、特にルックアップテーブル(LUT, look-up table)の形式のテーブル表現から取得されてもよく或いはテーブル表現により決定されてもよい。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。一例によれば、Idx(i,j)=0、1、2又はmである。この実現方式では、クリッピングレベルLim(i,j)は正のkビットクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0から3の非負の値の範囲から選択される。実現方式によれば、Idx(i,j)=0、1、2又は3である。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について同じ公式により決定されてもよく、或いは、同じクリッピングレベルLim(i,j)が、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分に適用されてもよい。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について以下の同じ公式、すなわち、
によって決定されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について以下の同じ公式、すなわち、
によって決定されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第1の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
第1の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、及び/又は
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、及び/又は
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第1の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第1の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
第1の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよい。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について同じ可能な値のセットから選択されてもよい。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。一例によれば、Idx(i,j)=0、1、2又はmである。
この実現方式では、クリッピングレベルLim(i,j)は正のkビットクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaである。
第1の実施形態の実現方式によれば、クリッピングレベル(又はクリッピング値)Lim(i,j)は、再構成フレームのルマ及びクロマ成分について以下の同じテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
第1の実施形態の実現方式によれば、クリッピングレベル(又はクリッピング値)Lim(i,j)は、再構成フレームのルマ及びクロマ成分について以下の同じテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
第1実施形態の実現方式によれば、ビデオ符号化装置又は復号装置において使用するために、上記のインループフィルタは、現在の再構成ブロックを処理するように構成されてもよく、現在の再構成ブロックは、再構成フレームからの複数のピクセルを含む。
第1の実施形態の実現方式によれば、インループフィルタは、再構成フレームのルマ及びクロマ成分に適用されてもよい。
第1の実施形態の実現方式によれば、フィルタリングされた再構成フレームは、送信又は記憶のためにビデオ信号についての符号化ビデオデータを生成するために使用可能でもよく、或いは、ディスプレイデバイスにおける表示のためにビデオ信号を復号するために使用可能でもよい。
第1の実施形態の一態様によれば、入力ビデオストリームからの現在のフレームを符号化するための符号化装置が提供され、符号化装置は、第1の実施形態の実現方式のうちいずれか1つによるインループフィルタ装置を含む。
第1の実施形態の更なる態様によれば、符号化フレームを復号するための復号装置が提供され、復号装置は、第1の実施形態の実現方式のうちいずれか1つによるインループフィルタ装置を含む。
第1の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、同じテーブル表現がルマ及びクロマ成分に使用されてもよい。
第1の実施形態の実現方式によれば、クリッピングレベルは、2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
第2の実施形態によれば、本開示は、フィルタリングされた再構成フレームの生成のために復号ビデオストリームから再構成フレームを処理するためのインループフィルタリング方法に関し、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタリング方法は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングすることを含み、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、フィルタリングピクセルと、フィルタリングピクセルと隣接ピクセルとの間のクリッピングされた差の加重和との和であるか、或いは、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、当該和に基づく。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングすることを含み、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、フィルタリングピクセルと、フィルタリングピクセルと隣接ピクセルとの間のクリッピングされた差の加重和との和であるか、或いは、フィルタリングされた再構成フレームのフィルタリングされたピクセルは、当該和に基づく。
クリッピングレベルは2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
特に、当該方法は、現在の再構成ブロックを処理することを含んでもよく、現在の再構成ブロックは、再構成フレームからの複数のピクセルを含む。
特に、フィルタリングされたピクセルは、以下の式、すなわち、
に従って取得されてもよく、ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、Lim(i,j)は正のクリッピング値である。1つの特定の実現方式によれば、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1である。
一例では、ピクセル輝度又はピクセル値は、スクリーン又はディスプレイ上のピクセルの輝度に対応する値でもよい。言い換えると、ピクセル輝度は、ピクセルに対応する値である。
一例では、ルマサンプルは、指定のルマサンプルのピクチャ座標である(x,y)のようなピクチャ座標を有する。
一例では、クロマサンプルは、指定のクロマサンプルのピクチャ座標である(x,y)のようなピクチャ座標を有する。
フィルタリングプロセスの前又はその間に、ピクセル(I(x,y)等)はフィルタリング対象のピクセル又はフィルタリングピクセルとして理解され、フィルタリングプロセスが実行された後に、ピクセル(I(x,y)等)の値は変更されてもよく、フィルタリングされたピクセル(O’(x,y)等)として理解されてもよいことが理解できる。
特に、クリッピングレベルLim(i,j)は、正のkビットクリッピング値でもよく、k<=BitDepthである。
ルマ及びクロマ成分フィルタリングのためのクリッピングレベルLim(i,j)は、特にルックアップテーブル(LUT, look-up table)の形式のテーブル表現を有してもよい。
ルマ及びクロマ成分フィルタリングのためのクリッピングレベルLim(i,j)は、特にルックアップテーブル(LUT, look-up table)の形式のテーブル表現から取得されてもよく或いはテーブル表現により決定されてもよい。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、特に以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、特に以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。一例によれば、Idx(i,j)=0、1、2又はmである。
この実現方式では、クリッピングレベルLim(i,j)は正のkビットクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、特に以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第2の実施形態の実現方式によれば、テーブル表現(テーブル又はLUTテーブル等)のクリッピングレベルLim(i,j)又はクリッピング値Lim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下の公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0から3の非負の値の範囲から選択される。実現方式によれば、Idx(i,j)=0、1、2又は3である。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について同じ公式により決定されてもよく、或いは、同じクリッピングレベルLim(i,j)が、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分に適用されてもよい。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について以下の同じ公式、すなわち、
によって決定されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について以下の同じ公式、すなわち、
によって決定されてもよく、ここで、BitDepthはルマ又はクロマビット深度を表し、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第2の実施形態の実現方式によれば、クリッピングレベル(又はクリッピング値)Lim(i,j)は、再構成フレームのルマ及びクロマ成分について以下の同じテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
第2の実施形態の実現方式によれば、クリッピングレベル(又はクリッピング値)Lim(i,j)は、再構成フレームのルマ及びクロマ成分について以下の同じテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
第2の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
第2の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第2の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023でもよい、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255でもよい。
第2の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよい。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、再構成フレームのフィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について、以下の同じ公式、すなわち、
により決定されてもよく、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。一例によれば、Idx(i,j)=0、1、2又はmである。
この実現方式では、クリッピングレベルLim(i,j)は正のkビットクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaである。
第2の実施形態の実現方式によれば、丸め手順が以下の式、すなわち、
に従ってクリッピング値Lim(i,j)に適用されてもよく、ここで、sign(x)はxの符号であり、abs(x)はxのモジュールであり、floor(y)はyよりも大きくない最大の整数値である。
第2の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現から取得されてもよく或いはテーブル表現により決定されてもよく、同じテーブル表現がルマ及びクロマ成分に使用されてもよい。
第2の実施形態の実現方式によれば、クリッピングレベルは、2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
第3の実施形態によれば、本開示は、ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置に関し、インループフィルタリング装置は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタ装置は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の式、すなわち、
に従って取得され、ここで、クリッピングレベル(又はクリッピング値)Lim(i,j)又はテーブル表現(テーブル又はLUTテーブル等)のクリッピングレベル(又はクリッピング値)Lim(i,j)は、正のkビットクリッピング値であり、(i,j)はフィルタリングピクセルの座標に関するピクセル座標のオフセットであり、特にk<=BitDepthである。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の式、すなわち、
第3の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、フィルタリングピクセル(I(x,y)等)のルマ及びクロマ成分について以下の同じ公式、すなわち、
により決定されてもよく、ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、Lim(i,j)は正のkビットクリッピング値であり、k<=BitDepth+1であり、ルマ成分についてLim(i,j)<=2BitDepthLumaであり、クロマ成分についてLim(i,j)<=2BitDepthChromaであり、インデックスIdx(i,j)は0からmの正の値の範囲から選択でき、mは正の整数値である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第4の実施形態によれば、本開示は、ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置に関し、インループフィルタリング装置は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタ装置は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の式、すなわち、
に従って取得され、ここで、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、同じクリッピングレベル(又はクリッピング値)Lim(i,j)が、再構成フレームのピクセル(I(x,y)等)のルマ成分及びクロマ成分に適用される。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の式、すなわち、
同じクリッピングレベル(又はクリッピング値)Lim(i,j)が、現在のピクセルのルマ成分及びクロマ成分に適用されてもよい。同じクリッピングレベルテーブルがルマ及びクロマ成分フィルタリングに使用されてもよい。
第4の実施形態の実現方式によれば、ルマ成分及びクロマ成分についての同じクリッピングレベル(又はクリッピング値)は、再構成フレームのピクセル(I(x,y)等)のルマ成分及びクロマ成分のビット深度と、clipIdxとに基づいて、同じテーブルから決定されてもよく、clipIdxは、可能なクリッピングレベルからどのクリッピングレベルが現在のフィルタにおける現在のタップに使用できるかを決定するために使用されるシグナリングエレメントでもよい。
第4の実施形態の実現方式によれば、ルマ成分及びクロマ成分についてのクリッピングレベル(又はクリッピング値)は、以下のように定義される単一のLUTテーブルから決定されてもよい。
clipIdx=0の列の値は、Idx(i,j)=0のクリッピングレベルLim(i,j)についての以下の公式、すなわち、
の結果に対応し、ここで、インデックスIdx(i,j)は、0からmの非負の値の範囲から選択され、mは0以上である。実現方式によれば、Idx(i,j)=0、1、2又はmである。
第4の実施形態の実現方式によれば、ルマ成分及びクロマ成分についてのクリッピングレベル(又はクリッピング値)は、以下のように定義される単一のLUTテーブルから決定されてもよい。
第4の実施形態の実現方式によれば、ルマ成分及びクロマ成分についてのクリッピングレベル(又はクリッピング値)は、以下のように定義される単一のLUTテーブルから決定されてもよい。
第5の実施形態によれば、本開示は、フィルタリングされた再構成フレームの生成のために復号ビデオストリームから再構成フレームを処理するためのインループフィルタリング方法に関し、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタリング方法は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングすることを含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の公式、すなわち、
に基づき、クリッピングレベル(又はクリッピング値)Lim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)により取得又は決定される。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングすることを含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の公式、すなわち、
第5の実施形態の実現方式によれば、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、Lim(I,j)は正又は非負のクリッピング値(例えば、テーブル内のLim(i,j)=b)である。
第5の実施形態の実現方式によれば、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1である。
第5の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第5の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きく、BitDepthはBitDepthLuma又はBitDepthChromaを表す。実現方式によれば、Idx(i,j)=1、2又はmである。
第5の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、同じテーブル表現がルマ及びクロマ成分に使用されてもよい。
第5の実施形態の実現方式によれば、クリッピングレベルは、2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
第5の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下のテーブル表現から取得されてもよく或いは以下のテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
第5の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下のテーブル表現から取得されてもよく或いは以下のテーブル表現により決定されてもよい。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
第5の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第5の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第6の実施形態によれば、本開示は、ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置に関し、インループフィルタリング装置は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、インループフィルタ装置は、
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の公式、すなわち、
に基づき、クリッピングレベル(又はクリッピング値)Lim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されるか或いはテーブル表現により決定される。
再構成フレームからのピクセル(すなわち、各ピクセルのようなフィルタリングピクセル)をフィルタリングするように構成された1つ以上の処理回路を含み、フィルタリングされた再構成フレームのフィルタリングされたピクセル(各ピクセル等)は、以下の公式、すなわち、
第6の実施形態の実現方式によれば、I(x+i,y+j)は、再構成フレーム内の座標(x+i,y+j)を有する点におけるピクセル値(又はピクセル輝度)に対応するルマ成分についての正のBitDepthLumaビット値又はクロマ成分についてのBitDepthChromaビット値であり、O’(x,y)は、再構成フレーム内の座標(x,y)を有するフィルタリングされたピクセルであり、w(i,j)は、フィルタリングされたピクセルに関してオフセット(i,j)を有するピクセル位置に対応するnビット整数フィルタ係数を示し、Lim(I,j)は正又は非負のクリッピング値(例えば、テーブル内のLim(i,j)=b)である。
第6の実施形態の実現方式によれば、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1である。
第6の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の同じ公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きい。実現方式によれば、Idx(i,j)=1、2又はmである。
第6の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、テーブル表現は、ルマ及びクロマ成分について以下の公式、すなわち、
に従って取得又は生成されてもよく、ここで、インデックスIdx(i,j)は、1からmの非負の値の範囲から選択され、mは0よりも大きく、BitDepthはBitDepthLuma又はBitDepthChromaを表す。実現方式によれば、Idx(i,j)=1、2又はmである。
第6の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、テーブル表現(テーブル又はLUTテーブル等)から取得されてもよく或いはテーブル表現により決定されてもよく、同じテーブル表現がルマ及びクロマ成分に使用されてもよい。
第6の実施形態の実現方式によれば、クリッピングレベルは、2BitDepth-1以下でもよく、BitDepthは再構成フレームのピクセル(I(x,y)等)のフィルタリング成分(ルマ成分又は2つのクロマ成分のうち1つ)のビット深度であるか、或いは、BitDepthは再構成フレームのそれぞれの成分のサンプル(ピクセル)内の最大ビット数である。
第6の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下のテーブル表現から取得されてもよく或いは以下のテーブル表現により決定されてもよい。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
idx=Idx(i,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,63,15,3]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,107,22,4]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,180,31,5]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,303,44,6]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,511,63,7]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,860,90,9]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1447,127,10]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2434,180,12]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4095,255,15]である。
第6の実施形態の実現方式によれば、クリッピングレベルLim(i,j)は、以下のテーブル表現から取得されてもよく或いは以下のテーブル表現により決定されてもよい。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
idx=Idx(I,j)=0、1、2又は3である場合、
BitDepthLumaが8に等しい場合、クリッピングレベルLim(idx)=[255,64,16,4]である、
BitDepthLumaが9に等しい場合、クリッピングレベルLim(idx)=[511,108,23,5]である、
BitDepthLumaが10に等しい場合、クリッピングレベルLim(idx)=[1023,181,32,6]である、
BitDepthLumaが11に等しい場合、クリッピングレベルLim(idx)=[2047,304,45,7]である、
BitDepthLumaが12に等しい場合、クリッピングレベルLim(idx)=[4095,512,64,8]である、
BitDepthLumaが13に等しい場合、クリッピングレベルLim(idx)=[8191,861,91,10]である、
BitDepthLumaが14に等しい場合、クリッピングレベルLim(idx)=[16383,1448,128,11]である、
BitDepthLumaが15に等しい場合、クリッピングレベルLim(idx)=[32767,2435,181,13]である、及び/又は
BitDepthLumaが16に等しい場合、クリッピングレベルLim(idx)=[65535,4096,256,16]である。
第6の実施形態の実現方式によれば、ルマ成分フィルタリングについて、
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthLumaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthLumaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthLumaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthLumaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthLumaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthLumaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthLumaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthLumaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthLumaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第6の実施形態の実現方式によれば、クロマ成分フィルタリングについて、
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
BitDepthChromaが16に等しい場合、最大クリッピングレベルはLim(i,j)=65535である、
BitDepthChromaが15に等しい場合、最大クリッピングレベルはLim(i,j)=32767である、
BitDepthChromaが14に等しい場合、最大クリッピングレベルはLim(i,j)=16383である、
BitDepthChromaが13に等しい場合、最大クリッピングレベルはLim(i,j)=8191である、
BitDepthChromaが12に等しい場合、最大クリッピングレベルはLim(i,j)=4095である、
BitDepthChromaが11に等しい場合、最大クリッピングレベルはLim(i,j)=2047である、
BitDepthChromaが10に等しい場合、最大クリッピングレベルはLim(i,j)=1023である、
BitDepthChromaが9に等しい場合、最大クリッピングレベルはLim(i,j)=511である、及び/又は
BitDepthChromaが8に等しい場合、最大クリッピングレベルはLim(i,j)=255である。
第7の実施形態によれば、本開示は、コンピュータ又はプロセッサ上で実行されたとき、第2及び第5の実施形態による方法のうちいずれか1つを実行するためのプログラムコードを含むコンピュータプログラム製品に関する。
第8の実施形態によれば、本開示は、1つ以上のプロセッサと、プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的なコンピュータ読み取り可能記憶媒体とを含むデコーダに関し、プログラミングは、プロセッサにより実行されたとき、第2及び第5の実施形態による方法のうちいずれか1つを実行するようにデコーダを構成する。
第9の実施形態によれば、本開示は、1つ以上のプロセッサと、プロセッサに結合され、プロセッサによる実行のためのプログラミングを記憶する非一時的なコンピュータ読み取り可能記憶媒体とを含むエンコーダに関し、プログラミングは、プロセッサにより実行されたとき、第2及び第5の実施形態による方法のうちいずれか1つを実行するようにエンコーダを構成する。
第10の実施形態によれば、本開示は、コンピュータデバイスによって実行されたとき、コンピュータデバイスに第2及び第5の実施形態による方法のうちいずれか1つを実行させるプログラムコードを搬送する非一時的なコンピュータ読み取り可能媒体に関する。
以下は、上記の実施形態に示す符号化方法及び復号方法の適用と、これらを使用するシステムとの説明である。
図１０は、コンテンツ配信サービスを実現するためのコンテンツ供給システム3100を示すブロック図である。このコンテンツ供給システム3100は、キャプチャデバイス3102、端末デバイス3106を含み、任意選択でディスプレイ3126を含む。キャプチャデバイス3102は、通信リンク3104上で端末デバイス3106と通信する。通信リンクは、上記の通信チャネル13を含んでもよい。通信リンク3104は、WIFI、イーサネット、ケーブル、無線(3G/4G/5G)、USB又はこれらのいずれかの種類の組み合わせ等を含むが、これらに限定されない。
キャプチャデバイス3102は、データを生成し、上記の実施形態に示すような符号化方法によりデータを符号化してもよい。代替として、キャプチャデバイス3102は、データをストリーミングサーバ(図面に図示せず)に配信してもよく、サーバは、データを符号化し、符号化データを端末デバイス3106に送信する。キャプチャデバイス3102は、カメラ、スマートフォン若しくはパッド、コンピュータ若しくはラップトップ、ビデオ会議システム、PDA、車載デバイス又はこれらのうちいずれかの組み合わせ等を含むが、これらに限定されない。例えば、キャプチャデバイス3102は、上記のようなソースデバイス12を含んでもよい。データがビデオを含むとき、キャプチャデバイス3102に含まれるビデオエンコーダ20は、実際に、ビデオ符号化処理を実行してもよい。データがオーディオ(すなわち、音声)を含むとき、キャプチャデバイス3102に含まれるオーディオエンコーダは、実際に、オーディオ符号化処理を実行してもよい。いくつかの実際のシナリオでは、キャプチャデバイス3102は、符号化ビデオ及びオーディオデータを、これらを一緒に多重化することにより配信する。他の実際のシナリオでは、例えば、ビデオ会議システムにおいて、符号化オーディオデータ及び符号化ビデオデータは多重化されない。キャプチャデバイス3102は、符号化オーディオデータ及び符号化ビデオデータを端末デバイス3106に別個に配信する。
コンテンツ供給システム3100では、端末デバイス310は、符号化データを受信して再生する。端末デバイス3106は、上記の符号化データを復号できるスマートフォン若しくはパッド3108、コンピュータ若しくはラップトップ3110、ネットワークビデオレコーダ(NVR, network video recorder)/デジタルビデオレコーダ(DVR, digital video recorder)3112、TV3114、セットトップボックス(STB, set top box)3116、ビデオ会議システム3118、ビデオ監視システム3120、パーソナルデジタルアシスタント(PDA, personal digital assistant)3122、車載デバイス3124又はこれらのうちいずれかの組合せ等のような、データ受信及び復元能力を有するデバイスでもよい。例えば、端末デバイス3106は、上記のような宛先デバイス14を含んでもよい。符号化データがビデオを含むとき、端末デバイスに含まれるビデオデコーダ30は、ビデオ復号を実行するように優先される。符号化データがオーディオを含むとき、端末デバイスに含まれるオーディオデコーダは、オーディオ復号処理を実行するように優先される。
自身のディスプレイを有する端末デバイス、例えば、スマートフォン若しくはパッド3108、コンピュータ若しくはラップトップ3110、ネットワークビデオレコーダ(NVR, network video recorder)/デジタルビデオデコーダ(DVR, digital video recorder)3112、TV3114、パーソナルデジタルアシスタント(PDA, personal digital assistant)3122又は車載デバイス3124では、端末デバイスは、復号データを自身のディスプレイに供給できる。ディスプレイを備えない端末デバイス、例えば、STB3116、ビデオ会議システム3118又はビデオ監視システム3120では、外部ディスプレイ3126が、復号データを受信して表示するために自身に接触される。
このシステム内の各デバイスが符号化又は復号を実行するとき、上記の実施形態において示すように、ピクチャ符号化デバイス又はピクチャ復号デバイスが使用できる。
図１１は、端末デバイス3106の例の構造を示す図である。端末デバイス3106がキャプチャデバイス3102からストリームを受信した後に、プロトコル処理ユニット3202は、ストリームの送信プロトコルを分析する。プロトコルは、リアルタイムストリーミングプロトコル(RTSP, Real Time Streaming Protocol)、ハイパーテキスト転送プロトコル(HTTP, Hyper Text Transfer Protocol)、HTTPライブストリーミングプロトコル(HLS, HTTP Live streaming protocol)、MPEG-DASH、リアルタイムトランスポートプロトコル(RTP, Real-time Transport protocol)、リアルタイムメッセージングプロトコル(RTMP, Real Time Messaging Protocol)又はいずれかの種類のこれらの組み合わせ等を含むが、これらに限定されない。
プロトコル処理ユニット3202がストリームを処理した後に、ストリームファイルが生成される。ファイルは、逆多重化ユニット3204に出力される。逆多重化ユニット3204は、多重化データを符号化オーディオデータ及び符号化ビデオデータに分離できる。上記のように、いくつかの実際のシナリオでは、例えば、ビデオ会議システムにおいて、符号化オーディオデータ及び符号化ビデオデータは多重化されない。この状況では、符号化データは、逆多重化ユニット3204を通過せずにビデオデコーダ3206及びオーディオデコーダ3208に送信される。
逆多重化処理を介して、ビデオエレメンタリストリーム(ES, elementary stream)、オーディオES及び任意選択のサブタイトルが生成される。上記の実施形態において説明したようなビデオデコーダ30を含むビデオデコーダ3206は、上記の実施形態において示すような復号方法によりビデオESを復号して、ビデオフレームを生成し、このデータを同期ユニット3212に供給する。オーディオデコーダ3208は、オーディオESを復号してオーディオフレームを生成し、このデータを同期ユニット3212に供給する。代替として、ビデオフレームは、同期ユニット3212に供給する前に、バッファ(図１１に図示せず)に記憶してもよい。同様に、オーディオフレームは、同期ユニット3212に供給する前に、バッファ(図１１に図示せず)に記憶してもよい。
同期ユニット3212は、ビデオフレーム及びオーディオフレームを同期させ、ビデオ/オーディオをビデオ/オーディオディスプレイ3214に供給する。例えば、同期ユニット3212は、ビデオ及びオーディオ情報の提示を同期させる。情報は、コーディングされたオーディオ及び視覚データの提示に関するタイムスタンプと、データストリーム自身の配信に関するタイムスタンプとを使用してシンタックス内にコーディングしてもよい。
サブタイトルがストリームに含まれる場合、サブタイトルデコーダ3210は、サブタイトルを復号し、これをビデオフレーム及びオーディオフレームと同期させ、ビデオ/オーディオ/サブタイトルをビデオ/オーディオ/サブタイトルディスプレイ3216に供給する。
本発明は、上記のシステムに限定されず、上記の実施形態におけるピクチャ符号化デバイス又はピクチャ復号デバイスのいずれかは、他のシステム、例えば車両システムに組み込まれることができる。
数学演算子
本願で使用される数学演算子は、Cプログラミング言語で使用されるものと同様である。しかし、整数除算及び算術シフト演算の結果は、より正確に定義され、指数計算及び実数値の除算のような更なる演算子が定義される。番号付け及び計数規則は、一般的に0から始まり、すなわち、「第1」は0番目と等価であり、「第2」は1番目と等価である、等である。
本願で使用される数学演算子は、Cプログラミング言語で使用されるものと同様である。しかし、整数除算及び算術シフト演算の結果は、より正確に定義され、指数計算及び実数値の除算のような更なる演算子が定義される。番号付け及び計数規則は、一般的に0から始まり、すなわち、「第1」は0番目と等価であり、「第2」は1番目と等価である、等である。
論理演算子
以下の論理演算子は以下のように定義される。
論理演算子
以下の論理演算子は以下のように定義される。
以下の論理演算子は以下のように定義される。
以下の論理演算子は以下のように定義される。
x&&y x及びyのブール論理「積」
x||y x及びyのブール論理「和」
! ブール論理「否定」
x?y:z xが真である場合又は0に等しくない場合、yの値に評価され、そうでない場合、zの値に評価される
関係演算子
以下の関係演算子は以下のように定義される。
x||y x及びyのブール論理「和」
! ブール論理「否定」
x?y:z xが真である場合又は0に等しくない場合、yの値に評価され、そうでない場合、zの値に評価される
関係演算子
以下の関係演算子は以下のように定義される。
> よりも大きい
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
関係演算子が値「na」(not applicable)を割り当てられたシンタックスエレメント又は変数に適用されるとき、値「na」は、シンタックスエレメント又は変数の個別の値として扱われる。値「na」は、いずれかの他の値に等しくないと考えられる。
>= 以上
< 未満
<= 以下
== 等しい
!= 等しくない
関係演算子が値「na」(not applicable)を割り当てられたシンタックスエレメント又は変数に適用されるとき、値「na」は、シンタックスエレメント又は変数の個別の値として扱われる。値「na」は、いずれかの他の値に等しくないと考えられる。
ビット演算子
以下のビット演算子は以下のように定義される。
以下のビット演算子は以下のように定義される。
& ビット毎の「積」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。他の引数よりも少ないビットを含む二値の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することにより拡張される。
| ビット毎の「和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。他の引数よりも少ないビットを含む二値の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することにより拡張される。
^ ビット毎の「排他和」。整数の引数に対して演算するとき、整数値の2の補数表現に対して演算する。他の引数よりも少ないビットを含む二値の引数に対して演算するとき、より短い引数は、0に等しいより上位のビットを追加することにより拡張される。
x>>y y個の二進数字によるxの2の補数整数表現の算術右シフト。この関数は、yの非負整数値についてのみ定義される。右シフトの結果としての最上位ビット(MSB, most significant bit)にシフトされたビットは、シフト演算前のxのMSBに等しい値を有する。
x<<y y個の二進数字によるxの2の補数整数表現の算術左シフト。この関数は、yの非負整数値についてのみ定義される。左シフトの結果としての最下位ビット(LSB, least significant bit)にシフトされたビットは、0に等しい値を有する。
代入演算子
以下の代入演算子は以下のように定義される。
以下の代入演算子は以下のように定義される。
= 代入演算子
++ インクリメント。すなわち、x++はx=x+1に等しい。配列インデックスにおいて使用されるとき、インクリメント演算の前の変数の値に評価される。
++ インクリメント。すなわち、x++はx=x+1に等しい。配列インデックスにおいて使用されるとき、インクリメント演算の前の変数の値に評価される。
-- デクリメント。すなわち、x--はx=x-1に等しい。配列インデックスにおいて使用されるとき、デクリメント演算の前の変数の値に評価される。
+= 指定された量だけのインクリメント。すなわちx+=3はx=x+3に等しく、x+=(-3)はx=x+(-3)に等しい。
-= 指定された量だけのデクリメント。すなわちx-=3はx=x-3に等しく、x-=(-3)はx=x-(-3)に等しい。
範囲表記
以下の表記が値の範囲を指定するために使用される。
以下の表記が値の範囲を指定するために使用される。
x=y..z xはy以上z以下の整数値をとり、x、y及びzは整数であり、zはyよりも大きい。
数学関数
以下の数学関数が定義される。
Asin(x) 三角法の逆正弦関数。-1.0以上1.0以下の範囲にある引数xに対して演算し、ラジアンの単位の-π÷2以上π÷2以下の範囲の出力値を有する。
以下の数学関数が定義される。
Atan(x) 三角法の逆正接関数。引数xに対して演算し、ラジアンの単位の-π÷2以上π÷2以下の範囲の出力値を有する。
Ceil(x) x以上の最小の整数。
Clip1Y(x)=Clip3(0,(1<<BitDepthY)-1,x)
Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)
Cos(x) ラジアンの単位の引数xに対して演算する三角法の余弦関数。
Clip1C(x)=Clip3(0,(1<<BitDepthC)-1,x)
Floor(x) x以下の最大の整数。
Ln(x) xの自然対数(eを底とする対数であり、eは自然対数の底の定数2.718281828...である)。
Log2(x) xの2を底とする対数。
Log10(x) xの10を底とする対数。
Round(x)=Sign(x)*Floor(Abs(x)+0.5)
Sin(x) ラジアンの単位の引数xに対して演算する三角法の正弦関数。
Sqrt(x)=√x
Swap(x,y)=(y,x)
Tan(x) ラジアンの単位の引数xに対して演算する三角法の正接関数。
Swap(x,y)=(y,x)
Tan(x) ラジアンの単位の引数xに対して演算する三角法の正接関数。
演算優先順位
式の優先順位が括弧の使用により明示的に示されないとき、以下の規則が当てはまる。
式の優先順位が括弧の使用により明示的に示されないとき、以下の規則が当てはまる。
－より高い優先度の演算は、より低い優先度のいずれかの演算の前に評価される。
－同じ優先度の演算は、左から右に順次評価される。
以下の表は、最高から最低までの演算の優先度を指定し、表におけるより高い位置は、より高い優先度を示す。
Cプログラミング言語でも使用される演算子については、本明細書で使用される優先順位は、Cプログラミング言語で使用される優先順位と同じである。
論理演算のテキスト記述
テキストでは、以下の形式:
if(条件0)
ステートメント0
else(条件1)
ステートメント1
...
else /*残りの条件に関する参考注記*/
ステートメントn
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
テキストでは、以下の形式:
if(条件0)
ステートメント0
else(条件1)
ステートメント1
...
else /*残りの条件に関する参考注記*/
ステートメントn
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
...以下の通り/...以下が当てはまる:
－条件0である場合、ステートメント0
－そうでなく、条件1である場合、ステートメント1
－...
－そうでない場合(残りの条件に関する参考注記)、ステートメントn
テキストにおけるそれぞれの「…である場合…、そうでなく、…である場合…、そうでない場合…」のステートメントは、「…である場合」が直後に続く「…以下の通り」又は「…以下が当てはまる」で導入される。「…である場合…、そうでなく、…である場合…、そうでない場合…」の最後の条件は、常に「そうでない場合、…」でもよい。交互に配置される「…である場合…、そうでなく、…である場合…、そうでない場合…」のステートメントは、「そうでない場合、…」で終わる「…以下の通り」又は「…以下が当てはまる」に一致させることにより識別できる。
－条件0である場合、ステートメント0
－そうでなく、条件1である場合、ステートメント1
－...
－そうでない場合(残りの条件に関する参考注記)、ステートメントn
テキストにおけるそれぞれの「…である場合…、そうでなく、…である場合…、そうでない場合…」のステートメントは、「…である場合」が直後に続く「…以下の通り」又は「…以下が当てはまる」で導入される。「…である場合…、そうでなく、…である場合…、そうでない場合…」の最後の条件は、常に「そうでない場合、…」でもよい。交互に配置される「…である場合…、そうでなく、…である場合…、そうでない場合…」のステートメントは、「そうでない場合、…」で終わる「…以下の通り」又は「…以下が当てはまる」に一致させることにより識別できる。
テキストにおいて、以下の形式:
if(条件0a&&条件0b)
ステートメント0
else if(条件1a||条件1b)
ステートメント1
...
else
ステートメントn
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
if(条件0a&&条件0b)
ステートメント0
else if(条件1a||条件1b)
ステートメント1
...
else
ステートメントn
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
...以下の通り/...以下が当てはまる:
－以下の条件の全てが真である場合、ステートメント0:
－条件0a
－条件0b
－そうでなく、以下の条件のうち1つ以上が真である場合、ステートメント1:
－条件1a
－条件1b
－…
－そうでない場合、ステートメントn
テキストにおいて、以下の形式:
if(条件0)
ステートメント0
if(条件1)
ステートメント1
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
－以下の条件の全てが真である場合、ステートメント0:
－条件0a
－条件0b
－そうでなく、以下の条件のうち1つ以上が真である場合、ステートメント1:
－条件1a
－条件1b
－…
－そうでない場合、ステートメントn
テキストにおいて、以下の形式:
if(条件0)
ステートメント0
if(条件1)
ステートメント1
で数学的に記述されるような論理演算のステートメントは、以下の方式で記述されてもよい。
条件0であるとき、ステートメント0
条件1であるとき、ステートメント1
本開示の実施形態について、主にビデオコーディングに基づいて説明したが、コーディングシステム10、エンコーダ20及びデコーダ30(及び対応してシステム10)の実施形態、並びにここに記載の他の実施形態はまた、静止画ピクチャ処理又はコーディング、すなわち、ビデオコーディングにおけるような、いずれかの前の或いは又は連続するピクチャと独立した個々のピクチャの処理又はコーディングについて構成されてもよい点に留意すべきである。一般的に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合、インター予測ユニット244(エンコーダ)及び344(デコーダ)のみが利用可能でなくてもよい。ビデオエンコーダ20及びビデオデコーダ30の全ての他の機能(ツール又は技術とも呼ばれる)は、静止画ピクチャ処理、例えば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、パーティション262、イントラ予測254/354、及び/又はループフィルタリング220、320、並びにエントロピーコーディング270及びエントロピー復号304に同等に使用されてもよい。
条件1であるとき、ステートメント1
本開示の実施形態について、主にビデオコーディングに基づいて説明したが、コーディングシステム10、エンコーダ20及びデコーダ30(及び対応してシステム10)の実施形態、並びにここに記載の他の実施形態はまた、静止画ピクチャ処理又はコーディング、すなわち、ビデオコーディングにおけるような、いずれかの前の或いは又は連続するピクチャと独立した個々のピクチャの処理又はコーディングについて構成されてもよい点に留意すべきである。一般的に、ピクチャ処理コーディングが単一のピクチャ17に限定される場合、インター予測ユニット244(エンコーダ)及び344(デコーダ)のみが利用可能でなくてもよい。ビデオエンコーダ20及びビデオデコーダ30の全ての他の機能(ツール又は技術とも呼ばれる)は、静止画ピクチャ処理、例えば、残差計算204/304、変換206、量子化208、逆量子化210/310、(逆)変換212/312、パーティション262、イントラ予測254/354、及び/又はループフィルタリング220、320、並びにエントロピーコーディング270及びエントロピー復号304に同等に使用されてもよい。
例えば、エンコーダ20及びデコーダ30の実施形態、並びに、例えば、エンコーダ20及びデコーダ30に関してここに記載した機能は、ハードウェア、ソフトウェア、ファームウェア又はこれらのいずれかの組み合わせで実現されてもよい。ソフトウェアで実現される場合、機能は、1つ以上の命令又はコードとしてコンピュータ読み取り可能媒体に記憶され或いは通信媒体上で送信され、ハードウェアベースの処理ユニットにより実行されてもよい。コンピュータ読み取り可能媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ読み取り可能記憶媒体、又は例えば、通信プロトコルに従って或る場所から他の場所へのコンピュータプログラムの転送を容易にするいずれかの媒体を含む通信媒体を含んでもよい。このように、コンピュータ読み取り可能媒体は、一般的に、(1)非一時的である有形コンピュータ読み取り可能記憶媒体、又は(2)信号若しくは搬送波のような通信媒体に対応してもよい。データ記憶媒体は、本開示に記載の技術の実現のために命令、コード及び/又はデータ構造を取り出すために、1つ以上のコンピュータ又は1つ以上のプロセッサによりアクセスできるいずれかの利用可能な媒体でもよい。コンピュータプログラム製品は、コンピュータ読み取り可能媒体を含んでもよい。
限定ではなく例として、このようなコンピュータ読み取り可能記憶媒体は、RAM、ROM、EEPROM、CD-ROM若しくは他の光ディスクストレージ、磁気ディスクストレージ若しくは他の磁気記憶デバイス、フラッシュメモリ、又は命令若しくはデータ構造の形式で所望のプログラムコードを記憶するために使用でき且つコンピュータによりアクセスできるいずれかの他の媒体を含むことができる。また、いずれかの接続は、適切にコンピュータ読み取り可能媒体と呼ばれる。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL, digital subscriber line)、又は赤外線、無線及びマイクロ波のような無線技術を使用してウェブサイト、サーバ又は他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、DSL、又は赤外線、無線及びマイクロ波のような無線技術は、媒体の定義に含まれる。しかし、コンピュータ読み取り可能記憶媒体及びデータ記憶媒体は、接続、搬送波、信号又は他の一時的な媒体を含まないが、代わりに非一時的な有形記憶媒体を対象とすることが理解されるべきである。ディスク(disk)及びディクス(disc)は、ここで使用されるとき、コンパクトディスク(CD, compact disc)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD, digital versatile disc)、フロッピーディスク及びブルーレイディスクを含み、ディスク(disk)は通常ではデータを磁気的に再生し、ディスク(disc)はデータをレーザで光学的に再生する。上記の組み合わせも、コンピュータ読み取り可能媒体の範囲に含まれるべきである。
命令は、1つ以上のデジタルシグナルプロセッサ(DSP, digital signal processor)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC, application specific integrated circuit)、フィールドプログラマブルロジックアレイ(FPGA, field programmable logic array)又は他の等価な集積若しくは個別論理回路のような1つ以上のプロセッサにより実行されてもよい。したがって、「プロセッサ」という用語は、ここで使用されるとき、上記の構造のうちいずれか又はここに記載の技術の実現方式に適したいずれかの他の構造を示してもよい。さらに、いくつかの態様では、ここに記載の機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に提供されてもよく或いは結合されたコーデックに組み込まれてもよい。また、技術は、1つ以上の回路又は論理素子に完全に実現されてもよい。
本開示の技術は、無線ハンドセット、集積回路(IC, integrated circuit)又はICのセット(例えば、チップセット)を含む広範なデバイス又は装置に実現されてもよい。様々なコンポーネント、モジュール又はユニットは、開示の技術を実行するように構成されたデバイスの機能的側面を強調するように本開示において記載されているが、異なるハードウェアユニットによる実現を必ずしも必要としない。むしろ、上記のように、様々なユニットは、適切なソフトウェア及び/又はファームウェアと組み合わせて、コーデックハードウェアユニットに結合されてもよく、或いは、上記のような1つ以上のプロセッサを含む相互運用ハードウェアユニットの集合により提供されてもよい。
Claims (20)
- 符号化デバイス又は復号デバイスにより実現される、ビデオストリームの再構成フレームに対して適応ループフィルタリングを実行することによるインループフィルタリングのための方法であって、
前記再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、前記ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成するステップ(1310)と、
それぞれのクリッピングレベルに従って前記差をクリッピングするステップ(1320)と、
前記クリッピングされた差の加重和を形成するステップ(1330)と、
前記ピクセルのルマ及びクロマ成分のうち前記少なくとも1つに前記加重和を加算して、前記ピクセルのフィルタリングされたそれぞれの成分を決定するステップ(1340)と
を含み、
ルマビット深度BitDepthLumaがクロマビット深度BitDepthChromaと同じであるとき、前記それぞれのクリッピングレベルは、前記ルマ及びクロマ成分について同じクリッピングレベルのセットから選択され、
前記ルマ及びクロマ成分についての前記クリッピングレベルLim(i,j)のセットは、前記ルマ成分及び前記クロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
- 前記それぞれのクリッピングレベルは、前記ピクセルのルマ及びクロマ成分のうち前記少なくとも1つのビット深度に従って選択される、請求項１に記載の方法。
- 前記それぞれのクリッピングレベルは、前記接続領域内の前記それぞれの隣接ピクセルについてのそれぞれのクリッピングインデックスに従って選択される、請求項１又は２に記載の方法。
- 前記それぞれのクリッピングインデックスは、前記ビデオストリーム内でシグナリングされる、請求項３に記載の方法。
- 前記それぞれのクリッピングレベルは、2BitDepth-1以下の正のクリッピング値であるか、或いは、前記それぞれのクリッピングレベルは、2BitDepth以下の正のクリッピング値であり、BitDepthは、ルマ及びクロマ成分のうち前記少なくとも1つのビット深度を示す、請求項１乃至４のうちいずれか１項に記載の方法。
- 前記再構成フレーム内の座標(x,y)を有する前記ピクセルの前記フィルタリングされたそれぞれの成分O’(x,y)は、以下の式、すなわち、
- 前記それぞれのクリッピングレベルは、k<=BitDepthの正のkビットクリッピング値であり、BitDepthは、ルマ及びクロマ成分のうち前記少なくとも1つのビット深度を示す、請求項６に記載の方法。
- 前記それぞれのクリッピングレベルは、ルマ成分についてLim(i,j)<=2BitDepthLuma-1であり、クロマ成分についてLim(i,j)<=2BitDepthChroma-1であるか、或いは
前記それぞれのクリッピングレベルは、ルマ成分についてLim(i,j)<=2BitDepthLumaであり
、クロマ成分についてLim(i,j)<=2BitDepthChromaである、請求項６に記載の方法。 - 前記それぞれのクリッピングレベルは、前記ルマ及びクロマ成分についての前記クリッピングレベルのセットを表すルックアップテーブル(LUT)から選択される、請求項１乃至８のうちいずれか１項に記載の方法。
- 前記LUTは以下のように定義され、
- 前記LUTは以下のように定義され、
- インループフィルタリングは、前記再構成フレームのルマ及びクロマ成分に適用される、請求項１乃至１１のうちいずれか１項に記載の方法。
- ビデオ符号化装置又は復号装置において使用するためのインループフィルタリング装置(320,220)であって、
当該インループフィルタリング装置(320,220)は、フィルタリングされた再構成フレームの生成のために再構成フレームを処理するように構成され、前記再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、当該インループフィルタリング装置(320,220)は、請求項１乃至１２のうちいずれか１項に記載の方法を実行するように構成された1つ以上の処理回路を含む、インループフィルタリング装置(320,220)。 - 請求項１乃至１２のうちいずれか１項に記載の方法を実行するための処理回路を含むエンコーダ(20)。
- 請求項１乃至１２のうちいずれか１項に記載の方法を実行するための処理回路を含むデコーダ(30)。
- コンピュータによって実行されたとき、前記コンピュータに請求項１乃至１２のうちいずれか１項に記載の方法を実行させる命令を含むコンピュータプログラム。
- エンコーダ(20)であって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに結合され、前記1つ以上のプロセッサによる実行のための命令を記憶する非一時的なコンピュータ読み取り可能記憶媒体と
を含み、
前記命令は、前記1つ以上のプロセッサにより実行されたとき、請求項１乃至１２のうちいずれか１項に記載の方法を実行するように当該エンコーダを構成する、エンコーダ(20)。 - デコーダ(30)であって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに結合され、前記1つ以上のプロセッサによる実行のための命令を記憶する非一時的なコンピュータ読み取り可能記憶媒体と
を含み、
前記命令は、前記1つ以上のプロセッサにより実行されたとき、請求項１乃至１２のうちいずれか１項に記載の方法を実行するように当該デコーダを構成する、デコーダ(30)。 - フィルタリングされた再構成フレームの生成のために再構成フレームを処理するためのエンコーダ(20)であって、
前記再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、当該エンコーダ(20)は、
前記再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、前記ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成するように構成された減算ユニット(1410)と、
それぞれのクリッピングレベルに従って前記差をクリッピングするように構成されたクリッピングユニット(1420)と、
前記クリッピングされた差の加重和を形成するように構成された第1の加算ユニット(1430)と、
前記ピクセルのルマ及びクロマ成分のうち前記少なくとも1つに前記加重和を加算して、前記ピクセルのフィルタリングされたそれぞれの成分を決定するように構成された第2の加算ユニット(1440)と
を含み、
ルマビット深度BitDepthLumaがクロマビット深度BitDepthChromaと同じであるとき、前記それぞれのクリッピングレベルは、前記ルマ及びクロマ成分について同じクリッピングレベルのセットから選択され、
前記ルマ及びクロマ成分についての前記クリッピングレベルLim(i,j)のセットは、前記ルマ成分及び前記クロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
- フィルタリングされた再構成フレームの生成のために再構成フレームを処理するためのデコーダ(30)であって、
前記再構成フレームは複数のピクセルを含み、各ピクセルはピクセル値に関連し、当該デコーダ(30)は、
前記再構成フレームのピクセルのルマ及びクロマ成分のうち少なくとも1つと、前記ピクセルの接続領域内の隣接ピクセルのルマ及びクロマ成分のうち少なくとも1つとの間の差を形成するように構成された減算ユニット(1410)と、
それぞれのクリッピングレベルに従って前記差をクリッピングするように構成されたクリッピングユニット(1420)と、
前記クリッピングされた差の加重和を形成するように構成された第1の加算ユニット(1430)と、
前記ピクセルのルマ及びクロマ成分のうち前記少なくとも1つに前記加重和を加算して、前記ピクセルのフィルタリングされたそれぞれの成分を決定する(1340)ように構成された第2の加算ユニット(1440)と
を含み、
ルマビット深度BitDepthLumaがクロマビット深度BitDepthChromaと同じであるとき、前記それぞれのクリッピングレベルは、前記ルマ及びクロマ成分について同じクリッピングレベルのセットから選択され、
前記ルマ及びクロマ成分についての前記クリッピングレベルLim(i,j)のセットは、前記ルマ成分及び前記クロマ成分のビット深度BitDepthLuma及びBitDepthChromaの変化と、インデックスIdx(i,j)とを通じて、以下の式、すなわち、
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2024017636A JP2024055893A (ja) | 2019-06-24 | 2024-02-08 | 非線形適応ループフィルタのためのクリッピングレベル |
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RUPCT/RU2019/000454 | 2019-06-24 | ||
| RU2019000454 | 2019-06-24 | ||
| RU2019000456 | 2019-06-25 | ||
| RUPCT/RU2019/000456 | 2019-06-25 | ||
| RUPCT/RU2019/000476 | 2019-07-03 | ||
| RU2019000476 | 2019-07-03 | ||
| US201962871200P | 2019-07-07 | 2019-07-07 | |
| US62/871,200 | 2019-07-07 | ||
| RU2019000483 | 2019-07-08 | ||
| RUPCT/RU2019/000483 | 2019-07-08 | ||
| PCT/CN2020/098229 WO2020259621A1 (en) | 2019-06-24 | 2020-06-24 | Clipping levels for non-linear adaptive loop filter |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024017636A Division JP2024055893A (ja) | 2019-06-24 | 2024-02-08 | 非線形適応ループフィルタのためのクリッピングレベル |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022539334A JP2022539334A (ja) | 2022-09-08 |
| JP7436526B2 true JP7436526B2 (ja) | 2024-02-21 |
Family
ID=74060716
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021576551A Active JP7436526B2 (ja) | 2019-06-24 | 2020-06-24 | 非線形適応ループフィルタのためのクリッピングレベル |
| JP2024017636A Pending JP2024055893A (ja) | 2019-06-24 | 2024-02-08 | 非線形適応ループフィルタのためのクリッピングレベル |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2024017636A Pending JP2024055893A (ja) | 2019-06-24 | 2024-02-08 | 非線形適応ループフィルタのためのクリッピングレベル |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US11991354B2 (ja) |
| EP (1) | EP3977736A4 (ja) |
| JP (2) | JP7436526B2 (ja) |
| KR (1) | KR20220024900A (ja) |
| CN (5) | CN117768644A (ja) |
| AU (1) | AU2020308382A1 (ja) |
| BR (1) | BR112021026046A2 (ja) |
| CA (1) | CA3144809A1 (ja) |
| IL (1) | IL289362A (ja) |
| MX (1) | MX2022000142A (ja) |
| NZ (1) | NZ783901A (ja) |
| WO (1) | WO2020259621A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113766247B (zh) * | 2019-06-25 | 2023-07-25 | 北京大学 | 环路滤波的方法与装置 |
| KR102585317B1 (ko) * | 2019-12-28 | 2023-10-04 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 비디오 코딩을 위한 인-루프 필터 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021002726A (ja) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9094658B2 (en) * | 2010-05-10 | 2015-07-28 | Mediatek Inc. | Method and apparatus of adaptive loop filtering |
| US9008180B2 (en) * | 2011-04-21 | 2015-04-14 | Intellectual Discovery Co., Ltd. | Method and apparatus for encoding/decoding images using a prediction method adopting in-loop filtering |
| US9432700B2 (en) * | 2011-09-27 | 2016-08-30 | Broadcom Corporation | Adaptive loop filtering in accordance with video coding |
| US9124869B2 (en) * | 2012-01-11 | 2015-09-01 | Futurewei Technologies, Inc. | Systems and methods for video denoising |
| US9451258B2 (en) | 2012-04-03 | 2016-09-20 | Qualcomm Incorporated | Chroma slice-level QP offset and deblocking |
| US10621731B1 (en) * | 2016-05-31 | 2020-04-14 | NGCodec Inc. | Apparatus and method for efficient motion estimation for different block sizes |
| US10110913B2 (en) | 2016-09-30 | 2018-10-23 | Intel Corporation | Motion estimation using hybrid video imaging system |
| JP2019114961A (ja) | 2017-12-25 | 2019-07-11 | 富士通株式会社 | 無線通信装置、及びアンテナキャリブレーション方法 |
| GB2582029A (en) | 2019-03-08 | 2020-09-09 | Canon Kk | An adaptive loop filter |
-
2020
- 2020-06-24 CN CN202311455278.3A patent/CN117768644A/zh active Pending
- 2020-06-24 WO PCT/CN2020/098229 patent/WO2020259621A1/en active Application Filing
- 2020-06-24 CA CA3144809A patent/CA3144809A1/en active Pending
- 2020-06-24 JP JP2021576551A patent/JP7436526B2/ja active Active
- 2020-06-24 CN CN202311453382.9A patent/CN117459725A/zh active Pending
- 2020-06-24 MX MX2022000142A patent/MX2022000142A/es unknown
- 2020-06-24 KR KR1020227002392A patent/KR20220024900A/ko active Search and Examination
- 2020-06-24 AU AU2020308382A patent/AU2020308382A1/en active Pending
- 2020-06-24 BR BR112021026046A patent/BR112021026046A2/pt unknown
- 2020-06-24 EP EP20831148.0A patent/EP3977736A4/en active Pending
- 2020-06-24 CN CN202311455261.8A patent/CN117640930A/zh active Pending
- 2020-06-24 NZ NZ783901A patent/NZ783901A/en unknown
- 2020-06-24 CN CN202311462856.6A patent/CN117478877A/zh active Pending
- 2020-06-24 CN CN202080046392.9A patent/CN114145019B/zh active Active
-
2021
- 2021-12-23 IL IL289362A patent/IL289362A/en unknown
- 2021-12-23 US US17/561,087 patent/US11991354B2/en active Active
-
2024
- 2024-02-08 JP JP2024017636A patent/JP2024055893A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021002726A (ja) | 2019-06-20 | 2021-01-07 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| Nan Hu et al.，Non-CE5: Simplification on clipping value calculation for adaptive loop filter [online]，JVET-O0532-v1，インターネット ＜URL: https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0532-v2.zip＞，2019年06月25日 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117640930A (zh) | 2024-03-01 |
| CN114145019B (zh) | 2023-11-10 |
| NZ783901A (en) | 2024-07-05 |
| MX2022000142A (es) | 2022-05-16 |
| KR20220024900A (ko) | 2022-03-03 |
| CA3144809A1 (en) | 2020-12-30 |
| CN117478877A (zh) | 2024-01-30 |
| CN114145019A (zh) | 2022-03-04 |
| EP3977736A4 (en) | 2022-06-29 |
| JP2024055893A (ja) | 2024-04-19 |
| JP2022539334A (ja) | 2022-09-08 |
| CN117459725A (zh) | 2024-01-26 |
| CN117768644A (zh) | 2024-03-26 |
| AU2020308382A1 (en) | 2022-01-27 |
| US11991354B2 (en) | 2024-05-21 |
| US20220116598A1 (en) | 2022-04-14 |
| BR112021026046A2 (pt) | 2022-02-08 |
| EP3977736A1 (en) | 2022-04-06 |
| IL289362A (en) | 2022-02-01 |
| WO2020259621A1 (en) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7106744B2 (ja) | ルーマおよびクロマ成分についてｉｂｃ専用バッファおよびデフォルト値リフレッシュを使用するエンコーダ、デコーダおよび対応する方法 | |
| JP7529348B2 (ja) | エンコーダ、デコーダ、および対応するイントラ予測方法 | |
| JP7366149B2 (ja) | 行列ベースのイントラ予測と二次変換コア選択を調和させるエンコーダ、デコーダ、および対応する方法 | |
| JP7332703B2 (ja) | クロマサブブロックのアフィンベースのインター予測のための方法及び装置 | |
| JP2023088997A (ja) | 補間フィルタを使用するイントラ予測のための方法および装置 | |
| JP2022524357A (ja) | エンコーダ、デコーダ、及び対応するインター予測方法 | |
| AU2020247242B2 (en) | Method and apparatus for intra smoothing | |
| CA3138231A1 (en) | Method and apparatus for intra-prediction | |
| JP7414127B2 (ja) | 拡張補間フィルタのメモリ帯域幅削減のためのアフィン動きモデル制限 | |
| JP7508645B2 (ja) | モードおよびサイズに依存したブロックレベル制限の方法および装置 | |
| JP7328446B2 (ja) | クロミナンス量子化パラメータのシグナリングのための方法及び装置 | |
| JP7553007B2 (ja) | ビデオコーディングにおけるクロマイントラ予測のための方法及び装置 | |
| JP2024055893A (ja) | 非線形適応ループフィルタのためのクリッピングレベル | |
| JP2023100701A (ja) | イントラ予測のためのイントラモードコーディングを使用するエンコーダ、デコーダ、および対応する方法 | |
| JP7470795B2 (ja) | 柔軟なプロファイル構成のエンコーダ、デコーダ及び対応する方法 | |
| JP7414976B2 (ja) | エンコーダ、デコーダ、および、対応する方法 | |
| RU2818228C2 (ru) | Уровни ограничения для нелинейного адаптивного контурного фильтра | |
| JP2024109748A (ja) | 平面モードのためのイントラ予測における複雑さ減少のエンコーダ、デコーダ、および対応する方法 | |
| NZ780730B2 (en) | Method and apparatus for intra-prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240208 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7436526 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |