JP7239732B2 - 双方向オプティカルフローに基づく映像符号化及び復号化 - Google Patents
双方向オプティカルフローに基づく映像符号化及び復号化 Download PDFInfo
- Publication number
- JP7239732B2 JP7239732B2 JP2021557133A JP2021557133A JP7239732B2 JP 7239732 B2 JP7239732 B2 JP 7239732B2 JP 2021557133 A JP2021557133 A JP 2021557133A JP 2021557133 A JP2021557133 A JP 2021557133A JP 7239732 B2 JP7239732 B2 JP 7239732B2
- Authority
- JP
- Japan
- Prior art keywords
- prediction
- block
- samples
- video
- prediction sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims description 49
- 230000002457 bidirectional effect Effects 0.000 title description 8
- 238000000034 method Methods 0.000 claims description 174
- 230000008569 process Effects 0.000 claims description 62
- 238000012545 processing Methods 0.000 claims description 48
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000001914 filtration Methods 0.000 description 72
- 230000003044 adaptive effect Effects 0.000 description 25
- AVVWPBAENSWJCB-DGPNFKTASA-N beta-D-galactofuranose Chemical compound OC[C@@H](O)[C@@H]1O[C@@H](O)[C@H](O)[C@H]1O AVVWPBAENSWJCB-DGPNFKTASA-N 0.000 description 24
- 241000023320 Luma <angiosperm> Species 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 19
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 19
- 230000002123 temporal effect Effects 0.000 description 17
- 239000013598 vector Substances 0.000 description 13
- 238000006243 chemical reaction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000011664 signaling Effects 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005111 flow chemistry technique Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 102000020897 Formins Human genes 0.000 description 1
- 108091022623 Formins Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2019年4月2日出願の国際特許出願第PCT/CN2019/080914号の優先権と利益を主張する、2020年4月2日出願の国際特許出願第PCT/CN2020/082941号の国内段階である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
色空間は、カラーモデル(又はカラーシステム)としても知られ、色の範囲を数字のタプルとして一般的に、3又は4つの値又は色成分(例えばRGB)として、簡単に記述する抽象的な数学モデルである。基本的には、色空間は座標系とサブ空間とを精緻化したものである。
3つのY’CbCr成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナ及び映画のポストプロダクションに用いられることがある。
2つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平クロマ解像度が半分にされる。これにより、視覚的にほとんど又は全く差がなく、非圧縮の映像信号の帯域幅を1/3に低減することができる。
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、このスキームではCb及びCrチャネルを各1行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。Cb及びCrはそれぞれ水平及び垂直方向の両方向に2倍にサブサンプリングされる。異なる水平及び垂直位置を有する4:2:0スキームの3つの変形がある。
図1は、3つのインループフィルタリングブロック、すなわち非ブロック化フィルタ(DF)、サンプル適応オフセット(SAO)及び適応ループフィルタ(ALF)を含む、VVCのエンコーダブロック図の例を示す。予め規定されたフィルタを使用するDFとは異なり、SAO及びALFは、現在のピクチャの元のサンプルを利用し、オフセットを追加し、且つ有限インパルス応答(FIR)フィルタを適用することによって、オフセット及びフィルタ係数を信号通知する符号化側情報とともに、オリジナルサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ALFは、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。
JEMにおいて、ブロックに基づくフィルタ適応を用いた形状変換に基づく適応ループフィルタ(GALF)が適用される。輝度成分は、局所勾配の方向および働きに基づいて、2×2ブロックごとに25個のフィルタのうち1つを選択する。
本願において、輝度成分として、最大3つのダイヤモンドフィルタ形状(図2Aに示すように、5×5ダイヤモンド、7×7ダイヤモンド、9×9ダイヤモンドのそれぞれについて図2B、図2Cに示す)を選択することができる。輝度成分に使用されるフィルタ形状を示すために、ピクチャレベルでインデックスが信号通知される。1つのピクチャにおけるクロマ成分に対して、5×5ダイヤモンド形状が使用される。
各2×2ブロックを25個のクラスのうちの1つに分類する。分類インデックスCは、その方向性DおよびアクティビティA^の量子化値に基づいて、以下のように導出される。
そして、水平方向および垂直方向の勾配のD最大値およびD最小値を以下のように設定する。
それぞれの2×2ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、フィルタ係数f(k,l)に対して、ローテーション、又は対角線及び垂直方向の反転等の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用することに等しい。その考えは、ALFが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。
JEMにおいて、GALFフィルタパラメータは、第1のCTUのために、例えば、スライスヘッダの後且つ第1のCTUのSAOパラメータの前に信号通知される。最大25組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのGALF係数を記憶し、現在のピクチャのGALF係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたGALF係数を使用し、GALF係数信号通知を回避することを選択してもよい。この場合、1つの参照ピクチャへのインデックスのみが信号通知され、記憶されている示された参照ピクチャのGALF係数が現在のピクチャに継承される。
デコーダ側において、1つのブロックに対してGALFが有効化されると、このブロック内のそれぞれのサンプルR(i,j)がフィルタリングされ、その結果、以下に示すように、サンプル値R’(i,j)が得られる。ここで、Lは、フィルタ長を表し、f(m,n)は、フィルタ係数を表し、f(k,l)は、復号化されたフィルタ係数を表す。
図3には、GALFのための全体的なエンコーダ決定処理が示されている。各CUの輝度サンプルに対して、エンコーダは、GALFが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適用する決定は、CUレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャのためのクロマGALFは、このピクチャのために輝度GALFが有効化されている場合にのみチェックされる。
現在のVVCにおけるGALFの設計は、JEMにおける設計に比べ、以下のような大きな変化を有している。
ALFは、インループフィルタリングの最終段階である。この処理には2つの段階がある。第1の段階は、フィルタ係数の導出である。フィルタ係数をトレーニングするために、エンコーダは、再構成された輝度成分の画素を16個の領域に分類し、wiener-hopf方程式を使用して、カテゴリ毎に1つのフィルタ係数のセットをトレーニングし、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小限に抑える。これらの16個のフィルタ係数のセット間の冗長性を低減するために、エンコーダは、ひずみ率性能に基づいてそれらを適応的にマージする。その最大値において、16個の異なるフィルタセットを輝度成分に割り当てることができ、1つのフィルタセットのみをクロミナンス成分に割り当てることができる。第2の段階は、フレームレベル及びLCUレベルの両方を含むフィルタ決定である。まず、エンコーダは、フレームレベル適応ループフィルタリングを行うかどうかを決定する。フレームレベルALFがオンである場合、エンコーダは、LCUレベルALFを行うかどうかをさらに決定する。
例示的なフィルタ形状は、7×7の十字形であり、輝度成分及びクロマ成分の両方について図5に示すように、3×3の正方形を重ね合わせたものである。図5中の四角はそれぞれサンプルに対応する。従って、合計17個のサンプルを使用して、位置C8のサンプルのためのフィルタリングされた値を導出する。係数を送信するオーバーヘッドを考慮して、点対称フィルタは、9つの係数だけを残して、{C0,C1、・・・、C8}を利用し、これにより、フィルタリングにおけるフィルタ係数の数を半分に減らすと共に乗算の数を減らす。この点対称フィルタは、1つのフィルタリングされたサンプルの計算の半分を減らすこともでき、例えば、1つのフィルタリングされたサンプルに対して9回の乗算及び14回の加算演算のみを行う。
異なる符号化エラーに適応するために、一部の実施形態では、輝度成分のために、領域に基づく複数の適応ループフィルタを採用する。輝度成分は、図6に示すように、各基本領域が最大符号化ユニット(LCU)の境界に位置合わせされた16個の略等分したサイズの基本領域に分割され、領域毎に1つのウィーナーフィルタを導出する。より多くのフィルタを使用するほど、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数とともに増加する。最良のレートひずみ率を実現するために、これらの領域を、同じフィルタ係数を共有する、より少なく、より大きい領域にマージすることができる。マージ処理を簡単にするために、各領域には、画像の前置相関に基づいて修正されたヒルベルト順に従ってインデックスが割り当てられる。ひずみ率コストに基づいて、インデックスが連続する2つの領域をマージすることができる。
複数のスイッチフラグも使用される。シーケンス切替フラグadaptive_loop_filter_enableは、シーケンス全体に適応ループフィルタを適用するかどうかを制御するためのフラグである。画像切り替えフラグpicture_alf_enble[i]、は、対応するi番目の画像成分に対してALFを適用するかどうかを制御する。picture_alf_enble[i]が有効になっている場合にのみ、その色成分に対応するLCUレベルのフラグ及びフィルタ係数を送信する。LCUレベルフラグ、lcu_alf_enable[k]、は、対応するk番目のLCUに対してALFが有効化されるかどうかを制御し、スライスデータにインターリーブされる。異なるレベルの調整済みフラグの決定はすべて、ひずみ率コストに基づく。柔軟性が高いので、ALFは、符号化効率をさらに有意に向上させる。
いくつかの実施形態において、適応ループフィルタのフィルタリング処理は次のように行われる。
7.1 フィルタリングの再形成
式(11)は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。
上記式(13)のフィルタ式を用いることで、単純なクリッピング関数を使用して、近傍サンプル値(I(x+i,y+j))が現在のサンプル値(I(x,y))のフィルタリングと異なり過ぎている場合に、その影響を低減することで、非線形性を導入し、ALFをより効率的にする。
インループリシェイプ(ILR)の基本的な考えは、元の(第1のドメインにおける)信号(予測/再構成信号)を第2のドメイン(リシェイプされたドメイン)に変換することである。
概念的には、区分線形(PWL)は、以下のように実装される。
8.2.1 輝度のリシェイプ
インループ輝度リシェイプのいくつかの実施例は、より複雑性低いパイプラインを提供し、且つインタースライス再構成におけるブロック単位のイントラ予測のための復号化待ち時間を排除する。イントラ予測は、インタースライスおよびイントラスライスの両方のために、リシェイプされたドメインにおいて行われる。
輝度依存クロマ残差スケーリングは、固定小数点整数演算で実装される乗算処理である。クロマ残差スケーリングは、輝度信号のクロマ信号との相互作用を補償する。TUレベルでクロマ残差スケーリングを適用する。具体的には、以下が適用される。
パラメータは(現在)タイルグループヘッダ(ALFに類似)で送信される。これらは、40~100ビットを要すると報告されている。
以下の規格は、JVET-L1001のバージョン9に基づいている。追加された構文は黄色で強調表示される。
sps_reshaper_enabled_flagが1と等しい場合は、符号化映像シーケンス(CVS)においてリシェイパが使用されていることを規定している。sps_reshaper_enabled_flagが0と等しい場合は、CVSにおいてリシェイパが使用されていないことを規定している。
タイルグループヘッダ構文において、以下の意味論を追加する。
tile_group_reshaper_model_present_flagが1と等しい場合は、tile_group_reshaper_model()がタイルグループ内に存在することを規定している。tile_group_reshaper_model_present_flagが0と等しい場合は、tile_group_reshaper_model()がタイルグループヘッダに存在しないことを規定している。tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいと推論される。
tile_group_reshaper_enabled_flagが1と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていることを規定している。tile_group_reshaper_enabled_flagが0と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていないことを規定している。tile_group_reshaper_enable_flagが存在しない場合、0であると推論される。
tile_group_reshaper_chroma_residual_scale_flagが1と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングを有効であることを規定している。tile_group_reshaper_chroma_residual_scale_flagが0と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングが有効でないことを規定している。tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0であると推測される。
tile_group_reshaper_model()構文を追加する。
reshape_model_min_bin_idxは、最小のビン(またはピース)インデックスを、リシェイパ構築処理に使用するように規定している。reshape_model_min_bin_idxの値が0~MaxBinIdxの範囲内にあるものとする。MaxBinIdxの値は15と等しいとする。
reshape_model_delta_max_bin_idxは、最大許容ビン(またはピース)インデックスMaxBinIdxから最大ビンインデックスを引いたものが、リシェイパ構築処理で使用されることを規定している。reshape_model_max_bin_idxの値は、MaxBinIdx-reshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model bin_delta_abs_cw_prec_minus1+1は、構文reshape_model_bin_delta_abs_CW[i]の表現に使用するビット数を規定している。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンの絶対デルタコード名値を規定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]のサインを次のように記述する。
- reshape_model_bin_delta_sign_CW_flag[i]が0と等しい場合、対応する変数RspDeltaCW[i]は正の値である。
- そうでない場合(reshape_model_bin_delta_sign_CW_flag[i]が0と等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合、0に等しいと推測される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];
変数RspCW[i]は、以下のステップとして導出される。
変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
-reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxの場合、RspCW[i]=OrgCW+RspDeltaCW[i]である。
- そうでない場合、RspCW[i]=0である。
BitDepthYの値が10に等しい場合、RspCW[i]の値は、32~2*OrgCW_1の範囲内にくる。
iが0~MaxBinIdx+1の範囲にある変数InputPivot[i]は、以下のように導出される。
InputPivot[i]=i*OrgCW
iが0~MaxBinIdx+1の範囲にあり、変数ScaleCoef[i]およびInvScaleCoeff[i]がそれぞれ0~MaxBinIdxの範囲にあり、iが0~MaxBinIdxの範囲にある変数ReshapePivot[i]は、以下のように導出される。
shiftY=14
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
iが0~MaxBinIdxの範囲内にある変数ChromaScaleCoef[i]は、以下のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};
shiftC=11
- if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
- Otherwise(RspCW[i] !=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
エンコーダ側では、まず、各ピクチャ(またはタイルグループ)をリシェイプされたドメインに変換する。そして、すべての符号化処理は、リシェイプされたドメインで行われる。イントラ予測の場合、近傍のブロックはリシェイプされたドメインにあり、インター予測の場合、まず、参照ブロック(復号化ピクチャバッファからの元のドメインから生成される)をリシェイプされたドメインに変換する。そして、残差を生成し、ビットストリームに符号化する。
9.1 BIOの概要と分析
BDOF(別名、BIO)では、まず、動き補償を行い、現在のブロックの(各予測方向における)第1の予測を生成する。第1の予測は、ブロック内の各サブブロックまたは画素の空間的勾配、時間的勾配、及びオプティカルフローを導出するために用いられ、これらを用いて第2の予測、例えば、サブブロックまたはピクセルの最終予測を生成する。以下、その詳細を説明する。
いくつかの実施形態において、サブブロックに基づくアフィン動き補償予測をオプティカルフローにより微調整することができる。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、予測サンプルを微調整し、これをオプティカルフロー予測微調整(PROF)と呼ぶ。このような技法は、メモリアクセス帯域幅を増大させることなく、画素レベルの粒度におけるインター予測を実現することができる。
非線形ALF(NLALF)、BIO(aka BDOF)および/またはPROF設計には、以下の問題がある。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいた映像符号化のためのサンプル微調整およびフィルタリング方法は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
1. なお、各近傍の画素と現在の画素との差をクリッピングする代わりに、近傍の画素の重み付け平均をクリッピングしてもよい。
a. いくつかの実施形態において、クリッピングは次のように行うことができる。ここで、Kはクリッピング演算である。
a. いくつかの実施形態において、1次元フィルタは水平方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、前記フィルタリング処理は次のように表現してもよい。
b. いくつかの実施形態において、前記ショートタップフィルタは垂直方向に近傍のサンプルのみを使用してもよい。
c. いくつかの実施形態において、1次元タップフィルタは、水平/垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
d. いくつかの実施形態において、ws(si)は画素の分類によって異なっていてもよい。
e. いくつかの実施形態において、ws(si)は異なるクラスの画素に対して同じであってもよい。
f. いくつかの実施形態において、ws(si)はデコーダに信号通知されてもよい。
g. いくつかの実施形態において、ws(si)は予め規定されていてもよい。
3. 1次元非線形適応ループフィルタリング方法を利用してもよい。
a. いくつかの実施形態において、前記ショートタップフィルタは水平方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、非線形フィルタリング方法は、水平方向に近傍のサンプルを用いて次のように表現してもよい。
b. いくつかの実施形態において、1次元非線形フィルタは垂直方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、非線形フィルタリング方法は、垂直方向に近傍のサンプルを用いて次のように表現してもよい。
c. いくつかの実施形態において、1次元非線形タップフィルタは、水平/垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
d. いくつかの実施形態において、ws(si)は画素の分類によって異なっていてもよい。
e. いくつかの実施形態において、ws(si)は異なるクラスの画素に対して同じであってもよい。
f. いくつかの実施形態において、ws(si)はデコーダに信号通知されてもよい。
g. いくつかの実施形態において、ws(si)は予め規定されていてもよい。
4. バイラテラルフィルタ又はアダマールフィルタにおいて、画素は異なる方向に沿ってフィルタリングされてもよい。
a. いくつかの実施形態において、画素は勾配情報によって異なる方向にフィルタリングされてもよい。
b. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より大きいか或いは等しい場合、サブブロック内の画素を水平方向にフィルタリングしてもよい。
i. 代替的に、サブブロック内の画素を垂直方向にフィルタリングしてもよい
c. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より小さいか或いは等しい場合、サブブロック内の画素を垂直方向にフィルタリングしてもよい。
i. 代替的に、サブブロック内の画素を水平方向にフィルタリングしてもよい。
d. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配、垂直方向勾配、45度対角勾配及び135度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最大合計を有する方向に沿って選別してもよい。
e. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配、垂直方向勾配、45度対角勾配及び135度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最小合計を有する方向に沿って選別してもよい。
5. BODFにおいて、勾配は、サンプルの微調整又は/及びMVオフセットの導出に使用される前に修正されてもよい。
a. いくつかの実施形態において、BDOFで算出された空間的及び/又は時間的勾配は、ある範囲[min,max]にクリップされてもよい。
i. 変数min及びmaxは、空間的勾配及び時間的勾配に対して異なってもよい。
ii. 変数minは0より小さくてもよく、maxはゼロより大きくてもよい。
iii. 変数min及びmaxは、サンプルの入力ビット深度に依存してもよい。
iv. 変数min及びmaxは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
v. 変数min及びmaxは、信号通知されてもよい。
vi. 変数min及びmaxは、予め規定されてもよい。
b. いくつかの実施形態において、BDOFで算出された空間的及び/又は時間的勾配は、非線形関数によって修正されてもよい。
i. 例えば、ロジスティックS字関数を使用してもよい。
c. 同様に、PROFにおいて、勾配は、サンプルの微調整又は/及びMVオフセットの導出に使用される前に、修正されてもよい。
6. BODF/PROFにおいて、微調整されたサンプル値、又は予測サンプルとその微調整されたサンプル値との差(又はオフセット)は、さらに修正してから最終的な再構成サンプル値を導出してもよい。
a. BODF/PROFでは、予測サンプルとその微調整されたサンプル値との差にクリッピング演算を加えてもよい。
b. いくつかの実施形態において、前記差はある範囲[min,max]にクリッピングされてもよい。
i. 変数min及びmaxは、空間的勾配及び時間的勾配に対して異なってもよい。
ii. 変数minは0より小さくてもよく、maxはゼロより大きくてもよい。
iii. 変数min及びmaxは、サンプルの入力ビット深度に依存してもよい。
iv. 変数min及びmaxは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
v. 変数min及びmaxは、信号通知されてもよい。
vi. 変数min及びmaxは、予め規定されてもよい。
c. さらに、代替的に、1つの予測サンプルの最終再構成値は、クリップされた差に依存してもよい。
d. さらに、代替的に、1つの予測サンプルの最終再構成値は、修正された微調整されたサンプル/修正された微調整された差に依存してもよい。
7. 上記方法で利用されるクリッピングパラメータは、シーケンスレベル、ピクチャレベル、CTUレベル等のようなある映像符号化ユニットレベルで信号通知されてもよい。
a. いくつかの実施形態において、それらはSPS/VPS/PPS/タイルグループヘッダ/CTUの行/領域に信号通知されてもよい。
b. 代替的に、パラメータはオンザフライで導出されてもよい。
c. 代替的に、パラメータは、量子化パラメータ、タイルグループのタイプ、符号化モード情報、変形パラメータ等に従って導出されてもよい。
8. 上記方法を適用するかどうかは、カラーフォーマットに依存し得る。
a. 提案した方法は、1つの色成分、例えばG又は輝度色成分にのみ適用可能であってもよい。
b. 代替的に、提案した方法は、4:4:4のカラーフォーマットにおけるすべての色成分に適用可能であってもよい。
図12は、映像処理装置1200のブロック図である。装置1200は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1200は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置1200は、1つ以上の処理装置1202と、1つ以上のメモリ1204と、映像処理ハードウェア1206と、を含んでもよい。1つまたは複数の処理装置1202は、本明細書に記載される1つ以上の方法(方法1100および1150を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)1204は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1206は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
Claims (16)
- 映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを取得するために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1のオプティカルフロー微調整手順はオプティカルフローによる予測微調整(PROF(prediction refinement with optical flow))処理であり、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて取得した2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を含む、
映像データ処理方法。 - 映像の前記第1のブロックは、アフィンモードでコーディングされる、
請求項1に記載の方法。 - 前記第1の範囲は、前記第1のブロックの入力ビット深度に基づいて判定される、
請求項1又は2に記載の方法。 - 前記第1の範囲は、[min,max]であり、minが0より小さく、maxが0より大きい、
請求項1又は2に記載の方法。 - 前記第1の範囲は予め規定される、
請求項1又は2に記載の方法。 - 前記映像の第2のブロックに対して、第2の予測サンプルを判定することと、
第2の最終予測サンプルを取得するために、第2のオプティカルフロー微調整手順に基づいて、前記第2の予測サンプルを第2の予測サンプルオフセットで微調整することであって、前記第2の予測サンプルオフセットは、前記第2の予測サンプルの少なくとも1つの第2の勾配に基づいて判定され、前記第2の勾配は、前記第2の予測サンプルの位置に基づいて取得した2つの予測サンプルの間の差に少なくとも基づいて計算される、微調整することと、
前記第2の最終予測サンプルを第2の範囲にクリッピングすることと、
前記第2の最終予測サンプルに基づいて、前記第2のブロックと前記映像のビットストリームとの間での変換を行うことと、をさらに含む、
請求項1~5のいずれか1項に記載の方法。 - 前記第2のブロックは、非アフィンモードでコーディングされ、双予測される、
請求項6に記載の方法。 - 前記第2の範囲は、前記第2のブロックの入力ビット深度に基づいて判定される、請求項6に記載の方法。
- 前記第2の範囲は、[min,max]であり、minが0より小さく、maxが0よりも大きい、
請求項6に記載の方法。 - 前記第2の範囲は、予め規定されている、
請求項6に記載の方法。 - 前記第1の予測サンプルの前記位置に基づいて取得された前記2つの予測サンプルは、同じ参照ピクチャリストから導出され、前記第2の予測サンプルの前記位置に基づいて取得された前記2つの予測サンプルは、異なる参照ピクチャリストから導出される、
請求項6に記載の方法。 - 前記変換を行うことは、前記第1のブロックを前記ビットストリームから復号化することを含む、
請求項1~11のいずれか1項に記載の方法。 - 前記変換を行うことは、前記第1のブロックを前記ビットストリームに符号化することを含む、
請求項1~11のいずれか1項に記載の方法。 - 処理装置と、命令を内部に含む非一時的メモリを備える映像データを処理するための装置であって、前記処理装置で実行されると、前記命令は、前記処理装置に、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1のオプティカルフロー微調整手順はオプティカルフローによる予測微調整(PROF(prediction refinement with optical flow))処理であり、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を行わせる、
装置。 - 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、処理装置に、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1のオプティカルフロー微調整手順はオプティカルフローによる予測微調整(PROF(prediction refinement with optical flow))処理であり、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を行わせる、
非一時的コンピュータ可読記憶媒体。 - 映像のビットストリームを記憶する方法であって、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1のオプティカルフロー微調整手順はオプティカルフローによる予測微調整(PROF(prediction refinement with optical flow))処理であり、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて前記ビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に記憶することと、を含む、
方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023031928A JP7425241B2 (ja) | 2019-04-02 | 2023-03-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNPCT/CN2019/080914 | 2019-04-02 | ||
CN2019080914 | 2019-04-02 | ||
PCT/CN2020/082941 WO2020200270A1 (en) | 2019-04-02 | 2020-04-02 | Bidirectional optical flow based video coding and decoding |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023031928A Division JP7425241B2 (ja) | 2019-04-02 | 2023-03-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022528062A JP2022528062A (ja) | 2022-06-08 |
JPWO2020200270A5 JPWO2020200270A5 (ja) | 2022-06-27 |
JP7239732B2 true JP7239732B2 (ja) | 2023-03-14 |
Family
ID=72664568
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557133A Active JP7239732B2 (ja) | 2019-04-02 | 2020-04-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
JP2023031928A Active JP7425241B2 (ja) | 2019-04-02 | 2023-03-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023031928A Active JP7425241B2 (ja) | 2019-04-02 | 2023-03-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11516497B2 (ja) |
EP (1) | EP3928521A4 (ja) |
JP (2) | JP7239732B2 (ja) |
KR (2) | KR102609947B1 (ja) |
CN (3) | CN113661708B (ja) |
WO (2) | WO2020200270A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113661708B (zh) | 2019-04-02 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 基于双向光流的视频编解码和解码 |
CN115914627A (zh) | 2019-04-15 | 2023-04-04 | 北京字节跳动网络技术有限公司 | 自适应环路滤波器中的裁剪参数推导 |
KR102662024B1 (ko) | 2019-04-19 | 2024-05-21 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 상이한 모션 벡터 정제의 그레디언트 계산 |
WO2020211866A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Applicability of prediction refinement with optical flow process |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
WO2020233662A1 (en) | 2019-05-21 | 2020-11-26 | Beijing Bytedance Network Technology Co., Ltd. | Syntax signaling for optical-flow based inter coding |
EP3991432A1 (en) * | 2019-07-01 | 2022-05-04 | InterDigital VC Holdings France, SAS | Bi-directional optical flow refinement of affine motion compensation |
JP6960969B2 (ja) * | 2019-09-20 | 2021-11-05 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
WO2021068956A1 (en) | 2019-10-12 | 2021-04-15 | Beijing Bytedance Network Technology Co., Ltd. | Prediction type signaling in video coding |
EP4032290A4 (en) | 2019-10-18 | 2022-11-30 | Beijing Bytedance Network Technology Co., Ltd. | SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS |
KR20220113379A (ko) | 2019-12-27 | 2022-08-12 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 비디오 픽처 헤더의 슬라이스 유형의 시그널링 |
US11863742B2 (en) * | 2020-12-03 | 2024-01-02 | Alibaba Group Holding Limited | Method for using adaptive loop filter and system thereof |
CN117561714A (zh) * | 2021-06-15 | 2024-02-13 | 抖音视界有限公司 | 用于视频处理的方法、设备和介质 |
WO2022271635A1 (en) * | 2021-06-22 | 2022-12-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Side window bilateral filtering for video coding |
WO2023125834A1 (en) * | 2021-12-30 | 2023-07-06 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2024008105A1 (en) * | 2022-07-05 | 2024-01-11 | Douyin Vision (Beijing) Co., Ltd. | Multi-source based extended taps for adaptive loop filter in video coding |
WO2024078551A1 (en) * | 2022-10-13 | 2024-04-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169989A1 (en) | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101703362B1 (ko) | 2008-09-04 | 2017-02-06 | 톰슨 라이센싱 | 암시적 모션 예측을 이용한 예측 리파인먼트를 위한 방법들 및 장치들 |
JP2011142585A (ja) | 2010-01-08 | 2011-07-21 | Sony Corp | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
KR101529992B1 (ko) * | 2010-04-05 | 2015-06-18 | 삼성전자주식회사 | 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치 |
JP5768662B2 (ja) | 2011-10-31 | 2015-08-26 | 富士通株式会社 | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
US9503720B2 (en) | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
US10390041B2 (en) | 2012-03-30 | 2019-08-20 | Sun Patent Trust | Predictive image coding and decoding using two reference pictures |
EP2908530A4 (en) | 2012-10-12 | 2016-04-13 | Korea Electronics Telecomm | IMAGE ENCODING / DECODING METHOD AND DEVICE USING THE SAME |
US10412419B2 (en) | 2013-07-12 | 2019-09-10 | Qualcomm Incorporated | Adaptive filtering in video coding |
KR102028186B1 (ko) | 2013-09-20 | 2019-10-02 | 브이아이디 스케일, 인크. | 색역 확장성을 위한 3d 룩업 테이블 코딩을 제공하기 위한 시스템 및 방법 |
CN105409221B (zh) * | 2014-04-29 | 2020-03-06 | 微软技术许可有限责任公司 | 用于样本自适应偏移滤波的编码器侧决策 |
AU2014202921B2 (en) | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
US10200717B2 (en) | 2014-06-19 | 2019-02-05 | Sharp Kabushiki Kaisha | Image decoding device, image coding device, and predicted image generation device |
KR20170078682A (ko) * | 2014-11-04 | 2017-07-07 | 삼성전자주식회사 | 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
SG11201703454XA (en) | 2014-11-18 | 2017-06-29 | Mediatek Inc | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
US10158836B2 (en) * | 2015-01-30 | 2018-12-18 | Qualcomm Incorporated | Clipping for cross-component prediction and adaptive color transform for video coding |
US10057574B2 (en) * | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
JP6532962B2 (ja) | 2015-06-09 | 2019-06-19 | 華為技術有限公司Huawei Technologies Co.,Ltd. | 画像符号化方法、画像復号方法、符号化デバイス、および復号デバイス |
CN107925773B (zh) * | 2015-06-11 | 2022-06-07 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
US20180139469A1 (en) * | 2015-06-19 | 2018-05-17 | Nokia Technologies Oy | An Apparatus, A Method and A Computer Program for Video Coding and Decoding |
CA2999826C (en) * | 2015-09-25 | 2020-10-13 | Huawei Technologies Co., Ltd. | Apparatus and method for video motion compensation with selectable interpolation filter |
BR112018010207A2 (pt) * | 2015-11-18 | 2018-11-21 | Mediatek Inc | método e aparelho para o modo de predição intra usando filtro de predição intra em compressão de vídeo e imagem |
KR20180075558A (ko) * | 2015-11-24 | 2018-07-04 | 삼성전자주식회사 | 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치 |
GB2561507B (en) | 2016-01-07 | 2021-12-22 | Mediatek Inc | Method and apparatus for affine merge mode prediction for video coding system |
US10887619B2 (en) * | 2016-02-03 | 2021-01-05 | Sharp Kabushiki Kaisha | Moving image decoding device, moving image coding device, and prediction image generation device |
CN108781294B (zh) | 2016-02-05 | 2021-08-31 | 联发科技股份有限公司 | 视频数据的运动补偿方法及装置 |
US11405611B2 (en) * | 2016-02-15 | 2022-08-02 | Qualcomm Incorporated | Predicting filter coefficients from fixed filters for video coding |
US11095898B2 (en) | 2016-03-28 | 2021-08-17 | Lg Electronics Inc. | Inter-prediction mode based image processing method, and apparatus therefor |
EP3446480A1 (en) * | 2016-04-22 | 2019-02-27 | VID SCALE, Inc. | Prediction systems and methods for video coding based on filtering nearest neighboring pixels |
JP2019519972A (ja) * | 2016-05-05 | 2019-07-11 | ヴィド スケール インコーポレイテッド | イントラコーディングのための制御点ベースのイントラ方向表現 |
BR112018073434A2 (pt) * | 2016-05-13 | 2019-03-26 | Interdigital Vc Holdings, Inc. | método e aparelho para codificação de vídeo com corte adaptativo |
EP3456049B1 (en) * | 2016-05-13 | 2022-05-04 | VID SCALE, Inc. | Systems and methods for generalized multi-hypothesis prediction for video coding |
US10560712B2 (en) | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
US20180041778A1 (en) * | 2016-08-02 | 2018-02-08 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
US10728572B2 (en) | 2016-09-11 | 2020-07-28 | Lg Electronics Inc. | Method and apparatus for processing video signal by using improved optical flow motion vector |
WO2018061563A1 (ja) | 2016-09-27 | 2018-04-05 | シャープ株式会社 | アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
US10631002B2 (en) | 2016-09-30 | 2020-04-21 | Qualcomm Incorporated | Frame rate up-conversion coding mode |
US10448010B2 (en) | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
US10341659B2 (en) | 2016-10-05 | 2019-07-02 | Qualcomm Incorporated | Systems and methods of switching interpolation filters |
WO2018105579A1 (ja) * | 2016-12-09 | 2018-06-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
EP3565245A4 (en) * | 2017-01-04 | 2019-11-27 | Samsung Electronics Co., Ltd. | VIDEO CODING METHOD AND DEVICE AND VIDEO CODING METHOD AND DEVICE |
US20180199057A1 (en) | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10701366B2 (en) | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
BR112019018922A8 (pt) * | 2017-03-16 | 2023-02-07 | Mediatek Inc | Método e aparelho de refinamento de movimento com base em fluxo óptico bi-direcional para codificação de vídeo |
US10491917B2 (en) * | 2017-03-22 | 2019-11-26 | Qualcomm Incorporated | Decoder-side motion vector derivation |
CN116708829A (zh) | 2017-04-24 | 2023-09-05 | Sk电信有限公司 | 编解码视频数据的装置、发送编码视频数据比特流的方法 |
US10805630B2 (en) | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
CN116437106A (zh) * | 2017-05-19 | 2023-07-14 | 松下电器(美国)知识产权公司 | 编码方法和解码方法 |
CN107277316B (zh) | 2017-06-12 | 2020-05-12 | 京东方科技集团股份有限公司 | 显示装置及其制造方法 |
US10904565B2 (en) | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
US10477237B2 (en) * | 2017-06-28 | 2019-11-12 | Futurewei Technologies, Inc. | Decoder side motion vector refinement in video coding |
EP3649780A1 (en) * | 2017-07-03 | 2020-05-13 | Vid Scale, Inc. | Motion-compensation prediction based on bi-directional optical flow |
US10757442B2 (en) * | 2017-07-05 | 2020-08-25 | Qualcomm Incorporated | Partial reconstruction based template matching for motion vector derivation |
WO2019040075A1 (en) * | 2017-08-24 | 2019-02-28 | Ford Global Technologies, Llc | ENHANCED FUEL SUPPLYING OF VEHICLE |
US10609384B2 (en) | 2017-09-21 | 2020-03-31 | Futurewei Technologies, Inc. | Restriction on sub-block size derivation for affine inter prediction |
WO2019070770A1 (en) | 2017-10-02 | 2019-04-11 | Arris Enterprises Llc | SYSTEM AND METHOD FOR REDUCING BLOCKED ARTIFACTS AND PRODUCING ENHANCED ENCODING EFFICIENCY |
US10757417B2 (en) | 2018-01-20 | 2020-08-25 | Qualcomm Incorporated | Affine motion compensation in video coding |
KR20210016581A (ko) * | 2018-06-05 | 2021-02-16 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | Ibc 및 atmvp 간의 상호 작용 |
US11303923B2 (en) | 2018-06-15 | 2022-04-12 | Intel Corporation | Affine motion compensation for current picture referencing |
CN116347099A (zh) | 2018-06-19 | 2023-06-27 | 北京字节跳动网络技术有限公司 | 没有运动矢量预测截断的选择的运动矢量差精度 |
CN116095312A (zh) * | 2018-08-04 | 2023-05-09 | 北京字节跳动网络技术有限公司 | 视频处理方法、装置和计算机可读介质 |
CN116546213A (zh) | 2018-09-19 | 2023-08-04 | 北京字节跳动网络技术有限公司 | 具有自适应运动矢量分辨率的仿射模式的语法重用 |
EP3834418A1 (en) | 2018-09-23 | 2021-06-16 | Beijing Bytedance Network Technology Co. Ltd. | Modification of motion vector with adaptive motion vector resolution |
WO2020070612A1 (en) * | 2018-10-06 | 2020-04-09 | Beijing Bytedance Network Technology Co., Ltd. | Improvement for temporal gradient calculating in bio |
CN111357294B (zh) | 2018-10-23 | 2022-12-30 | 北京字节跳动网络技术有限公司 | 基于子块的运动信息列表的简化熵编解码 |
JP7231727B2 (ja) | 2018-11-05 | 2023-03-01 | 北京字節跳動網絡技術有限公司 | 精緻化を伴うインター予測のための補間 |
CN113170097B (zh) * | 2018-11-20 | 2024-04-09 | 北京字节跳动网络技术有限公司 | 视频编解码模式的编解码和解码 |
CN113366834A (zh) * | 2018-11-26 | 2021-09-07 | 弗劳恩霍夫应用研究促进协会 | 使用切片独立约束的间预测概念 |
GB2580173B (en) * | 2018-12-21 | 2022-07-27 | Canon Kk | A filter |
CN113728645A (zh) | 2019-02-20 | 2021-11-30 | 北京达佳互联信息技术有限公司 | 用于基于尾数-指数表示的帧间预测的运动矢量舍入、裁剪和存储的方法和装置 |
US20200296405A1 (en) | 2019-03-14 | 2020-09-17 | Qualcomm Incorporated | Affine motion compensation refinement using optical flow |
CN113632484A (zh) * | 2019-03-15 | 2021-11-09 | 北京达佳互联信息技术有限公司 | 用于双向光流的比特宽度控制的方法和设备 |
SG11202109031TA (en) * | 2019-03-18 | 2021-09-29 | Tencent America LLC | Method and apparatus for video coding |
US11343525B2 (en) | 2019-03-19 | 2022-05-24 | Tencent America LLC | Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors |
US11962796B2 (en) * | 2019-04-01 | 2024-04-16 | Qualcomm Incorporated | Gradient-based prediction refinement for video coding |
CN113661708B (zh) * | 2019-04-02 | 2023-12-15 | 北京字节跳动网络技术有限公司 | 基于双向光流的视频编解码和解码 |
WO2020211866A1 (en) * | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Applicability of prediction refinement with optical flow process |
CN113711609B (zh) | 2019-04-19 | 2023-12-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程中的增量运动矢量 |
KR102662024B1 (ko) | 2019-04-19 | 2024-05-21 | 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 | 상이한 모션 벡터 정제의 그레디언트 계산 |
US20210092390A1 (en) * | 2019-09-23 | 2021-03-25 | Alibaba Group Holding Limited | Methods and apparatuses for prediction refinement with optical flow in reference picture resampling |
-
2020
- 2020-04-02 CN CN202080026399.4A patent/CN113661708B/zh active Active
- 2020-04-02 EP EP20782029.1A patent/EP3928521A4/en active Pending
- 2020-04-02 CN CN202311511842.9A patent/CN117319681A/zh active Pending
- 2020-04-02 JP JP2021557133A patent/JP7239732B2/ja active Active
- 2020-04-02 WO PCT/CN2020/082941 patent/WO2020200270A1/en unknown
- 2020-04-02 CN CN202080026270.3A patent/CN113728651B/zh active Active
- 2020-04-02 KR KR1020217030716A patent/KR102609947B1/ko active IP Right Grant
- 2020-04-02 WO PCT/CN2020/082976 patent/WO2020200277A1/en active Application Filing
- 2020-04-02 KR KR1020237041404A patent/KR20230165888A/ko active Application Filing
-
2021
- 2021-08-18 US US17/405,374 patent/US11516497B2/en active Active
-
2022
- 2022-06-13 US US17/838,498 patent/US11997303B2/en active Active
-
2023
- 2023-03-02 JP JP2023031928A patent/JP7425241B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169989A1 (en) | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Non-Patent Citations (5)
Title |
---|
Benjamin Bross, Jianle Chen, and Shan Liu,Versatile Video Coding (Draft 4),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M1001 (version 7),13th Meeting: Marrakech, MA,2019年03月,pp.197-199 |
Jiancong (Daniel) Luo and Yuwen He,CE2-related: Prediction refinement with optical flow for affine mode,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0236-r5,14th Meeting: Geneva, CH,2019年03月,pp.1-7 |
Jingya Li, and Chong Soon Lim ,CE4-related: Alignment of BDOF refinement process with PROF ,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0123-v3,15th Meeting: Gothenburg, SE,2019年06月,pp.1-3 |
Xiaoyu Xiu, et al.,CE9-related: Improvements on bi-directional optical flow (BDOF),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0325,14th Meeting: Geneva, CH,2019年03月,pp.1-7 |
Xiaoyu Xiu, Yuwen He, and Yan Ye,CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0256_v2,12th Meeting: Macao, CN,2018年09月,pp.1-15 |
Also Published As
Publication number | Publication date |
---|---|
US20210385482A1 (en) | 2021-12-09 |
US20220329842A1 (en) | 2022-10-13 |
WO2020200277A1 (en) | 2020-10-08 |
CN117319681A (zh) | 2023-12-29 |
JP2023075210A (ja) | 2023-05-30 |
CN113661708B (zh) | 2023-12-15 |
JP7425241B2 (ja) | 2024-01-30 |
EP3928521A1 (en) | 2021-12-29 |
KR102609947B1 (ko) | 2023-12-04 |
CN113661708A (zh) | 2021-11-16 |
US11516497B2 (en) | 2022-11-29 |
JP2022528062A (ja) | 2022-06-08 |
CN113728651A (zh) | 2021-11-30 |
EP3928521A4 (en) | 2022-08-17 |
US11997303B2 (en) | 2024-05-28 |
WO2020200270A1 (en) | 2020-10-08 |
KR20230165888A (ko) | 2023-12-05 |
CN113728651B (zh) | 2022-10-25 |
KR20210141523A (ko) | 2021-11-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7239732B2 (ja) | 双方向オプティカルフローに基づく映像符号化及び復号化 | |
US11523140B2 (en) | Nonlinear adaptive loop filtering in video processing | |
US20230217021A1 (en) | On adaptive loop filtering for video coding | |
JP2022554308A (ja) | 輝度の差分を用いるクロスコンポーネント適応ループフィルタ | |
CN114009050B (zh) | 视频编解码的自适应环内颜色空间变换 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210924 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7239732 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |