JP7425241B2 - 双方向オプティカルフローに基づく映像符号化及び復号化 - Google Patents
双方向オプティカルフローに基づく映像符号化及び復号化 Download PDFInfo
- Publication number
- JP7425241B2 JP7425241B2 JP2023031928A JP2023031928A JP7425241B2 JP 7425241 B2 JP7425241 B2 JP 7425241B2 JP 2023031928 A JP2023031928 A JP 2023031928A JP 2023031928 A JP2023031928 A JP 2023031928A JP 7425241 B2 JP7425241 B2 JP 7425241B2
- Authority
- JP
- Japan
- Prior art keywords
- predicted
- predicted sample
- sample
- video
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims description 41
- 230000002457 bidirectional effect Effects 0.000 title description 12
- 238000000034 method Methods 0.000 claims description 161
- 238000012545 processing Methods 0.000 claims description 63
- 230000009466 transformation Effects 0.000 claims description 24
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 13
- 238000003672 processing method Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 8
- 238000001914 filtration Methods 0.000 description 73
- 230000008569 process Effects 0.000 description 52
- 230000033001 locomotion Effects 0.000 description 39
- 230000003044 adaptive effect Effects 0.000 description 27
- AVVWPBAENSWJCB-DGPNFKTASA-N beta-D-galactofuranose Chemical compound OC[C@@H](O)[C@@H]1O[C@@H](O)[C@H](O)[C@H]1O AVVWPBAENSWJCB-DGPNFKTASA-N 0.000 description 24
- 238000005516 engineering process Methods 0.000 description 22
- 230000002123 temporal effect Effects 0.000 description 18
- 239000013598 vector Substances 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000011664 signaling Effects 0.000 description 8
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000002146 bilateral effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 229910003460 diamond Inorganic materials 0.000 description 5
- 239000010432 diamond Substances 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000005111 flow chemistry technique Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000009795 derivation Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/543—Motion estimation other than block-based using regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本願は、2019年4月2日出願の国際特許出願第PCT/CN2019/080914号の優先権および利益を主張する2020年4月2日出願の国際特許出願第PCT/CN2020/082941号の国内段階である日本国出願番号2021-557133号の分割出願である。上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
色空間は、カラーモデル(又はカラーシステム)としても知られ、色の範囲を数字のタプルとして一般的に、3又は4つの値又は色成分(例えばRGB)として、簡単に記述する抽象的な数学モデルである。基本的には、色空間は座標系とサブ空間とを精緻化したものである。
3つのY’CbCr成分の各々は、同じサンプルレートを有し、従って、クロマサブサンプリングは存在しない。このスキームは、ハイエンドのフィルムスキャナ及び映画のポストプロダクションに用いられることがある。
2つのクロマ成分は、輝度のサンプルレートの半分でサンプリングされ、例えば、水平クロマ解像度が半分にされる。これにより、視覚的にほとんど又は全く差がなく、非圧縮の映像信号の帯域幅を1/3に低減することができる。
4:2:0では、水平サンプリングは4:1:1に比べて2倍になるが、このスキームではCb及びCrチャネルを各1行おきのラインでのみサンプリングするので、垂直解像度は半分になる。従って、データレートは同じである。Cb及びCrはそれぞれ水平及び垂直方向の両方向に2倍にサブサンプリングされる。異なる水平及び垂直位置を有する4:2:0スキームの3つの変形がある。
図1は、3つのインループフィルタリングブロック、すなわち非ブロック化フィルタ(DF)、サンプル適応オフセット(SAO)及び適応ループフィルタ(ALF)を含む、VVCのエンコーダブロック図の例を示す。予め規定されたフィルタを使用するDFとは異なり、SAO及びALFは、現在のピクチャの元のサンプルを利用し、オフセットを追加し、且つ有限インパルス応答(FIR)フィルタを適用することによって、オフセット及びフィルタ係数を信号通知する符号化側情報とともに、オリジナルサンプルと再構成サンプルとの間の平均二乗誤差をそれぞれ低減する。ALFは、各ピクチャの最後の処理段階に位置し、前の段階で生成されたアーチファクトを捕捉し、修正しようとするツールと見なすことができる。
JEMにおいて、ブロックに基づくフィルタ適応を用いた形状変換に基づく適応ループフィルタ(GALF)が適用される。輝度成分は、局所勾配の方向および働きに基づいて、2×2ブロックごとに25個のフィルタのうち1つを選択する。
本願において、輝度成分として、最大3つのダイヤモンドフィルタ形状(図2Aに示すように、5×5ダイヤモンド、7×7ダイヤモンド、9×9ダイヤモンドのそれぞれについて図2B、図2Cに示す)を選択することができる。輝度成分に使用されるフィルタ形状を示すために、ピクチャレベルでインデックスが信号通知される。1つのピクチャにおけるクロマ成分に対して、5×5ダイヤモンド形状が使用される。
各2×2ブロックを25個のクラスのうちの1つに分類する。分類インデックスCは、その方向性DおよびアクティビティA^の量子化値に基づいて、以下のように導出される。
(i,j)において再構成されたサンプルを示す。
そして、水平方向および垂直方向の勾配のD最大値およびD最小値を以下のように設定する。
それぞれの2×2ブロックをフィルタリングする前に、そのブロックに対して計算された勾配値に基づいて、フィルタ係数f(k,l)に対して、ローテーション、又は対角線及び垂直方向の反転等の幾何学的変換を施す。これは、これらの変換をフィルタ支持領域内のサンプルに適用することに等しい。その考えは、ALFが適用される異なるブロックを、それらの方向性を揃えることによって、より類似させることである。
JEMにおいて、GALFフィルタパラメータは、第1のCTUのために、例えば、スライスヘッダの後且つ第1のCTUのSAOパラメータの前に信号通知される。最大25組の輝度フィルタ係数を信号通知することができる。ビットオーバーヘッドを低減するために、異なる分類のフィルタ係数をマージすることができる。また、参照ピクチャのGALF係数を記憶し、現在のピクチャのGALF係数として再利用することができる。現在のピクチャは、参照ピクチャのために記憶されたGALF係数を使用し、GALF係数信号通知を回避することを選択してもよい。この場合、1つの参照ピクチャへのインデックスのみが信号通知され、記憶されている示された参照ピクチャのGALF係数が現在のピクチャに継承される。
デコーダ側において、1つのブロックに対してGALFが有効化されると、このブロック内のそれぞれのサンプルR(i,j)がフィルタリングされ、その結果、以下に示すように、サンプル値R’(i,j)が得られる。ここで、Lは、フィルタ長を表し、f(m,n)は、フィルタ係数を表し、f(k,l)は、復号化されたフィルタ係数を表す。
図3には、GALFのための全体的なエンコーダ決定処理が示されている。各CUの輝度サンプルに対して、エンコーダは、GALFが適用され、かつ適切な信号通知フラグがスライスヘッダに含まれているか否かを決定する。クロマサンプルの場合、フィルタを適用する決定は、CUレベルではなくピクチャレベルに基づいて行われる。さらに、ピクチャのためのクロマGALFは、このピクチャのために輝度GALFが有効化されている場合にのみチェックされる。
現在のVVCにおけるGALFの設計は、JEMにおける設計に比べ、以下のような大きな変化を有している。
ALFは、インループフィルタリングの最終段階である。この処理には2つの段階がある。第1の段階は、フィルタ係数の導出である。フィルタ係数をトレーニングするために、エンコーダは、再構成された輝度成分の画素を16個の領域に分類し、wiener-hopf方程式を使用して、カテゴリ毎に1つのフィルタ係数のセットをトレーニングし、元のフレームと再構成されたフレームとの間の平均二乗誤差を最小限に抑える。これらの16個のフィルタ係数のセット間の冗長性を低減するために、エンコーダは、ひずみ率性能に基づいてそれらを適応的にマージする。その最大値において、16個の異なるフィルタセットを輝度成分に割り当てることができ、1つのフィルタセットのみをクロミナンス成分に割り当てることができる。第2の段階は、フレームレベル及びLCUレベルの両方を含むフィルタ決定である。まず、エンコーダは、フレームレベル適応ループフィルタリングを行うかどうかを決定する。フレームレベルALFがオンである場合、エンコーダは、LCUレベルALFを行うかどうかをさらに決定する。
例示的なフィルタ形状は、7×7の十字形であり、輝度成分及びクロマ成分の両方について図5に示すように、3×3の正方形を重ね合わせたものである。図5中の四角はそれぞれサンプルに対応する。従って、合計17個のサンプルを使用して、位置C8のサンプルのためのフィルタリングされた値を導出する。係数を送信するオーバーヘッドを考慮して、点対称フィルタは、9つの係数だけを残して、{C0,C1、・・・、C8}を利用し、これにより、フィルタリングにおけるフィルタ係数の数を半分に減らすと共に乗算の数を減らす。この点対称フィルタは、1つのフィルタリングされたサンプルの計算の半分を減らすこともでき、例えば、1つのフィルタリングされたサンプルに対して9回の乗算及び14回の加算演算のみを行う。
異なる符号化エラーに適応するために、一部の実施形態では、輝度成分のために、領域に基づく複数の適応ループフィルタを採用する。輝度成分は、図6に示すように、各基本領域が最大符号化ユニット(LCU)の境界に位置合わせされた16個の略等分したサイズの基本領域に分割され、領域毎に1つのウィーナーフィルタを導出する。より多くのフィルタを使用するほど、より多くの歪みが低減されるが、これらの係数を符号化するために使用されるビットは、フィルタの数とともに増加する。最良のレートひずみ率を実現するために、これらの領域を、同じフィルタ係数を共有する、より少なく、より大きい領域にマージすることができる。マージ処理を簡単にするために、各領域には、画像の前置相関に基づいて修正されたヒルベルト順に従ってインデックスが割り当てられる。ひずみ率コストに基づいて、インデックスが連続する2つの領域をマージすることができる。
複数のスイッチフラグも使用される。シーケンス切替フラグadaptive_loop_filter_enableは、シーケンス全体に適応ループフィルタを適用するかどうかを制御するためのフラグである。画像切り替えフラグpicture_alf_enble[i]、は、対応するi番目の画像成分に対してALFを適用するかどうかを制御する。picture_alf_enble[i]が有効になっている場合にのみ、その色成分に対応するLCUレベルのフラグ及びフィルタ係数を送信する。LCUレベルフラグ、lcu_alf_enable[k]、は、対応するk番目のLCUに対してALFが有効化されるかどうかを制御し、スライスデータにインターリーブされる。異なるレベルの調整済みフラグの決定はすべて、ひずみ率コストに基づく。柔軟性が高いので、ALFは、符号化効率をさらに有意に向上させる。
いくつかの実施形態において、適応ループフィルタのフィルタリング処理は次のように行われる。
7.1 フィルタリングの再形成
式(11)は、符号化効率に影響を及ぼすことなく、以下の式で再定式化することができる。
上記式(13)のフィルタ式を用いることで、単純なクリッピング関数を使用して、近傍サンプル値(I(x+i,y+j))が現在のサンプル値(I(x,y))のフィルタリングと異なり過ぎている場合に、その影響を低減することで、非線形性を導入し、ALFをより効率的にする。
インループリシェイプ(ILR)の基本的な考えは、元の(第1のドメインにおける)信号(予測/再構成信号)を第2のドメイン(リシェイプされたドメイン)に変換することである。
概念的には、区分線形(PWL)は、以下のように実装される。
8.2.1 輝度のリシェイプ
インループ輝度リシェイプのいくつかの実施例は、より複雑性低いパイプラインを提供し、且つインタースライス再構成におけるブロック単位のイントラ予測のための復号化待ち時間を排除する。イントラ予測は、インタースライスおよびイントラスライスの両方のために、リシェイプされたドメインにおいて行われる。
輝度依存クロマ残差スケーリングは、固定小数点整数演算で実装される乗算処理である。クロマ残差スケーリングは、輝度信号のクロマ信号との相互作用を補償する。TUレベルでクロマ残差スケーリングを適用する。具体的には、以下が適用される。
パラメータは(現在)タイルグループヘッダ(ALFに類似)で送信される。これらは、40~100ビットを要すると報告されている。
以下の規格は、JVET-L1001のバージョン9に基づいている。追加された構文は黄色で強調表示される。
タイルグループヘッダ構文において、以下の意味論を追加する。
tile_group_reshaper_model_present_flagが1と等しい場合は、tile_group_reshaper_model()がタイルグループ内に存在することを規定している。tile_group_reshaper_model_present_flagが0と等しい場合は、tile_group_reshaper_model()がタイルグループヘッダに存在しないことを規定している。tile_group_reshaper_model_present_flagが存在しない場合は、0に等しいと推論される。
tile_group_reshaper_enabled_flagが1と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていることを規定している。tile_group_reshaper_enabled_flagが0と等しい場合は、現在のタイルグループに対してリシェイパが有効になっていないことを規定している。tile_group_reshaper_enable_flagが存在しない場合、0であると推論される。
tile_group_reshaper_chroma_residual_scale_flagが1と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングを有効であることを規定している。tile_group_reshaper_chroma_residual_scale_flagが0と等しい場合は、現在のタイルグループに対してクロマ残差スケーリングが有効でないことを規定している。tile_group_reshaper_chroma_residual_scale_flagが存在しない場合は、0であると推測される。
tile_group_reshaper_model()構文を追加する。
reshape_model_min_bin_idxは、最小のビン(またはピース)インデックスを、リシェイパ構築処理に使用するように規定している。reshape_model_min_bin_idxの値が0~MaxBinIdxの範囲内にあるものとする。MaxBinIdxの値は15と等しいとする。
reshape_model_delta_max_bin_idxは、最大許容ビン(またはピース)インデックスMaxBinIdxから最大ビンインデックスを引いたものが、リシェイパ構築処理で使用されることを規定している。reshape_model_max_bin_idxの値は、MaxBinIdx-reshape_model_delta_max_bin_idxに等しく設定される。
reshaper_model_bin_delta_abs_cw_prec_minus1+1は、構文reshape_model_bin_delta_abs_CW[i]の表現に使用するビット数を規定している。
reshape_model_bin_delta_abs_CW[i]は、i番目のビンの絶対デルタコード名値を規定する。
reshaper_model_bin_delta_sign_CW_flag[i]は、reshape_model_bin_delta_abs_CW[i]のサインを次のように記述する。
- reshape_model_bin_delta_sign_CW_flag[i]が0と等しい場合、対応する変数RspDeltaCW[i]は正の値である。
- そうでない場合(reshape_model_bin_delta_sign_CW_flag[i]が0と等しくない)、対応する変数RspDeltaCW[i]は負の値である。
reshape_model_bin_delta_sign_CW_flag[i]が存在しない場合、0に等しいと推測される。
変数RspDeltaCW[i]=(1 2*reshape_model_bin_delta_sign_CW[i])*reshape_model_bin_delta_abs_CW[i];変数RspCW[i]は、以下のステップとして導出される。変数OrgCWは、(1<<BitDepthY)/(MaxBinIdx+1)に等しく設定される。
-reshaper_model_min_bin_idx<=i<=reshaper_model_max_bin_idxの場合、RspCW[i]=OrgCW+RspDeltaCW[i]である。
- そうでない場合、RspCW[i]=0である。
BitDepthYの値が10に等しい場合、RspCW[i]の値は、32~2*OrgCW_1の範囲内にくる。
iが0~MaxBinIdx+1の範囲にある変数InputPivot[i]は、以下のように導出される。
InputPivot[i]=i*OrgCW
iが0~MaxBinIdx+1の範囲にあり、変数ScaleCoef[i]およびInvScaleCoeff[i]がそれぞれ0~MaxBinIdxの範囲にあり、iが0~MaxBinIdxの範囲にある変数ReshapePivot[i]は、以下のように導出される。
shiftY=14
ReshapePivot[0]=0;
for(i=0;i<=MaxBinIdx;i++){
ReshapePivot[i+1]=ReshapePivot[i]+RspCW[i]
ScaleCoef[i]=(RspCW[i]*(1<<shiftY)+(1<<(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(RspCW[i]==0)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW*(1<<shiftY)/RspCW[i]
}
iが0~MaxBinIdxの範囲内にある変数ChromaScaleCoef[i]は、以下のように導出される。
ChromaResidualScaleLut[64]={16384,16384,16384,16384,16384,16384,16384,8192,8192,8192,8192,5461,5461,5461,5461,4096,4096,4096,4096,3277,3277,3277,3277,2731,2731,2731,2731,2341,2341,2341,2048,2048,2048,1820,1820,1820,1638,1638,1638,1638,1489,1489,1489,1489,1365,1365,1365,1365,1260,1260,1260,1260,1170,1170,1170,1170,1092,1092,1092,1092,1024,1024,1024,1024};shiftC=11
- if(RspCW[i]==0)
ChromaScaleCoef[i]=(1<<shiftC)
- Otherwise(RspCW[i]!=0),ChromaScaleCoef[i]=ChromaResidualScaleLut[RspCW[i]>>1]
エンコーダ側では、まず、各ピクチャ(またはタイルグループ)をリシェイプされたドメインに変換する。そして、すべての符号化処理は、リシェイプされたドメインで行われる。イントラ予測の場合、近傍のブロックはリシェイプされたドメインにあり、インター予測の場合、まず、参照ブロック(復号化ピクチャバッファからの元のドメインから生成される)をリシェイプされたドメインに変換する。そして、残差を生成し、ビットストリームに符号化する。
9.1 BIOの概要と分析
BDOF(別名、BIO)では、まず、動き補償を行い、現在のブロックの(各予測方向における)第1の予測を生成する。第1の予測は、ブロック内の各サブブロックまたは画素の空間的勾配、時間的勾配、及びオプティカルフローを導出するために用いられ、これらを用いて第2の予測、例えば、サブブロックまたはピクセルの最終予測を生成する。
以下、その詳細を説明する。
いくつかの実施形態において、サブブロックに基づくアフィン動き補償予測をオプティカルフローにより微調整することができる。サブブロックに基づくアフィン動き補償を行った後、オプティカルフロー方程式で導出された差を加算することで、予測サンプルを微調整し、これをオプティカルフロー予測微調整(PROF)と呼ぶ。このような技法は、メモリアクセス帯域幅を増大させることなく、画素レベルの粒度におけるインター予測を実現することができる。
非線形ALF(NLALF)、BIO(aka BDOF)および/またはPROF設計には、以下の問題がある。
本開示の技術の実施形態は、既存の実装の欠点を克服し、それにより、より高い符号化効率を有する映像符号化を提供する。開示される技術に基づいた映像符号化のためのサンプル微調整およびフィルタリング方法は、既存のおよび将来の映像符号化規格の両方を向上させることができ、様々な実装形態のために以下の例で解明される。以下に提供される開示される技術の例は、一般的な概念を説明するものであり、限定するものと解釈されるべきではない。一例において、明確に示されていない限り、逆に示されていない限り、これらの例に記載されている様々な特徴を組み合わせることができる。
1. なお、各近傍の画素と現在の画素との差をクリッピングする代わりに、近傍の画素の重み付け平均をクリッピングしてもよい。
a. いくつかの実施形態において、クリッピングは次のように行うことができる。ここで、Kはクリッピング演算である。
a. いくつかの実施形態において、1次元フィルタは水平方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、前記フィルタリング処理は次のように表現してもよい。
b. いくつかの実施形態において、前記ショートタップフィルタは垂直方向に近傍のサンプルのみを使用してもよい。
c. いくつかの実施形態において、1次元タップフィルタは、水平/垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
d. いくつかの実施形態において、ws(si)は画素の分類によって異なっていてもよい。
e. いくつかの実施形態において、ws(si)は異なるクラスの画素に対して同じであってもよい。
f. いくつかの実施形態において、ws(si)はデコーダに信号通知されてもよい。
g. いくつかの実施形態において、ws(si)は予め規定されていてもよい。
3. 1次元非線形適応ループフィルタリング方法を利用してもよい。
a. いくつかの実施形態において、前記ショートタップフィルタは水平方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、非線形フィルタリング方法は、水平方向に近傍のサンプルを用いて次のように表現してもよい。
b. いくつかの実施形態において、1次元非線形フィルタは垂直方向に近傍のサンプルのみを使用してもよい。
i. いくつかの実施形態において、非線形フィルタリング方法は、垂直方向に近傍のサンプルを用いて次のように表現してもよい。
c. いくつかの実施形態において、1次元非線形タップフィルタは、水平/垂直方向を除き、一方向に近傍のサンプルのみを使用してもよい。
d. いくつかの実施形態において、ws(si)は画素の分類によって異なっていてもよい。
e. いくつかの実施形態において、ws(si)は異なるクラスの画素に対して同じであってもよい。
f. いくつかの実施形態において、ws(si)はデコーダに信号通知されてもよい。
g. いくつかの実施形態において、ws(si)は予め規定されていてもよい。
4. バイラテラルフィルタ又はアダマールフィルタにおいて、画素は異なる方向に沿ってフィルタリングされてもよい。
a. いくつかの実施形態において、画素は勾配情報によって異なる方向にフィルタリングされてもよい。
b. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より大きいか或いは等しい場合、サブブロック内の画素を水平方向にフィルタリングしてもよい。
i. 代替的に、サブブロック内の画素を垂直方向にフィルタリングしてもよい
c. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配及び垂直方向勾配を計算し、水平方向勾配の絶対値の合計が垂直方向勾配の絶対値の合計より小さいか或いは等しい場合、サブブロック内の画素を垂直方向にフィルタリングしてもよい。
i. 代替的に、サブブロック内の画素を水平方向にフィルタリングしてもよい。
d. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配、垂直方向勾配、45度対角勾配及び135度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最大合計を有する方向に沿って選別してもよい。
e. いくつかの実施形態において、各M×Nサブブロックに対して、水平方向勾配、垂直方向勾配、45度対角勾配及び135度斜め勾配を算出し、サブブロック内の画素を絶対勾配の最小合計を有する方向に沿って選別してもよい。
5. BODFにおいて、勾配は、サンプルの微調整又は/及びMVオフセットの導出に使用される前に修正されてもよい。
a. いくつかの実施形態において、BDOFで算出された空間的及び/又は時間的勾配は、ある範囲[min,max]にクリップされてもよい。
i. 変数min及びmaxは、空間的勾配及び時間的勾配に対して異なってもよい。
ii. 変数minは0より小さくてもよく、maxはゼロより大きくてもよい。
iii. 変数min及びmaxは、サンプルの入力ビット深度に依存してもよい。
iv. 変数min及びmaxは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
v. 変数min及びmaxは、信号通知されてもよい。
vi. 変数min及びmaxは、予め規定されてもよい。
b. いくつかの実施形態において、BDOFで算出された空間的及び/又は時間的勾配は、非線形関数によって修正されてもよい。
i. 例えば、ロジスティックS字関数を使用してもよい。
c. 同様に、PROFにおいて、勾配は、サンプルの微調整又は/及びMVオフセットの導出に使用される前に、修正されてもよい。
6. BODF/PROFにおいて、微調整されたサンプル値、又は予測サンプルとその微調整されたサンプル値との差(又はオフセット)は、さらに修正してから最終的な再構成サンプル値を導出してもよい。
a. BODF/PROFでは、予測サンプルとその微調整されたサンプル値との差にクリッピング演算を加えてもよい。
b. いくつかの実施形態において、前記差はある範囲[min,max]にクリッピングされてもよい。
i. 変数min及びmaxは、空間的勾配及び時間的勾配に対して異なってもよい。
ii. 変数minは0より小さくてもよく、maxはゼロより大きくてもよい。
iii. 変数min及びmaxは、サンプルの入力ビット深度に依存してもよい。
iv. 変数min及びmaxは、中間サンプルを生成するために用いられる補間フィルタに依存してもよい。
v. 変数min及びmaxは、信号通知されてもよい。
vi. 変数min及びmaxは、予め規定されてもよい。
c. さらに、代替的に、1つの予測サンプルの最終再構成値は、クリップされた差に依存してもよい。
d. さらに、代替的に、1つの予測サンプルの最終再構成値は、修正された微調整されたサンプル/修正された微調整された差に依存してもよい。
7. 上記方法で利用されるクリッピングパラメータは、シーケンスレベル、ピクチャレベル、CTUレベル等のようなある映像符号化ユニットレベルで信号通知されてもよい。
a. いくつかの実施形態において、それらはSPS/VPS/PPS/タイルグループヘッダ/CTUの行/領域に信号通知されてもよい。
b. 代替的に、パラメータはオンザフライで導出されてもよい。
c. 代替的に、パラメータは、量子化パラメータ、タイルグループのタイプ、符号化モード情報、変形パラメータ等に従って導出されてもよい。
8. 上記方法を適用するかどうかは、カラーフォーマットに依存し得る。
a. 提案した方法は、1つの色成分、例えばG又は輝度色成分にのみ適用可能であってもよい。
b. 代替的に、提案した方法は、4:4:4のカラーフォーマットにおけるすべての色成分に適用可能であってもよい。
図12は、映像処理装置1200のブロック図である。装置1200は、本明細書に記載の方法の1つ以上を実装するために使用してもよい。装置1200は、スマートフォン、タブレット、コンピュータ、IoT(モノのインターネット)受信機等により実施されてもよい。装置1200は、1つ以上の処理装置1202と、1つ以上のメモリ1204と、映像処理ハードウェア1206と、を含んでもよい。1つまたは複数の処理装置1202は、本明細書に記載される1つ以上の方法(方法1100および1150を含むが、これに限定されない)を実装するように構成されてもよい。メモリ(複数可)1204は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア1206は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
Claims (16)
- 映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを取得するために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて取得した2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を含む、
映像データ処理方法。 - 映像の前記第1のブロックは、アフィンモードでコーディングされる、
請求項1に記載の方法。 - 前記第1の範囲は、前記第1のブロックの入力ビット深度に基づいて判定される、
請求項1又は2に記載の方法。 - 前記第1の範囲は、[min,max]であり、minが0より小さく、maxが0より大きい、
請求項1又は2に記載の方法。 - 前記第1の範囲は予め規定される、
請求項1又は2に記載の方法。 - 前記映像の第2のブロックに対して、第2の予測サンプルを判定することと、
第2の最終予測サンプルを取得するために、第2のオプティカルフロー微調整手順に基づいて、前記第2の予測サンプルを第2の予測サンプルオフセットで微調整することであって、前記第2の予測サンプルオフセットは、前記第2の予測サンプルの少なくとも1つの第2の勾配に基づいて判定され、前記第2の勾配は、前記第2の予測サンプルの位置に基づいて取得した2つの予測サンプルの間の差に少なくとも基づいて計算される、微調整することと、
前記第2の最終予測サンプルを第2の範囲にクリッピングすることと、
前記第2の最終予測サンプルに基づいて、前記第2のブロックと前記映像のビットストリームとの間での変換を行うことと、をさらに含む、
請求項1~5のいずれか1項に記載の方法。 - 前記第2のブロックは、非アフィンモードでコーディングされ、双予測される、
請求項6に記載の方法。 - 前記第2の範囲は、前記第2のブロックの入力ビット深度に基づいて判定される、請求項6に記載の方法。
- 前記第2の範囲は、[min,max]であり、minが0より小さく、maxが0よりも大きい、
請求項6に記載の方法。 - 前記第2の範囲は、予め規定されている、
請求項6に記載の方法。 - 前記第1の予測サンプルの前記位置に基づいて取得された前記2つの予測サンプルは、同じ参照ピクチャリストから導出され、前記第2の予測サンプルの前記位置に基づいて取得された前記2つの予測サンプルは、異なる参照ピクチャリストから導出される、
請求項6に記載の方法。 - 前記変換を行うことは、前記第1のブロックを前記ビットストリームから復号化することを含む、
請求項1~11のいずれか1項に記載の方法。 - 前記変換を行うことは、前記第1のブロックを前記ビットストリームに符号化することを含む、
請求項1~11のいずれか1項に記載の方法。 - 処理装置と、命令を内部に含む非一時的メモリを備える映像データを処理するための装置であって、前記処理装置で実行されると、前記命令は、前記処理装置に、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を行わせる、
装置。 - 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令は、処理装置に、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて、前記第1のブロックと前記映像のビットストリームとの間での変換を行うことと、を行わせる、
非一時的コンピュータ可読記憶媒体。 - 映像のビットストリームを記憶する方法であって、
映像の第1のブロックに対して、第1の予測サンプルを判定することと、
第1の最終予測サンプルを得るために、第1のオプティカルフロー微調整手順に基づいて、第1の予測サンプルオフセットを前記第1の予測サンプルに加えることによって、前記第1の予測サンプルを前記第1の予測サンプルオフセットで微調整することであって、前記第1の予測サンプルオフセットは、前記第1の予測サンプルの少なくとも1つの第1の勾配に基づいて判定され、前記第1の勾配は、前記第1の予測サンプルの位置に基づいて得られた2つの予測サンプルの間の差に少なくとも基づいて計算され、前記第1の最終予測サンプルを取得するために前記第1の予測サンプルに加えられる前に、前記第1の予測サンプルオフセットは、第1の範囲にクリップされる、微調整することと、
前記第1の最終予測サンプルに基づいて前記ビットストリームを生成することと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に記憶することと、を含む、
方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2019080914 | 2019-04-02 | ||
CNPCT/CN2019/080914 | 2019-04-02 | ||
JP2021557133A JP7239732B2 (ja) | 2019-04-02 | 2020-04-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
PCT/CN2020/082941 WO2020200270A1 (en) | 2019-04-02 | 2020-04-02 | Bidirectional optical flow based video coding and decoding |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557133A Division JP7239732B2 (ja) | 2019-04-02 | 2020-04-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023075210A JP2023075210A (ja) | 2023-05-30 |
JP7425241B2 true JP7425241B2 (ja) | 2024-01-30 |
Family
ID=72664568
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557133A Active JP7239732B2 (ja) | 2019-04-02 | 2020-04-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
JP2023031928A Active JP7425241B2 (ja) | 2019-04-02 | 2023-03-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021557133A Active JP7239732B2 (ja) | 2019-04-02 | 2020-04-02 | 双方向オプティカルフローに基づく映像符号化及び復号化 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11516497B2 (ja) |
EP (1) | EP3928521A4 (ja) |
JP (2) | JP7239732B2 (ja) |
KR (2) | KR20230165888A (ja) |
CN (3) | CN113728651B (ja) |
WO (2) | WO2020200270A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113728651B (zh) * | 2019-04-02 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 视频处理中的自适应环路滤波 |
CN113678464B (zh) * | 2019-04-15 | 2022-12-02 | 北京字节跳动网络技术有限公司 | 非线性自适应环路滤波器中的参数的时域预测 |
WO2020211867A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Delta motion vector in prediction refinement with optical flow process |
JP7319386B2 (ja) | 2019-04-19 | 2023-08-01 | 北京字節跳動網絡技術有限公司 | 異なる動きベクトル微調整における勾配計算 |
CN113711608B (zh) | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
WO2020226093A1 (ja) * | 2019-05-08 | 2020-11-12 | 東京エレクトロン株式会社 | 接合装置、接合システム及び接合方法 |
EP3954120A4 (en) | 2019-05-21 | 2022-06-22 | Beijing Bytedance Network Technology Co., Ltd. | ADAPTIVE MOTION VECTOR DIFFERENTIAL RESOLUTION FOR AFFIN MODE |
CN113826165A (zh) * | 2019-05-22 | 2021-12-21 | 维耶尔公司 | 用于转移设置的对准过程 |
WO2021001220A1 (en) * | 2019-07-01 | 2021-01-07 | Interdigital Vc Holdings France, Sas | Bi-directional optical flow refinement of affine motion compensation |
EP4307665A3 (en) | 2019-08-10 | 2024-07-10 | Beijing Bytedance Network Technology Co., Ltd. | Buffer management in subpicture decoding |
JP6960969B2 (ja) * | 2019-09-20 | 2021-11-05 | Kddi株式会社 | 画像復号装置、画像復号方法及びプログラム |
JP7391203B2 (ja) | 2019-10-12 | 2023-12-04 | 北京字節跳動網絡技術有限公司 | ビデオコーディングツールを洗練する使用およびシグナリング |
CN114631317B (zh) | 2019-10-18 | 2024-03-15 | 北京字节跳动网络技术有限公司 | 子图片的参数集信令中的语法约束 |
WO2021129866A1 (en) | 2019-12-27 | 2021-07-01 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of slice types in video pictures headers |
US11863742B2 (en) * | 2020-12-03 | 2024-01-02 | Alibaba Group Holding Limited | Method for using adaptive loop filter and system thereof |
CN117561714A (zh) * | 2021-06-15 | 2024-02-13 | 抖音视界有限公司 | 用于视频处理的方法、设备和介质 |
WO2022271635A1 (en) * | 2021-06-22 | 2022-12-29 | Beijing Dajia Internet Information Technology Co., Ltd. | Side window bilateral filtering for video coding |
WO2023125834A1 (en) * | 2021-12-30 | 2023-07-06 | Beijing Bytedance Network Technology Co., Ltd. | Method, apparatus, and medium for video processing |
WO2024008105A1 (en) * | 2022-07-05 | 2024-01-11 | Douyin Vision (Beijing) Co., Ltd. | Multi-source based extended taps for adaptive loop filter in video coding |
WO2024078551A1 (en) * | 2022-10-13 | 2024-04-18 | Douyin Vision Co., Ltd. | Method, apparatus, and medium for video processing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169989A1 (en) | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Family Cites Families (80)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010027457A1 (en) | 2008-09-04 | 2010-03-11 | Thomson Licensing | Methods and apparatus for prediction refinement using implicit motion prediction |
WO2020084511A1 (en) | 2018-10-23 | 2020-04-30 | Beijing Bytedance Network Technology Co., Ltd. | Simplified entropy coding for sub-block based motion information list |
JP2011142585A (ja) | 2010-01-08 | 2011-07-21 | Sony Corp | 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム |
KR101529992B1 (ko) * | 2010-04-05 | 2015-06-18 | 삼성전자주식회사 | 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치 |
JP5768662B2 (ja) | 2011-10-31 | 2015-08-26 | 富士通株式会社 | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム |
US9503720B2 (en) | 2012-03-16 | 2016-11-22 | Qualcomm Incorporated | Motion vector coding and bi-prediction in HEVC and its extensions |
US10390041B2 (en) | 2012-03-30 | 2019-08-20 | Sun Patent Trust | Predictive image coding and decoding using two reference pictures |
CN110545421B (zh) | 2012-10-12 | 2022-11-22 | 韩国电子通信研究院 | 图像编码/解码方法和使用其的装置 |
US10412419B2 (en) | 2013-07-12 | 2019-09-10 | Qualcomm Incorporated | Adaptive filtering in video coding |
RU2016115055A (ru) | 2013-09-20 | 2017-10-25 | Вид Скейл, Инк. | Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы |
CN105409221B (zh) * | 2014-04-29 | 2020-03-06 | 微软技术许可有限责任公司 | 用于样本自适应偏移滤波的编码器侧决策 |
AU2014202921B2 (en) | 2014-05-29 | 2017-02-02 | Canon Kabushiki Kaisha | Method, apparatus and system for de-blocking a block of video samples |
US10200717B2 (en) | 2014-06-19 | 2019-02-05 | Sharp Kabushiki Kaisha | Image decoding device, image coding device, and predicted image generation device |
WO2016072750A1 (ko) * | 2014-11-04 | 2016-05-12 | 삼성전자 주식회사 | 에지 타입의 오프셋을 적용하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치 |
US10182240B2 (en) | 2014-11-18 | 2019-01-15 | Mediatek Inc. | Method of bi-prediction video coding based on motion vectors from uni-prediction and merge candidate |
US10158836B2 (en) * | 2015-01-30 | 2018-12-18 | Qualcomm Incorporated | Clipping for cross-component prediction and adaptive color transform for video coding |
US10057574B2 (en) * | 2015-02-11 | 2018-08-21 | Qualcomm Incorporated | Coding tree unit (CTU) level adaptive loop filter (ALF) |
CN107431822B (zh) | 2015-06-09 | 2019-11-29 | 华为技术有限公司 | 图像编解码方法和设备 |
CN115134611A (zh) * | 2015-06-11 | 2022-09-30 | 杜比实验室特许公司 | 使用自适应去块滤波编码和解码图像的方法及其装置 |
CA2988107A1 (en) * | 2015-06-19 | 2016-12-22 | Nokia Technologies Oy | An apparatus, a method and a computer program for video coding and decoding |
KR102192778B1 (ko) * | 2015-09-25 | 2020-12-18 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 선택 가능한 보간 필터를 구비한 비디오 모션 보상 장치 및 방법 |
CN109076237A (zh) * | 2015-11-18 | 2018-12-21 | 联发科技股份有限公司 | 在视频和图像压缩中使用帧内预测滤波器的帧内预测模式的方法和装置 |
CN108293118A (zh) * | 2015-11-24 | 2018-07-17 | 三星电子株式会社 | 视频解码方法和装置以及视频编码方法和装置 |
WO2017118411A1 (en) | 2016-01-07 | 2017-07-13 | Mediatek Inc. | Method and apparatus for affine inter prediction for video coding system |
WO2017134957A1 (ja) | 2016-02-03 | 2017-08-10 | シャープ株式会社 | 動画像復号装置、動画像符号化装置、および予測画像生成装置 |
EP3398331A4 (en) * | 2016-02-05 | 2019-04-10 | Mediatek Inc. | METHOD AND APPARATUS FOR MOTION COMPENSATION BASED ON BIDIRECTIONAL OPTICAL FLUSH TECHNOLOGIES FOR VIDEO CODING |
US11064195B2 (en) * | 2016-02-15 | 2021-07-13 | Qualcomm Incorporated | Merging filters for multiple classes of blocks for video coding |
KR102584349B1 (ko) | 2016-03-28 | 2023-10-04 | 로즈데일 다이나믹스 엘엘씨 | 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치 |
US10750172B2 (en) * | 2016-04-22 | 2020-08-18 | Vid Scale, Inc. | Prediction systems and methods for video coding based on filtering nearest neighboring pixels |
CN109417625B (zh) * | 2016-05-05 | 2023-02-28 | 交互数字麦迪逊专利控股公司 | 编码或解码视频的装置及方法 |
BR112018073434A2 (pt) * | 2016-05-13 | 2019-03-26 | Interdigital Vc Holdings, Inc. | método e aparelho para codificação de vídeo com corte adaptativo |
JP2019519148A (ja) * | 2016-05-13 | 2019-07-04 | ヴィド スケール インコーポレイテッド | ビデオ符号化のための一般化された多重仮説予測(Generalized Multi−Hypothesis Prediction)のためのシステムおよび方法 |
US10560712B2 (en) | 2016-05-16 | 2020-02-11 | Qualcomm Incorporated | Affine motion prediction for video coding |
US20180041778A1 (en) * | 2016-08-02 | 2018-02-08 | Qualcomm Incorporated | Geometry transformation-based adaptive loop filtering |
US10728572B2 (en) | 2016-09-11 | 2020-07-28 | Lg Electronics Inc. | Method and apparatus for processing video signal by using improved optical flow motion vector |
JP7026049B2 (ja) | 2016-09-27 | 2022-02-25 | シャープ株式会社 | アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置 |
US10631002B2 (en) | 2016-09-30 | 2020-04-21 | Qualcomm Incorporated | Frame rate up-conversion coding mode |
US10448010B2 (en) | 2016-10-05 | 2019-10-15 | Qualcomm Incorporated | Motion vector prediction for affine motion models in video coding |
US10341659B2 (en) | 2016-10-05 | 2019-07-02 | Qualcomm Incorporated | Systems and methods of switching interpolation filters |
WO2018105579A1 (ja) * | 2016-12-09 | 2018-06-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 符号化装置、復号装置、符号化方法及び復号方法 |
EP3565245A4 (en) * | 2017-01-04 | 2019-11-27 | Samsung Electronics Co., Ltd. | VIDEO CODING METHOD AND DEVICE AND VIDEO CODING METHOD AND DEVICE |
US20180199057A1 (en) | 2017-01-12 | 2018-07-12 | Mediatek Inc. | Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding |
US10701366B2 (en) | 2017-02-21 | 2020-06-30 | Qualcomm Incorporated | Deriving motion vector information at a video decoder |
US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
CN110476424B (zh) * | 2017-03-16 | 2022-03-04 | 联发科技股份有限公司 | 一种视频编解码方法及装置 |
US10491917B2 (en) * | 2017-03-22 | 2019-11-26 | Qualcomm Incorporated | Decoder-side motion vector derivation |
US11272193B2 (en) | 2017-04-24 | 2022-03-08 | Sk Telecom Co., Ltd. | Method and apparatus for estimating optical flow for motion compensation |
US10805630B2 (en) | 2017-04-28 | 2020-10-13 | Qualcomm Incorporated | Gradient based matching for motion search and derivation |
KR20230164768A (ko) * | 2017-05-19 | 2023-12-04 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법 |
CN107277316B (zh) | 2017-06-12 | 2020-05-12 | 京东方科技集团股份有限公司 | 显示装置及其制造方法 |
US10904565B2 (en) * | 2017-06-23 | 2021-01-26 | Qualcomm Incorporated | Memory-bandwidth-efficient design for bi-directional optical flow (BIO) |
US10477237B2 (en) * | 2017-06-28 | 2019-11-12 | Futurewei Technologies, Inc. | Decoder side motion vector refinement in video coding |
KR102653715B1 (ko) * | 2017-07-03 | 2024-04-01 | 브이아이디 스케일, 인크. | 양방향 광학 흐름에 기반한 모션 보상 예측 |
US10757442B2 (en) * | 2017-07-05 | 2020-08-25 | Qualcomm Incorporated | Partial reconstruction based template matching for motion vector derivation |
DE112017007788T5 (de) * | 2017-08-24 | 2020-05-14 | Ford Global Technologies, Llc | Verbessertes betanken eines fahrzeugs |
US10609384B2 (en) | 2017-09-21 | 2020-03-31 | Futurewei Technologies, Inc. | Restriction on sub-block size derivation for affine inter prediction |
WO2019070770A1 (en) | 2017-10-02 | 2019-04-11 | Arris Enterprises Llc | SYSTEM AND METHOD FOR REDUCING BLOCKED ARTIFACTS AND PRODUCING ENHANCED ENCODING EFFICIENCY |
US10757417B2 (en) | 2018-01-20 | 2020-08-25 | Qualcomm Incorporated | Affine motion compensation in video coding |
GB2588023B (en) | 2018-06-05 | 2023-04-12 | Beijing Bytedance Network Tech Co Ltd | Interaction between IBC and BIO |
US11303923B2 (en) | 2018-06-15 | 2022-04-12 | Intel Corporation | Affine motion compensation for current picture referencing |
TWI731345B (zh) | 2018-06-19 | 2021-06-21 | 大陸商北京字節跳動網絡技術有限公司 | 模式相依運動向量差精確集 |
CN115842912A (zh) * | 2018-08-04 | 2023-03-24 | 抖音视界有限公司 | 不同解码器侧运动矢量推导模式之间的交互 |
JP7212150B2 (ja) | 2018-09-19 | 2023-01-24 | 北京字節跳動網絡技術有限公司 | 適応動きベクトル解像度によるアフィンモードへの構文の使用 |
WO2020058962A1 (en) | 2018-09-23 | 2020-03-26 | Beijing Bytedance Network Technology Co., Ltd. | Signaling of motion vector precision indication with adaptive motion vector resolution |
CN111010569B (zh) * | 2018-10-06 | 2023-02-28 | 北京字节跳动网络技术有限公司 | Bio中的时间梯度计算的改善 |
BR112021008251A2 (pt) | 2018-11-05 | 2021-08-03 | Beijing Bytedance Network Technology Co., Ltd. | método para processar vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador |
CN113170093B (zh) * | 2018-11-20 | 2023-05-02 | 北京字节跳动网络技术有限公司 | 视频处理中的细化帧间预测 |
BR112021010054A2 (pt) * | 2018-11-26 | 2021-08-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | fluxo de dados, decodificador e codificador de vídeo baseado em bloco e seus respectivos métodos |
GB2580173B (en) * | 2018-12-21 | 2022-07-27 | Canon Kk | A filter |
EP3928513A4 (en) | 2019-02-20 | 2022-09-21 | Beijing Dajia Internet Information Technology Co., Ltd. | METHODS AND APPARATUS FOR ROUNDING, SHAPING AND STORING MOTION VECTOR FOR INTERPREDICTION |
US20200296405A1 (en) | 2019-03-14 | 2020-09-17 | Qualcomm Incorporated | Affine motion compensation refinement using optical flow |
KR102429449B1 (ko) * | 2019-03-15 | 2022-08-03 | 베이징 다지아 인터넷 인포메이션 테크놀로지 컴퍼니 리미티드 | 양방향 광 흐름을 위한 비트-폭 제어를 위한 방법 및 디바이스 |
CN113545083B (zh) * | 2019-03-18 | 2023-08-22 | 腾讯美国有限责任公司 | 视频编解码的方法和装置 |
US11343525B2 (en) | 2019-03-19 | 2022-05-24 | Tencent America LLC | Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors |
US11962796B2 (en) * | 2019-04-01 | 2024-04-16 | Qualcomm Incorporated | Gradient-based prediction refinement for video coding |
CN113728651B (zh) * | 2019-04-02 | 2022-10-25 | 北京字节跳动网络技术有限公司 | 视频处理中的自适应环路滤波 |
WO2020211867A1 (en) | 2019-04-19 | 2020-10-22 | Beijing Bytedance Network Technology Co., Ltd. | Delta motion vector in prediction refinement with optical flow process |
CN113711608B (zh) * | 2019-04-19 | 2023-09-01 | 北京字节跳动网络技术有限公司 | 利用光流的预测细化过程的适用性 |
JP7319386B2 (ja) | 2019-04-19 | 2023-08-01 | 北京字節跳動網絡技術有限公司 | 異なる動きベクトル微調整における勾配計算 |
WO2021061400A1 (en) * | 2019-09-23 | 2021-04-01 | Alibaba Group Holding Limited | Methods and apparatuses for prediction refinement with optical flow in reference picture resampling |
-
2020
- 2020-04-02 CN CN202080026270.3A patent/CN113728651B/zh active Active
- 2020-04-02 WO PCT/CN2020/082941 patent/WO2020200270A1/en unknown
- 2020-04-02 JP JP2021557133A patent/JP7239732B2/ja active Active
- 2020-04-02 CN CN202080026399.4A patent/CN113661708B/zh active Active
- 2020-04-02 EP EP20782029.1A patent/EP3928521A4/en active Pending
- 2020-04-02 WO PCT/CN2020/082976 patent/WO2020200277A1/en active Application Filing
- 2020-04-02 KR KR1020237041404A patent/KR20230165888A/ko active Application Filing
- 2020-04-02 KR KR1020217030716A patent/KR102609947B1/ko active IP Right Grant
- 2020-04-02 CN CN202311511842.9A patent/CN117319681A/zh active Pending
-
2021
- 2021-08-18 US US17/405,374 patent/US11516497B2/en active Active
-
2022
- 2022-06-13 US US17/838,498 patent/US11997303B2/en active Active
-
2023
- 2023-03-02 JP JP2023031928A patent/JP7425241B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018169989A1 (en) | 2017-03-13 | 2018-09-20 | Qualcomm Incorporated | Inter prediction refinement based on bi-directional optical flow (bio) |
Non-Patent Citations (5)
Title |
---|
Benjamin Bross, Jianle Chen, and Shan Liu,Versatile Video Coding (Draft 4),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M1001 (version 7),13th Meeting: Marrakech, MA,2019年03月,pp.197-199 |
Jiancong (Daniel) Luo and Yuwen He,CE2-related: Prediction refinement with optical flow for affine mode,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0236-r5,14th Meeting: Geneva, CH,2019年03月,pp.1-7 |
Jingya Li, and Chong Soon Lim,CE4-related: Alignment of BDOF refinement process with PROF,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-O0123-v3,15th Meeting: Gothenburg, SE,2019年06月,pp.1-3 |
Xiaoyu Xiu, et al.,CE9-related: Improvements on bi-directional optical flow (BDOF),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0325,14th Meeting: Geneva, CH,2019年03月,pp.1-7 |
Xiaoyu Xiu, Yuwen He, and Yan Ye,CE9-related: Complexity reduction and bit-width control for bi-directional optical flow (BIO),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-L0256_v2,12th Meeting: Macao, CN,2018年09月,pp.1-15 |
Also Published As
Publication number | Publication date |
---|---|
JP2022528062A (ja) | 2022-06-08 |
CN113661708B (zh) | 2023-12-15 |
KR20230165888A (ko) | 2023-12-05 |
CN117319681A (zh) | 2023-12-29 |
EP3928521A1 (en) | 2021-12-29 |
CN113661708A (zh) | 2021-11-16 |
US11997303B2 (en) | 2024-05-28 |
US11516497B2 (en) | 2022-11-29 |
KR102609947B1 (ko) | 2023-12-04 |
WO2020200277A1 (en) | 2020-10-08 |
JP7239732B2 (ja) | 2023-03-14 |
US20210385482A1 (en) | 2021-12-09 |
EP3928521A4 (en) | 2022-08-17 |
CN113728651B (zh) | 2022-10-25 |
KR20210141523A (ko) | 2021-11-23 |
WO2020200270A1 (en) | 2020-10-08 |
US20220329842A1 (en) | 2022-10-13 |
CN113728651A (zh) | 2021-11-30 |
JP2023075210A (ja) | 2023-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7425241B2 (ja) | 双方向オプティカルフローに基づく映像符号化及び復号化 | |
US11523140B2 (en) | Nonlinear adaptive loop filtering in video processing | |
US20230217021A1 (en) | On adaptive loop filtering for video coding | |
CN114009050B (zh) | 视频编解码的自适应环内颜色空间变换 | |
CN113632480B (zh) | 自适应环路滤波与其他编解码工具之间的交互 | |
CN118120232A (zh) | 视频编解码中的双边滤波 | |
RU2812618C2 (ru) | Нелинейная адаптивная контурная фильтрация при обработке видеоданных | |
CN117716690A (zh) | 自适应双边滤波器的使用条件 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |