JP7425118B2 - ビデオ復号化方法、およびプログラム - Google Patents

ビデオ復号化方法、およびプログラム Download PDF

Info

Publication number
JP7425118B2
JP7425118B2 JP2022097598A JP2022097598A JP7425118B2 JP 7425118 B2 JP7425118 B2 JP 7425118B2 JP 2022097598 A JP2022097598 A JP 2022097598A JP 2022097598 A JP2022097598 A JP 2022097598A JP 7425118 B2 JP7425118 B2 JP 7425118B2
Authority
JP
Japan
Prior art keywords
prediction
ciip
current
block
intra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022097598A
Other languages
English (en)
Other versions
JP2022123067A (ja
Inventor
シウ、シアオユイ
チェン、イー-ウェン
ワン、シアンリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2022123067A publication Critical patent/JP2022123067A/ja
Priority to JP2024006272A priority Critical patent/JP2024038439A/ja
Application granted granted Critical
Publication of JP7425118B2 publication Critical patent/JP7425118B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本開示は、一般に、ビデオ復号化に関する。より詳細には、本開示は、CIIP(Combined Inter- and Intra-Prediction)モードの適用の制約及び調整によりビデオ復号化を実行するシステム及び方法に関する。
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術として解釈されるべきではない。
ビデオデータを圧縮するために、様々なビデオ符号化技術のいずれかを使用することができる。ビデオ符号化は、1つ以上のビデオ符号化標準に従って実行することができる。いくつかの例示的なビデオ符号化標準は、VVC(versatile video coding)、JEM(joint exploration test model)符号化、H.265/HEVC(high-efficiency video coding)、H.264/AVC(advanced video coding)、及びMPEG(moving picture experts group)符号化を含む。
ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化技法の1つの目標は、ビデオ品質の劣化を回避または最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。
ビデオ符号化で利用される予測方法は、一般的には、ビデオデータに固有の冗長性を低減または除去するために、空間(イントラフレーム)予測及び/または時間(インターフレーム)予測を実行することを含み、一般的には、ブロックベースのビデオ符号化に関連付けられる。
このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴のすべての包括的な開示ではない。
第1の態様はビデオ復号化方法であり、現在のブロックのCIIP(combined inter and intra prediction)フラグに基づいてDMVR(decoder-side motion vector refinement)演算を適用するか否かを決定し、前記CIIP(combined inter and intra prediction)フラグに基づいてBDOF(bidirectional optical flow)演算を適用するか否かを決定し、前記DMVR演算及びBDOF演算を適用するか否かに関する決定に基づいて前記現在のブロックの予測を計算する。
第2の態様は、第1の態様のビデオ復号化方法であり、前記DMVR演算を適用するか否かを決定することは、CIIPが前記現在のブロックに適用されることを示す前記CIIPフラグに応じて、前記DMVR演算を適用しないことを決定することを含む。
第3の態様は、第1の態様のビデオ復号化方法であり、前記BDOF演算を適用するか否かを決定することは、CIIPが前記現在のブロックに適用されることを示す前記CIIPフラグに応じて、前記BDOF演算を適用しないことを決定することを含む。
第4の態様は、第1の態様のビデオ復号化方法であり、前記現在のブロックの予測を計算することは、前記DMVR演算及びBDOF演算を適用しないことを決定することに応じて、第1予測L0及び第2予測L1に基づいて前記現在のブロックのバイ予測を計算し、前記第1予測L0は、前記現在のブロックから、表示順序で現在のピクチャの前にある第1リファレンスピクチャのリファレンスブロックへの第1動きベクトルMV0に基づいて取得され、前記第2予測L1は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第2リファレンスピクチャのリファレンスブロックへの第2動きベクトルMV1に基づいて取得される。
第5の態様は、第1の態様のビデオ復号化方法であり、前記DMVR演算を適用するか否かを決定することは、CIIPが前記現在のブロックに適用されないことを示す前記CIIPフラグに応じて、前記DMVR演算を適用することを決定することを含む。
第6の態様は、第1の態様のビデオ復号化方法であり、第1更新予測L0’及び第2更新予測L1’を生成するために、第1動きベクトルMV0及び第2動きベクトルMV1を調整し、前記第1動きベクトルMV0は、前記現在のブロックから、表示順序で現在のピクチャの前にある第1リファレンスピクチャのリファレンスブロックへのベクトルであり、前記第2動きベクトルMV1は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第2リファレンスピクチャのリファレンスブロックへのベクトルである。
第7の態様は、第6の態様のビデオ復号化方法であって、前記BDOF演算を適用するか否かを決定することは、前記CIIPが前記現在のブロックに適用されないことを示す前記CIIPフラグに応じて、前記BDOF演算を適用することを決定することを含む。
第8の態様は、第7の態様のビデオ復号化方法であって、前記第1更新予測L0’に関連する第1水平・垂直勾配値を計算し、前記第2更新予測L1’に関連する第2水平・垂直勾配値を計算する、ことをさらに含む。
第9の態様は、第8の態様のビデオ復号化方法であって、前記現在のブロックの予測を計算することは、前記第1更新予測L0’、第2更新予測L1’、第1水平・垂直勾配値、及び第2水平・垂直勾配値に基づいて、前記現在のブロックのバイ予測を計算する、ことを含む。
多くのビデオ符号化標準と併せて使用することができる、例示的なブロックベースのハイブリッドビデオエンコーダを示すブロック図である。 多くのビデオ符号化標準と共に使用され得る例示的なビデオデコーダを示すブロック図である。 例示的実施形態による分割タイプの例である4分割を示す。 例示的実施形態による分割タイプの例である水平2分割を示す。 例示的実施形態による分割タイプの例である垂直2分割を示す。 例示的実施形態による分割タイプの例である水平3分割を示す。 例示的実施形態による分割タイプの例である垂直3分割を示す。 CIIPモードでインター予測及びイントラ予測を組み合わせる図である。 CIIPモードでインター予測及びイントラ予測を組み合わせる図である。 CIIPモードでインター予測及びイントラ予測を組み合わせる図である。 現在のVVCにおけるMPM候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。 現在のVVCにおけるMPM候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。 現在のVVCにおいてBDOF(Bi-Directional Optical Flow)を使用するCIIP設計の例示的なワークフローを示すフローチャートである。 現在の予測ブロックのバイ予測を計算する際にDMVR及びBDOF演算を選択的にバイパスする例示的なワークフローを示すフローチャートである。 本開示において提案されるCIIP設計の例示的なワークフローを示すフローチャートである。 本開示における提案された第2CIIP設計の例示的なワークフローを示すフローチャートである。 本開示におけるMPM候補リストの生成プロセスにおいてCIIP符号化ブロックを処理する提案された2つの方法の例示的なワークフローを示す一対のフローチャートを構成する。 本開示におけるMPM候補リストの生成プロセスにおいてCIIP符号化ブロックを処理する提案された2つの方法の例示的なワークフローを示す一対のフローチャートを構成する。
以下、本開示の例示的で非限定的な実施形態のセットを、添付の図面と併せて説明する。構造、方法、または機能の変形は、本明細書で提示される例に基づいて、関連技術の当業者によって実装されてもよく、そのような変形はすべて、本開示の範囲内に含まれる。矛盾が存在しない場合には、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしも組み合わせる必要はない。
本開示で使用される用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示ならびに添付の特許請求の範囲で使用される「1つの」などの単数形は、他の意味がコンテキストに明確に含まれない限り、複数形も指す。本明細書で使用される用語「及び/または」は、1つ以上の関連する列挙された項目の任意のまたはすべての可能な組合せを指すことを理解されたい。
ここでは、「第1」、「第2」、「第3」などの用語を用いて、様々な情報を記述することができるが、これらの用語によって情報が限定されるべきではない。これらの用語は、情報の1つのカテゴリを別のカテゴリと区別するためにのみ用いられる。例えば、本開示の範囲から逸脱することなく、第1情報は第2情報と称されてもよく、同様に、第2情報は、第1情報と称されてもよい。本明細書で使用されるように、「である場合」という用語は、コンテキストに応じて、「のとき」または「の際」または「に応じて」を意味する。
本明細書全体を通して、単数または複数の「一実施形態」、「別実施形態」などへの言及は、一実施形態に関連して説明された1つ以上の特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれることを意味し、したがって、本明細書全体を通して、単数または複数の場所における「一実施形態において」または「別実施形態において」などの語句の出現は、必ずしもすべて同じ実施形態を指すわけではない。さらに、1つ以上の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
概念的には、多くのビデオ符号化標準は、背景のセクションで述べたものを含めて、類似している。例えば、実質的に全てのビデオ符号化標準は、ブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロックダイアグラムを共有する。
ブロックベースのビデオ符号化では、入力ビデオ信号はブロックごとに処理される。各ブロック(符号化単位(CU)とも呼ばれる)に対して、空間予測及び/または時間予測が実行され得る。
空間予測(「イントラ予測」とも呼ばれる)は、同じビデオピクチャ/スライス内の既に符号化された隣接ブロック(リファレンスサンプルと呼ばれる)のサンプルからのピクセルを使用して、現在のブロックを予測する。空間予測は、ビデオ信号に固有の空間冗長
性を低減する。
時間予測(「インター予測」または「動き補償予測」とも呼ばれる)は、既に符号化されたビデオピクチャからの再構成されたピクセルを使用して、現在のブロックを予測する。時間予測は、ビデオ信号に固有の時間冗長性を低減する。所与のCUについての時間予測信号は、通常、現在のCUとその時間リファレンスとの間の動きの量及び方向を示す1つ以上の動きベクトル(MV)によって信号化される。また、複数のリファレンスピクチャがサポートされる場合、1つのリファレンスピクチャインデックスが追加的に送信され、リファレンスピクチャインデックスは、リファレンスピクチャストア内のどのリファレンスピクチャから時間予測信号が到来するかを識別するために使用される。
空間及び/または時間予測の後、エンコーダ内のモード決定ブロックは、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、予測ブロックは現在のブロックから減算され、予測残差は変換を用いて非相関化され、量子化される。量子化残差係数は逆量子化され、逆変換されて再構成残差を形成し、それからブロックの再構成信号を形成するために予測ブロックに再加算される。
空間及び/または時間予測の後、リファレンスピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたCUに、デブロッキングフィルタ、SAO(sample adaptive offset)、及びALF(adaptive in-loop filter)などのさらなるインループフィルタリングが適用され得る。出力ビデオビットストリームを形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報、及び量子化された残差係数はすべて、エントロピー符号化ユニットに送られ、さらに圧縮され、パックされてビットストリームを形成する。
復号化の過程で、まず、ビデオビットストリームはエントロピー復号化単位でエントロピー復号化される。符号化モード及び予測情報は、予測ブロックを形成するために、空間予測ユニット(イントラ符号化される場合)または時間予測ユニット(インター符号化される場合)のいずれかに送られる。残差変換係数は逆量子化ユニットと逆変換ユニットに送られ、残差ブロックを再構成する。次に、予測ブロックと残差ブロックとが加算される。再構成されたブロックは、リファレンスピクチャストアに格納される前に、インループフィルタリングをさらに経ることができる。次に、リファレンスピクチャストア内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、また、将来のビデオブロックを予測するために使用される。
多くのハイブリッドビデオ符号化方式では、各ブロックは、インター予測方法またはイントラ予測方法のいずれかを使用するかもしれないが、両方を使用することはないだろう。しかし、インター予測ブロックとイントラ予測ブロックとによって生成された残差信号は、互いに、非常に異なる特性を提示する。従って、2種類の予測を効率的な方法で組み合わせることができれば、予測残差のエネルギーを減らし、符号化効率を改善するためのより正確な予測が期待できる。さらに、特定のビデオコンテンツでは、動く物体の動きが複雑になる可能性がある。例えば、古いコンテンツ(例えば、以前に符号化されたピクチャに含まれるオブジェクト)と、新たに出現するコンテンツ(例えば、以前に符号化されたピクチャにおいて除外されるオブジェクト)との両方を含む領域が存在し得る。このようなシナリオでは、インター予測もイントラ予測も現在のブロックの正確な予測を提供できない。
予測効率をさらに改善するために、VVCの現在のバージョンは、併合モードによって符号化される1つのCUのイントラ予測とインター予測とを組み合わせる、CIIP(C
ombined Inter- and Intra-Prediction)モードを導入する。CIIPモードの適用は、一般に、符号化効率を改善する。
しかしながら、CIIPモードの適用は、インターモードまたはイントラモードに含まれるよりも多くの演算を含み、計算の複雑さを増加させ、符号化/復号化スループットを低減させる傾向がある。
さらに、VVCの現在のバージョンは、それらの隣接ブロックのためのMPM(Most Probable Mode)候補リストを構築するコンテキスト内のイントラモードブロック及びCIIPモードブロックの処理において完全な一貫性がない。
図1は、多くのビデオ符号化標準と併せて使用され得る、例示的なブロックベースのハイブリッドビデオエンコーダ100のブロック図を示す。エンコーダ100において、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測アプローチまたはイントラ予測アプローチのいずれかに基づいて予測が形成される。インター予測では、以前に再構成されたフレームからのピクセルに基づいて、動き推定及び動き補償によって、1つ以上の予測子が形成される。イントラ予測では、現在のフレーム内の再構成されたピクセルに基づいて、予測子が形成される。モード決定により、現在のブロックを予測するために最良の予測子を選択することができる。
現在のビデオブロックとその予測子との差を表す予測残差が、変換回路102に送られる。次いで、変換係数が、エントロピー低減のために、変換回路102から量子化回路104に送られる。次いで、量子化された係数がエントロピー符号化回路106に供給され、圧縮ビデオビットストリームを生成する。図1に示すように、ビデオブロック分割情報、動きベクトル、リファレンスピクチャインデックス、及びイントラ予測モードなどの、インター予測回路及び/またはイントラ予測回路112からの予測関連情報110も、エントロピー符号化回路106を通して供給され、圧縮ビデオビットストリーム114に含められる。
エンコーダ100では、予測の目的でピクセルを再構成するために、デコーダ関連の回路も必要である。まず、予測残差が、逆量子化回路116及び逆変換回路118を通して再構成される。この再構成された予測残差をブロック予測子120と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成ピクセルを生成する。
符号化効率及び視覚品質を改善するために、インループフィルタが一般に使用される。例えば、デブロッキングフィルタは、AVC、HEVC、並びにVVCの現在のバージョンにおいて利用可能である。HEVCでは、符号化効率をさらに改善するために、SAO(sample adaptive offset)と呼ばれる追加のインループフィルタが定義される。現在のVVC標準では、ALF(Adaptive Loop Filter)と呼ばれるさらに別のインループフィルタが活発に検討されており、最終標準に含まれる可能性が高い。
これらのインループフィルタ動作はオプションである。これらの動作を実行することは、符号化効率及び視覚品質を改善するのに役立つ。それらはまた、エンコーダ100によって実行される決定としてオフにされて、計算の複雑さを低減することができる。
イントラ予測は、通常、フィルタリングされていない再構成ピクセルに基づいており、一方、これらのフィルタオプションがエンコーダ100によってオンにされた場合、インター予測は、フィルタリングされた再構成ピクセルに基づいていることに留意されたい。
図2は、多くのビデオ符号化標準と共に使用され得る例示的なビデオデコーダ200を示すブロック図である。このデコーダ200は、図1のエンコーダ100内に存在する再構成関連部分に類似している。デコーダ200(図2)において、入力ビデオビットストリーム201は、量子化された係数レベル及び予測関連情報を導出するために、まず、エントロピー復号化202を介して復号化される。次いで、量子化された係数レベルは、逆量子化204及び逆変換206を介して処理され、再構成された予測残差を得る。イントラ/インターモードセレクタ(選択回路)208で実施されるブロック予測メカニズムは、復号された予測情報に基づいて、イントラ予測210または動き補償212のいずれかを実行するように構成される。逆変換206からの再構成予測残差とブロック予測メカニズムにより生成された予測出力とを、加算器214を用いて合計することにより、フィルタ処理されない再構成ピクセルの集合が得られる。インループフィルタがオンにされる状況では、最終的な再構成ビデオを導出するために、これらの再構成ピクセルに対してフィルタリング動作が行われる。次に、リファレンスピクチャストア内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出され、将来のビデオブロックを予測するために使用される。
HEVCなどのビデオ符号化標準では、ブロックは、4分木に基づいて分割され得る。現在のVVCなどのより新しいビデオ符号化標準では、より多くの分割方法が使用され、1つの符号化ツリーユニット(CTU)をCUに分割して、4分木、2分木、または3分木に基づいて様々なローカル特性に適応させることができる。CU、予測ユニット(PU)及び変換ユニット(TU)の分離は、現在のVVCにおけるほとんどの符号化モードには存在せず、各CUは、常に、さらなる分割なしで予測及び変換の両方のための基本ユニットとして使用される。しかしながら、イントラサブ分割符号化モードなどのいくつかの特定の符号化モードでは、各CUは依然として複数のTUを含むことができる。マルチタイプツリー構造では、まず、1つのCTUを4分木構造で分割する。次に、各4分木リーフノードは、2分木構造及び3分木構造によってさらに分割することができる。
図3A~図3Eは、5つの例示的な分割タイプ、即ち、4分割(図3A)、水平2分割(図3B)、垂直2分割(図3C)、水平3分割(図3D)、及び垂直3分割(図3E)を示す。HEVC及び現在のVVCなどのビデオ符号化標準では、各CUは、イントラ予測またはインター予測で予測され得る。
現在のVVCはまた、CIIP(Combined Intra- and Inter-Prediction)符号化モードを導入し、このモードの下で、併合モードによって符号化される1つのCUのイントラ予測とインター予測とが組み合わされる。
CIIPモードでは、併合CUごとに、CIIPが現在のCUについて有効か否かを示す1つの追加フラグが通知される。現在のCUの輝度成分について、CIIPは、4つの頻繁に使用されるイントラモード、即ち、平面モード、DCモード、水平モード、及び垂直モードをサポートする。現在のCUの彩度成分については、輝度成分の同じイントラモードが再使用されることを意味するDMモードが、余分な信号化なしに常に適用される。
さらに、CIIPモードでは、各併合CUについて、重み付け平均化が適用されて、現在のCUのインター予測サンプルとイントラ予測サンプルとが結合される。詳細には、平面モードまたはDCモードが選択されると、等しい重み(即ち、0.5)が適用される。そうでない場合(即ち、水平モードまたは垂直モードのいずれかが適用される場合)、現在のCUは、まず、水平方向(水平モードの場合)または垂直方向(垂直モードの場合)に、4つの等しいサイズの領域に分割される。(w_intra、w_inter)として示される4つの重み集合は、異なった領域におけるインター予測サンプルとイント
ラ予測サンプルとを結合するために適用される。ここで、i=0及びi=3は、イントラ予測に使用される再構成された隣接サンプルに最も近い領域と、最も遠い領域とを表す。現在のCIIP設計では、重み集合の値の事前定義集合は、(w_intra、w_inter)=(0.75、0.25)、(w_intra、w_inter)=(0.625、0.375)、(w_intra、w_inter)=(0.375、0.625)及び(w_intra、w_inter)=(0.25、0.75)である。
図4A~図4Cは、CIIPモードでのインター予測及びイントラ予測の組み合わせを例示する。図4Aでは、水平モードにおけるCU401についての組み合わせ重みの動作が例示されている。現在のCUは、4つの異なるグレースケールシェードによって表される、4つの等しいサイズの領域402、403、404、及び405に水平方向に分割される。各領域について、重みセットが、インター予測サンプルとイントラ予測サンプルとを組み合わせるために適用される。例えば、最も暗いグレースケールシェードで表される左端の領域402について、重みセット(w_intra、w_inter)=(0.75、0.25)が適用される。これは、CIIP予測が、(i)イントラ予測の0.75、即ち3/4倍、及び(ii)インター予測の0.25、即ち1/4倍の合計として得られることを意味する。これは、同じ領域402に矢印で示される式406PCIIP=Pinter/4+3Pintra/4によっても示されている。他の3つの領域403、404、及び405に使用される重みセットも同様に示されている。図4Bでは、垂直モードにおけるCU407についての組み合わせ重みの動作が、図4Aと同様の方法で示されている。図4Cでは、平面モードまたはDCモードにおけるCU408の組合せ重みの動作が示されており、ここでは、1つの重みセット、即ち等しい重みのセットだけが、CU408全体に適用され、これもまた、矢印でCU408全体を示す式409PCIIP=Pinter/2+Pintra/2によって示されている。
現在のVVC作業仕様はまた、MPM(most probable mode)メカニズムを介してその隣接するCIIP CUのイントラモードを予測するための予測子として1つのCIIP CUのイントラモードの使用を提供するが、MPMメカニズムを介してその隣接するイントラ符号化CUのイントラモードを予測するための予測子として同じCIIP CUの同じイントラモードの使用を提供しない。
詳細には、各CIIP CUについて、その隣接ブロックのいくつかもCIIP CUである場合、それらの隣接ブロックのイントラモードは、まず、平面、DC、水平、及び垂直モード内の最も近いモードに廻され、次いで、現在のCUのMPM候補リストに追加される。即ち、1つのCIIP CUのイントラモードは、その隣接CIIP CUのイントラモードを予測させる。しかしながら、各イントラCUについて、その隣接ブロックのいくつかがCIIPモードによって符号化される場合、これらの隣接ブロックは、利用不可能であると見なされる。即ち、1つのCIIP CUのイントラモードは、その隣接イントラCUのイントラモードを予測させない。
図5A、図5Bは、現在のVVCにおけるMPM候補リストのための例示的な生成プロセスを示す一対のフローチャートを構成する。図5Aは、現在のCUがイントラブロックである場合の生成プロセスを例示する。この場合、隣接CUがイントラブロックであるか否かが判定され(501)、イントラブロックである場合にのみ、隣接CUのイントラモードがMPM候補リストに追加される(502)。図5Bは、現在のCUがイントラブロックである場合の生成プロセスを例示する。この場合、隣接CUがイントラブロックであるか否かについて判定が行われ(503)、イントラブロックである場合、隣接CUのイントラモードが廻され(504)、MPM候補リストに追加され(505)、一方、イントラブロックでない場合、隣接CUがCIIPブロックであるか否かについて引き続き判
定が行われ(506)、CIIPブロックである場合、隣接CUのイントラモードがMPM候補リストに追加される(507)。
図5A、図5Bは、現在のVVCにおけるMPF候補リストの生成処理におけるCIIPブロックの使用とイントラブロックの使用との間の不一致を例示する。即ち、MPM候補リストの生成処理における隣接CIIPブロックの使用方法は、現在のブロックがイントラブロックであるかCIIPブロックであるかに依存し、2つの場合が異なることを示す。
現在のVVCなどのより新しいビデオ符号化標準では、新しいインターモード符号化ツールが導入されている。新しいインターモード符号化ツールの2つの例は、BDOF(Bi-Directional Optical Flow)及びDMVR(Decoder-side Motion Vector Refinement)である。
ビデオ符号化における従来のバイ予測は、既に再構成されたリファレンスピクチャから得られた2つの時間予測ブロックの単純な組み合わせである。しかしながら、ブロックベース動き補償の制限のために、2つの予測ブロックのサンプル間で観測できる残りの小さな動きが存在する可能性があり、従って、動き補償予測の効率を低下させる。この問題を解決するために、BDOFが現在のVVCに適用され、1つのブロック内のすべてのサンプルについてのそのような動きの影響を低減する。
BDOFは、バイ予測が使用されるとき、ブロックベースの動き補償予測上で実行されるサンプルワイズ動き精緻化である。各4×4サブブロックの動き精緻化を、BDOFをサブブロックの周りの1つの6×6窓の内部に適用した後、リファレンスピクチャリスト0(L0)とリファレンスピクチャリスト1(L1)予測サンプル間の差を最小化することにより算出される。そのように導出した運き精緻化に基づいて、オプティカルフローモデルに基づいて運き軌道に沿ってL0/L1予測サンプルを補間することにより、CUの最終バイ予測サンプルが算出される。
DMVRは、最初に信号化された2つのMVとブロックとを併合するためのバイ予測技法であり、バイラテラルマッチング予測を使用することによってさらに精緻化することができる。バイラテラルマッチングは、2つの異なるリファレンスピクチャにおける現在のCUの動き軌跡に沿った2つのブロック間の最も近いマッチングを見つけることによって、現在のCUの動き情報を導出するために使用される。マッチングプロセスで使用されるコスト関数は、行サブサンプルSAD(sum of absolute difference)である。マッチング処理が行われた後、精緻化されたMVは、予測段階での動き補償、デブロッキングフィルタでの境界強度計算、後続のピクチャについての時間的動きベクトル予測及び後続のCUのためのクロスCTU空間動きベクトル予測のために使用される。連続的な動き軌跡の仮定の下で、2つのリファレンスブロックを指し示す動きベクトルMV0及びMV1は、現在のピクチャと2つのリファレンスピクチャとの間の時間距離、即ちTD0及びTD1に比例するものとする。特別な場合として、現在のピクチャが時間的に2つのリファレンスピクチャの間にあり、現在のピクチャから2つのリファレンスピクチャまでの時間的距離が同じであるとき、バイラテラルマッチングは、ミラーベースの双方向MVになる。
現在のVVCでは、BDOF及びDMVRは、両方ともCIIPモードと併せて使用され得る。
図6は、現在のVVCにおいてBDOF(Bi-Directional Optical Flow)を使用するCIIP設計の例示的なワークフローを示すフローチャート
である。このワークフローでは、L0及びL1動き補償(601及び602)がBDOF(603)を介して処理され、BDOFからの出力がイントラ予測(604)と一緒に処理されて、CIIPモードで加重平均(605)を形成する。
現在のVVCはまた、CIIPモードに関連してDMVRの同様の適用を提供する。
現在のVVCでは、CIIPモードは、動き補償予測の効率を高めることができる。しかしながら、本開示は、現在のVVCに含まれる現在のCIIP設計に存在する3つの問題を特定した。
第1に、CIIPは、インター予測及びイントラ予測のサンプルを結合するので、各CIIP CUは、予測信号を生成するために、その再構成された隣接サンプルを使用する必要がある。これは、1つのCIIP CUの復号が、その隣接ブロックの完全な再構成に依存することを意味する。このような相互依存性のために、実際のハードウェア実装では、隣接する再構成サンプルがイントラ予測に利用可能になる再構成段階でCIIPを実行する必要がある。再構成ステージにおけるCUの復号は、連続的に(即ち、1つずつ)実行されなければならないので、リアルタイム復号の十分なスループットを保証するために、CIIPプロセスに含まれる計算演算(例えば、乗算、加算、及びビットシフト)の数が多過ぎることは望ましくない。さらに、現在のVVCにおける現在のCIIP設計では、BDOF及びDMVRなどの新しいインターモード符号化ツールも、CIIPモードのためのインター予測サンプルを生成するために含まれる。新しいモード間符号化ツールによって導入される追加の複雑さを考慮すると、このような設計は、CIIPが有効なとき、ハードウェアコーデックの符号化/復号化スループットを著しく低減させる可能性がある。
第2に、現在のVVCにおける現在のCIIP設計では、1つのCIIP CUがバイ予測される1つの併合候補を参照するとき、リストL0及びL1における動き補償予測信号の両方が生成される必要がある。1つ以上のMVが整数精度でない場合、分数サンプル位置でサンプルを補間するために、追加の補間プロセスを呼び出さなければならない。このようなプロセスは、計算量を増加させるだけでなく、外部メモリからより多くのリファレンスサンプルにアクセスする必要がある場合にメモリ帯域幅を増加させ、その結果、CIIPが有効な場合にハードウェアコーデックの符号化/復号化スループットを著しく低減させる可能性がある。
第3に、現在のVVCにおける現在のCIIP設計では、CIIP CUのイントラモード及びイントラCUのイントラモードは、それらの隣接ブロックのMPMリストを構築するときに異なるように扱われる。詳細には、1つの現在のCUがCIIPモードによって符号化されるとき、その隣接するCIIP CUはイントラとみなされる、即ち、隣接するCIIP CUのイントラモードをMPM候補リストに追加することができる。しかしながら、現在のCUがイントラモードによって符号化される場合、その隣接するCIP
CUは、インターモードとみなされ、即ち、隣接するCIP CUのイントラモードは、MPM候補リストから除外される。このような非統一設計は、VVC標準の最終版には最適でない場合がある。
本開示は、上記の3つの問題に対処するために、CIIPモードの適用の制約及び調整を提案する。
本開示によれば、CIIPモードの適用のための候補であるCUを識別した後、CIIPモードの適用のための候補として識別されたCUがバイ予測されるか、または単予測されるかに関して決定が行われ、次いで、その決定に基づいて、CUへのCIIPモードの
適用が制約される。
本開示の一実施形態によれば、決定に基づいてCUへのCIIPモードの適用を制約することは、CUがバイ予測されるときにCUへのCIIPモードの適用中にインター予測サンプルの生成において1つ以上の予め定義されたインター予測技法の動作を無効にすることを含む。
一例では、1つ以上の予め定義されたインター予測技法は、BDOF及びDMVRを含む。
図7は、現在の予測ブロックのバイ予測を計算する際にDMVR及びBDOF演算を選択的にバイパスする例示的なワークフローを示すフローチャートである。現在の予測ブロックを処理している間、現在の予測ブロックに関連付けられた第1リファレンスピクチャ及び第2リファレンスピクチャが得られ(702)、表示順序で、第1リファレンスピクチャは現在のピクチャの前にあり、第2リファレンスピクチャは現在のピクチャの後にある。続いて、第1予測L0は、現在の予測ブロックから第1リファレンスピクチャのリファレンスブロックへの第1動きベクトルMV0に基づいて得られ(703)、第2予測L1は、現在の予測ブロックから第2リファレンスピクチャのリファレンスブロックへの第2動きベクトルMV1に基づいて得られる(704)。次に、DMVR演算を適用するか否かの決定が行われる(705)。適用される場合、DMVR演算は、第1予測L0及び第2予測L1に基づいて、第1動きベクトルMV0及び第2動きベクトルMV1を調整し、第1更新予測L0’及び第2更新予測L1’を生成する(706)。次に、BDOF演算を適用するか否かについて第2の判定が行われる(707)。適用される場合、BDOF演算は、第1更新予測L0’に関連付けられた予測サンプルについての第1水平・垂直勾配値、及び第2更新予測L1’に関連付けられた第2水平・垂直勾配値を計算する(708)。最後に、現在の予測ブロックのバイ予測は、第1予測L0、第2予測L1、任意で、第1更新予測L0’、任意で、第2更新予測L1’、任意で、第1水平・垂直勾配値、及び任意で、第2水平・垂直勾配値に基づいて計算される(709)。
別の例では、1つ以上の予め定義されたインター予測技法は、BDOFを含む。図8は、本開示のこの例におけるCIIP設計の例示的なワークフローを示すフローチャートである。このワークフローでは、L0及びL1動き補償(801及び802)は、BDOFを介して処理される代わりに平均化され(803)、次いで、得られた平均は、イントラ予測(804)とともに処理されて、CIIPモードで加重平均(805)を形成する。
第3の例では、1つ以上の予め定義されたインター予測技法は、DMVRを含む。
本開示の別の実施形態によれば、決定に基づくCUへのCIIPモードの適用の制約は、CUがバイ予測されるときにCUへのCIIPモードの適用中に、CUのためのイントラ予測サンプルと組み合わせて使用される複数の単予測サンプルを、すべての利用可能な単予測サンプルから選択するために、予め定義された基準を使用することを含む。
一例では、予め定義された基準は、リファレンスピクチャリスト0(L0)内のピクチャに基づいてすべての単予測サンプルを選択することを含む。
別の例では、予め定義された基準は、リファレンスピクチャリスト1(L1)内のピクチャに基づいてすべての単予測サンプルを選択することを含む。
第3の例では、予め定義された基準は、CUが位置するピクチャ(「現在のピクチャ」)から最小ピクチャ順序カウント(POC)距離を有する1つのリファレンスピクチャに
基づいて、すべての単予測サンプルを選択することを含む。図9は、本開示のこの例における提案されたCIIP設計の例示的なワークフローを示すフローチャートである。このワークフローでは、L0またはL1リファレンスピクチャがPOC距離において現在のピクチャにより近いかどうかに関して判定が行われ(901)、現在のピクチャから最小のPOC距離を有する1つのリファレンスピクチャからの動き補償が選択され(902及び903)、次いで、イントラ予測とともに処理されて(904)、CIIPモードにおいて加重平均を形成する(905)。
本開示の別の実施形態によれば、決定に基づいてCUへのCIIPモードの適用を制約することは、CUへのCIIPモードの適用を無効にすることと、CUがバイ予測されるときに、CUのためのCIIPフラグの信号化を無効にすることとを含む。詳細には、オーバヘッドを低減するために、CIIP有効化/無効化フラグの信号化は、現在のCIIP CUの予測方向に依存する。現在のCUが単予測の場合、CIIPフラグはビットストリームで信号化され、CIIPが有効か無効かを示す。そうでなければ(即ち、現在のCUがバイ予測される場合)、CIIPフラグの信号化はスキップされ、常に偽であると推論される、即ち、CIIPは常に無効化される。
また、本開示によれば、CU(「現在のCU」)のためのMPM候補リストを形成するときに、現在のCUの隣接するCUの中の各CUがそれぞれCIIP符号化されているか否かに関して判定が行われ、次いで、CIIP符号化されている隣接するCUの間の各隣接するCUについて、現在のCUがイントラ符号化されているかCIIP符号化されているか否かの判定に依存しない統一基準が、現在のCUのためのMPM候補リストの形成において隣接するCUのイントラモードを使用する過程で使用される。
本開示のこの態様の一実施形態によれば、統一基準は、隣接CUがCIIP符号化されているときに、隣接CUのイントラモードをMPM候補リストの形成に使用できないものとして扱うことを含む。
本開示のこの態様の別の実施形態によれば、統一基準は、隣接CUがCIIP符号化されている場合に、MPM候補リストの形成において、隣接CUのCIIP発明をイントラ発明に等しいものとして扱うことを含む。
図10A及び図10Bは、本開示のこの態様の2つの実施形態の例示的なワークフローを示す一対のフローチャートを構成する。図10Aは、本開示のこの態様の第1実施形態のワークフローを示す。このワークフローでは、まず、隣接CUがイントラブロックであるかCIIPブロックであるかに関する決定がなされ(1001)、イントラブロックであるかCIIPブロックである場合のみ、現在のCUがイントラブロックであるかCIIPブロックであるかにかかわらず、そのイントラモードが現在のCUのMPM候補リストに追加される(1002)。図10Bは、本開示のこの態様の第2の実施形態のワークフローを示す。このワークフローでは、まず、隣接CUがイントラブロック(1003)であるか否かを判定し、イントラブロックである場合にのみ、現在のCUがイントラブロックであるかCIIPブロックであるかにかかわらず、そのイントラモードを現在のCUのMPM候補リストに追加する(1004)。
1つ以上の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、1つ以上の命令またはコードとして、コンピュータ読み取り可能な媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読記憶媒体は、データ記憶媒体のような有形媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場所から別の場所へ
のコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含み得る。このようにして、コンピュータ可読記憶媒体は、一般に、(1)非一時的である有形のコンピュータ可読記憶媒体、または(2)信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本出願に記載の実施のための命令、コード及び/またはデータ構造を検索するために、1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を含み得る。
さらに、上記の方法は、ASIC(application specific integrated circuits)、DSP(digital signal processors)、DSPD(digital signal processing
devices)、PLD(programmable logic devices)、FPGA(field programmable gate arrays)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む1つ以上の回路を含む装置を使用して実装され得る。装置は、上述の方法を実行するために、他のハードウェアまたはソフトウェアコンポーネントと組み合わせて回路を使用することができる。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、1つ以上の回路を使用して少なくとも部分的に実装され得る。
本発明の他の実施形態は、本明細書を考慮し、本明細書に開示された本発明を実施することにより、当業者には明らかになるであろう。本出願は、本発明の一般的な原理に従い、当該技術分野における既知の又は慣例の実施の範囲内に入るような本開示からの逸脱を含む、本発明の任意の変形、使用、又は適応を包含することが意図される。本明細書及び各実施形態は、単なる例示を意図するものであり、本発明の真の範囲及び趣旨は、特許請求の範囲に記載する。
本発明は、上述し、添付図面に示した正確な例に限定されるものではなく、本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。
〔関連出願の相互参照〕
本出願は、2019年3月12日に出願された米国仮特許出願第62/817,503号の利益を主張する。前述の出願の全開示は、その全体が参照により本明細書に組み込まれる。

Claims (10)

  1. 現在のブロックのCIIP(combined inter and intra prediction)フラグに基づいてDMVR(decoder-side motion vector refinement)演算を適用するか否かを決定し、
    前記CIIP(combined inter and intra prediction)フラグに基づいてBDOF(bidirectional optical flow)演算を適用するか否かを決定し、
    前記DMVR演算及びBDOF演算を適用するか否かに関する決定に基づいて前記現在のブロックの予測を計算する、
    ビデオ復号化方法。
  2. 前記DMVR演算を適用するか否かを決定することは、CIIPが前記現在のブロックに適用されることを示す前記CIIPフラグに応じて、前記DMVR演算を適用しないことを決定することを含む、請求項1に記載のビデオ復号化方法。
  3. 前記BDOF演算を適用するか否かを決定することは、CIIPが前記現在のブロックに適用されることを示す前記CIIPフラグに応じて、前記BDOF演算を適用しないことを決定することを含む、請求項1に記載のビデオ復号化方法。
  4. 前記現在のブロックの予測を計算することは、
    前記DMVR演算及びBDOF演算を適用しないことを決定することに応じて、第1予測L0及び第2予測L1に基づいて前記現在のブロックのバイ予測を計算し、
    前記第1予測L0は、前記現在のブロックから、表示順序で現在のピクチャの前にある第1リファレンスピクチャのリファレンスブロックへの第1動きベクトルMV0に基づいて取得され、
    前記第2予測L1は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第2リファレンスピクチャのリファレンスブロックへの第2動きベクトルMV1に基づいて取得される、
    請求項1に記載のビデオ復号化方法。
  5. 前記DMVR演算を適用するか否かを決定することは、
    CIIPが前記現在のブロックに適用されないことを示す前記CIIPフラグに応じて、前記DMVR演算を適用することを決定することを含む、請求項1に記載のビデオ復号化方法。
  6. 第1更新予測L0’及び第2更新予測L1’を生成するために、第1動きベクトルMV0及び第2動きベクトルMV1を調整し、
    前記第1動きベクトルMV0は、前記現在のブロックから、表示順序で現在のピクチャの前にある第1リファレンスピクチャのリファレンスブロックへのベクトルであり、
    前記第2動きベクトルMV1は、前記現在のブロックから、表示順序で前記現在のピクチャの後にある第2リファレンスピクチャのリファレンスブロックへのベクトルである、
    請求項5に記載のビデオ復号化方法。
  7. 前記BDOF演算を適用するか否かを決定することは、
    前記CIIPが前記現在のブロックに適用されないことを示す前記CIIPフラグに応じて、前記BDOF演算を適用することを決定することを含む、請求項6に記載のビデオ復号化方法。
  8. 前記第1更新予測L0’に関連する第1水平・垂直勾配値を計算し、
    前記第2更新予測L1’に関連する第2水平・垂直勾配値を計算する、
    ことをさらに含む、請求項7に記載のビデオ復号化方法。
  9. 前記現在のブロックの予測を計算することは、
    前記第1更新予測L0’、第2更新予測L1’、第1水平・垂直勾配値、及び第2水平・垂直勾配値に基づいて、前記現在のブロックのバイ予測を計算する、
    ことを含む、請求項8に記載のビデオ復号化方法。
  10. 1つ以上のプロセッサを有するコンピュータ装置によって実行するためのプログラムであって、
    1つ以上の前記プロセッサによって実行されると、前記コンピュータ装置に、請求項1~請求項9の何れか1項に記載のビデオ復号化方法を実行させる、
    プログラム。
JP2022097598A 2019-03-12 2022-06-16 ビデオ復号化方法、およびプログラム Active JP7425118B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024006272A JP2024038439A (ja) 2019-03-12 2024-01-18 ビデオ符号化方法、プログラム、ビットストリーム、ビットストリーム送信方法およびコンピュータプログラム製品

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962817503P 2019-03-12 2019-03-12
US62/817,503 2019-03-12
PCT/US2020/022491 WO2020186119A1 (en) 2019-03-12 2020-03-12 Constrained and adjusted applications of combined inter- and intra-prediction mode
JP2021555049A JP7092951B2 (ja) 2019-03-12 2020-03-12 ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021555049A Division JP7092951B2 (ja) 2019-03-12 2020-03-12 ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024006272A Division JP2024038439A (ja) 2019-03-12 2024-01-18 ビデオ符号化方法、プログラム、ビットストリーム、ビットストリーム送信方法およびコンピュータプログラム製品

Publications (2)

Publication Number Publication Date
JP2022123067A JP2022123067A (ja) 2022-08-23
JP7425118B2 true JP7425118B2 (ja) 2024-01-30

Family

ID=72427106

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021555049A Active JP7092951B2 (ja) 2019-03-12 2020-03-12 ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム
JP2022097598A Active JP7425118B2 (ja) 2019-03-12 2022-06-16 ビデオ復号化方法、およびプログラム
JP2024006272A Pending JP2024038439A (ja) 2019-03-12 2024-01-18 ビデオ符号化方法、プログラム、ビットストリーム、ビットストリーム送信方法およびコンピュータプログラム製品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021555049A Active JP7092951B2 (ja) 2019-03-12 2020-03-12 ビデオ符号化方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024006272A Pending JP2024038439A (ja) 2019-03-12 2024-01-18 ビデオ符号化方法、プログラム、ビットストリーム、ビットストリーム送信方法およびコンピュータプログラム製品

Country Status (7)

Country Link
US (1) US20210409750A1 (ja)
EP (1) EP3939266A4 (ja)
JP (3) JP7092951B2 (ja)
KR (2) KR20230025509A (ja)
CN (2) CN114143558B (ja)
MX (1) MX2021011043A (ja)
WO (1) WO2020186119A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111083491A (zh) 2018-10-22 2020-04-28 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020098643A1 (en) 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
EP3861742A4 (en) * 2018-11-20 2022-04-13 Beijing Bytedance Network Technology Co., Ltd. DIFFERENCE CALCULATION BASED ON SPATIAL POSITION
CN113170171B (zh) 2018-11-20 2024-04-12 北京字节跳动网络技术有限公司 组合帧间帧内预测模式的预测细化
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
EP3922014A4 (en) 2019-04-02 2022-04-06 Beijing Bytedance Network Technology Co., Ltd. DECODER SIDE MOTION VECTOR BYPASS
WO2020222617A1 (ko) * 2019-05-02 2020-11-05 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2022222990A1 (en) * 2021-04-21 2022-10-27 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
WO2023025098A1 (en) * 2021-08-23 2023-03-02 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
WO2020184487A1 (ja) 2019-03-08 2020-09-17 シャープ株式会社 動画像復号装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375413B2 (en) * 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
CN108353184B (zh) * 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
WO2017082670A1 (ko) * 2015-11-12 2017-05-18 엘지전자 주식회사 영상 코딩 시스템에서 계수 유도 인트라 예측 방법 및 장치
EP4138392A1 (en) * 2016-02-05 2023-02-22 HFI Innovation Inc. Method and apparatus of motion compensation based on bi-directional optical flow techniques for video coding
CN117395395A (zh) * 2017-03-22 2024-01-12 韩国电子通信研究院 使用参考块的预测方法和装置
US10757442B2 (en) * 2017-07-05 2020-08-25 Qualcomm Incorporated Partial reconstruction based template matching for motion vector derivation
WO2020098643A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN113574891B (zh) * 2019-02-24 2024-03-22 Lg 电子株式会社 基于dmvr的帧间预测方法和设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180192071A1 (en) 2017-01-05 2018-07-05 Mediatek Inc. Decoder-side motion vector restoration for video coding
US20180199057A1 (en) 2017-01-12 2018-07-12 Mediatek Inc. Method and Apparatus of Candidate Skipping for Predictor Refinement in Video Coding
WO2020184487A1 (ja) 2019-03-08 2020-09-17 シャープ株式会社 動画像復号装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
T. Poirier, E. Francois, and K. Naser,CE-10 related multi-hypothesis with uni-directional inter prediction restriction,Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-M0390,13th Meeting: Marrakech, MA,2019年01月,pp.1-5
Weiwei Xu, Biao Wang, Haitao Yang, and Jianle Chen,CE10: Simplification on Combined Inter-Intra Prediction (test 10.1.3),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-0290,13th Meeting: Marrakech, MA,2019年01月,pp.1-4
Xiaoyu Xiu, et al.,CE10-related: Simplification on combined inter and intra prediction (CIIP),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,JVET-N0327_r1,14th Meeting: Geneva, CH,2019年03月,pp.1-5

Also Published As

Publication number Publication date
JP2024038439A (ja) 2024-03-19
EP3939266A4 (en) 2022-12-21
JP2022123067A (ja) 2022-08-23
CN114143558A (zh) 2022-03-04
MX2021011043A (es) 2021-10-13
KR20210127722A (ko) 2021-10-22
KR102501210B1 (ko) 2023-02-17
CN113557721A (zh) 2021-10-26
US20210409750A1 (en) 2021-12-30
EP3939266A1 (en) 2022-01-19
WO2020186119A1 (en) 2020-09-17
JP2022522525A (ja) 2022-04-19
JP7092951B2 (ja) 2022-06-28
CN114143558B (zh) 2024-01-30
KR20230025509A (ko) 2023-02-21

Similar Documents

Publication Publication Date Title
JP7425118B2 (ja) ビデオ復号化方法、およびプログラム
US8326075B2 (en) System and method for video encoding using adaptive loop filter
US20210051345A1 (en) Signaling for illumination compensation
EP3909247B1 (en) Method and device for selectively applying decoder-side motion vector refinement for video coding
KR20210099008A (ko) 이미지를 디블록킹하기 위한 방법 및 장치
US20230051193A1 (en) System and method for combined inter and intra prediction
CN113676733B (zh) 视频解码方法、设备、非暂时性计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240118

R150 Certificate of patent or registration of utility model

Ref document number: 7425118

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150