JP7258209B2 - 多重解像度参照画像管理を使用した映像符号化 - Google Patents

多重解像度参照画像管理を使用した映像符号化 Download PDF

Info

Publication number
JP7258209B2
JP7258209B2 JP2022196508A JP2022196508A JP7258209B2 JP 7258209 B2 JP7258209 B2 JP 7258209B2 JP 2022196508 A JP2022196508 A JP 2022196508A JP 2022196508 A JP2022196508 A JP 2022196508A JP 7258209 B2 JP7258209 B2 JP 7258209B2
Authority
JP
Japan
Prior art keywords
images
spatial resolution
image
resolution
video encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022196508A
Other languages
English (en)
Other versions
JP2023027224A (ja
Inventor
ワン、シャンリン
チェン、イ－ウェン
チェン、ユンフェイ
ウェン、シン
チェン、ユコン
ホアン、ユエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Publication of JP2023027224A publication Critical patent/JP2023027224A/ja
Application granted granted Critical
Publication of JP7258209B2 publication Critical patent/JP7258209B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25G—HANDLES FOR HAND IMPLEMENTS
    • B25G1/00—Handle constructions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B26—HAND CUTTING TOOLS; CUTTING; SEVERING
    • B26B—HAND-HELD CUTTING TOOLS NOT OTHERWISE PROVIDED FOR
    • B26B3/00—Hand knives with fixed blades

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本出願は、２０１８年１２月７日に出願された米国仮特許出願第６２／７７６，９９７号に対する優先権を主張するものである。上述した出願の全開示は、参照によりその全体が本明細書に組み込まれる。
本開示は、概して、映像符号化および圧縮に関する。より詳細には、本開示は、参照画像管理を使用して映像符号化を実施するためのシステムおよび方法に関する。
この章は、本開示に関連した背景情報を提供する。この章に含まれる情報は、必ずしも先行技術と見なされるべきではない。
様々な映像符号化技術のうちのいずれかが、映像データを圧縮するために使用され得る。映像符号化は、１つまたは複数の映像符号化規格に従って実施され得る。いくつかの例証的な映像符号化規格は、Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（ＶＶＣ）、Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ（ＪＥＭ）、Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ．２６５／ＨＥＶＣ）、 Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ（Ｈ．２６４／ＡＶＣ）、およびＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）符号化を含む。映像符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を活用する予測方法（例えば、インター予測、イントラ予測、または同様のもの）を利用する。映像符号化技術の１つの目標は、映像品質の劣化を回避または最小限にしながら、映像データをより低いビットレートを使用する形式へ圧縮することである。
多くのビデオコーディック仕様に準じて、復号画像バッファ（ＤＰＢ）に保存される画像は、複数の目的のために、識別および管理される必要がある。例えば、これらの画像は、インター予測を実施するために参照画像として使用され得る。追加的または代替的に、これらの画像は、表示用の出力画像としての役割を果たし得る。同時に、これらの画像と関連付けられた情報はまた、時間動きベクトル導出における動きベクトル（ＭＶ）のスケーリング、および／または加重予測におけるサンプル値のスケーリングなどのような動作に使用され得る。
この章は、本開示の一般的概要を提供し、その全範囲またはその特徴のすべての包括的開示ではない。
本開示の第１の態様によると、映像符号化方法は、１つまたは複数のプロセッサ、および１つまたは複数のプロセッサによって実行されるべき複数のプログラムを格納するメモリを有するコンピューティングデバイスにおいて実施される。本方法は、２つ以上の画像のセットを符号化することを含み、このセットは、第１の空間解像度で符号化される第１の画像、および第１の空間解像度とは異なる第２の空間解像度で符号化される第２の画像を少なくとも含む。２つ以上の画像のセットは、デコーダに動作可能に結合される復号画像バッファに格納される。２つ以上の画像のセットは、それらの対応する画像解像度に基づいて復号画像バッファに格納される。復号画像バッファに格納される２つ以上の画像のセットは、２つ以上の画像のセットの後に続く１つまたは複数の連続画像を符号化するための参照画像のセットとして使用される。２つ以上の画像のセットは、少なくとも２つの異なる空間解像度を有する画像を含む参照画像リスト内に組み込まれる。
本開示の第２の態様によると、映像符号化装置が提供される。本装置は、２つ以上の画像のセットを符号化するように構成されるコーダを含む。本セットは、第１の空間解像度で符号化される第１の画像、および第１の空間解像度とは異なる第２の空間解像度で符号化される第２の画像を少なくとも含む。２つ以上の画像のセットは、デコーダに動作可能に結合される復号画像バッファに格納される。２つ以上の画像のセットは、それらの対応する画像解像度に基づいて復号画像バッファに格納される。復号画像バッファは、２つ以上の画像のセットを格納するように構成されるコンピュータ可読記憶デバイスを含む。２つ以上の画像のセットは、第１および第２の空間解像度に基づいて復号画像バッファに格納される。２つ以上の画像のセットは、デコーダに動作可能に結合される復号画像バッファに格納される。２つ以上の画像のセットは、それらの対応する画像解像度に基づいて復号画像バッファに格納される。復号画像バッファに格納される２つ以上の画像のセットは、２つ以上の画像のセットの後に続く１つまたは複数の連続画像を符号化するための参照画像のセットとして使用される。２つ以上の画像のセットは、少なくとも２つの異なる空間解像度を有する画像を含む参照画像リスト内に組み込まれる。
以後、本開示の例証的で非限定的な実施形態のセットが、添付の図面と併せて説明される。構造、方法、または機能性のバリエーションが、本明細書に提示される例に基づいて当業者により実施され得、またそのようなバリエーションはすべて、本開示の範囲内に含まれる。矛盾が存在しない場合、異なる実施形態の教示は、互いと組み合わされ得るが、その必要がない場合もある。
多くの映像符号化規格と併せて使用され得る例証的なエンコーダを示すブロック図である。 多くの映像符号化規格と併せて使用され得る例証的なデコーダを示すブロック図である。 多くの映像符号化規格と併せて使用され得るパラメータセットの例を示す図である。 時間動きベクトル予測子（ＴＶＭＰ）を導出するための動きベクトルスケーリングを示す図である。 スケーラブル映像符号化構造の例を示す図である。 ２つの異なる空間解像度で符号化される画像のセットを示す図である。
本開示に使用される用語は、本開示を制限するのではなく、特定の例を例証することを目的とする。単数形“ａ”、“ａｎ”、および“ｔｈｅ”は、本開示ならびに添付の特許請求の範囲において使用される場合、他の意味が間違いなく文脈に含まれない限り、複数形も指す。用語「および／または」は、本明細書で使用される場合、１つまたは複数の関連付けられた列挙項目の任意またはすべての可能性のある組み合わせを指すということを理解されたい。
用語「第１」、「第２」、「第３」などは、様々な情報を説明するために本明細書で使用され得るが、情報がこれらの用語によって制限されるべきではないということを理解されたい。これらの用語は、情報の１つのカテゴリを他から区別するためだけに使用される。例えば、本開示の範囲から逸脱することなく、第１の情報は、第２の情報と名付けられてもよく、また同様に、第２の情報もまた、第１の情報と名付けられてもよい。本明細書で使用される場合、用語「～の場合（ｉｆ）」は、文脈に応じて、「とき（ｗｈｅｎ）」、または「～の際（ｕｐｏｎ）」、または「～に応答して（ｉｎ ｒｅｓｐｏｎｓｅ ｔｏ）」を意味すると理解され得る。
本明細書全体を通した、「１つの実施形態」、「実施形態」、「別の実施形態」、または単数形もしくは複数形での同様のものへの言及は、実施形態と関連して説明される１つまたは複数の特定の特徴、構造、または特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本開示全体を通した様々な場所における表現「１つの実施形態において」、または「実施形態において」、「別の実施形態において」、または単数形もしくは複数形での同様のものは、必ずしもすべて同じ実施形態に言及していない。さらには、１つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の好適な様式で組み合わされてもよい。
概念的に、多くの映像符号化規格は、背景技術の章で先に述べたものを含め、類似している。例えば、事実上すべての映像符号化規格が、ブロックベースの処理を使用し、映像圧縮を達成するために同様の映像符号化ブロック図を共有する。
図１は、多くの映像符号化規格と併せて使用され得る例証的なエンコーダ１００のブロック図を示す。エンコーダ１００において、映像フレームは、処理のために複数のブロックへと区切られる。所与の映像ブロックごとに、インター予測手法またはイントラ予測手法のいずれかに基づいて予測が形成される。インター予測では、１つまたは複数の予測子が、以前に再構築されたフレームからの画素に基づいて、動き推定および動き補償を通じて形成される。イントラ予測では、予測子は、現在のフレーム内の再構築された画素に基づいて形成される。モード決定を通じて、最良の予測子が、現在のブロックを予測するために選択され得る。
現在のブロックとその予測子との間の差を表す予測残差が、変換１０２モジュールに送信される。次いで変換係数が、エントロピー低減のために変換１０２モジュールから量子化１０４モジュールへ送信される。次いで量子化係数が、圧縮映像ビットストリームを生成するためにエントロピー符号化１０６モジュールに供給される。図１に示されるように、ブロック区切り情報、動きベクトル、参照画像インデックス、およびイントラ予測モードなどの、インター予測モジュールおよび／またはイントラ予測１１２モジュールからの予測関連情報１１０もまた、エントロピー符号化１０６モジュールを通じて供給され、圧縮映像ビットストリーム１１４に保存される。
エンコーダ１００において、デコーダ関連モジュールもまた、予測の目的のために画素を再構築するために必要とされる。まず、予測残差が、逆量子化１１６ブロックおよび逆変換１１８モジュールを通じて再構築される。この再構築された予測残差は、ブロック予測子１２０と組み合わされて、現在のブロックのためのフィルタリングされていない再構築画素を生成する。
符号化効率および視覚品質を向上させるために、インループフィルタが一般に使用される。例えば、デブロッキングフィルタは、ＡＶＣ、ＨＥＶＣ、およびＶＶＣの現在のバージョンにおいて利用可能である。ＨＥＶＣでは、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ：サンプル適応オフセット）と呼ばれる追加のインループフィルタが、符号化効率をさらに向上させるために規定される。ＶＶＣ規格の今現在のバージョンでは、ＡＬＦ（Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ：適応ループフィルタ）と呼ばれるさらに別のインループフィルタが盛んに調査されており、それは、最終規格に含まれる可能性が十分にある。
これらのインループフィルタ動作は任意選択である。これらの動作を実施することが、符号化効率および視覚品質を向上させることを助ける。それらはまた、計算複雑性を軽減するために、エンコーダ１００によってもたらされる決定として、オフにされてもよい。
イントラ予測およびインター予測のフィルタオプションがエンコーダ１００によってオンにされる場合、イントラ予測は、通常、フィルタリングされていない再構築画素に基づく一方、インター予測は、フィルタリングされた再構築画素に基づくということに留意されたい。
図２は、多くの映像符号化規格と併せて使用され得る例証的なデコーダ２００を示すブロック図である。このデコーダ２００は、図１のエンコーダ１００に存在する再構築関連セクションに類似する。デコーダ２００（図２）において、入ってくる映像ビットストリーム２０１は、まず、エントロピー復号化２０２モジュールを通じて復号されて、量子化係数レベルおよび予測関連情報を導出する。次いで量子化係数レベルが、逆量子化２０４ブロックおよび逆変換２０６モジュールを通じて処理されて、再構築予測残差を取得する。イントラ／インターモードセレクタ２１２ブロックに実装されるブロック予測子機構は、復号された予測情報に基づいて、イントラ予測２０８手順または動き補償２１０プロセスのいずれかを実施するように構成される。フィルタリングされていない再構築画素のセットは、加算器２１４を使用して、逆変換２０６モジュールからの再構築予測残差およびブロック予測子機構によって生成される予測出力を合計することによって取得される。インループフィルタがオンにされている状況では、フィルタリング動作が、これらの再構築画素に対して実施されて、出力のための最終再構築映像を導出する。
ある特定のヘッダ情報の損失から生じる壊滅的な影響が理由で、パラメータセットがＨ．２６４／ＡＶＣ映像符号化規格に導入された。このヘッダ情報は、シーケンスヘッダ、および／または画像ヘッダの形態で存在し得る。例えば、多くの映像符号化アプリケーションにおいて、画像は、スライスなどの複数セグメントに区切られ得、各セグメントがそれ自身のトランスポートユニット（例えば、ＲＴＰパケット）内で伝達される。通常、前述のヘッダ情報は、画像の第１のセグメントと一緒に伝達される。この場合、画像の第１のパケットの損失は、このヘッダデータの不在に起因して、完全に誤った画像をもたらし得る。
パラメータセットは、映像ビットストリームのいずれかの部分（図１の１１４または図２の２０１）であり得るか、あるいは、信頼性の高いチャネルを使用した帯域外伝送、またはエンコーダ１００（図１）およびデコーダ２００（図２）内のハードコーディングなどの他の手段を通じて、デコーダによって受信され得る。図３を参照すると、パラメータセット３００は各々、異なるスコープを有する異なるタイプのデータを含み得る。例えば、シーケンスパラメータセット（ＳＰＳ）３０２は、映像シーケンスレベル情報を伝えるように規定される。画像パラメータセット（ＰＰＳ）３０４も、画像レベル情報を伝えるように規定される。パラメータセットは、スライスヘッダ３０８から、直接的または間接的に参照され得る識別情報を含む。
ＨＥＶＣでは、映像パラメータセット（ＶＰＳ）３０６と呼ばれる別のタイプのパラメータセットが、能力交換（ｃａｐａｂｉｌｉｔｙ ｅｘｃｈａｎｇｅ）およびセッションネゴシエーションに関するケースをサポートするために、複数のレイヤおよびサブレイヤに適用可能である情報を伝えるために導入された。所与の映像シーケンスの各レイヤは、それらが同じまたは異なるＳＰＳ３０２を有するかどうかにかかわらず、同じＶＰＳ３０６を参照する。
ＶＰＳ３０６は、１）不必要な重複を回避するために、複数のレイヤまたは動作点によって共有される共通構文要素、２）セッションネゴシエーションに必要とされる動作点の必須情報、例えば、プロファイルおよびレベル、ならびに３）単一のＳＰＳ３０２に属さない他の動作点特有の情報、例えば、レイヤまたはサブレイヤのための仮想参照デコーダ（ＨＲＤ：Ｈｙｐｏｔｈｅｔｉｃａｌ Ｒｅｆｅｒｅｎｃｅ Ｄｅｃｏｄｅｒ）パラメータを含む、情報を伝える。Ｈ．２６４／ＡＶＣは、比較可能なパラメータセットを有さず、その結果、上に列挙される情報は、各ＳＰＳ３０２において繰り返されなければならない。
図３に示されるように、スライスヘッダ３０８は、識別子ｐｐｓ＿ｉｄを通じてＰＰＳ３０４を参照し得る。同様に、ＰＰＳ３０４は、識別子ｓｐｓ＿ｉｄを通じてＳＰＳ３０２を参照し得、ＳＰＳは、識別子ｖｐｓ＿ｉｄを通じてＶＰＳを参照し得る。
インター予測のために、動きモデルは、所与の参照画像から予測ブロックを形成する方法を記述するように規定される。
Ｈ．２６５／ＨＥＶＣ、Ｈ．２６４／ＡＶＣ、および先行技術の映像符号化規格では、並進動きモデルのみが、規定され、ブロックベースの動き補償（ＭＣ）のために使用される。このモデルに基づいて、参照画素位置（ｘｒ，ｙｒ）が、
ｘｒ＝ｘ＋ａ
ｙｒ＝ｙ＋ｂ
として導出され得る。
ここで、（ｘ，ｙ）は、現在の画素の位置である。パラメータａおよびｂは、動きベクトル（ａ，ｂ）の水平および垂直成分である。そのような動きモデルは単純であり、それは、回転、ズーム、またはせん断写像（ｓｈｅａｒ ｍａｐｐｉｎｇ）などの非並進運動をモデル化するために使用することができない。
より効率的なインター予測を達成するため、より複雑なアフィン動きモデルが、最新のＶＶＣ規格では使用される。現在のところ、４パラメータおよび６パラメータの両方のアフィンモデルがサポートされている。一般的な６パラメータアフィンモデルは、以下のように表現され得る：
ｘｒ＝ａ＊ｘ＋ｂ＊ｙ＋ｃ
ｙｒ＝ｄ＊ｘ＋ｅ＊ｙ＋ｆ
ここで、（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）は、決定され、エンコーダからデコーダへ伝送されるべきパラメータである。
単純化として、以下に示される４パラメータアフィンモデルもまた、単なる回転、ズーム、および並進の組み合わせに制限される動きを分類するために、ＶＶＣにおいてサポートされる。
ｘｒ＝ａ＊ｘ＋ｂ＊ｙ＋ｃ
ｙｒ＝－ｂ＊ｘ＋ａ＊ｙ＋ｆ
４パラメータアフィンモデルは、６パラメータアフィンモデルよりも一般的ではないが、符号化され伝送されるべきパラメータが少ない。動きが回転、ズーム、および並進に制限される場合、通常、４パラメータアフィンモデルが、レートひずみ（ＲＤ：Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ）の観点から好ましい。
ＨＥＶＣでは、現在のブロックの動きベクトルは、その参照画像のうちの１つにおける動きベクトルを使用して予測され得る。そのような動きベクトル予測子は、時間動きベクトル予測子（ＴＭＶＰ）と呼ばれる。手順のセットは、所与の現在のブロックについてＴＭＶＰを導出するためにＨＥＶＣにおいて規定される。
特に、このＴＭＶＰの導出において、スケーリングされた動きベクトルが、参照画像リスト内の以前に符号化された画像であるコロケーテッド画像（ｃｏｌｌｏｃａｔｅｄ ｐｉｃｔｕｒｅ）のＭＶから導出される。ＴＭＶＰの導出において、スライスヘッダ内の明示的フラグ（ｃｏｌｌｏｃａｔｅｄ＿ｆｒｏｍ＿ｌ０＿ｆｌａｇ）は、まず、デコーダに送信されて、コロケーテッド画像が、リスト１と呼ばれる第２の参照画像リストに対して、リスト０と呼ばれる第１の参照画像リストから選択されるかどうかを示す。本開示の以下の説明において、簡単のために、リスト０は、Ｌ０とも称され、同様に、リスト１は、Ｌ１とも称される。コロケーテッド参照指数（ｃｏｌｌｏｃａｔｅｄ＿ｒｅｆ＿ｉｄｘ）がさらに、そのリスト内のどの画像がＴＭＶＰを導出するためのコロケーテッド画像として選択されるかを示すために送信される。時間動き候補のＬ０およびＬ１ ＭＶは、表１に示されるようなコロケーテッド画像のコロケーテッドブロック内の異なるリストのＭＶについて、既定の順序に従って、独立して導出される。
表１は、ＨＥＶＣ内のＴＭＶＰのためにコロケーテッドブロックから時間ＭＶを導出するためのアルゴリズムの一例を示す。
Figure 0007258209000001
図４は、時間動きベクトル予測子（ＴＶＭＰ）を導出するための動きベクトルスケーリング手順を例示する。ＴＭＶＰを導出するためのスケーリングされた動きベクトルは、点線４０１によって図示されるように取得され、これは、Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ（ＰＯＣ）距離ｔｂ４０３およびｔｄ４０４のセットを使用してコロケーテッド予測ユニット（ＰＵ）４０２の選択された動きベクトルからスケーリングされ、ここで、ｔｂ４０３は、現在の画像の参照画像と現在の画像との間のＰＯＣ差（ＰＯＣ距離とも呼ばれる）であるように規定され、ｔｄ４０４は、コロケーテッド画像の参照画像とコロケーテッド画像との間のＰＯＣ差であるように規定される。時間マージ候補の参照画像指標は、ゼロに等しく設定される。スケーリングプロセスの実用化は、ＨＥＶＣ仕様書に記載されている。Ｂスライスの場合、２つの動きベクトルが取得される。第１の動きベクトルは、参照画像リスト０のためであり、第２の動きベクトルは、参照画像リスト１のためである。第１および第２の動きベクトルは、両方向予測ＴＭＶＰを構築するために組み合わされる。
先の章で説明されたように、以前に復号／再構築された画像は、復号画像バッファ（ＤＰＢ）に保存される。これらの画像は、必要とされるときにそれらが利用可能であり、もはや必要とされないときにＤＰＢから永久に除去されるように、ある特定の規則に基づいて管理される。ＤＰＢ内の画像は、インター予測のための参照画像として使用されること、および／または表示のために出力されることなど、複数の目的のために使用される。それらはまた、時間動きベクトル予測子（ＴＭＶＰ）を導出することにおける動きベクトルスケーリングのための、および加重予測におけるサンプル値スケーリングのための情報を提供する。
ＡＶＣおよびＨＥＶＣの両方において、ＤＰＢに保存される画像は、画像が、復号順に連続画像を符号化するために参照画像として依然として使用されるかどうか、および／または画像が、出力（または表示）のために必要とされるかどうかを決定するために、復号参照画像マーキングプロセスを通じて管理される。画像がいずれの場合にも必要とされない場合、それは、ＤＰＢから除去され、対応するメモリ空間は、他の画像のために使用され得る。両方の規格において、参照画像は、２つのタイプ：短期参照画像および長期参照画像に分類される。
参照画像マーキングプロセスは、ＡＶＣ対ＨＥＶＣにおける異なる機構を通じて達成される。Ｈ．２６４／ＡＶＣでは、復号参照画像マーキングのための２つの機構すなわち、黙示的なスライドウィンドウプロセスおよび明示的なメモリ管理制御動作（ＭＭＣＯ）プロセスが存在する。スライドウィンドウプロセスは、参照フレームの数がＳＰＳにおいて規定された所与の最大数（ｍａｘ＿ｎｕｍ＿ｒｅｆ＿ｆｒａｍｅｓ）に等しいとき、短期参照画像を「参照のために使用されていない」とマークする。短期参照画像は、最近復号された短期画像がＤＰＢ内に保持されるように、先入れ先出し方式で格納される。
明示的なＭＭＣＯプロセスは、複数のＭＭＣＯコマンドを含み得る。ＭＭＣＯコマンドは、１つまたは複数の短期または長期参照画像を「参照のために使用されていない」とマークする、すべての画像を「参照のために使用されていない」とマークする、または、現在の参照画像もしくは既存の短期参照画像を長期としてマークし、長期参照画像指数をその長期参照画像に割り当て得る。
Ｈ．２６５／ＨＥＶＣでは、参照画像セット（ＲＰＳ）を通じた参照画像管理のための完全に異なる手法が導入された。特定のスライスごとに、ＲＰＳは、現在の画像または任意の後続の画像によって使用される参照画像の完全なセットを規定する。参照画像のこのセットはすべて、ＤＰＢ内に保持されることになる。Ｈ．２６４／ＡＶＣにおける機構とは異なり、ＲＰＳ概念では、ＤＰＢ内の参照画像の正しいステータスを維持するために復号順でのより前の画像からの情報の必要性はない。
通信チャネルの利用可能な帯域幅における一時的変動に適応するために、ビットストリームの映像解像度を変えることが望ましい場合がある。これは、サイマルキャスト（ｓｉｍｕｌｃａｓｔ）またはスケーラブル映像符号化のいずれかを通じて達成され得る。
サイマルキャストの場合、同じ映像のためのものであるが異なる空間解像度を有するビットストリームが、別々に生成され、ブロードキャスト方式で同時に送信され得る。受信デバイスは、受信デバイスの帯域幅に基づいて、異なる解像度にあるビットストリーム間で適応的に選択し得る。そのような解像度切り替えは、通常、ランダムアクセスポイントとしての役割を果たし得るキー画像（例えば、ＩＤＲ画像）の位置で発生する。
スケーラブル映像符号化において、同じ映像のためのものであるが異なる空間解像度を有するビットストリームは、レイヤ方式で合同で生成され、各レイヤが異なる映像解像度に対応する。そのようなジョイント符号化を通じて、これらの異なる解像度映像間のある特定の相関が、ビットレートを低減するためにさらに利用され得る。
図５は、スケーラブル映像符号化構造の例を示す。この例では、２つのレイヤが存在し、基本レイヤ５０１および拡張レイヤ５０２とそれぞれ称され得る。この例では、基本レイヤ５０１は、拡張レイヤ５０２よりも低い空間解像度および低い時間解像度の両方を有する。サイマルキャストと比較して、レイヤ間予測（垂直の矢印によって示される）が、拡張レイヤ５０２符号化効率を向上させるためにサポートされ得る。
Ｈ．２６４／ＡＶＣのスケーラブル映像符号化プロファイルによると、いくつかの項目のうちのいずれかは、コロケーテッド基本レイヤ５０１ブロックからのレイヤ間予測のために使用され得る。これらの項目は、イントラ予測された領域内の再構築画素、動きベクトル、および／またはブロックテクスチャ予測残差を使用することを含む。加えて、コロケーテッド基本レイヤ５０１ブロックからの項目は、基本レイヤ５０１および拡張レイヤ５０２が異なる空間解像度を有するときに適切にアップサンプリングおよび／またはスケーリングされる必要がある。この場合、アップサンプリング／スケーリングされた中間データを格納するために追加のバッファが必要とされ得る。レイヤ間予測のために必要とされる任意の追加のバッファを除き、各レイヤは、それ自身のＤＰＢを有する。
サイマルキャストの場合のように、スケーラブル映像符号化におけるより低い空間解像度からより高い空間解像度へのビットストリーム切り替えは、ランダムアクセスポイントとしての役割を果たし得るキー画像（例えば、ＩＤＲ画像）の位置で発生し得る。基本レイヤ５０１は常に必要とされるため、拡張レイヤ５０２から基本レイヤ５０１への切り替えは、いかなる画像位置でも発生し得る。
ＡＯＭｅｄｉａ Ｖｉｄｅｏ １（ＡＶ１）は、２０１５年に創業された、半導体産業、ビデオオンデマンドプロバイダ、およびウェブブラウザデベロッパからの企業のコンソーシアム、Ａｌｌｉａｎｃｅ ｆｏｒ Ｏｐｅｎ Ｍｅｄｉａ（ＡＯＭｅｄｉａ）によって開発されたオープンなロイヤリティフリーの映像符号化フォーマットである。
ＡＶ１では、「フレーム超解像」と呼ばれる特徴がサポートされる。この符号化モードによると、画像は、より低い空間解像度で符号化され、次いで、参照バッファのセットを更新する前に、最大解像度へ規範的にインループで超解像される。そのような方法は、非常に低いビットレートで知覚的利点を提供することが知られている。動作を計算的に扱いやすいものに保つため、超解像プロセスは、線形アップスケーリングへ分解され、その後に、より高い空間解像度でウィーナーフィルタに基づいたループ復旧ツールを適用することが続く。さらに、ラインバッファ内のオーバーヘッドなしに、費用対効果の高いハードウェア実装を可能にするために、アップスケーリング／ダウンスケーリングは、水平にのみ動作するように制約される。
Ｈ．２６４／ＡＶＣおよびＨ．２６５／ＨＥＶＣなどの既存の映像符号化規格では、映像は、一定の空間解像度で符号化される。この空間解像度が、より低いビットレートシナリオおよび／またはより低い利用可能帯域幅に適応するために低減される必要がある状況においては、ランダムアクセスをサポートすることができる画像（例えば、ＩＤＲ画像）が、ＩＤＲ画像と一緒にシグナリングされることになる新規のパラメータセット情報（例えば、ＳＰＳ、ＰＰＳなど）と共に必要とされる。この機構の問題は、画像がイントラ符号化されるため、通常、ＩＤＲ画像を送信するのに非常にコストがかかることである。より低いビットレートがＩＤＲ画像に対して強いられる場合、その視覚品質は、著しく損なわれる場合がある。
ＡＶＣおよび／またはＨＥＶＣのスケーラブル延長プロファイルにより、空間解像度は、より低いビットレートシナリオに適応するために基本レイヤ５０１画像ビットストリームを保持するだけで、低減され得る。しかしながら、スケーラブル映像符号化は、マルチレイヤを伴う。その符号化効率は、通常、単一レイヤを符号化するほどは効率的ではない。マルチレイヤ復号（およびいくつかの場合においては、マルチレイヤ動き補償）がサポートされなければならないため、デコーダ複雑性がより高い。デコーダ側でのそのような更なる複雑性は、実際には非常に望ましくない。
ＡＶ１では、そのようなケースは、フレーム超解像の符号化モードを通じてはるかに良好にサポートされる。この場合、フレーム解像度低減は、インター予測画像を含め、いかなる所与の画像位置でも発生し得る。しかしながら、それは、ＤＰＢ内の画像がすべて同じ空間解像度を有するようにするために、フレームアップスケーリングプロセスを必要とし、その後に超解像プロセスが続いてから、将来の使用のために再構築画像をＤＰＢに保存する。
本開示によると、画像は、任意の画像位置において異なる空間解像度で符号化され得る。空間解像度における変化は、任意の画像位置において発生し得、ランダムアクセスをサポートする画像（例えば、ＩＤＲ画像）で発生する必要はない。加えて、再構築画像をスケーリングして元の映像解像度に戻すために必要とされるアップスケーリングプロセスおよび超解像プロセスは存在しない。代わりに、再構築画像は、どんな画像解像度でそれらが符号化されるかに関係なく、ＤＰＢに直接保存される。
画像解像度の低下は、水平方向に制限されない。それは、水平方向および垂直方向の両方において発生し得る。
図６は、２つの異なる空間解像度で符号化される画像のセットを例示する。例えば、本開示の教示に基づいて、ＤＰＢバッファは、少なくとも２つの異なる空間解像度を有する画像を含み得る。図６に示されるように、画像がＫ、Ｋ＋１、…Ｋ＋６…というそれらの時間的順序に従って符号化されると仮定して、画像は、必要とされるときにはいつでも、ビットレートを節約するために空間的に低下され得る。この例では、Ｋで示される第１の画像６０１、およびＫ＋１で示される第２の画像６０２は、両方とも第１の空間解像度にある。しかしながら、Ｋ＋２で示される第３の画像６０３は、より低いビットレートに適応するために、第１の解像度よりも低い第２の空間解像度へ縮小される。これは、例えば、通信チャネル上の利用可能帯域幅の減少に起因して発生し得る。第４の画像６０４（Ｋ＋３）、第５の画像６０５（Ｋ＋４）、および第６の画像６０６（Ｋ＋５）はすべて、第２の（より低い）空間解像度で符号化される。第７の画像６０７（Ｋ＋６）では、通信チャネル帯域幅が十分に改善し、第７の画像６０７は、第１および第２の画像６０１および６０２に適用された第１の（より高い）解像度で符号化され得る。
本開示において、画像は、いかなる更なるアップスケーリングおよび／または超解像もせずに、それらが符号化され、ＤＰＢに直接保存される解像度へと再構築される。図６に示される例では、第３、第４、第５、および第６の画像６０３、６０４、６０５、および６０６（Ｋ＋２、Ｋ＋３、Ｋ＋４、およびＫ＋５）はすべて、第２の（より低い）空間解像度でＤＰＢに保存される一方、第１、第２、および第７の画像６０１、６０２、および６０７（Ｋ、Ｋ＋１、およびＫ＋６）は、第１の（より高い）解像度でＤＰＢに保存される。言い換えると、セット内の第１の空間解像度を有する画像は、第１の空間解像度で直接復号画像バッファに格納され、セット内の第２の空間解像度を有する画像は、第２の空間解像度で直接復号画像バッファに格納される。その結果、復号画像バッファは、異なる空間解像度を有する画像を格納する。１つまたは複数の例において、復号画像バッファは、通信チャネル内の異なる利用可能帯域幅に基づいて、画像をそれらの元の空間解像度で格納する。
したがって、本開示によると、参照画像リストは、異なる空間解像度を有する画像を含み得る。そのような特徴は、根本にある復号参照画像マーキングプロセスに直交するということは言及するに値する。例えば、それは、Ｈ．２６４／ＡＶＣにおけるスライドウィンドウまたはＭＭＣＯプロセスと一緒に使用され得る。それはまた、Ｈ．２６５／ＨＥＶＣにおけるＲＰＳおよびその関連参照画像リスト生成プロセスと一緒に使用され得る。
参照画像リスト内で異なる空間解像度画像を可能にするための主な動機は、ＶＶＣにおけるより複雑な動きモデルの可用性である。例えば、アフィン予測により、良好な予測を達成することに必要とされるズーム効果は、参照画像が、符号化されている現在の画像とは異なる空間解像度を有するときに自動的に操作される。
ＨＥＶＣにおいて、画像幅および高さは、ＳＰＳ３０２（図３）内のビデオシーケンスレベルでシグナリングされ、ビデオシーケンス内のすべての画像は同じサイズを有すると仮定される。本開示によると、画像幅および画像高さは、例えばＰＰＳ３０４内で、直接的および／または間接的に画像レベルでシグナリングされる。元の映像解像度は、依然として、例えばＳＰＳ３０２内で、シーケンスレベルでシグナリングされ得る。
そのようなシグナリングは、様々な形態をとり得る。例えば、ＰＰＳ３０４内で、画像幅および高さは、各次元に沿っていくつのルマサンプル値（ｌｕｍａ ｓａｍｐｌｅ ｖａｌｕｅｓ）があるかに関してシグナリングされ得る。代替的または追加的に、ルマサンプル値は、元のビデオ画像幅および高さに対する比の値として、ＰＰＳ３０４内でシグナリングされ得る。例えば、そのような比の値は、１／４、１／２、３／４、および１．０などであり得る。これらの比の値は、分母および分子としてシグナリングされ得る。それらはまた、既定の分母および分子のセットへの指標値としてシグナリングされ得る。
本開示によると、動きベクトルスケーリングは、画像ＰＯＣ差に加えて、画像解像度に基づき得る。例えば、画像空間解像度の相対比率に応じて、動きベクトルスケーリングは、それに従って調節され得る。
本開示によると、参照画像が、符号化されている現在の画像とは異なる空間解像度を有する状況では、グローバル動きベクトルが、これら２つの空間解像度に基づいて導出されて、異なる空間解像度を有することに起因するこれら２つの画像間のズーム効果に少なくとも対処し得る。
符号化されるべき現在の画像について、グローバル動きベクトルが、参照画像ごとに導出され得る。現在の画像内のブロックごとに復号および／またはシグナリングされる動きベクトルは、復号および／またはシグナリングされる動きベクトルのための対応する参照画像と関連付けられたグローバル動きベクトルを使用して予測されたと仮定される。その結果、現在のブロックについての実際の動きベクトルは、ブロックのシグナリングされた動きベクトルおよびグローバル動きベクトルから合同で導出される。
符号化されるべき現在の画像が参照画像と同じ空間解像度を有する状況では、グローバル動きベクトルは、その参照画像で使用するために必要とされない場合がある。
グローバル動きベクトルは、様々な動きモデルを使用し得る。例えば、それは、上で述べた異なる画像間のズーム効果を伝えるためにアフィン動きモデルを使用し得る。それはまた、ズーム効果を伝えるために他の動きモデルを使用し得る。
本開示によると、そのようなグローバル動きベクトルは、デコーダへビットストリーム内で明示的にシグナリングされる必要はない。代わりに、それは、エンコーダ側およびデコーダ側の両方において同じ規則セットに基づいて導出され得る。同じ規則セットは、グローバル動きベクトルを決定する因子の１つとして少なくとも画像空間解像度を含み得る。
本開示の別の実施形態によると、参照画像ごとのグローバル動きベクトルは、デコーダへビットストリーム内でシグナリングされ得る。そのようなシグナリングはまた、様々な形態をとり得る。例えば、グローバル動きベクトルの各々が、動きベクトルとして直接的にシグナリングされ得る。グローバル動きベクトルの各々はまた、水平および垂直の次元に沿ったスケーリング比としてシグナリングされ得る。代替的に、グローバル動きベクトルの各々はまた、既定の動きベクトルおよび／またはスケーリング比のセットへの指標値としてシグナリングされ得る。
本開示によると、ＤＰＢ内のより低い／より高い解像度画像を現在の画像の空間解像度へアップサンプリング／ダウンサンプリングする必要はないが、フィルタのセットが、より良好な動き補償予測またはより良好な表示のために使用されるべき好ましい画像アップサンプリング／ダウンサンプリングフィルタを示すために、依然としてデコーダにシグナリングされ得る。そのようなシグナリングは、ヘッダ情報内、またはＳＰＳ３０２およびＰＰＳ３０４内に置かれ得る。それはまた、ＳＥＩ（補足エンハンスメント情報）としてシグナリングされ得る。
いくつかの例では、２つ以上の画像のセットは、ランダムアクセスをサポートするいかなる画像も含まない。
いくつかの例では、第１の空間解像度から第２の空間解像度への解像度の低下を含め、第２の空間解像度は、第１の空間解像度よりも小さく、本方法は、水平方向にのみ解像度を低下させること、垂直方向にのみ解像度を低下させること、または水平方向および垂直方向の両方において解像度を低下させることをさらに含む。
いくつかの例では、本方法は、動的に変化する帯域幅容量を有する通信チャネル上で、符号化された２つ以上の画像のセットを送信すること、および通信チャネルの帯域幅容量が減少することに応答して、第２の空間解像度を第１の空間解像度より小さくなるように設定することをさらに含む。
いくつかの例では、本方法は、動的に変化する帯域幅容量を有する通信チャネル上で、符号化された２つ以上の画像のセットを送信すること、および通信チャネルの帯域幅容量が増加することに応答して、第２の空間解像度を第１の空間解像度より大きくなるように設定することをさらに含む。
いくつかの例では、２つ以上の画像のセットは、異なる空間解像度を有する画像を含む参照画像リストを含む。
いくつかの例では、アフィン予測は、２つ以上の画像のセットのための強化されたズーム効果を提供するために使用され、参照画像リストは２つ以上の画像を含み、各画像は、現在符号化されている新規画像とは異なる空間解像度を有する。
いくつかの例では、本方法は、画像パラメータセットを使用して、２つ以上の画像のセットの各画像について画像幅および画像高さをシグナリングすることをさらに含む。
いくつかの例では、本方法は、２つ以上の画像のセットの第１の次元におけるルマサンプルの第１の量をシグナリングすること、および２つ以上の画像のセットの第２の次元におけるルマサンプルの第２の量をシグナリングすることによって、画像幅および画像高さをシグナリングすることをさらに含む。
いくつかの例では、本方法は、２つ以上の画像のセットについて以前の画像幅および以前の画像高さに対する比の値をシグナリングすることによって、画像幅および画像高さをシグナリングすることをさらに含む。いくつかの例では、比の値は、分子および分母としてシグナリングされる。いくつかの例では、比の値は、既定の分子および分母のセットへの指標値としてシグナリングされる。
いくつかの例では、本方法は、動きベクトルスケーリングを実施すること、および第１の空間解像度と第２の空間解像度との差に応答して、動きベクトルスケーリングを調節することをさらに含む。
いくつかの例では、本方法は、第１の画像と第２の画像との間のズーム効果に対処するために、第１の空間解像度および第２の空間解像度に基づいてグローバル動きベクトルを導出することを含む。
いくつかの例では、本方法は、２つ以上の画像のセット内の対応する画像ごとにそれぞれのグローバル動きベクトルを導出することであって、２つ以上の画像のセットが、参照画像のセットを含み、２つ以上の画像のセット内の各画像が、複数のブロックを含む、導出すること、および２つ以上の画像のセットの複数のブロックのブロックごとに、シグナリングされた動きベクトルを復号することをさらに含む。シグナリングされた動きベクトルは、２つ以上の画像のセット内の対応する画像と関連付けられたそれぞれのグローバル動きベクトルを使用して予測される。現在の画像の現在のブロックについての実際の動きベクトルは、シグナリングされた動きベクトルおよびグローバル動きベクトルから合同で導出される。
いくつかの例では、本方法は、第１の画像と第２の画像との間のズーム効果を伝えるためにアフィン動きモデルを使用することをさらに含む。
いくつかの例では、本方法は、デコーダおよびコーダの両方において適用されている同じ規則セットに基づいて、デコーダにおいて各々それぞれのグローバル動きベクトルを導出することをさらに含む。同じ規則セットは、第１の空間解像度および／または第２の空間解像度のうちの少なくとも一方を考慮する。
いくつかの例では、本方法は、水平次元に沿った第１のスケーリング比および垂直次元に沿った第２のスケーリング比を使用して、各々それぞれのグローバル動きベクトルをシグナリングすることをさらに含む。
いくつかの例では、本方法は、既定の動きベクトルまたはスケーリング比のセットへインデックス化する指標値のセットを使用して、各々それぞれのグローバル動きベクトルをシグナリングすることをさらに含む。
いくつかの例では、本方法は、ヘッダ情報、補足エンハンスメント情報、画像パラメータセット、またはシーケンスパラメータセットのうちの少なくとも１つを使用することによって、選択されたフィルタをシグナリングすることをさらに含む。
いくつかの例では、２つ以上の画像のセットは、ランダムアクセスをサポートするいかなる画像も含まない。
いくつかの例では、第１の空間解像度から第２の空間解像度への解像度の低下を含め、第２の空間解像度は、第１の空間解像度よりも小さく、本装置は、水平方向にのみ解像度を低下させるため、垂直方向にのみ解像度を低下させるため、または水平方向および垂直方向の両方において解像度を低下させるようにさらに構成される。
いくつかの例では、本装置は、動的に変化する帯域幅容量を有する通信チャネル上で、符号化された２つ以上の画像のセットを送信するように構成される、および通信チャネルの帯域幅容量が減少することに応答して、第２の空間解像度を第１の空間解像度より小さくなるように設定するように構成されるデータ送信器をさらに含む。
いくつかの例では、本装置は、動的に変化する帯域幅容量を有する通信チャネル上で、符号化された２つ以上の画像のセットを送信するように構成される、および通信チャネルの帯域幅容量が増加することに応答して、第２の空間解像度を第１の空間解像度より大きくなるように設定するように構成される、データ送信器をさらに含む。
いくつかの例では、２つ以上の画像のセットは、異なる空間解像度を有する画像を含む参照画像リストを含む。
いくつかの例では、アフィン予測手順は、２つ以上の画像のセットのための強化されたズーム効果を提供するために実施され、参照画像リストは２つ以上の画像を含み、各画像は、現在符号化されている新規画像とは異なる空間解像度を有する。
いくつかの例では、本装置は、画像パラメータセットを使用して、２つ以上の画像のセットの各画像について画像幅および画像高さをシグナリングするように構成される送信器をさらに含む。いくつかの例では、送信器は、２つ以上の画像のセットの第１の次元におけるルマサンプルの第１の量をシグナリングし、２つ以上の画像のセットの第２の次元におけるルマサンプルの第２の量をシグナリングすることによって、画像幅および画像高さをシグナリングするようにさらに構成される。いくつかの例では、送信器は、２つ以上の画像のセットについて以前の画像幅および以前の画像高さに対する比の値をシグナリングすることによって、画像幅および画像高さをシグナリングするようにさらに構成される。
いくつかの例では、比の値は、分子および分母としてシグナリングされる。
いくつかの例では、比の値は、既定の分子および分母のセットへの指標値としてシグナリングされる。
いくつかの例では、本装置は、動きベクトルスケーリングを実施し、第１の空間解像度と第２の空間解像度との差に応答して、動きベクトルスケーリングを調節するようにさらに構成される。
いくつかの例では、本装置は、第１の画像と第２の画像との間のズーム効果に対処するために、第１の空間解像度および第２の空間解像度に基づいてグローバル動きベクトルを導出するようにさらに構成される。
いくつかの例では、本装置は、２つ以上の画像のセット内の対応する画像ごとにそれぞれのグローバル動きベクトルを導出することであって、２つ以上の画像のセットが、参照画像のセットを含み、２つ以上の画像のセット内の各画像が、複数のブロックを含む、導出すること、および２つ以上の画像のセットの複数のブロックのブロックごとに、シグナリングされた動きベクトルを復号することのようにさらに構成される。シグナリングされた動きベクトルは、２つ以上の画像のセット内の対応する画像と関連付けられたそれぞれのグローバル動きベクトルを使用して予測される。現在の画像の現在のブロックについての実際の動きベクトルは、シグナリングされた動きベクトルおよびグローバル動きベクトルから合同で導出される。
いくつかの例では、本装置は、第１の画像と第２の画像との間のズーム効果を伝えるために、アフィン動きモデルを使用するようにさらに構成される。
いくつかの例では、本装置は、デコーダおよびコーダの両方において適用されている同じ規則セットに基づいて、各々それぞれのグローバル動きベクトルを導出するように構成されるデコーダをさらに含む。同じ規則セットは、第１の空間解像度または第２の空間解像度のうちの少なくとも一方を考慮する。
いくつかの例では、本装置は、水平次元に沿った第１のスケーリング比および垂直次元に沿った第２のスケーリング比を使用して、各々それぞれのグローバル動きベクトルをシグナリングするようにさらに構成される。
いくつかの例では、本装置は、既定の動きベクトルまたはスケーリング比のセットへインデックス化する指標値のセットを使用して、各々それぞれのグローバル動きベクトルをシグナリングするようにさらに構成される。
いくつかの例では、本装置は、ヘッダ情報、補足エンハンスメント情報、画像パラメータセット、またはシーケンスパラメータセットのうちの少なくとも１つを使用することによって、選択されたフィルタをシグナリングするようにさらに構成される。
１つまたは複数の例において、説明される機能は、ハードウェア、ソフトウェア、ファームフェア、またはそれらの任意の組み合わせで実装され得る。ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとして、コンピュータ可読媒体に格納されるか、またはそれを通じて伝送され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体、または、例えば、通信プロトコルに従って、１つの場所から別の場所へのコンピュータプログラムの転送を促進する任意の媒体を含む通信媒体を含み得る。このように、コンピュータ可読媒体は、一般的に、（１）非一時的である有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本出願に記載される実装形態の実施のために命令、コード、および／またはデータ構造を取得するために、１つもしくは複数のコンピュータまたは１つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
さらに、上の方法は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子部品を含む、１つまたは複数の回路を含む装置を使用して実施され得る。本装置は、上述の方法を実施するための他のハードウェアまたはソフトウェア構成要素と併せて回路を使用し得る。上に開示される各モジュール、サブモジュール、ユニット、またはサブユニットは、１つまたは複数の回路を使用して少なくとも部分的に実施され得る。
本発明の他の実施形態は、本明細書の検討およびここに開示される発明の実践から、当業者には明らかであろう。本出願は、本発明の一般原則に従う本発明のいかなるバリエーション、使用、または適合も網羅することが意図され、本開示からのそのような発展を、当該技術分野における既知または慣習的な実践内に入るものとして含む。本明細書および例は、例示にすぎないと考えられることが意図され、本発明の真の範囲および趣旨は以下の特許請求の範囲によって示される。
本発明は、上に説明される、および添付の図面において図示される正確な例に限定されないこと、ならびに様々な変形および変更が本発明の範囲から逸脱することなくなされ得ることを理解されたい。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。

Claims (17)

  1. 少なくとも第１の空間解像度および前記第１の空間解像度と異なる第２の空間解像度で２つ以上の画像のセットを符号化することと、
    前記２つ以上の符号化された画像のセットを再構築し、対応する空間解像度に基づいて、前記２つ以上の符号化された画像の前記再構築されたセットをバッファに格納することと、
    前記バッファに格納された前記再構築されたセットの少なくとも前記第１の空間解像度および前記第２の空間解像度での再構築された画像を有する参照画像リストを取得することと、
    前記再構築された画像の前記対応する空間解像度を変えることなく、前記参照画像リストに基づいて、前記２つ以上の画像のセットの後に続く画像を符号化することと、
    を含む、映像符号化方法。
  2. 前記第１の空間解像度から前記第２の空間解像度への解像度の低下を含め、前記第２の空間解像度が、前記第１の空間解像度よりも小さく、前記方法が、水平方向にのみ前記解像度を低下させること、垂直方向にのみ前記解像度を低下させること、または水平方向および垂直方向の両方において前記解像度を低下させることをさらに含む、請求項１に記載の映像符号化方法。
  3. 前記方法が、画像パラメータセットを使用して、前記２つ以上の画像のセットの各画像について画像幅および画像高さをシグナリングすることをさらに含む、請求項１に記載の映像符号化方法。
  4. 前記シグナリングすることが、前記２つ以上の画像のセットの第１の次元におけるルマサンプルの第１の量をシグナリングすること、および前記２つ以上の画像のセットの第２の次元におけるルマサンプルの第２の量をシグナリングすることをさらに含む、請求項３に記載の映像符号化方法。
  5. 前記シグナリングすることが、前記２つ以上の画像のセットについて以前の画像幅および以前の画像高さに対する比の値をシグナリングすることをさらに含む、請求項３に記載の映像符号化方法。
  6. 前記比の値が、分子および分母を使用してシグナリングされる、請求項５に記載の映像符号化方法。
  7. 前記比の値が、既定の分子および分母のセットへの指標値としてシグナリングされる、請求項５に記載の映像符号化方法。
  8. 前記２つ以上の画像のセットの後に続く前記画像は、前記参照画像リストの参照画像に基づいて第３の空間解像度で符号化されるべき現在の画像を含み、前記第３の空間解像度と、前記参照画像の空間解像度との比が、前記現在の画像を符号化する際に動きベクトルを調節するために決定される、請求項１に記載の映像符号化方法。
  9. 少なくとも第１の空間解像度および前記第１の空間解像度と異なる第２の空間解像度で２つ以上の画像のセットを符号化するように構成されるエンコーダと、
    前記２つ以上の符号化された画像のセットを再構築するように構成されるデコーダと、
    対応する空間解像度に基づいて、前記２つ以上の符号化された画像の前記再構築されたセットを格納するように構成されるバッファと、を備え、
    前記エンコーダが、前記バッファに格納された前記再構築されたセットの少なくとも前記第１の空間解像度および前記第２の空間解像度での再構築された画像を有する参照画像リストを取得し、前記再構築された画像の前記対応する空間解像度を変えることなく、前記参照画像リストに基づいて、前記２つ以上の画像のセットの後に続く画像を符号化するように構成される、映像符号化装置。
  10. 前記第１の空間解像度から前記第２の空間解像度への解像度の低下を含め、前記第２の空間解像度が、前記第１の空間解像度よりも小さく、前記装置が、水平方向にのみ前記解像度を低下させる、垂直方向にのみ前記解像度を低下させる、または水平方向および垂直方向の両方において前記解像度を低下させるようにさらに構成される、請求項９に記載の映像符号化装置。
  11. 画像パラメータセットを使用して、前記２つ以上の画像のセットの各画像について画像幅および画像高さをシグナリングするようにさらに構成される、請求項９に記載の映像符号化装置。
  12. 前記２つ以上の画像のセットの第１の次元におけるルマサンプルの第１の量をシグナリングし、前記２つ以上の画像のセットの第２の次元におけるルマサンプルの第２の量をシグナリングするようにさらに構成される、請求項１１に記載の映像符号化装置。
  13. 前記２つ以上の画像のセットについて以前の画像幅および以前の画像高さに対する比の値をシグナリングするようにさらに構成される、請求項１１に記載の映像符号化装置。
  14. 前記比の値が、分子および分母を使用してシグナリングされる、請求項１３に記載の映像符号化装置。
  15. 前記比の値が、既定の分子および分母のセットへの指標値としてシグナリングされる、請求項１３に記載の映像符号化装置。
  16. 前記２つ以上の画像のセットの後に続く前記画像は、前記参照画像リストの参照画像に基づいて第３の空間解像度で符号化されるべき現在の画像を含み、前記第３の空間解像度と、前記参照画像の空間解像度との比が、前記現在の画像を符号化する際に動きベクトルを調節するために決定される、請求項９に記載の映像符号化装置。
  17. １つまたは複数のプロセッサにより実行されると、前記１つまたは複数のプロセッサに請求項１～８のいずれか一項に記載の方法を実行させる、映像符号化のための一組の命令を格納する非一時的コンピュータ可読媒体。
JP2022196508A 2018-12-07 2022-12-08 多重解像度参照画像管理を使用した映像符号化 Active JP7258209B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862776997P 2018-12-07 2018-12-07
US62/776,997 2018-12-07
US16/706,675 US12022059B2 (en) 2018-12-07 2019-12-06 Video coding using multi-resolution reference picture management
US16/706,675 2019-12-06
PCT/IB2019/060579 WO2020115725A1 (en) 2018-12-07 2019-12-09 Video coding using multi-resolution reference picture management
JP2021532909A JP7193636B2 (ja) 2018-12-07 2019-12-09 多重解像度参照画像管理を使用した映像符号化

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021532909A Division JP7193636B2 (ja) 2018-12-07 2019-12-09 多重解像度参照画像管理を使用した映像符号化

Publications (2)

Publication Number Publication Date
JP2023027224A JP2023027224A (ja) 2023-03-01
JP7258209B2 true JP7258209B2 (ja) 2023-04-14

Family

ID=70972642

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021532909A Active JP7193636B2 (ja) 2018-12-07 2019-12-09 多重解像度参照画像管理を使用した映像符号化
JP2022196508A Active JP7258209B2 (ja) 2018-12-07 2022-12-08 多重解像度参照画像管理を使用した映像符号化

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021532909A Active JP7193636B2 (ja) 2018-12-07 2019-12-09 多重解像度参照画像管理を使用した映像符号化

Country Status (7)

Country Link
US (3) US12022059B2 (ja)
EP (1) EP3878177A4 (ja)
JP (2) JP7193636B2 (ja)
KR (2) KR20220109489A (ja)
CN (2) CN113810689A (ja)
MX (1) MX2021006688A (ja)
WO (1) WO2020115725A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022059B2 (en) * 2018-12-07 2024-06-25 Beijing Dajia Internet Information Technology Co., Ltd. Video coding using multi-resolution reference picture management
FR3092459B1 (fr) * 2019-01-31 2022-03-18 Fond B Com Procédé et dispositif de codage et de décodage de données correspondant à une séquence vidéo
KR20210152567A (ko) * 2019-04-25 2021-12-15 오피 솔루션즈, 엘엘씨 픽처 헤더 내의 글로벌 모션 벡터의 시그널링
US11245899B2 (en) * 2019-09-22 2022-02-08 Tencent America LLC Method and system for single loop multilayer coding with subpicture partitioning
EP4088462A4 (en) * 2020-02-14 2023-05-24 Beijing Bytedance Network Technology Co., Ltd. SUBPICTURE INFORMATION SIGNALING IN VIDEO BITSTREAM
US11533499B2 (en) * 2020-03-31 2022-12-20 Tencent America LLC Method for signaling mixed NAL unit type and subpicture partitioning in coded video stream

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7193636B2 (ja) 2018-12-07 2022-12-20 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 多重解像度参照画像管理を使用した映像符号化

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3844844B2 (ja) * 1997-06-06 2006-11-15 富士通株式会社 動画像符号化装置及び動画像符号化方法
US6584154B1 (en) 1998-11-26 2003-06-24 Oki Electric Industry Co., Ltd. Moving-picture coding and decoding method and apparatus with reduced computational cost
JP3975629B2 (ja) * 1999-12-16 2007-09-12 ソニー株式会社 画像復号装置及び画像復号方法
EP2373035B1 (en) * 2001-11-30 2015-11-25 NTT DoCoMo, Inc. Moving picture encoding device, moving picture decoding device, moving picture encoding method, moving picture decoding method, program, and computer readable recording medium storing program
US20070036227A1 (en) * 2005-08-15 2007-02-15 Faisal Ishtiaq Video encoding system and method for providing content adaptive rate control
JP4594201B2 (ja) * 2005-09-28 2010-12-08 パナソニック株式会社 画像符号化方法、画像符号化装置、プログラムおよび集積回路
TWI387317B (zh) 2008-12-11 2013-02-21 Novatek Microelectronics Corp 產生重新取樣參考畫面之裝置及其方法與影像解碼系統
US8599214B1 (en) * 2009-03-20 2013-12-03 Teradici Corporation Image compression method using dynamic color index
EP2630799A4 (en) * 2010-10-20 2014-07-02 Nokia Corp METHOD AND DEVICE FOR VIDEO CODING AND DECODING
CN103493493A (zh) * 2011-04-28 2014-01-01 索尼公司 编码装置和编码方法以及解码装置和解码方法
US9288505B2 (en) * 2011-08-11 2016-03-15 Qualcomm Incorporated Three-dimensional video with asymmetric spatial resolution
CN103650501B (zh) * 2011-08-25 2017-10-27 太阳专利托管公司 使用瓦片编码方案对视频进行编码、提取和解码的方法和装置
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US20130094774A1 (en) 2011-10-13 2013-04-18 Sharp Laboratories Of America, Inc. Tracking a reference picture based on a designated picture on an electronic device
US8867852B2 (en) 2012-01-19 2014-10-21 Sharp Kabushiki Kaisha Decoding a picture based on a reference picture set on an electronic device
AU2013261845A1 (en) 2012-05-14 2014-12-11 Guido MEARDI Encoding and reconstruction of residual data based on support information
US10230972B2 (en) * 2012-07-01 2019-03-12 Sharp Kabushiki Kaisha Device for signaling a long-term reference picture in a parameter set
US10230970B2 (en) * 2012-07-10 2019-03-12 Cisco Technology, Inc. Decoded picture buffer size management
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US20140192895A1 (en) 2013-01-04 2014-07-10 Qualcomm Incorporated Multi-resolution decoded picture buffer management for multi-layer video coding
EP3410715A1 (en) * 2013-04-05 2018-12-05 Vid Scale, Inc. Inter-layer reference picture enhancement for multiple layer video coding
US9532067B2 (en) * 2013-04-05 2016-12-27 Sharp Kabushiki Kaisha Decoding of inter-layer reference picture set and reference picture list construction
US20150016500A1 (en) 2013-07-11 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
US10057588B2 (en) * 2013-07-15 2018-08-21 Kt Corporation Scalable video signal encoding/decoding method and device
CN105379277B (zh) * 2013-07-15 2019-12-17 株式会社Kt 用于编码/解码可伸缩视频信号的方法和装置
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
JP6272343B2 (ja) * 2013-10-22 2018-01-31 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 画像復号装置、及び画像復号方法
US9736488B2 (en) * 2013-11-27 2017-08-15 Nxp Usa, Inc. Decoding for high efficiency video transcoding
EP3090549A1 (en) * 2014-01-02 2016-11-09 VID SCALE, Inc. Methods and systems for scalable video coding with mixed interlace and progressive content
US9860540B2 (en) 2014-01-03 2018-01-02 Qualcomm Incorporated Inference of nooutputofpriorpicsflag in video coding
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
US9824481B2 (en) * 2014-12-30 2017-11-21 Qualcomm Incorporated Maintaining heatmaps using tagged visual data
KR20170101983A (ko) * 2014-12-31 2017-09-06 노키아 테크놀로지스 오와이 스케일러블 비디오 코딩 및 디코딩을 위한 계층 간 예측
US20160373763A1 (en) 2015-06-18 2016-12-22 Mediatek Inc. Inter prediction method with constrained reference frame acquisition and associated inter prediction device
CN107113422B (zh) * 2015-11-06 2020-08-25 微软技术许可有限责任公司 一种用于视频编码和解码的参考图片管理的计算机系统
GB2547053B (en) * 2016-02-08 2020-07-08 Canon Kk Methods, devices, and computer programs for combining the use of intra-layer prediction and inter-layer prediction with scalability & screen content features
US10291923B2 (en) * 2016-05-24 2019-05-14 Qualcomm Incorporated Mapping of tile grouping and samples in HEVC and L-HEVC file formats
FI20165547A (fi) * 2016-06-30 2017-12-31 Nokia Technologies Oy Laitteisto, menetelmä ja tietokoneohjelma videokoodausta ja videokoodauksen purkua varten
US10652575B2 (en) * 2016-09-15 2020-05-12 Qualcomm Incorporated Linear model chroma intra prediction for video coding
US11166034B2 (en) 2017-02-23 2021-11-02 Netflix, Inc. Comparing video encoders/decoders using shot-based encoding and a perceptual visual quality metric
US10779007B2 (en) * 2017-03-23 2020-09-15 Mediatek Inc. Transform coding of video data
EP3777143A4 (en) * 2019-03-11 2022-02-16 Alibaba Group Holding Limited INTERCODING FOR ADAPTIVE RESOLUTION VIDEO CODING

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7193636B2 (ja) 2018-12-07 2022-12-20 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 多重解像度参照画像管理を使用した映像符号化

Also Published As

Publication number Publication date
EP3878177A1 (en) 2021-09-15
EP3878177A4 (en) 2022-01-19
US20200186795A1 (en) 2020-06-11
CN113196766A (zh) 2021-07-30
CN113810689A (zh) 2021-12-17
JP2022510032A (ja) 2022-01-25
JP7193636B2 (ja) 2022-12-20
MX2021006688A (es) 2021-07-07
KR20220109489A (ko) 2022-08-04
KR102427074B1 (ko) 2022-07-28
US20240278414A1 (en) 2024-08-22
WO2020115725A1 (en) 2020-06-11
JP2023027224A (ja) 2023-03-01
US12022059B2 (en) 2024-06-25
KR20210080565A (ko) 2021-06-30
US20220124317A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
JP7258209B2 (ja) 多重解像度参照画像管理を使用した映像符号化
KR102627834B1 (ko) 비디오 프로세싱에서의 코딩 툴들의 선택적 사용
US20220060712A1 (en) Signaling for reference picture resampling
US11689747B2 (en) High level syntax for video coding tools
US10178410B2 (en) Method and apparatus of motion information management in video coding
CN112823518A (zh) 用于译码块的三角划分块的帧间预测的装置及方法
CN113259661A (zh) 视频解码的方法和装置
US11800092B2 (en) Joint signaling method for motion vector difference
CN115136597A (zh) 空域-时域运动矢量预测
US12114009B2 (en) Method and apparatus for adaptive reordering for reference frames
CN118765503A (zh) 用于视频处理的方法、装置及介质
EP4201068A1 (en) Improved context derivation for motion vector difference coding
EP4445612A1 (en) Interpolation filters for adaptive motion vector difference resolution
JP2023529198A (ja) マルチレイヤビデオコーディングのピクチャヘッダ制約
CN118541977A (zh) 用于视频处理的方法、装置和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7258209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150