JP7016971B2 - ビデオ符号化の方法及び装置 - Google Patents

ビデオ符号化の方法及び装置 Download PDF

Info

Publication number
JP7016971B2
JP7016971B2 JP2020564828A JP2020564828A JP7016971B2 JP 7016971 B2 JP7016971 B2 JP 7016971B2 JP 2020564828 A JP2020564828 A JP 2020564828A JP 2020564828 A JP2020564828 A JP 2020564828A JP 7016971 B2 JP7016971 B2 JP 7016971B2
Authority
JP
Japan
Prior art keywords
reference motion
motion vector
component
shifted
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020564828A
Other languages
English (en)
Other versions
JP2021513818A (ja
Inventor
シュイ，モン
リ，シアン
リィウ，シャン
Original Assignee
テンセント・アメリカ・エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・アメリカ・エルエルシー filed Critical テンセント・アメリカ・エルエルシー
Publication of JP2021513818A publication Critical patent/JP2021513818A/ja
Application granted granted Critical
Publication of JP7016971B2 publication Critical patent/JP7016971B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

［関連出願への相互参照］
本願は、2019年5月28日に出願された米国特許出願第16/424,352号「METHOD AND APPARATUS FOR VIDEO CODING」の優先権の利益を主張する。当該米国特許出願は、2018年10月22日に出願された米国仮出願第62/748,675号「METHOD FOR MOTION VECTOR ROUNDING」の優先権の利益を主張する。これらの出願の全内容が参照によって本明細書に組み込まれる。
［技術分野］
本開示は、概してビデオ符号化に関連する実施形態を記載する。
本明細書において提供される背景技術の説明は、本開示の背景を一般的に提示するためのものである。本願の発明者の研究は、当該研究がこの背景技術の段落に記載されている範囲において、また、出願時に従来技術として特に適することのない説明の側面も、本開示に対する従来技術として明示的にも暗示的にも認められるものではない。
ビデオ符号化及び復号は、動き補償によるインターピクチャ予測を使用して実行できる。非圧縮ディジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば、1920×1080の輝度サンプル及び関連する色差サンプルの空間次元を有する。一連のピクチャは、例えば、毎秒60ピクチャ又は60Hzの固定又は可変のピクチャレート(フレームレートとしても非公式に知られている)を有することができる。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、サンプル当たり8ビットの1080p60 4:2:0ビデオ(60Hzのフレームレートの1920×1080の輝度サンプル解像度)は、1.5Gbit/sに近い帯域幅を必要とする。1時間のこのようなビデオは、600Gバイトを超える記憶空間を必要とする。
ビデオ符号化及び復号の1つの目的は、圧縮を通じて入力ビデオ信号の冗長性を低減できることである。圧縮は、場合によっては2桁以上も上記の帯域幅又は記憶空間の要件を低減するのに役立つことができる。可逆圧縮及び不可逆圧縮の双方並びにこれらの組み合わせを使用することができる。可逆圧縮とは、元の信号の正確なコピーが圧縮された元の信号から復元できる技術を示す。不可逆圧縮を使用する場合、復元された信号は、元の信号と同一ではない可能性があるが、元の信号と復元された信号との間の歪みは、復元された信号を目的のアプリケーションにとって有用にするほど十分に小さい。ビデオの場合、不可逆圧縮が広く使用されている。許容される歪みの量はアプリケーションに依存する。例えば、特定の消費者のストリーミングアプリケーションのユーザは、テレビ配信アプリケーションのユーザよりも高い歪みを許容する可能性がある。達成可能な圧縮比は、より高い許容可能な歪み/許容される歪みがより高い圧縮比をもたらすことができるということを反映できる。
動き補償は不可逆圧縮技術であり、前に復元されたピクチャ又はその一部(参照ピクチャ)からのサンプルデータのブロックが、動きベクトル(以下、MVという)によって示される方向に空間的にシフトされた後に、新たに復元されるピクチャ又はその一部の予測に使用されるという技術に関連付けることができる。場合によっては、参照ピクチャは現在復元中のピクチャと同じものにすることができる。MVは、X及びYの2次元を有してもよく、或いは、3次元を有してもよく、第3の次元は、使用中の参照ピクチャを示す(後者は、間接的に、時間次元とすることができる)。
いくつかのビデオ圧縮技術では、サンプルデータの特定の領域に適用可能なMVは、他のMVから予測でき、例えば、復元中の領域に空間的に隣接しており、復号順でそのMVに先行するサンプルデータの他の領域に関連するMVから予測できる。これにより、MVを符号化するために必要なデータ量をかなり低減でき、それによって冗長性を除去し、圧縮を増加させることができる。例えば、カメラから導出された入力ビデオ信号(ナチュラルビデオとして知られている)を符号化する場合、単一のMVが適用可能な領域よりも大きい領域が同様の方向に移動し、したがって、場合によっては隣接領域のMVから導出された同様の動きベクトルを使用して予測できるという統計的な可能性が存在するので、MV予測は効果的に機能し得る。その結果、所与の領域に対して検出されたMVは、周囲のMVから予測されるMVと同様又は同一であることになり、そのMVは、エントロピー符号化の後に、MVを直接符号化する場合に使用されるものよりも少ない数のビットで表現できる。場合によって、MV予測は、元の信号(すなわち、サンプルストリーム)から導出された信号(すなわち、MV)の可逆圧縮の一例になり得る。他の場合には、MV予測自体が、例えば、いくつかの周囲のMVから予測子を計算するときの丸め誤差の理由で、不可逆になり得る。
H.265/HEVC(ITU-T Rec. H.265, 「High Efficiency Video Coding」, December 2016)には、様々なMV予測メカニズムが記載されている。H.265が提供する多くのMV予測メカニズムのうち、ここでは、以下で「空間マージ(spatial merge)」と呼ばれる技術について説明する。
図１を参照すると、カレントブロック(101)は、動き探索処理中に、空間的にシフトされた同じサイズの前のブロックから予測可能であることがエンコーダによって検出されたサンプルを含む。MVを直接符号化する代わりに、MVは、1つ以上の参照ピクチャに関連するメタデータから導出でき、例えば、A0、A1及びB0、B1、B2(それぞれ102～106)と示される5個の周囲のサンプルのうちいずれか1つに関連するMVを使用して、(復号順で)最近の参照ピクチャから導出できる。H.265では、MV予測は、隣接ブロックが使用しているものと同じ参照ピクチャからの予測子を使用できる。
本開示の態様は、ビデオ符号化/復号の方法及び装置を提供する。いくつかの例では、装置は、装置は、少なくとも1つの前に復号されたブロックの符号化情報に基づいてカレントブロックを復号するための第1及び第2の参照動きベクトルを決定し、第1の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第1の成分を、1だけオフセットし、オフセットされた第1の成分を1ビットだけ右シフトすることによりシフトされた第1の成分を取得し、第2の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第2の成分を、1だけオフセットし、オフセットされた第2の成分を1ビットだけ右シフトすることによりシフトされた第2の成分を取得する処理回路を含む。処理回路は、シフトされた第1の成分及びシフトされた第2の成分を加算することによって、第1の平均参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第3の成分を生成し、カレントブロックを復号するための参照動きベクトルのリストを構築し、参照動きベクトルのリストは、第1及び第2の参照動きベクトルと、第1の平均参照動きベクトルとを組み込む。また、処理回路は、参照動きベクトルのリストを使用して動きベクトル予測子を決定し、決定された動きベクトル予測子に基づいて出力用のカレントブロックを復号する。
いくつかの実施形態では、さらに、処理回路は、第1の参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第4の成分を、1だけオフセットし、オフセットされた第4の成分を1ビットだけ右シフトすることによりシフトされた第4の成分を取得し、第2の参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第5の成分を、1だけオフセットし、オフセットされた第5の成分を1ビットだけ右シフトすることによりシフトされた第5の成分を取得し、シフトされた第4の成分及びシフトされた第5の成分を加算することによって、第1の平均参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第6の成分を生成する。
いくつかの実施形態では、処理回路は、第1の参照動きベクトル及び第3の参照動きベクトルに基づいて、第2の平均参照動きベクトルを生成し、第2の参照動きベクトル及び第3の参照動きベクトルに基づいて、第3の平均参照動きベクトルを生成し、関連するそれぞれのインデックスの昇順に、第1の参照動きベクトル、第2の参照動きベクトル、第3の参照動きベクトル、第1の平均参照動きベクトル、第2の平均参照動きベクトル及び第3の平均参照動きベクトルを含むように参照動きベクトルのリストを配置することによって、カレントブロックを復号するための参照動きベクトルのリストを構築する。
いくつかの例では、処理回路は、第1の参照動きベクトル及び第4の参照動きベクトルに基づいて、第4の平均参照動きベクトルを生成し、第2の参照動きベクトル及び第4の参照動きベクトルに基づいて、第5の平均参照動きベクトルを生成し、第3の参照動きベクトル及び第4の参照動きベクトルに基づいて、第6の平均参照動きベクトルを生成する。いくつかの例では、処理回路は、関連するそれぞれのインデックスの昇順に、第1の参照動きベクトル、第2の参照動きベクトル、第3の参照動きベクトル及び第4の参照動きベクトルを含むように参照動きベクトルのリストを配置し、第1の平均参照動きベクトル、第2の平均参照動きベクトル、第3の平均参照動きベクトル、第4の平均参照動きベクトル、第5の平均参照動きベクトル及び第6の平均参照動きベクトルを追加することによって、カレントブロックを復号するための参照動きベクトルのリストを構築する。
いくつかの例では、処理回路は、右シフトパラメータを1として設定し、左シフトパラメータを0として設定する。さらに、処理回路は、第1の成分、右シフトパラメータ及び左シフトパラメータを受信し、
offset=1<<(rightShift-1)、且つ、
y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
に従って、シフトされた第1の成分を計算するように構成された丸めサブルーチンを実行するか、或いは、丸め回路を動作させ、ここで、rightShiftは右シフトパラメータに対応し、leftShiftは左シフトパラメータに対応し、xは第1の成分に対応し、yはシフトされた第1成分に対応する。
いくつかの実施形態では、処理回路は、空間隣接ブロック及び時間隣接ブロックを含む少なくとも1つの前に復号されたブロックに基づいて、第1及び第2の参照動きベクトルを決定する。
いくつかの実施形態では、参照動きベクトルのリスト内の第1及び第2の参照動きベクトルは、1/16の分数サンプルの精度に対応する。
また、本開示の態様は、ビデオ復号のためにコンピュータによって実行されると、コンピュータにビデオ復号の方法を実行させる命令を記憶した非一時的なコンピュータ読み取り可能媒体を提供する。
開示の対象物の更なる特徴、性質及び様々な利点は、以下の詳細な説明及び添付の図面からより明らかになる。
一例におけるカレントブロック及びその周囲の空間マージ候補の概略図である。 一実施形態による通信システム(200)の簡略化したブロック図の概略図である。 一実施形態による通信システム(300)の簡略化したブロック図の概略図である。 一実施形態によるデコーダの簡略化したブロック図の概略図である。 一実施形態によるエンコーダの簡略化したブロック図の概略図である。 他の実施形態によるエンコーダのブロック図を示す。 他の実施形態によるデコーダのブロック図を示す。 一実施形態におけるカレントブロック、その周囲の空間候補及びその同一場所の候補の概略図である。 本開示の一実施形態による復号処理(900)の概要を示すフローチャートを示す。 本開示の一実施形態による符号化処理(1000)の概要を示すフローチャートを示す。 一実施形態によるコンピュータシステムの概略図である。
図２は、本開示の一実施形態による通信システム(200)の簡略化したブロック図を示す。通信システム(200)は、例えば、ネットワーク(250)を介して互いに通信できる複数の端末デバイスを含む。例えば、通信システム(200)は、ネットワーク(250)を介して相互接続された第1の対の端末デバイス(210)及び(220)を含む。図２の例では、第1の対の端末デバイス(210)及び(220)は、データの一方向伝送を実行する。例えば、端末デバイス(210)は、ネットワーク(250)を介して他の端末デバイス(220)に送信するために、ビデオデータ(例えば、端末デバイス(210)によってキャプチャされたビデオピクチャのストリーム)を符号化してもよい。符号化されたビデオデータは、1つ以上の符号化ビデオビットストリームの形式で送信されてもよい。端末デバイス(220)は、ネットワーク(250)から符号化ビデオデータを受信し、符号化ビデオデータを復号して、ビデオピクチャを復元して復元されたビデオデータに従ってビデオピクチャを表示してもよい。一方向データ伝送は、メディア提供アプリケーション等において一般的でもよい。
他の例では、通信システム(200)は、例えば、テレビ会議中に発生し得る符号化ビデオデータの双方向伝送を実行する第2の対の端末デバイス(230)及び(240)を含む。データの双方向伝送のために、一例では、端末デバイス(230)及び(240)の各端末デバイスは、ネットワーク(250)を介して端末デバイス(230)及び(240)の他方の端末デバイスに送信するために、ビデオデータ(例えば、端末デバイスによってキャプチャされたビデオピクチャのストリーム)を符号化してもよい。また、端末デバイス(230)及び(240)の各端末デバイスは、端末デバイス(230)及び(240)の他方の端末デバイスによって送信された符号化ビデオデータを受信してもよく、符号化ビデオデータを復号してビデオピクチャを復元してもよく、復元されたビデオデータに従って、アクセス可能な表示デバイスにビデオピクチャを表示してもよい。
図２の例では、端末デバイス(210)、(220)、(230)及び(240)は、サーバ、パーソナルコンピュータ及びスマートフォンとして示されることがあるが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ及び/又は専用のテレビ会議機器に適用がある。ネットワーク(250)は、例えば、有線(配線接続)及び/又は無線通信ネットワークを含む、端末デバイス(210)、(220)、(230)及び(240)の間で符号化ビデオデータを伝達するいずれかの数のネットワークを表す。通信ネットワーク(250)は、回線交換チャネル及び/又はパケット交換チャネル内のデータを交換してもよい。代表的なネットワークは、電気通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク及び/又はインターネットを含む。本説明の目的では、ネットワーク(250)のアーキテクチャ及びトポロジは、本明細書において以下に説明しない限り、本開示の動作には重要ではない。
図３は、開示の対象物のアプリケーションの例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示の対象物は、例えば、テレビ会議、デジタルTV、デジタルメディア(CD、DVD、メモリスティック等を含む)上の圧縮ビデオの記憶等を含む、他のビデオ可能なアプリケーションにも同様に適用可能である。
ストリーミングシステムはキャプチャサブシステム(313)を含んでもよく、当該キャプチャサブシステム(313)は、例えば、非圧縮のビデオピクチャのストリーム(302)を生成するビデオソース(301)(例えば、デジタルカメラ)を含んでもよい。一例では、ビデオピクチャのストリーム(302)は、デジタルカメラによって撮影されたサンプルを含む。符号化ビデオデータ(304)(又は符号化ビデオビットストリーム)と比較したときに高いデータ量であることを強調する太線として描かれるビデオピクチャのストリーム(302)は、ビデオソース(301)に結合されたビデオエンコーダ(303)を含む電子デバイス(320)によって処理されてもよい。ビデオエンコーダ(303)は、以下により詳細に説明するように、開示の対象物の態様を可能にするため或いは実装するために、ハードウェア、ソフトウェア又はこれらの組み合わせを含んでもよい。ビデオピクチャのストリーム(302)と比較したときにより低いデータ量であることを強調するために細線として描かれる符号化ビデオデータ(304)(又は符号化ビデオビットストリーム(304))は、将来の使用のためにストリーミングサーバ(305)に記憶されてもよい。図３におけるクライアントサブシステム(306)及び(308)のような1つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ(305)にアクセスして符号化ビデオデータ(304)のコピー(307)及び(309)を取得してもよい。クライアントサブシステム(306)は、例えば、電子デバイス(330)内にビデオデコーダ(310)を含んでもよい。ビデオデコーダ(310)は、符号化ビデオデータの入力コピー(307)を復号し、ディスプレイ(312)(例えば、表示画面)又は他のレンダリングデバイス(図示せず)上にレンダリングできるビデオピクチャの出力ストリーム(311)を生成する。いくつかのストリーミングシステムでは、符号化ビデオデータ(304)、(307)及び(309)(例えば、ビデオビットストリーム)は、特定のビデオ符号化/圧縮標準に従って符号化されてもよい。これらの標準の例は、ITU-T勧告H.265を含む。一例では、開発中のビデオ符号化標準は、VVC(Versatile Video Coding)として非公式に知られている。開示の対象物は、VVCの背景において使用されてもよい。
電子デバイス(320)及び(330)は、他の構成要素(図示せず)を含んでもよい点に留意すべきである。例えば、電子デバイス(320)は、ビデオデコーダ(図示せず)を含んでもよく、また、電子デバイス(330)は、ビデオエンコーダ(図示せず)を含んでもよい。
図４は、本開示の一実施形態によるビデオデコーダ(410)のブロック図を示す。ビデオデコーダ(410)は、電子デバイス(430)に含まれてもよい。電子デバイス(430)は、受信機(431)(例えば、受信回路)を含んでもよい。図３の例では、ビデオデコーダ(310)の代わりにビデオデコーダ(410)が使用されてもよい。
受信機(431)は、ビデオデコーダ(410)によって復号されるべき1つ以上の符号化ビデオシーケンスを受信してもよく、同一又は他の実施形態では、一度に1つの符号化ビデオシーケンスを受信してもよく、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスとは独立している。符号化ビデオシーケンスは、チャネル(401)から受信されてもよく、当該チャネルは、符号化ビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクでもよい。受信機(431)は、符号化ビデオデータを、他のデータ(例えば、符号化オーディオデータ及び/又は補助データストリーム)と共に受信してもよく、これらは、それぞれの使用エンティティ(図示せず)に転送されてもよい。受信機(431)は、符号化ビデオシーケンスを他のデータから分離してもよい。ネットワークジッタを防止するために、バッファメモリ(415)は、受信機(431)とエントロピーデコーダ/パーサ(420)(以下、「パーサ(420)」という)との間に結合されてもよい。特定のアプリケーションでは、バッファメモリ(415)はビデオデコーダ(410)の一部である。他の場合には、ビデオデコーダ(410)の外側にあってもよい(図示せず)。更に他の場合には、例えば、ネットワークジッタを防止するために、ビデオデコーダ(410)の外側にバッファメモリ(図示せず)が存在してもよく、加えて、例えば、再生タイミングに対処するために、ビデオデコーダ(410)の内側に他のバッファメモリ(415)が存在してもよい。受信機(431)が、十分な帯域幅及び制御可能性を有する記憶/転送デバイスから、或いは、アイソクロナスネットワークからデータを受信している場合、バッファメモリ(415)は必要なくてもよく或いは小さくすることができる。インターネットのようなベストエフォート型パケットネットワークでの使用については、バッファメモリ(415)が必要とされてもよく、比較的大きくすることができ、有利には適応的なサイズとすることができ、ビデオデコーダ(410)の外側のオペレーティングシステム又は同様の要素(図示せず)に少なくとも部分的に実装されてもよい。
ビデオデコーダ(410)は、符号化ビデオシーケンスからシンボル(421)を復元するためのパーサ(420)を含んでもよい。これらのシンボルのカテゴリは、ビデオデコーダ(410)の動作を管理するために使用される情報を含み、レンダリングデバイス(412)(例えば、表示画面)のようなレンダリングデバイスを制御するための情報を潜在的に含む。当該レンダリングデバイス(412)は、図４に示されているように、電子デバイス(430)の一体的な部分ではないが、電子デバイス(430)に結合されてもよい。レンダリングデバイスの制御情報は、補足エンハンスメント情報(SEI, Supplemental Enhancement Information)(SEIメッセージ)又はビデオユーザビリティ情報(VUI, Video Usability Information)パラメータセットフラグメント(図示せず)の形式でもよい。パーサ(420)は、受信した符号化ビデオシーケンスを解析/エントロピー復号してもよい。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従ってもよく、可変長符号化、ハフマン符号化、コンテキスト感度を伴う或いは伴わない算術符号化等を含む様々な原理に従ってもよい。パーサ(420)は、グループに対応する少なくとも1つのパラメータに基づいて、符号化ビデオシーケンスから、ビデオデコーダ内の画素のサブグループのうち少なくとも1つについてのサブグループパラメータのセットを抽出してもよい。サブグループは、グループオブピクチャ(GOP, Group of Picture)、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット(CU, Coding Unit)、ブロック、変換ユニット(TU, Transformation Unit)、予測ユニット(PU, Prediction Unit)等を含んでもよい。また、パーサ(420)は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル等のような情報を抽出してもよい。
パーサ(420)は、シンボル(421)を生成するために、バッファメモリ(415)から受信したビデオシーケンスに対してエントロピー復号/解析動作を実行してもよい。
シンボル(421)の復元には、符号化ビデオピクチャ又はその部分のタイプ(例えば、インターピクチャ及びイントラピクチャ、インターブロック及びイントラブロック)及び他の要因に依存して、複数の異なるユニットが関与してもよい。どのユニットがどのように関与するかは、パーサ(420)によって符号化ビデオシーケンスから解析されたサブグループ制御情報によって制御されてもよい。パーサ(420)と以下の複数ユニットとの間のこのようなサブグループ制御情報の流れは、明確にするために図示されていない。
上記の機能ブロックの他に、ビデオデコーダ(410)は、概念的に、以下に説明するような複数の機能ユニットに細分されてもよい。商用的な制約の下で動作する実用的な実装では、これらのユニットの多くは互いに密接に相互作用し、少なくとも部分的に互いに統合されてもよい。しかし、開示の対象物を説明する目的で、以下の機能ユニットに概念的に細分することが適切である。
第1のユニットは、スケーラ/逆変換ユニット(451)である。スケーラ/逆変換ユニット(451)は、パーサ(420)からシンボル(421)として、制御情報(どの変換を使用するべきか、ブロックサイズ、量子化係数、量子化スケーリング行列等を含む)と共に、量子化された変換係数を受信する。スケーラ/逆変換ユニット(451)は、アグリゲータ(455)に入力できるサンプル値を含むブロックを出力してもよい。
場合によっては、スケーラ/逆変換(451)の出力サンプルは、イントラ符号化ブロックに関連してもよく、すなわち、前に復元されたピクチャからの予測情報を使用していないが、カレントピクチャの前に復元された部分からの予測情報を使用できるブロックに関連してもよい。このような予測情報は、イントラピクチャ予測ユニット(452)によって提供されてもよい。場合によっては、イントラピクチャ予測ユニット(452)は、カレントピクチャバッファ(458)から取り出された周囲の既に復元された情報を使用して、復元中のブロックの同じサイズ及び形状のブロックを生成する。カレントピクチャバッファ(458)は、例えば、部分的に復元されたカレントピクチャ及び/又は完全に復元されたカレントピクチャをバッファする。場合によっては、アグリゲータ(455)は、サンプル毎に、イントラ予測ユニット(452)が生成した予測情報を、スケーラ/逆変換ユニット(451)によって提供された出力サンプル情報に追加する。
他の場合には、スケーラ/逆変換ユニット(451)の出力サンプルは、インター符号化されて潜在的に動き補償されたブロックに関連してもよい。このような場合、動き補償予測ユニット(453)は、参照ピクチャメモリ(457)にアクセスして、予測に使用されるサンプルを取り出してもよい。ブロックに関連するシンボル(421)に従って、取り出されたサンプルを動き補償した後に、これらのサンプルは、出力サンプル情報を生成するために、アグリゲータ(455)によってスケーラ/逆変換ユニット(451)の出力(この場合には、残差サンプル又は残差信号と呼ばれる)に追加されてもよい。動き補償予測ユニット(453)に利用可能な、動き補償予測ユニット(453)が予測サンプルを取り出す参照ピクチャメモリ(457)内のアドレスは、例えば、X、Y及び参照ピクチャ成分を有することができるシンボル(421)の形式で、動きベクトルによって制御されてもよい。また、動き補償は、サブサンプルの正確な動きベクトルが使用されているときに参照ピクチャメモリ(457)から取り出されるサンプル値の補間、動きベクトル予測メカニズム等を含んでもよい。
アグリゲータ(455)の出力サンプルは、ループフィルタユニット(456)内の様々なループフィルタリング技術を受けてもよい。ビデオ圧縮技術はループ内フィルタ技術を含んでもよく、当該ループ内フィルタ技術は、符号化ビデオシーケンス(符号化ビデオビットストリームとも呼ばれる)に含まれるパラメータによって制御され、パーサ(420)からシンボル(421)としてループフィルタユニット(456)に利用可能にされるが、符号化ピクチャ又は符号化ビデオシーケンスの(復号順に)前の部分の復号の間に取得されたメタ情報に応答する共に、前に復元されてループフィルタリングされたサンプル値にも応答してもよい。
ループフィルタユニット(456)の出力はサンプルストリームでもよく、当該サンプルストリームは、レンダリングデバイス(412)に出力されると共に、将来のインターピクチャ予測に使用するために参照ピクチャメモリ(457)に記憶されてもよい。
特定の符号化ピクチャは、完全に復元されると、将来の予測のための参照ピクチャとして使用されてもよい。例えば、カレントピクチャに対応する符号化ピクチャが完全に復元され、符号化ピクチャが(例えば、パーサ(420)によって)参照ピクチャとして識別されると、カレントピクチャバッファ(458)は参照ピクチャメモリ(457)の一部となってもよく、新たなカレントピクチャバッファが、後続の符号化ピクチャの復元を開始する前に再割り当てされてもよい。
ビデオデコーダ(410)は、ITU-T Rec. H.265のような標準における所定のビデオ圧縮技術に従って復号動作を実行してもよい。符号化ビデオシーケンスがビデオ圧縮技術又は標準のシンタックス及びビデオ圧縮技術又は標準に文書化されているプロファイルの双方に従うという意味で、符号化ビデオシーケンスは、使用されているビデオ圧縮技術又は標準によって指定されたシンタックスに適合してもよい。具体的には、プロファイルは、ビデオ圧縮技術又は標準で利用可能な全てのツールから特定のツールを、そのプロファイルで使用するのに利用可能な唯一のツールとして選択してもよい。また、コンプライアンスのために必要なことは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルによって定義される範囲内にあることである。場合によっては、レベルは、最大ピクチャサイズ、最大フレームレート、最大復元サンプルレート(例えば、毎秒当たりのメガサンプル単位で測定される)、最大参照ピクチャサイズ等を制限する。場合によっては、レベルによって設定される制限は、仮想参照デコーダ(HRD, Hypothetical Reference Decoder)仕様及び符号化ビデオシーケンスで伝達されるHRDバッファ管理についてのメタデータを通じて更に制限されてもよい。
一実施形態では、受信機(431)は、符号化ビデオと共に更なる(冗長な)データを受信してもよい。更なるデータは、符号化ビデオシーケンスの一部として含まれてもよい。更なるデータは、データを適切に復号するために、及び/又は元のビデオデータをより正確に復元するために、ビデオデコーダ(410)によって使用されてもよい。更なるデータは、例えば、時間、空間又は信号雑音比(SNR, signal noise ratio)エンハンスメント層、冗長スライス、冗長ピクチャ、前方誤り訂正コード等の形式でもよい。
図５は、本開示の一実施形態によるビデオエンコーダ(503)のブロック図を示す。ビデオエンコーダ(503)は、電子デバイス(520)に含まれる。電子デバイス(520)は、送信機(540)(例えば、送信回路)を含む。図３の例では、ビデオエンコーダ(303)の代わりにビデオエンコーダ(503)が使用されてもよい。
ビデオエンコーダ(503)は、ビデオソース(501)(図５の例では電子デバイス(520)の一部ではない)からビデオサンプルを受信してもよく、当該ビデオソース(501)は、ビデオエンコーダ(503)によって符号化されるべきビデオ画像をキャプチャしてもよい。他の例では、ビデオソース(501)は電子デバイス(520)の一部である。
ビデオソース(501)は、デジタルビデオサンプルストリームの形式でビデオエンコーダ(503)によって符号化されるべきソースビデオシーケンスを提供してもよく、当該デジタルビデオサンプルストリームは、いずれかの適切なビット深度(例えば、8ビット、10ビット、12ビット等)、いずれかの色空間(例えば、BT.601 Y CrCB、RGB等)及びいずれかの適切なサンプリング構造(例えば、Y CrCb 4:2:0、Y CrCb 4:4:4)でもよい。メディア提供システムにおいて、ビデオソース(501)は、事前に準備されたビデオを記憶する記憶デバイスでもよい。テレビ会議システムでは、ビデオソース(501)は、ローカル画像情報をビデオシーケンスとしてキャプチャするカメラでもよい。ビデオデータは、順に見たときに動きを伝える複数の個々のピクチャとして提供されてもよい。ピクチャ自体は、画素の空間配列として構成されてもよく、各画素は、使用中のサンプリング構造、色空間等に依存して、1つ以上のサンプルを含んでもよい。当業者は、画素とサンプルとの関係を容易に理解することができる。以下の説明は、サンプルに焦点を当てる。
一実施形態によれば、ビデオエンコーダ(503)は、リアルタイムで或いはアプリケーションによって要求されるいずれかの他の時間制約下で、ソースビデオシーケンスのピクチャを、符号化ビデオシーケンス(543)に符号化及び圧縮してもよい。適切な符号化速度を実現することは、コントローラ(550)の1つの機能である。いくつかの実施形態では、コントローラ(550)は、以下に説明するように、他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確にするために図示されていない。コントローラ(550)によって設定されるパラメータは、レート制御関連パラメータ(ピクチャスキップ、量子化、レート歪み最適化技術のラムダ値等)、ピクチャサイズ、グループオブピクチャ(GOP)のレイアウト、最大動きベクトル探索範囲等を含んでもよい。コントローラ(550)は、特定のシステム設計のために最適化されたビデオエンコーダ(503)に関連する他の適切な機能を有するように構成されてもよい。
いくつかの実施形態では、ビデオエンコーダ(503)は、符号化ループで動作するように構成される。非常に簡略化した説明として、一例では、符号化ループは、ソースコーダ(530)(例えば、符号化されるべき入力ピクチャ及び参照ピクチャに基づいて、シンボルストリームのようなシンボルを生成することを担う)と、ビデオエンコーダ(503)に埋め込まれた(ローカル)デコーダ(533)とを含んでもよい。デコーダ(533)は、(リモート)デコーダが生成するのと同様に(シンボルと符号化ビデオビットストリームとの間のいずれかの圧縮が、開示の対象物において検討されるビデオ圧縮技術において可逆であるように)、サンプルデータを生成するようにシンボルを復元する。復元されたサンプルストリーム(サンプルデータ)は、参照ピクチャメモリ(534)に入力される。シンボルストリームの復号は、デコーダの位置(ローカル又はリモート)と独立したビット単位の正確な結果をもたらすので、参照ピクチャメモリ(534)内の内容も、ローカルエンコーダとリモートエンコーダとの間でビット単位で正確である。言い換えると、エンコーダの予測部分は、デコーダが復号中に予測を使用するときに「見る」のと全く同じサンプル値を参照ピクチャサンプルとして「見る」。参照ピクチャの同期(例えば、チャネルエラーの理由で同期が維持できない場合の結果として生じるドリフトを含む)のこの基本原理は、いくつかの関連技術においても同様に使用される。
「ローカル」デコーダ(533)の動作は、ビデオデコーダ(410)のような「リモート」デコーダと同じでもよく、これは、図４に関連して上記において既に詳細に説明した。しかし、図４を簡単に参照すると、シンボルが利用可能であり、エントロピーコーダ(545)及びパーサ(420)による符号化ビデオシーケンスへのシンボルの符号化/復号が可逆になり得るので、バッファメモリ(415)及びパーサ(420)を含むビデオデコーダ(410)のエントロピー復号部分は、ローカルデコーダ(533)に完全には実装されなくてもよい。
この時点で行うことができる考察は、デコーダ内に存在する解析/エントロピー復号を除く如何なるデコーダ技術も、必然的に対応するエンコーダ内に実質的に同一の機能形式で存在する必要があることである。このため、開示の対象物はデコーダ動作に焦点を当てる。エンコーダ技術の説明は、包括的に記載されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
いくつかの例では、動作中に、ソースコーダ(530)は、動き補償予測符号化を実行してもよく、当該動き補償予測符号化は、「参照ピクチャ」として指定されたビデオシーケンスからの1つ以上の前に符号化されたピクチャを参照して入力ピクチャを予測的に符号化する。このように、符号化エンジン(532)は、入力ピクチャの画素ブロックと、入力ピクチャに対する予測参照として選択され得る参照ピクチャの画素ブロックとの間の差を符号化する。
ローカルビデオデコーダ(533)は、ソースコーダ(530)によって生成されたシンボルに基づいて、参照ピクチャとして指定され得るピクチャの符号化ビデオデータを復号してもよい。符号化エンジン(532)の動作は、有利には、不可逆処理でもよい。符号化ビデオデータがビデオデコーダ(図５に図示せず)で復号され得る場合、復元されたビデオシーケンスは、典型的には、いくつかのエラーを伴うソースビデオシーケンスのレプリカになり得る。ローカルビデオデコーダ(533)は、参照ピクチャに対してビデオデコーダによって実行され得る復号処理を複製し、復元された参照ピクチャを参照ピクチャキャッシュ(534)に記憶させてもよい。このように、ビデオエンコーダ(503)は、遠端のビデオデコーダによって取得される(送信エラーのない)復元された参照ピクチャとして、共通の内容を有する復元された参照ピクチャのコピーをローカルに記憶してもよい。
予測器(535)は、符号化エンジン(532)のための予測探索を実行してもよい。すなわち、符号化されるべき新たなピクチャについて、予測器(535)は、(候補参照画素ブロックとしての)サンプルデータ又は特定のメタデータ(参照ピクチャ動きベクトル、ブロック形状等)を求めて参照ピクチャメモリ(534)を検索してもよい。これらは、新たなピクチャについての適切な予測参照として機能してもよい。予測器(535)は、適切な予測参照を検出するために、サンプルブロック毎画素ブロック毎(sample block-by-pixel block)に動作してもよい。場合によっては、予測器(535)によって取得された検索結果によって決定された入力ピクチャは、参照ピクチャメモリ(534)に記憶された複数の参照ピクチャから引き出された予測参照を有してもよい。
コントローラ(550)は、例えば、ビデオデータを符号化するために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ(530)の符号化動作を管理してもよい。
全ての上記の機能ユニットの出力は、エントロピーコーダ(545)におけるエントロピー符号化を受けてもよい。エントロピーコーダ(545)は、ハフマン符号化、可変長符号化、算術符号化等のような技術に従って、シンボルを可逆圧縮することによって、様々な機能ユニットによって生成されたシンボルを符号化ビデオシーケンスに変換する。
送信機(540)は、エントロピーコーダ(545)によって生成された符号化ビデオシーケンスをバッファして、通信チャネル(560)を介した送信の準備をしてもよく、当該通信チャネル(560)は、符号化ビデオデータを記憶する記憶デバイスへのハードウェア/ソフトウェアリンクでもよい。送信機(540)は、ビデオコーダ(503)からの符号化ビデオデータを、送信されるべき他のデータ(例えば、符号化オーディオデータ及び/又は補助データストリーム(図示せず))とマージしてもよい。
コントローラ(550)は、ビデオエンコーダ(503)の動作を管理してもよい。符号化中に、コントローラ(550)は、各符号化ピクチャに、特定の符号化ピクチャタイプを割り当ててもよい。当該符号化ピクチャタイプは、各ピクチャに適用され得る符号化技術に影響を与えてもよい。例えば、ピクチャは、しばしば、以下のピクチャタイプのうち1つとして割り当てられてもよい。
イントラピクチャ(Iピクチャ)は、予測のソースとしてシーケンス内の他のピクチャを使用せずに、符号化及び復号され得るものでもよい。いくつかのビデオコーデックは、例えば、独立デコーダリフレッシュ(IDR, Independent Decoder Refresh)ピクチャを含む、異なるタイプのイントラピクチャを許容する。当業者は、Iピクチャのこれらの変形例と、それぞれの用途及び特徴を認識する。
予測ピクチャ(Pピクチャ)は、各ブロックのサンプル値を予測するために、最大で1つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号され得るものでもよい。
双方向予測ピクチャ(Bピクチャ)は、各ブロックのサンプル値を予測するために、最大で2つの動きベクトル及び参照インデックスを使用して、イントラ予測又はインター予測を使用して符号化及び復号され得るものでもよい。同様に、複数の予測ピクチャは、単一のブロックの復元のために、2つより多くの参照ピクチャ及び関連するメタデータを使用してもよい。
一般的に、ソースピクチャは、空間的に複数のサンプルブロック(例えば、それぞれ4×4、8×8、4×8又は16×16のサンプルのブロック)に細分され、ブロック毎に符号化されてもよい。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てによって決定される通り、他の(既に符号化された)ブロックを参照して予測的に符号化されてもよい。例えば、Iピクチャのブロックは、非予測的に符号化されてもよく、或いは、同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてもよい(空間予測又はイントラ予測)。Pピクチャの画素ブロックは、1つ前に符号化された参照ピクチャを参照して、空間予測又は時間予測を介して予測的に符号化されてもよい。Bピクチャのブロックは、1つ又は2つ前に符号化された参照ピクチャを参照して、空間予測又は時間予測を介して予測的に符号化されてもよい。
ビデオエンコーダ(503)は、ITU-T Rec. H.265のような所定のビデオ符号化技術又は標準に従って符号化動作を実行してもよい。その動作において、ビデオエンコーダ(503)は、入力ビデオシーケンスにおける時間的及び空間的冗長性を利用する予測符号化動作を含む様々な圧縮動作を実行してもよい。したがって、符号化ビデオデータは、使用されているビデオ符号化技術又は標準によって指定されたシンタックスに適合してもよい。
一実施形態では、送信機(540)は、符号化ビデオと共に更なるデータを送信してもよい。ソースコーダ(530)は、符号化ビデオシーケンスの一部としてこのようなデータを含んでもよい。更なるデータは、時間/空間/SNRエンハンスメント層、冗長ピクチャ及びスライス、SEIメッセージ、VUIパラメータセットフラグメント等のような他の形式の冗長データを含んでもよい。
ビデオは、時系列において複数のソースピクチャ(ビデオピクチャ)としてキャプチャされてもよい。イントラピクチャ予測(しばしばイントラ予測と略される)は、所与のピクチャ内の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の(時間的又は他の)相関を利用する。一例では、カレントピクチャと呼ばれる符号化/復号中の特定のピクチャは、ブロックに分割される。カレントピクチャ内のブロックがビデオ内の前に符号化されて依然としてバッファされている参照ピクチャ内の参照ブロックに類似する場合、カレントピクチャ内のブロックは、動きベクトルと呼ばれるベクトルによって符号化されてもよい。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用されている場合には、参照ピクチャを識別する第3の次元を有してもよい。
いくつかの実施形態では、双方向予測技術は、インターピクチャ予測において使用されてもよい。双方向予測技術によれば、ビデオ内のカレントピクチャへの復号順で双方とも先行する(しかし、表示順ではそれぞれ過去及び将来のものでもよい)第1の参照ピクチャ及び第2の参照ピクチャのような2つの参照ピクチャが使用される。カレントピクチャ内のブロックは、第1の参照ピクチャ内の第1の参照ブロックを指す第1の動きベクトルと、第2の参照ピクチャ内の第2の参照ブロックを指す第2の動きベクトルとによって符号化されてもよい。ブロックは、第1の参照ブロックと第2の参照ブロックとの組み合わせによって予測されてもよい。
さらに、符号化効率を改善するために、インターピクチャ予測においてマージモード技術が使用できる。
本開示のいくつかの実施形態によれば、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックの単位で実行される。例えば、HEVC標準によれば、ビデオピクチャのシーケンス内のピクチャは、圧縮のために符号化ツリーユニット(CTU, coding tree unit)に分割され、ピクチャ内のCTUは、64×64の画素、32×32の画素又は16×16の画素のように、同じサイズを有する。一般的に、CTUは、1つの輝度CTBと2つの色差CTBである3つの符号化ツリーブロック(CTB, coding tree block)を含む。各CTUは、1つ又は複数の符号化ユニット(CU, coding unit)に再帰的に四分木分割されてもよい。例えば、64×64の画素のCTUは、64×64の画素の1つのCU、32×32の画素の4つのCU又は16×16の画素の16個のCUに分割できる。一例では、各CUは、インター予測タイプ又はイントラ予測タイプのようなCUの予測タイプを決定するために分析される。CUは、時間的及び/又は空間的予測可能性に依存して1つ以上の予測ユニット(PU, prediction unit)に分割される。一般的に、各PUは、輝度予測ブロック(PB, prediction block)と2つの色差PBとを含む。一実施形態では、符号化(符号化/復号)における予測動作は、予測ブロックの単位で実行される。予測ブロックの一例として輝度予測ブロックを使用すると、予測ブロックは、8×8の画素、16×16の画素、8×16の画素、16×8の画素等のように、画素の値(例えば、輝度値)の行列を含む。
図６は、本開示の他の実施形態によるビデオエンコーダ(603)の図を示す。ビデオエンコーダ(603)は、ビデオピクチャのシーケンス内のカレントビデオピクチャ内のサンプル値の処理ブロック(例えば、予測ブロック)を受信し、処理ブロックを符号化ビデオシーケンスの一部である符号化ピクチャに符号化するように構成される。一例では、ビデオエンコーダ(603)は、図３の例のビデオエンコーダ(303)の代わりに使用される。
HEVCの例では、ビデオエンコーダ(603)は、8×8のサンプルの予測ブロック等のような処理ブロックのサンプル値の行列を受信する。ビデオエンコーダ(603)は、処理ブロックが、例えば、レート歪み最適化を使用して、イントラモードを使用して最も良く符号化されるか、インターモードを使用して最も良く符号化されるか、双方向予測モードを使用して最も良く符号化されるかを決定する。処理ブロックがイントラモードで符号化される場合、ビデオエンコーダ(603)は、処理ブロックを符号化ピクチャに符号化するためにイントラ予測技術を使用してもよい。処理ブロックがインターモード又は双方向予測モードで符号化される場合、ビデオエンコーダ(603)は、処理ブロックを符号化ピクチャに符号化するために、それぞれインター予測技術又は双方向予測技術を使用してもよい。特定のビデオ符号化技術では、マージモード(merge mode)は、動きベクトル予測子以外の符号化された動きベクトル成分の恩恵を受けずに、動きベクトルが1つ以上の動きベクトル予測子から導出されるインターピクチャ予測サブモードでもよい。特定の他のビデオ符号化技術では、対象のブロックに適用可能な動きベクトル成分が存在してもよい。一例では、ビデオエンコーダ(603)は、処理ブロックのモードを決定するためのモード決定モジュール(図示せず)のような他の構成要素を含む。
図６の例では、ビデオエンコーダ(603)は、図６に示されるように共に結合されたインターエンコーダ(630)と、イントラエンコーダ(622)と、残差計算器(623)と、スイッチ(626)と、残差エンコーダ(624)と、全体コントローラ(621)と、エントロピーエンコーダ(625)とを含む。
インターエンコーダ(630)は、カレントブロック(例えば、処理ブロック)のサンプルを受信し、当該ブロックを参照ピクチャ内の1つ以上の参照ブロック(例えば、前のピクチャ及び後のピクチャ内のブロック)と比較し、インター予測情報(例えば、インター符号化技術による冗長情報の記述、動きベクトル、マージモード情報)を生成し、いずれかの適切な技術を使用して、インター予測情報に基づいてインター予測結果(例えば、予測ブロック)を計算するように構成される。いくつかの例では、参照ピクチャは、符号化ビデオ情報に基づいて復号された復号参照ピクチャである。
イントラエンコーダ(622)は、カレントブロック(例えば、処理ブロック)のサンプルを受信し、場合によっては、当該ブロックを、同じピクチャ内で既に符号化されたブロックと比較し、変換後に量子化係数を生成し、場合によっては、イントラ予測情報(例えば、1つ以上のイントラ符号化技術によるイントラ予測方向情報)も生成するように構成される。また、一例では、イントラエンコーダ(622)は、同じピクチャ内のイントラ予測情報及び参照ブロックに基づいて、イントラ予測結果(例えば、予測ブロック)を計算する。
全体コントローラ(621)は、全体制御データを決定し、全体制御データに基づいてビデオエンコーダ(603)の他の構成要素を制御するように構成される。一例では、全体コントローラ(621)は、ブロックのモードを決定し、当該モードに基づいて制御信号をスイッチ(626)に提供する。例えば、モードがイントラモードである場合、全体コントローラ(621)は、残差計算器(623)によって使用されるイントラモード結果を選択するようにスイッチ(626)を制御し、イントラ予測情報を選択してイントラ予測情報をビットストリームに含めるようにエントロピーエンコーダ(625)を制御する。モードがインターモードである場合、全体コントローラ(621)は、残差計算器(623)によって使用されるインター予測結果を選択するようにスイッチ(626)を制御し、インター予測情報を選択してインター予測情報をビットストリームに含めるようにエントロピーエンコーダ(625)を制御する。
残差計算器(623)は、受信したブロックと、イントラエンコーダ(622)又はインターエンコーダ(630)から選択された予測結果との差(残差データ)を計算するように構成される。残差エンコーダ(624)は、残差データに基づいて動作し、残差データを符号化して変換係数を生成するように構成される。一例では、残差エンコーダ(624)は、残差データを空間ドメインから周波数ドメインに変換し、変換係数を生成するように構成される。次いで、変換係数は、量子化された変換係数を取得するための量子化処理を受ける。また、様々な実施形態では、ビデオエンコーダ(603)は、残差デコーダ(628)も含む。残差デコーダ(628)は、逆変換を実行し、復号された残差データを生成するように構成される。復号された残差データは、イントラエンコーダ(622)及びインターエンコーダ(630)によって適切に使用されてもよい。例えば、インターエンコーダ(630)は、復号された残差データ及びインター予測情報に基づいて復号ブロックを生成してもよく、イントラエンコーダ(622)は、復号された残差データ及びイントラ予測情報に基づいて復号ブロックを生成してもよい。復号ブロックは、復号ピクチャを生成するように適切に処理され、復号ピクチャは、メモリ回路(図示せず)にバッファされ、いくつかの例では参照ピクチャとして使用されてもよい。
エントロピーエンコーダ(625)は、符号化ブロックを含めるようにビットストリームをフォーマットするように構成される。エントロピーエンコーダ(625)は、HEVC標準のような適切な標準に従った様々な情報を含めるように構成される。一例では、エントロピーエンコーダ(625)は、全体制御データと、選択された予測情報(例えば、イントラ予測情報又はインター予測情報)と、残差情報と、他の適切な情報とをビットストリームに含めるように構成される。開示の対象物によれば、インターモード又は双方向予測モードのいずれかのマージサブモードでブロックを符号化する場合、残差情報は存在しない点に留意すべきである。
図７は、本開示の他の実施形態によるビデオデコーダ(710)の図を示す。ビデオデコーダ(710)は、符号化ビデオシーケンスの一部である符号化ピクチャを受信し、符号化ピクチャを復号して復元ピクチャを生成するように構成される。一例では、ビデオデコーダ(710)は、図３の例のビデオデコーダ(310)の代わりに使用される。
図７の例では、ビデオデコーダ(710)は、図７に示されるように共に結合されたエントロピーデコーダ(771)と、インターデコーダ(780)と、残差デコーダ(773)と、復元モジュール(774)と、イントラデコーダ(772)とを含む。
エントロピーデコーダ(771)は、符号化ピクチャから、当該符号化ピクチャが構成されるシンタックスエレメントを表す特定のシンボルを復元するように構成されてもよい。このようなシンボルは、例えば、ブロックが符号化されるモード(例えば、イントラモード、インターモード、双方向予測モード、マージサブモード又は他のサブモードにおける後者の2つ等)、それぞれイントラデコーダ(772)又はインターデコーダ(780)によって予測のために使用される特定のサンプル又はメタデータを識別できる予測情報(例えば、イントラ予測情報又はインター予測情報等)、例えば、量子化された変換係数の形式の残差情報等を含んでもよい。一例では、予測モードがインターモード又は双方向予測モードである場合、インター予測情報はインターデコーダ(780)に提供され、予測タイプがイントラ予測タイプである場合には、イントラ予測情報がイントラデコーダ(772)に提供される。残差情報は、逆量子化を受けてもよく、残差デコーダ(773)に提供される。
インターデコーダ(780)は、インター予測情報を受信し、インター予測情報に基づいてインター予測結果を生成するように構成される。
イントラデコーダ(772)は、イントラ予測情報を受信し、イントラ予測情報に基づいて予測結果を生成するように構成される。
残差デコーダ(773)は、逆量子化された変換係数を抽出するための逆量子化を実行し、逆量子化された変換係数を処理して残差を周波数ドメインから空間ドメインに変換するように構成される。また、残差デコーダ(773)は、特定の制御情報(量子化パラメータ(QP, Quantizer Parameter)を含む)を必要としてもよく、その情報は、エントロピーデコーダ(771)によって提供されてもよい(これは低ボリュームの制御情報のみである可能性があるので、データ経路は図示されていない)。
復元モジュール(774)は、空間ドメインにおいて、残差デコーダ(773)によって出力された残差と、予測結果(場合によっては、インター予測モジュール又はイントラ予測モジュールによって出力されたもの)とを結合して復元ブロックを形成するように構成され、当該復元ブロックは、復元ピクチャの一部でもよく、また、復元ビデオの一部でもよい。視覚品質を改善するために、デブッキング動作のような他の適切な動作が実行されてもよい点に留意すべきである。
ビデオエンコーダ(303)、(503)及び(603)並びにビデオデコーダ(310)、(410)及び(710)は、いずれかの適切な技術を使用して実装されてもよい点に留意すべきである。一実施形態では、ビデオエンコーダ(303)、(503)及び(603)並びにビデオデコーダ(310)、(410)及び(710)は、1つ以上の集積回路を使用して実装されてもよい。他の実施形態では、ビデオエンコーダ(303)、(503)及び(503)並びにビデオデコーダ(310)、(410)及び(710)は、ソフトウェア命令を実行する1つ以上のプロセッサを使用して実装されてもよい。
図８は、一実施形態におけるカレントブロック(801)、その空間隣接ブロック及びその時間隣接ブロックの概略図である。
図８を参照すると、カレントブロック(801)の動きベクトルは、参照動き情報のリストに基づいて予測されてもよく、当該参照動き情報のリストは、参照動きベクトルのリスト(「候補リスト」とも呼ばれる)と、対応する参照ピクチャの識別情報とを少なくとも含んでもよい。参照動きベクトルのリストは、A0、A1、B0、B1及びB2で示される空間隣接ブロック(それぞれ802～806)及び/又はC0及びC1で示される時間隣接ブロック(それぞれ812及び813)のような隣接ブロック(「候補」とも呼ばれる)の動きベクトルに基づいて導出されてもよい。いくつかの例では、空間隣接ブロックA0、A1、B0、B1及びB2並びにカレントブロックは、同じピクチャに属する。いくつかの例では、時間隣接ブロックC0及びC1は、参照ピクチャに属し、ブロックC0は、カレントブロック(801)の外側の、カレントブロック(801)の右下角に隣接する位置に対応し、ブロックC1は、ブロック(801)の中心の右下側の、ブロック(801)の中心に隣接する位置に対応する。
いくつかの例では、参照動きベクトルのリストは、「マージ」モードを使用して構築されてもよい。マージモードにおけるインター予測について、図８を参照した一例では、隣接ブロックA1、B1、B0、A0及びB2が順に検査される。検査されたブロックのいずれかが有効な動きベクトルを含む場合、有効な動きベクトルが参照動きベクトルのリストに追加されてもよい。重複した動きベクトルがリストに含まれるのを回避するために、切り捨て動作が実行されてもよい。
参照動き情報をリストに追加するために、時間隣接ブロックが検査されてもよい。時間隣接ブロックは、空間隣接ブロックの後に検査されてもよい。いくつかの例では、ブロックC0の動きベクトルは、利用可能である場合、時間マージ候補としてリストに追加される。ブロックC0がインターモードで符号化されていない場合又は利用不可能である場合、ブロックC1の動きベクトルが代わりに時間マージ候補として使用されてもよい。
いくつかの例では、参照動きベクトルのリストは、「高度動きベクトル予測」(AMVP, Advanced Motion Vector Prediction)モードを使用して構築されてもよい。AMVPモードにおけるインター予測について、空間隣接ブロックA0、A1、B0、B1及びB2からの最大で1つの動きベクトルと、最大で1つの時間隣接ブロックC0及びC1とが、参照動きベクトルのリストに含まれてもよい。図８を参照した一例では、リスト内の第1の参照動きベクトルは、隣接ブロックA0及びA1を順に検査することによって、カレントブロック(801)の左端からの最初の利用可能な動きベクトルとしてもよい。リスト内の第2の参照動きベクトルは、隣接ブロックB0、B1及びB2を順に検査することによって、カレントブロック(801)の上端からの最初の利用可能な動きベクトルとしてもよい。いくつかの例では、有効な動きベクトルが検査された隣接ブロックに見つからない場合、参照動きベクトルはリストに追加されない。第1及び第2の参照動きベクトルが利用可能であり且つ同一である場合、1つのみがリストに保持される。リストが一杯でない場合(例えば、2つの異なる参照動きベクトルを有する場合)、時間隣接ブロックC0の動きベクトルがリストに含まれてもよい。時間隣接ブロックC0が有効な動きベクトルを有さない場合、時間隣接ブロックC1の動きベクトルが代わりにリストに含まれてもよい。さらに、いくつかの例では、リスト内にまだ十分な動きベクトルが存在しない場合、ゼロの動きベクトルがリストを埋めるために使用されてもよい。
いくつかの例では、参照動きベクトルのリストは、マージモード、AMVPモード又はいずれかの適用可能なリスト構築処理を使用して、少なくとも1つの前に符号化又は復号されたブロック(空間隣接ブロックA0、A1、B0、B1及びB2、及び/又は、時間隣接ブロックC0及びC1等)の符号化情報に基づいて、様々な参照動きベクトルを決定することによって構築されてもよい。前に符号化されたブロックの符号化情報に基づく参照動きベクトルが決定された後に、所定のペアリングに従って、決定された参照動きベクトルを対にして平均することによって、更なる平均参照動きベクトルが決定されてもよい。
いくつかの例では、少なくとも1つの前に符号化されたブロックに基づいてカレントブロックを符号化するために、参照動きベクトルのリストに含まれると決定された最大で4つの参照動きベクトルが存在してもよい。これらの4つの参照動きベクトルは、リスト内の参照動きベクトルの順序を示すインデックス(例えば、0、1、2及び3)に関連付けられて、リストに配置されてもよい。更なるの平均参照動きベクトルは、例えば、{(0,1)、(0,2)、(1,2)、(0,3)、(1,3)、(2,3)}として定義される対に基づいてそれぞれ決定されてもよい。いくつかの例では、所定の対の双方の参照動きベクトルが参照動きベクトルのリスト内で利用可能である場合、これらの2つの参照動きベクトルは、異なる参照ピクチャを指す場合であっても平均される。
いくつかの例では、対の平均参照動きベクトルを決定する処理は、ソフトウェアを実行することによって、或いは、ハードウェアを動作させることによって、以下のように実行されてもよい。
まず、対の平均参照動きベクトルを決定する処理は、以下のパラメータを入力として受け取ってもよい:
マージ候補リストmergeCandList(前に符号化されたブロックの符号化情報に基づいて決定された参照動きベクトルのリストである)、
mergeCandList内の各候補Nの参照インデックスrefIdxL0N及びrefIdxL1N、
mergeCandList内の各候補Nの予測リスト使用フラグpredFlagL0N及びpredFlagL1N、
mergeCandList内の各候補Nの1/16の分数サンプルの精度の動きベクトルmvL0N及びmvL1N、並びに
mergeCandList内の要素数numCurrMergeCand。
この処理の出力は、以下を含んでもよい:
マージ候補リストmergeCandList(更なる平均動きベクトルが追加された参照動きベクトルの更新リストである)、
mergeCandList内の要素数numCurrMergeCand、
この処理の呼び出し中にmergeCandListに追加されたそれぞれの新たな候補avgCandkの参照インデックスrefIdxL0avgCandk及びrefIdxL1avgCandk、
この処理の呼び出し中にmergeCandListに追加されたそれぞれの新たな候補avgCandkの予測リスト利用フラグpredFlagL0avgCandk及びpredFlagL1avgCandk、並びに
この処理の呼び出し中にmergeCandListに追加されたそれぞれの新たな候補avgCandkの1/16の分数サンプルの精度の動きベクトルmvL0avgCandk及びmvL1avgCandk。
変数numInputMergeCand、numCutoff、avgIdx、avgStop、numRefListsは、以下のように設定されてもよい:
numInputMergeCand=numCurrMergeCand、
numCutoff=min(numCurrMergeCand,4)、
avgIdx=0、
avgStop=(avgIdx>=(numCutoff*(numCutoff-1)/2)||numCurrMergeCand==MaxNumMergeCand)、且つ、
numRefLists=(slice_type==B)?2:1。
したがって、当該処理は、avgIdxをインデックスとして、avgStopを停止条件として使用して、再帰的な方式で実行されてもよく、avgStopは、前に符号化されたブロックの符号化情報に基づいて決定される元のグループの参照動きベクトルに計算及び追加される更なる平均化参照動きベクトルの数に基づいて決定されてもよい。
ここで、マージ候補リストmergeCandListは、例えば、マージモードを使用して構築された参照動きベクトルのリストである。いくつかの実施形態では、対の平均参照動きベクトルを決定する処理は、AMVPモード又はいずれかの適用可能なリスト構築処理を使用して構築された参照動きベクトルのリストを処理するために適用可能である。
いくつかの実施形態では、対の平均参照動きベクトルを決定する処理は、以下のステップに従って実行され、avgStopがTRUEに等しくなるまで繰り返されてもよい。
ステップ1:変数p0CandIdx及びp1CandIdxは、以下の表に示されるavgIdxを使用して導出される。したがって、参照動きベクトルのリストに追加される第(avgIdx+1)の平均参照動きベクトルを決定するために、対応する対の決定された参照動きベクトルが、関連するインデックスに基づいて識別されてもよく、その結果、平均参照動きベクトルは、それぞれ、{(0,1)、(0,2)、(1,2)、(0,3)、(1,3)、(2,3)}として定義される対に基づいて決定されてもよい。
Figure 0007016971000001
 ステップ2:以下の割り当てが行われる。マージ候補リストmergeCandListにおいて、p0Candはインデックスp0CandIdxに関連する第1の参照動きベクトルであり、p1Candはインデックスp1CandIdxに関連する第2の参照動きベクトルである:
p0Cand=mergeCandList[p0CandIdx]、且つ、
p1Cand=mergeCandList[p1CandIdx]。
ステップ3:kが(numCurrMergeCand-numInputMergeCand)に等しい候補avgCandkが決定され、mergeCandListの最後に追加されてもよい。すなわち、mergeCandList[numCurrMergeCand]はavgCandkに等しく設定され、avgCandkの参照インデックス、予測リスト利用フラグ及び動きベクトルは以下のように導出されてもよい:
Xが0から(numRefLists-1)の範囲にある各参照ピクチャリストLXに対して:
以下の条件の全てが真である第1のシナリオでは、
predFlagLXp0Cand==1、且つ、
predFlagLXp1Cand==1
(これは、avgCandkの動きベクトルが、対応する所定の対の候補の動きベクトルを平均することによって決定されることを示す)
refIdxLXavgCandk=refIdxLXp0Cand、且つ、
predFlagLXavgCandk=1
を設定し、
mvLXp0Candを入力動きベクトルとして、
右シフトパラメータrightShiftを1として、且つ、
左シフトパラメータleftShiftを0として
設定し、
mvLXp0Cand[0]、mvLXp1Cand[0]、mvLXp0Cand[1]、mvLXp1Cand[1]、右シフトパラメータrightShift及び左シフトパラメータleftShiftを受信し、以下に従ってシフト成分を計算するように構成された丸めサブルーチンを実行するか、或いは、丸め回路を動作する:
offset=1<<(rightShift-1)、且つ、
y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
ここで、それぞれ、xは(mvLXp0Cand[0]+mvLXp1Cand[0])又は(mvLXp0Cand[1]+mvLXp1Cand[1])に対応し、yはmvLXavgCandk[0]又はmvLXavgCandk[1]に対応する。
mvLXp0Candは、所定の対の参照動きベクトルの第1の参照動きベクトルを表し、
mvLXp1Candは、所定の対の参照動きベクトルの第2の参照動きベクトルを表し、
mvLXavgCandkは、所定の対の参照動きベクトルに基づいて決定された平均参照動きベクトルを表し、
mvLXp0Cand[0]は、第1の参照動きベクトルの第1の座標軸(例えば、x軸)上の第1の成分を表し、
mvLXp1Cand[0]は、第2の参照動きベクトルの第1の座標軸上での第2の成分を表し、
mvLXavgCandk[0]は、平均参照動きベクトルの第1の座標軸上での第3の成分を表し、
mvLXp0Cand[1]は、第1の参照動きベクトルの第2の座標軸(例えばy軸)上の第4の成分を表し、
mvLXp1Cand[1]は、第2の参照動きベクトルの第2の座標軸上での第5の成分を表し、
mvLXavgCandk[1]は、平均参照動きベクトルの第2の座標軸上での第6成分を表す。
以下の条件の全てが真である第2のシナリオでは、
predFlagLXp0Cand==1、且つ、
predFlagLXp1Cand==0
(これは、avgCandkの動きベクトルが、対応する所定の対の候補の動きベクトルのうち1つのみによって決定されることを示す)
refIdxLXavgCandk=refIdxLXp0Cand、
predFlagLXavgCandk=1、
mvLXavgCandk[0]=mvLXp0Cand[0]、且つ、
mvLXavgCandk[1]=mvLXp0Cand[1]
を設定する。
以下の条件の全てが真である第3のシナリオでは、
predFlagLXp0Cand==0、且つ、
predFlagLXp1Cand==1
(これは、avgCandkの動きベクトルが、対応する所定の対の候補の動きベクトルのうち1つのみによって決定されることを示す)
refIdxLXavgCandk=refIdxLXp1Cand、
predFlagLXavgCandk=1、
mvLXavgCandk[0]=mvLXp1Cand[0]、且つ、
mvLXavgCandk[1]=mvLXp1Cand[1]
を設定する。
以下の条件の全てが真である第4のシナリオでは、
predFlagLXp0Cand==0、且つ、
predFlagLXp1Cand==0
(これは、avgCandkの動きベクトルが決定されないことを示す)
refIdxLXavgCandk=01、
predFlagLXavgCandk=0、
mvLXavgCandk[0]=0、且つ、
mvLXavgCandk[1]=0
を設定する。
ステップ4:変数numCurrMergeCand及びavgIdxが1だけインクリメントされる。
ステップ5:avgIdxが(numCutoff*(numCutoff-1)/2)以上である場合、又は、numCurrMergeCandがMaxNumMergeCandに等しい場合、avgStopはTRUEに等しく設定され、処理が終了する。そうでない場合、処理は、更新したインデックスでステップ1からステップ5を繰り返し、次の更なる平均参照動きベクトルを決定する。
いくつかの例では、第1のシナリオに関してステップ3において説明した丸めサブルーチン又は丸め回路は、設定されたパラメータrightShift及びleftShiftに基づいて、動きベクトル又はいずれかの所与の値に対して丸め演算を実行するように構成されてもよい。したがって、丸めサブルーチン又は丸め回路は、平均参照動きベクトルを決定するためだけでなく、一般的に所与の設定で所与の数を丸めるためにも使用されてもよい。したがって、デコーダは、平均参照動きベクトルを決定することを含む様々な用途のために、同じ丸めサブルーチン又は丸め回路を再利用でき、これは、デコーダのプログラム又は回路の実装を簡略化でき、したがって、デコーダのソフトウェア及び/又はハードウェアの複雑さを低減できる。
いくつかの例では、mvLXp0Cand[0]、mvLXp1Cand[0]、mvLXavgCandk[0]、mvLXp0Cand[1]、mvLXp1Cand[1]及びmvLXavgCandk[1]のような動きベクトルの様々な成分は、2の補数整数表現フォーマットである。また、いくつかの例では、参照動きベクトルのリスト内の動きベクトルの様々な成分は、1/16の分数サンプルの精度を有する。他の例では、動きベクトルの様々な成分は、異なる分数サンプルの精度設定を有する異なる2進数フォーマットを使用して表されてもよく、丸めサブルーチン又は丸め回路は、このような2進数フォーマット及び/又は分数サンプルの精度設定に適合するように修正されてもよい。
図９は、本開示の一実施形態による復号処理(900)の概要を示すフローチャートを示す。処理(900)は、インターモードで符号化されたピクチャのブロック(すなわち、カレントブロック)の復元に使用されてもよい。いくつかの実施形態では、1つ以上の動作が処理(900)の前又は後に実行され、図９に示される動作のいくつかが並び替えられても省略されてもよい。
様々な実施形態では、処理(900)は、端末デバイス(210)、(220)、(230)及び(240)内の処理回路、ビデオデコーダ(310)、(410)又は(710)の機能を実行する処理回路等のような処理回路によって実行される。いくつかの実施形態では、処理(900)は、ソフトウェア命令によって実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、処理(900)を実行する。処理は(S901)から始まり、(S910)に進む。
(S910)において、カレントブロックを復号するために参照動きベクトルのリストに含まれる第1の参照動きベクトル及び第2の参照動きベクトルは、少なくとも1つの前に復号されたブロックの符号化情報に基づいて決定される。いくつかの実施形態では、第1の参照動きベクトル及び第2の参照動きベクトルは、図８を参照して上述したマージモード又はAMVPモードに少なくとも基づいて、或いは、前に復号されたブロックの符号化情報に基づいて参照動きベクトルを決定する他の適用可能な方法に基づいて決定されてもよい。いくつかの例では、第1の参照動きベクトル及び第2の参照動きベクトルは、図３、４及び７に示されるシステム又はデコーダを使用して決定されてもよい。
(S920)において、第1の参照動きベクトルの、第1の座標軸(例えば、x軸)上での2の補数整数表現フォーマットの第1の成分は、1だけオフセットされ、オフセットされた第1の成分は、シフトされた第1の成分を取得するように、1ビットだけ右シフトされる。また、(S920)において、第1の参照動きベクトルの、第2の座標軸(例えば、y軸)上での2の補数整数表現フォーマットの第4の成分は、1だけオフセットされ、オフセットされた第4の成分は、シフトされた第4の成分を取得するように、1ビットだけ右シフトされる。
(S930)において、第2の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第2の成分は、1だけオフセットされ、オフセットされた第1の成分は、シフトされた第2の成分を取得するように、1ビットだけ右シフトされる。また、(S930)において、第1の参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第5の成分は、1だけオフセットされ、オフセットされた第5の成分は、シフトされた第5の成分を取得するように、1ビットだけ右シフトされる。
いくつかの実施形態では、(S920)及び(S930)は、丸めサブルーチン又は丸め回路を再利用することによって実行されてもよい。例えば、第1、第2、第4又は第5の成分のオフセット及び各オフセット成分の右シフトは、右シフトパラメータを1として設定し、左シフトパラメータを0として設定し、次いで、各成分、右シフトパラメータ及び左シフトパラメータを受信するように構成され、以下に従って、対応する成分のシフトバージョンを計算するように構成された丸めサブルーチンを実行することによって、或いは、丸め回路を動作させることによって実行されてもよい:
offset=1<<(rightShift-1)、且つ、
y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
ここで、rightShiftは右シフトパラメータに対応し、leftShiftは左シフトパラメータに対応し、xは対応する成分に対応し、yは対応する成分のシフトバージョンに対応する。
いくつかの例では、丸めサブルーチン又は丸め回路は、図３、４及び７に示されるシステム又はデコーダに組み込まれてもよい。
(S940)において、第1の平均参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第3の成分は、シフトされた第1の成分及びシフトされた第2の成分を加算することによって生成される。また、(S940)において、第1の平均参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第6の成分は、シフトされた第4の成分及びシフトされた第5の成分を加算することによって生成される。いくつかの例では、(S940)は、図３、４及び７に示されるシステム又はデコーダを使用して実行されてもよい。
(S950)において、カレントブロックを復号するための参照動きベクトルのリストが構築され、参照動きベクトルのリストは、第1及び第2の参照動きベクトルと、第1の平均参照動きベクトルとを組み込む。いくつかの実施形態では、(S910)、(S920)、(S930)、(S940)及び(S950)は、対応する平均参照動きベクトルを生成するために使用される所定の対の参照動きベクトルに従って繰り返し実行されてもよい。所定の対は、所定の表及び/又は上記の表で定義されてもよい。いくつかの例では、(S950)は、図３、４及び７に示されるシステム又はデコーダを使用して実行されてもよい。
一例では、(S910)、(S920)、(S930)、(S940)及び(S950)は、第1の参照動きベクトル及び第3の参照動きベクトルに基づいて、第2の平均参照動きベクトルを生成し、第2の参照動きベクトル及び第3の参照動きベクトルに基づいて、第3の平均参照動きベクトルを生成するために実行されてもよい。カレントブロックを復号するための参照動きベクトルのリストは、関連するそれぞれのインデックスの昇順に、第1の参照動きベクトル、第2の参照動きベクトル、第3の参照動きベクトル、第1の平均参照動きベクトル、第2の平均参照動きベクトル及び第3の平均参照動きベクトルを含むように参照動きベクトルのリストを配置することによって構築されてもよい。
一例では、(S910)、(S920)、(S930)、(S940)及び(S950)は、第1の参照動きベクトル及び第4の参照動きベクトルに基づいて、第4の平均参照動きベクトルを生成し、第2の参照動きベクトル及び第4の参照動きベクトルに基づいて、第5の平均参照動きベクトルを生成し、第3の参照動きベクトル及び第4の参照動きベクトルに基づいて、第6の平均参照動きベクトルを生成するために更に実行されてもよい。カレントブロックを復号するための参照動きベクトルのリストは、関連するそれぞれのインデックスの昇順に、第1の参照動きベクトル、第2の参照動きベクトル、第3の参照動きベクトル、第4の参照動きベクトル、第1のリスト参照動きベクトルを含むように参照動きベクトルのリストを配置し、第1の平均参照動きベクトル、第2の平均参照動きベクトル、第3の平均参照動きベクトル、第4の平均参照動きベクトル、第5の平均参照動きベクトル及び第6の平均参照動きベクトルを追加することによって構築されてもよい。
(S960)において、動きベクトル予測子は、参照動きベクトルのリストを使用して決定される。(S970)において、カレントブロックは、決定された動きベクトル予測子に基づいて出力用に復号される。いくつかの実施形態では、(S960)及び(S970)は、図３、４及び７に示されるシステム又はデコーダを使用して実行されてもよい。
(S970)の後に、処理は(S999)に進み、終了する。
図１０は、本開示の一実施形態による符号化処理(1000)の概要を示すフローチャートを示す。処理(1000)は、インターモードで符号化されるピクチャのブロック(すなわち、カレントブロック)を符号化するに使用されてもよい。いくつかの実施形態では、1つ以上の動作が処理(1000)の前又は後に実行され、図１０に示される動作のいくつかが並び替えられても省略されてもよい。
様々な実施形態では、処理(1000)は、端末デバイス(210)、(220)、(230)及び(240)内の処理回路、ビデオエンコーダ(303)、(503)又は(603)の機能を実行する処理回路等のような処理回路によって実行される。いくつかの実施形態では、処理(1000)は、ソフトウェア命令によって実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路は、処理(1000)を実行する。処理は(S1001)から始まり、(S1010)に進む。
(S1010)において、カレントブロックを符号化するために参照動きベクトルのリストに含まれる第1の参照動きベクトル及び第2の参照動きベクトルは、少なくとも1つの前に符号化されたブロックの符号化情報に基づいて決定される。いくつかの実施形態では、第1の参照動きベクトル及び第2の参照動きベクトルは、図８を参照して上述したマージモード又はAMVPモードに少なくとも基づいて、或いは、前に符号化されたブロックの符号化情報に基づいて参照動きベクトルを決定する他の適用可能な方法に基づいて決定されてもよい。いくつかの例では、第1の参照動きベクトル及び第2の参照動きベクトルは、図３、５及び６に示されるシステム又はエンコーダを使用して決定される。
(S1020)において、第1の参照動きベクトルの、第1の座標軸(例えば、x軸)上での2の補数整数表現フォーマットの第1の成分は、1だけオフセットされ、オフセットされた第1の成分は、シフトされた第1の成分を取得するように、1ビットだけ右シフトされる。また、(S1020)において、第1の参照動きベクトルの、第2の座標軸(例えば、y軸)上での2の補数整数表現フォーマットの第4の成分は、1だけオフセットされ、オフセットされた第4の成分は、シフトされた第4の成分を取得するように、1ビットだけ右シフトされる。
(S1030)において、第2の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第2の成分は、1だけオフセットされ、オフセットされた第1の成分は、シフトされた第2の成分を取得するように、1ビットだけ右シフトされる。また、(S1030)において、第1の参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第5の成分は、1だけオフセットされ、オフセットされた第5の成分は、シフトされた第5の成分を取得するように、1ビットだけ右シフトされる。
いくつかの実施形態では、(S1020)及び(S1030)は復号の対応する処理における(S920)及び(S930)に対応し、丸めサブルーチン又は丸め回路を再利用することによって実行されてもよい。いくつかの例では、丸めサブルーチン又は丸め回路は、図３、５及び６に示されるシステム又はエンコーダに組み込まれてもよい。したがって、(S1020)及び(S1030)の詳細な説明は省略する。
(S1040)において、第1の平均参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第3の成分は、シフトされた第1の成分及びシフトされた第2の成分を加算することによって生成される。また、(S1040)において、第1の平均参照動きベクトルの、第2の座標軸上での2の補数整数表現フォーマットの第6の成分は、シフトされた第4の成分及びシフトされた第5の成分を加算することによって生成される。
(S1050)において、カレントブロックを符号化するための参照動きベクトルのリストが構築され、参照動きベクトルのリストは、第1及び第2の参照動きベクトルと、第1の平均参照動きベクトルとを組み込む。いくつかの実施形態では、(S1040)及び(S1050)は復号の対応する処理における(S940)及び(S950)に対応する。いくつかの例では、丸めサブルーチン又は丸め回路は、図３、５及び６に示されるシステム又はエンコーダに組み込まれてもよい。
いくつかの実施形態では、(S1010)、(S1020)、(S1030)、(S1040)及び(S1050)は、図９を参照して上述した例と同様に、対応する平均参照動きベクトルを生成するために使用される所定の対の参照動きベクトルに従って繰り返し実行されてもよい。
(S1060)において、動きベクトル予測子は、参照動きベクトルのリストを使用して決定される。(S1070)において、カレントブロックは、決定された動きベクトル予測子に基づいて出力用に復号される。いくつかの実施形態では、(S1060)及び(S1070)は、図３、５及び６を参照して上述したように実行されてもよい。
(S1070)の後に、処理は(S1099)に進み、終了する。
上記の技術は、コンピュータ読み取り可能命令を使用してコンピュータソフトウェアとして実装され、1つ以上のコンピュータ読み取り可能媒体に物理的に記憶されてもよい。例えば、図１１は、開示の対象物の特定の実施形態を実装するのに適したコンピュータシステム(1100)を示す。
コンピュータソフトウェアは、いずれかの適切な機械コード又はコンピュータ言語を使用して符号化されてもよく、当該機械コード又はコンピュータ言語は、命令を含むコードを生成するために、アセンブリ、コンパイル、リンク又は類似のメカニズムを受けてもよく、当該命令は、1つ以上のコンピュータ中央処理装置(CPU, central processing unit)、グラフィックス処理ユニット(GPU, Graphics Processing Unit)等によって、直接的に或いはインタープリタ、マイクロコード実行等を通じて実行されてもよい。
命令は、例えば、パーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲームデバイス、モノのインターネットのデバイス等を含む様々なタイプのコンピュータ又はその構成要素上で実行されてもよい。
コンピュータシステム(1100)について図１１に示される構成要素は、本質的に例示的なものであり、本開示の実施形態を実装するコンピュータソフトウェアの使用範囲又は機能に関する如何なる限定も示唆することを意図するものではない。また、構成要素の構成も、コンピュータシステム(1100)の例示的な実施形態に示される構成要素のいずれか1つ又は組み合わせに関する如何なる依存性又は要件も有するものとして解釈されるべきではない。
コンピュータシステム(1100)は、特定のヒューマンインタフェース入力デバイスを含んでもよい。このようなヒューマンインタフェース入力デバイスは、例えば、触覚入力(キーストローク、スワイプ、データグローブの動き等)、オーディオ入力(音声、拍手等)、視覚入力(ジェスチャ等)、嗅覚入力(図示せず)を通じて、1人以上の人間のユーザによる入力に応答してもよい。また、ヒューマンインタフェースデバイスは、オーディオ(例えば、会話、音楽、周辺音)、画像(スキャンされた画像、静止画カメラから取得された写真画像等)、ビデオ(2次元ビデオ、立体ピクチャを含む3次元ビデオ等)のような、人間による意識的入力に必ずしも直接関連しない特定のメディアをキャプチャするために使用されてもよい。
入力ヒューマンインタフェースデバイスは、キーボード(1101)、マウス(1102)、トラックパッド(1103)、タッチ画面(1110)、データグローブ(図示せず)、ジョイスティック(1105)、マイクロフォン(1106)、スキャナ(1107)、カメラ(1108)のうち1つ以上を含んでもよい。
また、コンピュータシステム(1100)は、特定のヒューマンインタフェース出力デバイスを含んでもよい。このようなヒューマンインタフェース出力デバイスは、例えば、触覚出力、音、光及び嗅覚/味覚を通じて、1人以上の人間のユーザの感覚を刺激してもよい。このようなヒューマンインタフェース出力デバイスは、触覚出力デバイス(例えば、タッチ画面(1110)、データグローブ(図示せず)又はジョイスティック(1105)による触覚フィードバック、ただし、入力デバイスとして機能しない触覚フィードバックデバイスが存在してもよい)と、オーディオ出力デバイス(スピーカ(1109)、ヘッドフォン(図示せず)等)と、視覚出力デバイス(それぞれがタッチ画面入力機能を有しても有さなくてもよく、それぞれが触覚フィードバック機能を有しても有さなくてもよく、いくつかが2次元視覚出力又は立体出力のような手段を通じた3次元以上の出力を出力可能でもよいCRT画面、LCD画面、プラズマ画面、OLED画面を含む画面(1110)、仮想現実メガネ(図示せず)、ホログラフィックディスプレイ及びスモークタンク(図示せず))と、プリンタ(図示せず)とを含んでもよい。
また、コンピュータシステム(1100)は、CD/DVD又は同様の媒体(1121)を有するCD/DVD ROM/RW(1120)を含む光媒体のような人間がアクセス可能な記憶デバイス及び関連する媒体、サムドライブ(1122)、取り外し可能ハードドライブ又はソリッドステートドライブ(1123)、テープ及びフロッピーディスク(図示せず)のようなレガシー磁気媒体、セキュリティドングル(図示せず)のような特殊なROM/ASIC/PLDに基づくデバイス等を含んでもよい。
また、当業者は、ここに開示の対象物に関連して使用される用語「コンピュータ読み取り可能媒体」が伝送媒体、搬送波又は他の非一時的な信号を含まないことを理解すべきである。
また、コンピュータシステム(1100)は、1つ以上の通信ネットワークへのインタフェースを含んでもよい。ネットワークは、例えば、無線、有線、光でもよい。ネットワークは、ローカル、広域、メトロポリタン、車両及び産業、リアルタイム、遅延耐性等でもよい。ネットワークの例は、イーサネット、無線LAN、セルラネットワーク(GSM、3G、4G、5G、LTE等を含む)、TV有線又は無線広域デジタルネットワーク(ケーブルTV、衛星TV、及び地上放送TVを含む)、車両及び産業(CANBusを含む)等を含む。特定のネットワークは、一般的に、特定の汎用データポート又は周辺バス(1149)に取り付けられる外部ネットワークインタフェースアダプタ(例えば、コンピュータシステム(1100)のUSBポート等)を必要とし、他のネットワークインタフェースアダプタは、一般的に、以下に説明するシステムバス(例えば、PCコンピュータシステムへのイーサネットインタフェース又はスマートフォンコンピュータシステムへのセルラネットワーク)に取り付けられることによって、コンピュータシステム(1100)のコアに統合される。これらのネットワークのいずれかを使用して、コンピュータシステム(1100)は、他のエンティティと通信することができる。このような通信は、一方向の受信のみ(例えば、放送TV)、一方向の送信のみ(例えば、特定のCANbusデバイスへのCANbus)でもよく、或いは、例えば、ローカル又は広域デジタルネットワークを使用する他のコンピュータシステムへの双方向でもよい。特定のプロトコル及びプロトコルスタックは、上記のようなネットワーク及びネットワークインタフェースのそれぞれにおいて使用されてもよい。
上記のヒューマンインタフェースデバイス、人間がアクセス可能な記憶デバイス及びネットワークインタフェースは、コンピュータシステム(1100)のコア(1140)に取り付けられてもよい。
コア(1140)は、1つ以上の中央処理装置(CPU)(1141)、グラフィックス処理ユニット(GPU)(1142)、フィールドプログラマブルゲートアレイ(FPGA, Field Programmable Gate Area)(1143)の形式の特殊なプログラム可能処理ユニット、特定のタスク用のハードウェアアクセラレータ(1144)等を含んでもよい。これらのデバイスは、読み取り専用メモリ(ROM)(1145)、ランダムアクセスメモリ(1146)、内部大容量記憶装置(内部のユーザアクセス不可能なハードドライブ、SSD等)(1147)と共に、システムバス(1148)を通じて接続されてもよい。いくつかのコンピュータシステムでは、システムバス(1148)は、更なるCPU、GPU等による拡張を可能にするために、1つ以上の物理プラグの形式でアクセス可能でもよい。周辺デバイスは、コアのシステムバス(1148)に直接取り付けられてもよく、或いは、周辺バス(1149)を通じて取り付けられてもよい。周辺バスのアーキテクチャは、PCI、USB等を含む。
CPU(1141)、GPU(1142)、FPGA(1143)及びアクセラレータ(1144)は特定の命令を実行してもよく、当該特定の命令は、組み合わせによって上記のコンピュータコードを構成してもよい。当該コンピュータコードは、ROM(1145)又はRAM(1146)に記憶されてもよい。また、一時的なデータは、RAM(1146)に記憶されてもよいが、永続的なデータは、例えば、内部大容量記憶装置(1147)に記憶されてもよい。1つ以上のCPU(1141)、GPU(1142)、大容量記憶装置(1147)、ROM(1145)、RAM(1146)等と密接に関連してもよいキャッシュメモリを使用することによって、メモリデバイスのいずれかへの高速記憶及び検索が可能になってもよい。
コンピュータ読み取り可能媒体は、様々なコンピュータに実装された動作を実行するためのコンピュータコードを有してもよい。媒体及びコンピュータコードは、本開示の目的のために特に設計及び構築されたものでよく、或いは、コンピュータソフトウェア分野における当業者に周知で入手可能なようなものでもよい。
限定ではなく一例として、アーキテクチャ(1100)、具体的には、コア(1140)を有するコンピュータシステムは、1つ以上の有形のコンピュータ読み取り可能媒体に具現されたソフトウェアを実行するプロセッサ(CPU、GPU、FPGA、アクセラレータ等を含む)の結果として機能を提供できる。このようなコンピュータ読み取り可能媒体は、コア内部の大容量記憶装置(1147)又はROM(1145)のような非一時的な性質のコア(1140)の特定の記憶装置と同様に、上記のようなユーザがアクセス可能な大容量記憶装置に関連する媒体でもよい。本開示の様々な実施形態を実装するソフトウェアは、このようなデバイスに記憶されてコア(1140)によって実行されてもよい。コンピュータ読み取り可能媒体は、特定のニーズに従って、1つ以上のメモリデバイス又はチップを含んでもよい。ソフトウェアは、コア(1140)、具体的には、その中のプロセッサ(CPU、GPU、FPGA等を含む)に、RAM(1146)に記憶されたデータ構造を定義し、ソフトウェアによって定義された処理に従ってこのようなデータ構造を修正することを含む、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行させてもよい。さらに或いは代替として、コンピュータシステムは、回路(例えば、アクセラレータ(1144))内に配線されたロジック又は他の方法で具現されたロジックの結果として、機能を提供してもよく、当該回路は、本明細書に記載の特定の処理又は特定の処理の特定の部分を実行するために、ソフトウェアの代わりに或いはソフトウェアと共に動作してもよい。ソフトウェアへの言及は、ロジックを含み、必要に応じて、その逆も可能である。コンピュータ読み取り可能媒体への言及は、必要に応じて、実行するためのソフトウェアを記憶する回路(集積回路(IC)等)、実行するためのロジックを具現する回路又はこれらの双方を含んでもよい。本開示は、ハードウェア及びソフトウェアのいずれかの適切な組み合わせを含む。
付録A:略語
JEM: joint exploration model
VVC: versatile video coding
BMS: benchmark set
MV: Motion Vector
HEVC: High Efficiency Video Coding
SEI: Supplementary Enhancement Information
VUI: Video Usability Information
GOP: Group of Picture
TU: Transform Unit
PU: Prediction Unit
CTU: Coding Tree Unit
CTB: Coding Tree Block
PB: Prediction Block
HRD: Hypothetical Reference Decoder
SNR: Signal Noise Ratio
CPU: Central Processing Unit
GPU: Graphics Processing Unit
CRT: Cathode Ray Tube
LCD: Liquid-Crystal Display
OLED: Organic Light-Emitting Diode
CD: Compact Disc
DVD: Digital Video Disc
ROM: Read-Only Memory
RAM: Random Access Memory
ASIC: Application-Specific Integrated Circuit
PLD: Programmable Logic Device
LAN: Local Area Network
GSM: Global System for Mobile communications
LTE: Long-Term Evolution
CANBus: Controller Area Network Bus
USB: Universal Serial Bus
PCI: Peripheral Component Interconnect
FPGA: Field Programmable Gate Area
SSD: solid-state drive
IC: Integrated Circuit
CU: Coding Unit
SDR: Standard Dynamic Range
HDR: High Dynamic Range
本開示は、いくつかの例示的な実施形態を記載しているが、本開示の範囲内に入る変更、置換及び様々な代替の等価物が存在する。したがって、当業者は、本明細書に明示的に図示又は記載されていないが、本開示の原理を具現し、したがって、本開示の真意及び範囲内にある多数のシステム及び方法を考案することができることが認識される。

Claims (20)

  1. デコーダが実行するビデオ復号の方法であって、
    少なくとも1つの前に復号されたブロックの符号化情報に基づいてカレントブロックを復号するための第1及び第2の参照動きベクトルを決定するステップと、
    前記第1の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第1の成分を、1だけオフセットし、前記オフセットされた第1の成分を1ビットだけ右シフトすることによりシフトされた第1の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第2の成分を、1だけオフセットし、前記オフセットされた第2の成分を1ビットだけ右シフトすることによりシフトされた第2の成分を取得するステップと、
    前記シフトされた第1の成分及び前記シフトされた第2の成分を加算することによって、第1の平均参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第3の成分を生成するステップと、
    前記カレントブロックを復号するための参照動きベクトルのリストを構築するステップであって、前記参照動きベクトルのリストは、前記第1及び第2の参照動きベクトルと、前記第1の平均参照動きベクトルとを組み込む、ステップと、
    前記参照動きベクトルのリストを使用して動きベクトル予測子を決定するステップと、
    前記決定された動きベクトル予測子に基づいて出力用の前記カレントブロックを復号するステップと
    を含む方法。
  2. 前記第1の参照動きベクトルの、第2の座標軸上での前記2の補数整数表現フォーマットの第4の成分を、1だけオフセットし、前記オフセットされた第4の成分を1ビットだけ右シフトすることによりシフトされた第4の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第5の成分を、1だけオフセットし、前記オフセットされた第5の成分を1ビットだけ右シフトすることによりシフトされた第5の成分を取得するステップと、
    前記シフトされた第4の成分及び前記シフトされた第5の成分を加算することによって、前記第1の平均参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第6の成分を生成するステップと
    を更に含む、請求項１に記載の方法。
  3. 前記第1の参照動きベクトル及び第3の参照動きベクトルに基づいて、第2の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第3の参照動きベクトルに基づいて、第3の平均参照動きベクトルを生成するステップと
    を更に含み、
    前記カレントブロックを復号するための前記参照動きベクトルのリストを構築する前記ステップは、関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル及び前記第3の平均参照動きベクトルを含むように前記参照動きベクトルのリストを配置するステップを含む、請求項１に記載の方法。
  4. 前記第1の参照動きベクトル及び第4の参照動きベクトルに基づいて、第4の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第5の平均参照動きベクトルを生成するステップと、
    前記第3の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第6の平均参照動きベクトルを生成するステップと
    を更に含み、
    前記カレントブロックを復号するための前記参照動きベクトルのリストを構築する前記ステップは、関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル及び前記第4の参照動きベクトルを含むように前記参照動きベクトルのリストを配置し、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル、前記第3の平均参照動きベクトル、前記第4の平均参照動きベクトル、前記第5の平均参照動きベクトル及び前記第6の平均参照動きベクトルを追加するステップを含む、請求項３に記載の方法。
  5. 前記第1の成分をオフセットし、前記オフセットされた第1の成分を右シフトする前記ステップは、
    右シフトパラメータを1として設定するステップと、
    左シフトパラメータを0として設定するステップと、
    前記第1の成分、前記右シフトパラメータ及び前記左シフトパラメータを受信し、
    offset=1<<(rightShift-1)、且つ、
    y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
    に従って、前記シフトされた第1の成分を計算するように構成された丸めサブルーチンを実行するか、或いは、丸め回路を動作させるステップであり、rightShiftは前記右シフトパラメータに対応し、leftShiftは前記左シフトパラメータに対応し、xは前記第1の成分に対応し、yは前記シフトされた第1成分に対応するステップと
    を含む、請求項１に記載の方法。
  6. 前記第1及び第2の参照動きベクトルは、空間隣接ブロック及び時間隣接ブロックを含む前記少なくとも1つの前に復号されたブロックに基づいて決定される、請求項１に記載の方法。
  7. 前記参照動きベクトルのリスト内の前記第1及び第2の参照動きベクトルは、1/16の分数サンプルの精度に対応する、請求項１に記載の方法。
  8. 処理回路を含む装置であって、
    前記処理回路は、
    少なくとも1つの前に復号されたブロックの符号化情報に基づいてカレントブロックを復号するための第1及び第2の参照動きベクトルを決定するステップと、
    前記第1の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第1の成分を、1だけオフセットし、前記オフセットされた第1の成分を1ビットだけ右シフトすることによりシフトされた第1の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第2の成分を、1だけオフセットし、前記オフセットされた第2の成分を1ビットだけ右シフトすることによりシフトされた第2の成分を取得するステップと、
    前記シフトされた第1の成分及び前記シフトされた第2の成分を加算することによって、第1の平均参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第3の成分を生成するステップと、
    前記カレントブロックを復号するための参照動きベクトルのリストを構築するステップであって、前記参照動きベクトルのリストは、前記第1及び第2の参照動きベクトルと、前記第1の平均参照動きベクトルとを組み込む、ステップと、
    前記参照動きベクトルのリストを使用して動きベクトル予測子を決定するステップと、
    前記決定された動きベクトル予測子に基づいて出力用の前記カレントブロックを復号するステップと
    を実行するように構成される、装置。
  9. 前記処理回路は、
    前記第1の参照動きベクトルの、第2の座標軸上での前記2の補数整数表現フォーマットの第4の成分を、1だけオフセットし、前記オフセットされた第4の成分を1ビットだけ右シフトすることによりシフトされた第4の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第5の成分を、1だけオフセットし、前記オフセットされた第5の成分を1ビットだけ右シフトすることによりシフトされた第5の成分を取得するステップと、
    前記シフトされた第4の成分及び前記シフトされた第5の成分を加算することによって、前記第1の平均参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第6の成分を生成するステップと
    を実行するように更に構成される、請求項８に記載の装置。
  10. 前記処理回路は、
    前記第1の参照動きベクトル及び第3の参照動きベクトルに基づいて、第2の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第3の参照動きベクトルに基づいて、第3の平均参照動きベクトルを生成するステップと、
    関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル及び前記第3の平均参照動きベクトルを含むように前記参照動きベクトルのリストを配置することによって、前記カレントブロックを復号するための前記参照動きベクトルのリストを構築するステップと
    を実行するように更に構成される、請求項８に記載の装置。
  11. 前記処理回路は、
    前記第1の参照動きベクトル及び第4の参照動きベクトルに基づいて、第4の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第5の平均参照動きベクトルを生成するステップと、
    前記第3の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第6の平均参照動きベクトルを生成するステップと、
    関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル及び前記第4の参照動きベクトルを含むように前記参照動きベクトルのリストを配置し、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル、前記第3の平均参照動きベクトル、前記第4の平均参照動きベクトル、前記第5の平均参照動きベクトル及び前記第6の平均参照動きベクトルを追加することによって、前記カレントブロックを復号するための前記参照動きベクトルのリストを構築するステップと
    を実行するように更に構成される、請求項１０に記載の装置。
  12. 前記処理回路は、
    右シフトパラメータを1として設定するステップと、
    左シフトパラメータを0として設定するステップと、
    前記第1の成分、前記右シフトパラメータ及び前記左シフトパラメータを受信し、
    offset=1<<(rightShift-1)、且つ、
    y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
    に従って、前記シフトされた第1の成分を計算するように構成された丸めサブルーチンを実行するか、或いは、丸め回路を動作させるステップであり、rightShiftは前記右シフトパラメータに対応し、leftShiftは前記左シフトパラメータに対応し、xは前記第1の成分に対応し、yは前記シフトされた第1成分に対応するステップと
    を実行するように更に構成される、請求項８に記載の装置。
  13. 前記処理回路は、
    空間隣接ブロック及び時間隣接ブロックを含む前記少なくとも1つの前に復号されたブロックに基づいて、前記第1及び第2の参照動きベクトルを決定するステップ
    を実行するように更に構成される、請求項８に記載の装置。
  14. 前記参照動きベクトルのリスト内の前記第1及び第2の参照動きベクトルは、1/16の分数サンプルの精度に対応する、請求項８に記載の装置。
  15. 命令を記憶した非一時的なコンピュータ読み取り可能媒体であって、
    当該命令は、ビデオ復号のために、コンピュータによって実行されると、前記コンピュータに、
    少なくとも1つの前に復号されたブロックの符号化情報に基づいてカレントブロックを復号するための第1及び第2の参照動きベクトルを決定するステップと、
    前記第1の参照動きベクトルの、第1の座標軸上での2の補数整数表現フォーマットの第1の成分を、1だけオフセットし、前記オフセットされた第1の成分を1ビットだけ右シフトすることによりシフトされた第1の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第2の成分を、1だけオフセットし、前記オフセットされた第2の成分を1ビットだけ右シフトすることによりシフトされた第2の成分を取得するステップと、
    前記シフトされた第1の成分及び前記シフトされた第2の成分を加算することによって、第1の平均参照動きベクトルの、前記第1の座標軸上での前記2の補数整数表現フォーマットの第3の成分を生成するステップと、
    前記カレントブロックを復号するための参照動きベクトルのリストを構築するステップであって、前記参照動きベクトルのリストは、前記第1及び第2の参照動きベクトルと、前記第1の平均参照動きベクトルとを組み込む、ステップと、
    前記参照動きベクトルのリストを使用して動きベクトル予測子を決定するステップと、
    前記決定された動きベクトル予測子に基づいて出力用の前記カレントブロックを復号するステップと
    を実行させる、非一時的なコンピュータ読み取り可能媒体。
  16. 前記命令は、前記コンピュータによって実行されると、前記コンピュータに、
    前記第1の参照動きベクトルの、第2の座標軸上での前記2の補数整数表現フォーマットの第4の成分を、1だけオフセットし、前記オフセットされた第4の成分を1ビットだけ右シフトすることによりシフトされた第4の成分を取得するステップと、
    前記第2の参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第5の成分を、1だけオフセットし、前記オフセットされた第5の成分を1ビットだけ右シフトすることによりシフトされた第5の成分を取得するステップと、
    前記シフトされた第4の成分及び前記シフトされた第5の成分を加算することによって、前記第1の平均参照動きベクトルの、前記第2の座標軸上での前記2の補数整数表現フォーマットの第6の成分を生成するステップと
    を更に実行させる、請求項１５に記載の非一時的なコンピュータ読み取り可能媒体。
  17. 前記命令は、前記コンピュータによって実行されると、前記コンピュータに、
    前記第1の参照動きベクトル及び第3の参照動きベクトルに基づいて、第2の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第3の参照動きベクトルに基づいて、第3の平均参照動きベクトルを生成するステップと、
    を更に実行させ、
    前記カレントブロックを復号するための前記参照動きベクトルのリストを構築する前記ステップは、関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル及び前記第3の平均参照動きベクトルを含むように前記参照動きベクトルのリストを配置するステップを含む、請求項１５に記載の非一時的なコンピュータ読み取り可能媒体。
  18. 前記命令は、前記コンピュータによって実行されると、前記コンピュータに、
    前記第1の参照動きベクトル及び第4の参照動きベクトルに基づいて、第4の平均参照動きベクトルを生成するステップと、
    前記第2の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第5の平均参照動きベクトルを生成するステップと、
    前記第3の参照動きベクトル及び前記第4の参照動きベクトルに基づいて、第6の平均参照動きベクトルを生成するステップと
    を更に実行させ、
    前記カレントブロックを復号するための前記参照動きベクトルのリストを構築する前記ステップは、関連するそれぞれのインデックスの昇順に、前記第1の参照動きベクトル、前記第2の参照動きベクトル、前記第3の参照動きベクトル及び前記第4の参照動きベクトルを含むように前記参照動きベクトルのリストを配置し、前記第1の平均参照動きベクトル、前記第2の平均参照動きベクトル、前記第3の平均参照動きベクトル、前記第4の平均参照動きベクトル、前記第5の平均参照動きベクトル及び前記第6の平均参照動きベクトルを追加するステップを含む、請求項１７に記載の非一時的なコンピュータ読み取り可能媒体。
  19. 前記第1の成分をオフセットし、前記オフセットされた第1の成分を右シフトする前記ステップは、
    右シフトパラメータを1として設定するステップと、
    左シフトパラメータを0として設定するステップと、
    前記第1の成分、前記右シフトパラメータ及び前記左シフトパラメータを受信し、
    offset=1<<(rightShift-1)、且つ、
    y=(x>=0?(x+offset)>>rightShift:-((-x+offset)>>rightShift))<<leftShift
    に従って、前記シフトされた第1の成分を計算するように構成された丸めサブルーチンを実行するか、或いは、丸め回路を動作させるステップであり、rightShiftは前記右シフトパラメータに対応し、leftShiftは前記左シフトパラメータに対応し、xは前記第1の成分に対応し、yは前記シフトされた第1成分に対応するステップと
    を含む、請求項１５に記載の非一時的なコンピュータ読み取り可能媒体。
  20. 前記第1及び第2の参照動きベクトルは、空間隣接ブロック及び時間隣接ブロックを含む前記少なくとも1つの前に復号されたブロックに基づいて決定される、請求項１５に記載の非一時的なコンピュータ読み取り可能媒体。
JP2020564828A 2018-10-22 2019-10-15 ビデオ符号化の方法及び装置 Active JP7016971B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862748675P 2018-10-22 2018-10-22
US62/748,675 2018-10-22
US16/424,352 US11032541B2 (en) 2018-10-22 2019-05-28 Method and apparatus for video coding
US16/424,352 2019-05-28
PCT/US2019/056269 WO2020086331A1 (en) 2018-10-22 2019-10-15 Method and apparatus for video coding

Publications (2)

Publication Number Publication Date
JP2021513818A JP2021513818A (ja) 2021-05-27
JP7016971B2 true JP7016971B2 (ja) 2022-02-07

Family

ID=70280067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020564828A Active JP7016971B2 (ja) 2018-10-22 2019-10-15 ビデオ符号化の方法及び装置

Country Status (6)

Country Link
US (1) US11032541B2 (ja)
EP (1) EP3766182A4 (ja)
JP (1) JP7016971B2 (ja)
KR (1) KR102484926B1 (ja)
CN (1) CN112020829B (ja)
WO (1) WO2020086331A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104186B2 (ja) 2018-06-05 2022-07-20 北京字節跳動網絡技術有限公司 Ｉｂｃとａｔｍｖｐとの間でのインタラクション
CN110636297B (zh) 2018-06-21 2021-05-14 北京字节跳动网络技术有限公司 分量相关的子块分割
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
WO2020065518A1 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
CN112997480B (zh) * 2018-11-10 2023-08-22 北京字节跳动网络技术有限公司 成对平均候选计算中的取整
US11729395B2 (en) * 2021-11-26 2023-08-15 Huawei Technologies Co., Ltd. Methods and devices for extracting motion vector data from compressed video data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182294A (ja) 2003-12-17 2005-07-07 Fujitsu Ltd 平均値算出装置および平均値算出方法
JP2013098745A (ja) 2011-10-31 2013-05-20 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2020043500A (ja) 2018-09-12 2020-03-19 シャープ株式会社 動画像符号化装置及び動画像復号装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
WO2006050651A1 (en) * 2004-09-29 2006-05-18 Tencent Technology (Shenzhen) Company Limited Method for performing motion estimation
KR100909390B1 (ko) * 2007-09-18 2009-07-24 한국과학기술원 고속 움직임 보상 장치 및 방법
JP5325638B2 (ja) * 2008-11-26 2013-10-23 日立コンシューマエレクトロニクス株式会社 画像復号化方法
US9060176B2 (en) * 2009-10-01 2015-06-16 Ntt Docomo, Inc. Motion vector prediction in video coding
CN104967857B (zh) * 2010-01-19 2019-08-23 三星电子株式会社 对图像进行编码/解码的方法和设备
CN105187838A (zh) * 2011-05-31 2015-12-23 Jvc建伍株式会社 动图像解码装置、动图像解码方法、接收装置及接收方法
CN102868889A (zh) * 2011-07-06 2013-01-09 乐金电子(中国)研究开发中心有限公司 帧间图像视频编解码的运动矢量预测方法及视频编解码器
WO2015104451A1 (en) * 2014-01-07 2015-07-16 Nokia Technologies Oy Method and apparatus for video coding and decoding
CN108353184B (zh) * 2015-11-05 2022-02-01 联发科技股份有限公司 一种视频编解码的方法及装置
US20200014931A1 (en) * 2018-07-06 2020-01-09 Mediatek Inc. Methods and Apparatuses of Generating an Average Candidate for Inter Picture Prediction in Video Coding Systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182294A (ja) 2003-12-17 2005-07-07 Fujitsu Ltd 平均値算出装置および平均値算出方法
JP2013098745A (ja) 2011-10-31 2013-05-20 Fujitsu Ltd 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP2020043500A (ja) 2018-09-12 2020-03-19 シャープ株式会社 動画像符号化装置及び動画像復号装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Benjamin Bross et al.，Versatile Video Coding (Draft 2)，Joint Video Experts Team (JVET)，2018年09月21日，pp.88-89，[JVET-K1001-v6] (version 6)
Yu-Ling Hsiao et al.，CE4.4.12: Pairwise average candidates， Joint Video Experts Team (JVET)，2018年10月03日，[JVET-L0090-v2] (version 3)

Also Published As

Publication number Publication date
US11032541B2 (en) 2021-06-08
US20200128237A1 (en) 2020-04-23
EP3766182A4 (en) 2021-12-29
WO2020086331A1 (en) 2020-04-30
CN112020829B (zh) 2022-11-01
EP3766182A1 (en) 2021-01-20
KR102484926B1 (ko) 2023-01-05
KR20200128154A (ko) 2020-11-11
JP2021513818A (ja) 2021-05-27
CN112020829A (zh) 2020-12-01

Similar Documents

Publication Publication Date Title
CN113557728B (zh) 视频编解码方法和装置
JP7016971B2 (ja) ビデオ符号化の方法及び装置
JP2021518088A (ja) 小ブロックの予測と変換のための方法、装置、及びプログラム
JP7027617B2 (ja) ビデオエンコーディング及びデコーディングのための方法、装置、コンピュータプログラム、及び非一時的なコンピュータ可読媒体
JP7055485B2 (ja) 映像符号化のための方法並びに、その、装置及びコンピュータプログラム
JP2021513817A (ja) デコーダ側の動きベクトルの導出及び精緻化の改良
JP2021520172A (ja) 動画の符号化及び復号の方法、装置及びコンピュータプログラム
JP2022511865A (ja) ビデオ符号化又は復号の方法及び装置並びにコンピュータプログラム
JP7362876B2 (ja) 簡略化された最確モードリスト生成スキーム
JP2022515126A (ja) ビデオ・コーディングのための方法、装置及びコンピュータ・プログラム
JP2022511851A (ja) 最大変換サイズの制御
CN111316639B (zh) 视频解码方法和装置、及存储介质
JP2022524107A (ja) イントラピクチャブロック補償のための予測候補リストサイズシグナリングのための方法および装置
JP7066919B2 (ja) 階層的タイル
JP2022501959A (ja) ビデオ符号化及び復号のための方法および装置
JP2022516062A (ja) ビデオ復号のための方法、ビデオデコーダ、およびコンピュータプログラム、ならびにビデオ符号化のための方法
JP2021520752A (ja) ビデオ復号化のための方法、装置及びコンピュータプログラム
JP2022512109A (ja) ビデオ復号及び符号化の方法、装置並びにプログラム
JP2022522683A (ja) ビデオコーディングのための方法並びにその、装置およびコンピュータプログラム
JP2022526380A (ja) スキップモードフラグを伝達するための方法、装置及びコンピュータプログラム
JP2022502950A (ja) ビデオ符号化及び復号の方法及び装置並びにコンピュータプログラム
CN113508582B (zh) 视频编码、解码的方法、装置及可读介质
CN112715032A (zh) 帧内预测中的帧内模式选择
CN110719462A (zh) 视频解码的方法和装置
CN113170151A (zh) 具有并行处理能力的基于历史的运动信息缓冲器更新的方法和装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220126