JP7000498B2 - Storage device, transmitter and coding method - Google Patents
Storage device, transmitter and coding method Download PDFInfo
- Publication number
- JP7000498B2 JP7000498B2 JP2020094692A JP2020094692A JP7000498B2 JP 7000498 B2 JP7000498 B2 JP 7000498B2 JP 2020094692 A JP2020094692 A JP 2020094692A JP 2020094692 A JP2020094692 A JP 2020094692A JP 7000498 B2 JP7000498 B2 JP 7000498B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- prediction
- unit
- weight
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明の実施形態は、符号化データのデータ構造、記憶装置、送信装置および符号化方法に関する。 Embodiments of the present invention relate to a data structure of coded data, a storage device, a transmission device, and a coding method.
近年、符号化効率を大幅に向上させた画像符号化方法が、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)とISO(International Organization for Standardization)/IEC(International Electrotechnical Commission)との共同で、ITU-T REC. H.264及びISO/IEC 14496-10(以下、「H.264」という)として勧告されている。 In recent years, an image coding method with significantly improved coding efficiency has been developed in collaboration with ITU-T (International Telecommunication Union Telecommunication Standardization Sector) and ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission). TREC. H. It is recommended as 264 and ISO / IEC 14496-10 (hereinafter referred to as "H.264").
H.264には、符号化済みの画像を参照画像に用いて分数精度の動き補償予測を行うことにより、時間方向の冗長性を削除し、高い符号化効率を実現するインター予測符号化方式が開示されている。 H. 264 discloses an inter-prediction coding method that eliminates time-direction redundancy and realizes high coding efficiency by performing fractionally accurate motion compensation prediction using a coded image as a reference image. ing.
また、ISO/IEC MPEG(Moving Picture Experts Group)-1,2,4におけるインター予測符号化方式よりも、フェードやディゾルブ効果を含む動画像を高効率に符号化する方式も提案されている。この方式では、時間方向における明度変化を予測する枠組みとして、輝度と2つの色差とを有する入力動画像に対して分数精度の動き補償予測を行う。そして、参照画像と、輝度及び2つの色差毎の重み係数と、輝度及び2つの色差毎のオフセットと、を含む組み合わせ示すインデックスを用いて、予測画像に重み係数を乗じ、オフセットを加算する。 In addition, a method for encoding moving images including fade and dissolve effects with higher efficiency than the inter-prediction coding method in ISO / IEC MPEG (Moving Picture Experts Group) -1, 2, and 4 has been proposed. In this method, as a framework for predicting a change in brightness in the time direction, motion compensation prediction with fractional accuracy is performed for an input moving image having luminance and two color differences. Then, the predicted image is multiplied by the weighting coefficient and the offset is added by using the index showing the combination including the reference image, the luminance and the weighting coefficient for each of the two color differences, and the offset for each of the luminance and the two color differences.
しかしながら、上述したような従来技術では、インデックスを直値のまま符号化するため、符号化効率が低下してしまう。本発明が解決しようとする課題は、符号化効率を向上できる電子機器、復号方法及びプログラムを提供することである。 However, in the conventional technique as described above, since the index is coded as a direct value, the coding efficiency is lowered. An object to be solved by the present invention is to provide an electronic device, a decoding method and a program capable of improving the coding efficiency.
実施形態の符号化データのデータ構造は、ハードウェア回路および記憶部を備える電子装置に用いられ、前記記憶部に記憶され、前記ハードウェア回路による動画像を復号する処理によって用いられる符号化データのデータ構造であって、重み付き動き補償予測の有効または無効を示すデータを含む第1シンタクスと、前記重み付き動き補償予測の有効または無効を示すデータが、前記重み付き動き補償予測の有効を示す場合に、前記ハードウェア回路によって前記記憶部より読み込まれる、第2シンタクスを含み、前記第2シンタクスは、輝度の重み係数の第1固定小数点精度が符号化されたデータと、前記第1固定小数点精度と、色差の重み係数の第2固定小数点精度との差異と同じ値である、第1差分値が符号化されたデータであって、前記第1固定小数点精度と前記第1差分値とが加算されることにより、前記第2固定小数点精度を決定する処理に用いられるデータと、前記第1固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ参照画像と対象画像との間の輝度における画素値変化がない場合の前記輝度の重み係数の値と同じ値である第1基準値と、前記輝度の重み係数と、の差異と同じ値である、前記輝度の重み係数の第2差分値が符号化されたデータであって、前記第1基準値と前記第2差分値とが加算されることにより、前記輝度の重み係数を決定する処理に用いられるデータと、前記第2固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ前記参照画像と前記対象画像との間の色差における画素値変化がない場合の前記色差の重み係数の値と同じ値である第2基準値と、の差分である第3差分値が符号化されたデータであって、前記第3差分値と前記第2基準値とが加算されることにより、前記色差の重み係数を決定する処理に用いられるデータと、を含む。 The data structure of the coded data of the embodiment is used in an electronic device including a hardware circuit and a storage unit, and is stored in the storage unit, and is used in a process of decoding a moving image by the hardware circuit. The first syntax, which is a data structure and includes data indicating the validity or invalidity of the weighted motion compensation prediction, and the data indicating the validity or invalidity of the weighted motion compensation prediction indicate the validity of the weighted motion compensation prediction. In this case, the second syntax includes the second syntax read from the storage unit by the hardware circuit, and the second syntax includes data in which the first fixed-point precision of the weighting coefficient of the brightness is encoded and the first fixed-point precision. The data is data in which the first difference value is encoded, which is the same value as the difference between the accuracy and the second fixed-point precision of the weight coefficient of the color difference, and the first fixed-point accuracy and the first difference value are By adding, the data used for the process of determining the second fixed-point precision and the same value as the value obtained by shifting "1" to the left by the number of bits determined by the first fixed-point precision. The difference between the first reference value, which is the same value as the value of the weight coefficient of the brightness when there is no change in the pixel value in the brightness between the reference image and the target image, and the weight coefficient of the brightness. The second difference value of the brightness weighting coefficient, which is the same value, is encoded data, and the first reference value and the second difference value are added to obtain the brightness weighting coefficient. The data used for the determination process and the value obtained by shifting "1" to the left by the number of bits determined by the second fixed-point precision, and the reference image and the target image are the same. The third difference value, which is the difference between the second reference value, which is the same value as the weight coefficient value of the color difference when there is no change in the pixel value due to the color difference between the two, is encoded data. The data used in the process of determining the weighting coefficient of the color difference by adding the difference value and the second reference value is included.
以下、添付図面を参照しながら、実施形態を詳細に説明する。以下の各実施形態の符号化装置及び復号装置は、LSI(Large-Scale Integration)チップ、DSP(Digital Signal Processor)、又はFPGA(Field Programmable Gate Array)などのハードウェアにより実現できる。また、以下の各実施形態の符号化装置及び復号装置は、コンピュータにプログラムを実行させること、即ち、ソフトウェアにより実現させることもできる。なお、以降の説明において、「画像」という用語は、「映像」、「画素」、「画像信号」、「絵」、又は「画像データ」などの用語に適宜読み替えることができる。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The coding device and decoding device of each of the following embodiments can be realized by hardware such as an LSI (Large-Scale Integration) chip, a DSP (Digital Signal Processor), or an FPGA (Field Programmable Gate Array). Further, the coding device and the decoding device of each of the following embodiments can be realized by having a computer execute a program, that is, by software. In the following description, the term "image" can be appropriately read as a term such as "video", "pixel", "image signal", "picture", or "image data".
(第1実施形態)
第1実施形態では、動画像を符号化する符号化装置について説明する。
(First Embodiment)
In the first embodiment, a coding device for coding a moving image will be described.
図1は、第1実施形態の符号化装置100の構成の一例を示すブロック図である。
FIG. 1 is a block diagram showing an example of the configuration of the
符号化装置100は、入力画像を構成する各フレーム又は各フィールドを複数の画素ブロックに分割し、符号化制御部111から入力される符号化パラメータを用いて、分割した画素ブロックに対して予測符号化を行い、予測画像を生成する。そして符号化装置100は、複数の画素ブロックに分割した入力画像と予測画像とを減算して予測誤差を生成し、生成した予測誤差を直交変換及び量子化し、更にエントロピー符号化を行って符号化データを生成し、出力する。
The
符号化装置100は、画素ブロックのブロックサイズ及び予測画像の生成方法の少なくともいずれかが異なる複数の予測モードを選択的に適用して予測符号化を行う。予測画像の生成方法は、大別すると、符号化対象フレーム内で予測を行うイントラ予測と、時間的に異なる1以上の参照フレームを用いて動き補償予測を行うインター予測との2種類である。なお、イントラ予測は、画面内予測又はフレーム内予測などとも称され、インター予測は、画面間予測、フレーム間予測、又は動き補償予測などとも称される。
The
図2は、第1実施形態における画素ブロックの予測符号化順序の一例を示す説明図である。図2に示す例では、符号化装置100は、画素ブロックの左上から右下に向かって予測符号化を行っており、符号化処理対象のフレームfにおいて、符号化対象画素ブロックcよりも左側及び上側に符号化済み画素ブロックpが位置している。以下では、説明の簡単化のため、符号化装置100は、図2に示す順序で予測符号化を行うものとするが、予測符号化の順序はこれに限定されるものではない。
FIG. 2 is an explanatory diagram showing an example of the predicted coding order of the pixel blocks in the first embodiment. In the example shown in FIG. 2, the
画素ブロックは、画像を処理する単位を示し、例えば、M×Nサイズのブロック(M及びNは自然数)、コーディングツリーブロック、マクロブロック、サブブロック、又は1画素などが該当する。以降の説明では、基本的に、画素ブロックをコーディングツリーブロックの意味で使用するが、他の意味で使用する場合もある。例えば、プレディクションユニットの説明では、画素ブロックを、プレディクションユニットの画素ブロックの意味で使用する。また、ブロックはユニットなどの名称で呼ばれることもある。例えばコーディングブロックをコーディングユニットと呼ぶ。 The pixel block indicates a unit for processing an image, and corresponds to, for example, an M × N size block (M and N are natural numbers), a coding tree block, a macro block, a sub block, or one pixel. In the following description, the pixel block is basically used in the meaning of the coding tree block, but it may be used in other meanings. For example, in the description of the prediction unit, the pixel block is used to mean the pixel block of the prediction unit. In addition, the block may be called by a name such as a unit. For example, a coding block is called a coding unit.
図3Aは、第1実施形態におけるコーディングツリーブロックのブロックサイズの一例を示す図である。コーディングツリーブロックは、典型的には、図3Aに示すような64×64の画素ブロックである。但し、これに限定されるものではなく、32×32の画素ブロック、16×16の画素ブロック、8×8の画素ブロック、又は4×4の画素ブロックなどであってもよい。また、コーディングツリーブロックは、正方形でなくてもよく、例えば、M×Nサイズ(M≠N)の画素ブロックであってもよい。 FIG. 3A is a diagram showing an example of the block size of the coding tree block in the first embodiment. The coding tree block is typically a 64x64 pixel block as shown in FIG. 3A. However, the present invention is not limited to this, and may be a 32 × 32 pixel block, a 16 × 16 pixel block, an 8 × 8 pixel block, a 4 × 4 pixel block, or the like. Further, the coding tree block does not have to be a square, and may be, for example, a pixel block of M × N size (M ≠ N).
図3B~図3Dは、第1実施形態のコーディングツリーブロックの具体例を示す図である。図3Bは、ブロックサイズが64×64(N=32)のコーディングツリーブロックを示している。Nは、基準となるコーディングツリーブロックのサイズを表しており、分割された場合のサイズがN、分割されない場合のサイズが2Nと定義されている。図3Cは、図3Bのコーディングツリーブロックを四分木分割したコーディングツリーブロックを示している。コーディングツリーブロックは、図3Cに示すように、四分木構造を持つ。コーディングツリーブロックが分割された場合、分割後の4つの画素ブロックに対して、図3Cに示すように、Zスキャン順で番号が付される。 3B to 3D are diagrams showing specific examples of the coding tree block of the first embodiment. FIG. 3B shows a coding tree block with a block size of 64 × 64 (N = 32). N represents the size of the reference coding tree block, and the size when divided is N and the size when not divided is 2N. FIG. 3C shows a coding tree block obtained by dividing the coding tree block of FIG. 3B into quadtrees. The coding tree block has a quadtree structure, as shown in FIG. 3C. When the coding tree block is divided, the four pixel blocks after the division are numbered in the Z scan order as shown in FIG. 3C.
なお、コーディングツリーブロックは、1つの四分木の番号内で更に四分木分割することができる。これにより、コーディングツリーブロックを階層的に分割することができる。この場合、分割の深さは、Depthで定義される。図3Dは、図3Bのコーディングツリーブロックを四分木分割したコーディングツリーブロックの1つを示し、ブロックサイズが32×32(N=16)となっている。図3Bに示すコーディングツリーブロックのDepthは0であり、図3Dに示すコーディングツリーブロックのDepthは、1である。なお、最もユニットが大きいコーディングツリーブロックは、ラージコーディングツリーブロックと呼ばれ、この単位で入力画像信号がラスタースキャン順に符号化される。 The coding tree block can be further divided into quadtrees within the number of one quadtree. This makes it possible to divide the coding tree block hierarchically. In this case, the depth of division is defined by Depth. FIG. 3D shows one of the coding tree blocks obtained by dividing the coding tree block of FIG. 3B into quadtrees, and the block size is 32 × 32 (N = 16). The Depth of the coding tree block shown in FIG. 3B is 0, and the Depth of the coding tree block shown in FIG. 3D is 1. The coding tree block having the largest unit is called a large coding tree block, and the input image signal is encoded in the raster scan order in this unit.
以降の説明では、入力画像の符号化対象ブロック又はコーディングツリーブロックを予測対象ブロック又は予測画素ブロックと称することもある。なお、符号化単位は画素ブロックに限らず、フレーム、フィールド、スライス、ライン、及び画素の少なくともいずれかを用いることもできる。 In the following description, the coding target block or coding tree block of the input image may be referred to as a prediction target block or a prediction pixel block. The coding unit is not limited to the pixel block, and at least one of a frame, a field, a slice, a line, and a pixel can be used.
符号化装置100は、図1に示すように、減算部101と、直交変換部102と、量子化部103と、逆量子化部104と、逆直交変換部105と、加算部106と、予測画像生成部107と、インデックス設定部108と、動き評価部109と、符号化部110とを、備える。なお、図1に示す符号化制御部111は、符号化装置100を制御するものであり、例えば、CPU(Central Processing Unit)などにより実現できる。
As shown in FIG. 1, the
減算部101は、画素ブロックに分割された入力画像から対応する予測画像を減算して予測誤差を得る。減算部101は、予測誤差を出力し、直交変換部102に入力する。
The
直交変換部102は、減算部101から入力された予測誤差に対して、例えば、離散コサイン変換(DCT)又は離散サイン変換(DST)のような直交変換を行い、変換係数を得る。直交変換部102は、変換係数を出力し、量子化部103に入力する。
The
量子化部103は、直交変換部102から入力された変換係数に対して量子化処理を行い、量子化変換係数を得る。具体的には、量子化部103は、符号化制御部111によって指定される量子化パラメータや量子化マトリクスなどの量子化情報に従って量子化を行う。より詳細には、量子化部103は、変換係数を量子化情報によって導出される量子化ステップサイズで除算し、量子化変換係数を得る。量子化パラメータは、量子化の細かさを示す。量子化マトリクスは、量子化の細かさを変換係数の成分毎に重み付けするために使用される。量子化部103は、量子化変換係数を出力し、逆量子化部104及び符号化部110に入力する。
The
逆量子化部104は、量子化部103から入力された量子化変換係数に対して逆量子化処理を行い、復元変換係数を得る。具体的には、逆量子化部104は、量子化部103において使用された量子化情報に従って逆量子化を行う。より詳細には、逆量子化部104は、量子化情報によって導出された量子化ステップサイズを量子化変換係数に乗算し、復元変換係数を得る。なお、量子化部103において使用された量子化情報は、符号化制御部111の図示せぬ内部メモリからロードされて利用される。逆量子化部104は、復元変換係数を出力し、逆直交変換部105に入力する。
The
逆直交変換部105は、逆量子化部104から入力された復元変換係数に対して、例えば、逆離散コサイン変換(IDCT)又は逆離散サイン変換(IDST)などのような逆直交変換を行い、復元予測誤差を得る。なお、逆直交変換部105が行う逆直交変換は、直交変換部102において行われた直交変換に対応する。逆直交変換部105は、復元予測誤差を出力し、加算部106に入力する。
The inverse
加算部106は、逆直交変換部105から入力された復元予測誤差と対応する予測画像とを加算し、局所復号画像を生成する。加算部106は、局所復号画像を出力し、予測画像生成部107に入力する。
The
予測画像生成部107は、加算部106から入力された局所復号画像を参照画像としてメモリ(図1では図示省略)に蓄積し、メモリに蓄積した参照画像を出力し、動き評価部109に入力する。また予測画像生成部107は、動き評価部109から入力される動き情報及びWPパラメータ情報に基づいて重み付き動き補償予測を行い、予測画像を生成する。予測画像生成部107は、予測画像を出力し、減算部101及び加算部106に入力する。
The prediction
図4は、第1実施形態の予測画像生成部107の構成の一例を示すブロック図である。予測画像生成部107は、図4に示すように、複数フレーム動き補償部201と、メモリ202と、単方向動き補償部203と、予測パラメータ制御部204と、参照画像セレクタ205と、フレームメモリ206と、参照画像制御部207と、を備える。
FIG. 4 is a block diagram showing an example of the configuration of the predicted
フレームメモリ206は、参照画像制御部207の制御の下、加算部106から入力された局所復号画像を参照画像として格納する。フレームメモリ206は、参照画像を一時保持するための複数のメモリセットFM1~FMN(N≧2)を有する。
The
予測パラメータ制御部204は、動き評価部109から入力される動き情報に基づいて、参照画像番号と予測パラメータとの複数の組み合わせをテーブルとして用意している。ここで、動き情報とは、動き補償予測で用いられる動きのズレ量を示す動きベクトルや参照画像番号、単方向/双方向予測などの予測モードに関する情報などを指す。予測パラメータは、動きベクトル及び予測モードに関する情報を指す。そして予測パラメータ制御部204は、入力画像に基づいて、予測画像の生成に用いる参照画像番号と予測パラメータとの組み合わせを選択して出力し、参照画像番号を参照画像セレクタ205に入力し、予測パラメータを単方向動き補償部203に入力する。
The prediction
参照画像セレクタ205は、フレームメモリ206が有するフレームメモリFM1~FMNのいずれの出力端を接続するかを、予測パラメータ制御部204から入力された参照画像番号に従って切り替えるスイッチである。参照画像セレクタ205は、例えば、参照画像番号が0であれば、FM1の出力端を参照画像セレクタ205の出力端に接続し、参照画像番号がN-1であれば、FMNの出力端を参照画像セレクタ205の出力端に接続する。参照画像セレクタ205は、フレームメモリ206が有するフレームメモリFM1~FMNのうち、出力端が接続されているフレームメモリに格納されている参照画像を出力し、単方向動き補償部203及び動き評価部109へ入力する。
The
単方向予測動き補償部203は、予測パラメータ制御部204から入力された予測パラメータと参照画像セレクタ205から入力された参照画像に従って、動き補償予測処理を行い、単方向予測画像を生成する。
The unidirectional prediction
図5は、第1実施形態の双方向予測における動き補償予測の動きベクトルの関係の一例を示す図である。動き補償予測では、参照画像を用いて補間処理が行われ、作成された補間画像と入力画像との符号化対象位置の画素ブロックからの動きのズレ量を元に単方向予測画像が生成される。ここで、ズレ量は、動きベクトルである。図5に示すように、双方向予測スライス(B-slice)では、2種類の参照画像と動きベクトルのセットを用いて予測画像が生成される。補間処理としては、1/2画素精度の補間処理や、1/4画素精度の補間処理などが用いられ、参照画像に対してフィルタリング処理が行われることによって、補間画像の値が生成される。例えば、輝度信号に対して1/4画素精度までの補間処理な可能なH.264では、ズレ量は整数画素精度の4倍で表現される。 FIG. 5 is a diagram showing an example of the relationship between motion vectors of motion compensation prediction in the bidirectional prediction of the first embodiment. In motion compensation prediction, interpolation processing is performed using the reference image, and a unidirectional prediction image is generated based on the amount of motion deviation from the pixel block of the coded target position between the created interpolated image and the input image. .. Here, the amount of deviation is a motion vector. As shown in FIG. 5, in a bidirectional predicted slice (B-slice), a predicted image is generated using two types of reference images and a set of motion vectors. As the interpolation process, an interpolation process having a 1/2 pixel accuracy, an interpolation process having a 1/4 pixel accuracy, or the like is used, and the value of the interpolated image is generated by performing the filtering process on the reference image. For example, H.I. In 264, the amount of deviation is expressed by four times the precision of the integer pixel.
単方向予測動き補償部203は、単方向予測画像を出力し、メモリ202に一時的に格納する。ここで、動き情報(予測パラメータ)が双方向予測を示す場合には、複数フレーム動き補償部201が2種類の単方向予測画像を用いて重み付き予測を行うため、単方向予測動き補償部203は、1つ目に対応する単方向予測画像をメモリ202に格納し、2つ目に対応する単法予測画像を複数フレーム動き補償部201に直接出力する。ここでは、1つ目に対応する単方向予測画像を第一予測画像とし、2つ目に対応する単方向予測画像を第二予測画像とする。
The unidirectional prediction
なお、単方向動き補償部203を2つ用意し、それぞれが2つの単方向予測画像を生成するようにしてもよい。この場合、動き情報(予測パラメータ)が単方向予測を示すときには、単方向動き補償部203が、1つ目の単方向予測画像を第一予測画像として複数フレーム動き補償部201に直接出力すればよい。
It should be noted that two unidirectional
複数フレーム動き補償部201は、メモリ202から入力される第一予測画像、単方向予測動き補償部203から入力される第二予測画像、及び動き評価部109から入力されるWPパラメータ情報を用いて、重み付き予測を行って予測画像を生成する。複数フレーム動き補償部201は、予測画像を出力し、減算部101及び加算部106に入力する。
The multi-frame
図6は、第1実施形態の複数フレーム動き補償部201の構成の一例を示すブロック図である。複数フレーム動き補償部201は、図6に示すように、デフォルト動き補償部301と、重み付き動き補償部302と、WPパラメータ制御部303と、WPセレクタ304、305とを、備える。
FIG. 6 is a block diagram showing an example of the configuration of the multi-frame
WPパラメータ制御部303は、動き評価部109から入力されるWPパラメータ情報に基づいて、WP適用フラグ及び重み情報を出力し、WP適用フラグをWPセレクタ304、305に入力し、重み情報を重み付き動き補償部302に入力する。
The WP
ここで、WPパラメータ情報は、重み係数の固定小数点精度、第一予測画像に対応する第一WP適用フラグ,第一重み係数,及び第一オフセット、並びに第二予測画像に対応する第二WP適応フラグ,第二重み係数,及び第二オフセットの情報を含む。WP適用フラグは、該当する参照画像及び信号成分毎に設定可能なパラメータであり、重み付き動き補償予測を行うかどうかを示す。重み情報は、重み係数の固定小数点精度、第一重み係数、第一オフセット、第二重み係数、及び第二オフセットの情報を含む。 Here, the WP parameter information includes the fixed-point accuracy of the weighting factor, the first WP application flag corresponding to the first predicted image, the first weighting factor, and the first offset, and the second WP adaptation corresponding to the second predicted image. Contains information on flags, second weighting factors, and second offset. The WP application flag is a parameter that can be set for each applicable reference image and signal component, and indicates whether or not to perform weighted motion compensation prediction. The weighting information includes information on the fixed-point accuracy of the weighting factors, the first weighting factor, the first offset, the second weighting factor, and the second offset.
詳細には、WPパラメータ制御部303は、動き評価部109からWPパラメータ情報が入力されると、WPパラメータ情報を第一WP適用フラグ、第二WP適用フラグ、及び重み情報に分離して出力し、第一WP適用フラグをWPセレクタ304に入力し、第二WP適用フラグをWPセレクタ305に入力し、重み情報を重み付き動き補償部302に入力する。
Specifically, when the WP parameter information is input from the
WPセレクタ304、305は、WPパラメータ制御部303から入力されたWP適用フラグに基づいて、各々の予測画像の接続端を切り替える。WPセレクタ304、305は、各々のWP適用フラグが0の場合、各々の出力端をデフォルト動き補償部301へ接続する。そしてWPセレクタ304、305は、第一予測画像及び第二予測画像を出力し、デフォルト動き補償部301に入力する。一方、WPセレクタ304、305は、各々のWP適用フラグが1の場合、各々の出力端を重み付き動き補償部302へ接続する。そしてWPセレクタ304、305は、第一予測画像及び第二予測画像を出力し、重み付き動き補償部302に入力する。
The
デフォルト動き補償部301は、WPセレクタ304、305から入力された2つの単方向予測画像(第一予測画像及び第二予測画像)を元に平均値処理を行い、予測画像を生成する。具体的には、デフォルト動き補償部301は、第一WP適用フラグ及び第二WP適用フラグが0の場合、数式(1)に基づいて平均値処理を行う。
The default
P[x,y]=Clip1((PL0[x,y]+PL1[x,y]+offset2)>>(shift2)) …(1) P [x, y] = Clip1 ((PL0 [x, y] + PL1 [x, y] + offset2) >> (shift2)) ... (1)
ここで、P[x,y]は予測画像、PL0[x,y]は第一予測画像、PL1[x,y]は第二予測画像である。offset2及びshift2は平均値処理における丸め処理のパラメータであり、第一予測画像及び第二予測画像の内部演算精度によって定まる。予測画像のビット精度をL、第一予測画像及び第二予測画像のビット精度をM(L≦M)とすると、shift2は数式(2)で定式化され、offset2は数式(3)で定式化される。 Here, P [x, y] is a predicted image, PL0 [x, y] is a first predicted image, and PL1 [x, y] is a second predicted image. Offset2 and shift2 are parameters of the rounding process in the mean value process, and are determined by the internal calculation accuracy of the first predicted image and the second predicted image. Assuming that the bit precision of the predicted image is L and the bit precision of the first predicted image and the second predicted image is M (L ≦ M), shift2 is formulated by the mathematical formula (2) and offset2 is formulated by the mathematical formula (3). Will be done.
shift2=(M-L+1) …(2) shift2 = (ML + 1) ... (2)
offset2=(1<<(shift2-1) …(3) offset2 = (1 << (shift2-1) ... (3)
例えば、予測画像のビット精度が8であり、第一予測画像及び第二予測画像のビット精度が14である場合、数式(2)よりshift2=7、数式(3)よりoffset2=(1<<6)となる。 For example, when the bit precision of the predicted image is 8 and the bit precision of the first predicted image and the second predicted image is 14, shift2 = 7 from the formula (2) and offset2 = (1 << from the formula (3). 6).
なお、動き情報(予測パラメータ)で示される予測モードが単方向予測である場合、デフォルト動き補償部301は、第一予測画像のみを用いて、数式(4)に基づいて最終的な予測画像を算出する。
When the prediction mode indicated by the motion information (prediction parameter) is unidirectional prediction, the default
P[x,y]=Clip1((PLX[x,y]+offset1)>>(shift1)) …(4) P [x, y] = Clip1 ((PLX [x, y] + office1) >> (shift1)) ... (4)
ここで、PLX[x,y]は単方向予測画像(第一予測画像)を示しており、Xは参照リストの0又は1のいずれかを示す識別子である。例えば、参照リストが0の場合はPL0[x,y]、参照リストが1の場合はPL1[x,y]となる。offset1及びshift1は丸め処理のパラメータであり、第一予測画像の内部演算精度によって定まる。予測画像のビット精度をL、第一予測画像のビット精度をMとすると、shift1は数式(5)で定式化され、offset1は数式(6)で定式化される。 Here, PLX [x, y] indicates a unidirectional predicted image (first predicted image), and X is an identifier indicating either 0 or 1 in the reference list. For example, when the reference list is 0, it is PL0 [x, y], and when the reference list is 1, it is PL1 [x, y]. Offset1 and shift1 are parameters of the rounding process and are determined by the internal calculation accuracy of the first predicted image. Assuming that the bit precision of the predicted image is L and the bit precision of the first predicted image is M, shift1 is formulated by the mathematical formula (5), and offset1 is formulated by the mathematical formula (6).
shift1=(M-L) …(5) shift1 = (ML) ... (5)
offset1=(1<<(shift1-1) …(6) offset1 = (1 << (shift1-1) ... (6)
例えば、予測画像のビット精度が8であり、第一予測画像のビット精度が14である場合、数式(5)よりshift1=6、数式(6)よりoffset1=(1<<5)となる。 For example, when the bit precision of the predicted image is 8 and the bit precision of the first predicted image is 14, shift1 = 6 from the mathematical formula (5) and offset1 = (1 << 5) from the mathematical formula (6).
重み付き動き補償部302は、WPセレクタ304、305から入力された2つの単方向予測画像(第一予測画像及び第二予測画像)とWPパラメータ制御部303から入力された重み情報とを元に重み付き動き補償を行う。具体的には、重み付き動き補償部302は、第一WP適用フラグ及び第二WP適用フラグが1の場合、数式(7)に基づいて重み付き処理を行う。
The weighted
P[x,y]=Clip1(((PL0[x,y]*w0C+PL1[x,y]*w1C+(1<<logWDC))>>(logWDC+1))+((o0C+o1C+1)>>1)) …(7) P [x, y] = Clip1 (((PL0 [x, y] * w0C + PL1 [x, y] * w1C + (1 << logWDC)) >> (logWDC + 1)) + ((o0C + o1C + 1) >> 1)) ... (7)
ここで、w0Cは第一予測画像に対応する重み係数、w1Cは第二予測画像に対応する重み係数、o0Cは第一予測画像に対応するオフセット、o1Cは第二予測画像に対応するオフセットを表す。以後、それぞれを第一重み係数、第二重み係数、第一オフセット、第二オフセットと呼ぶ。logWDCはそれぞれの重み係数の固定小数点精度を示すパラメータである。変数Cは、信号成分を意味する。例えば、YUV空間信号の場合、輝度信号をC=Yとし、Cr色差信号をC=Cr、Cb色差成分をC=Cbと表す。 Here, w0C represents a weighting coefficient corresponding to the first predicted image, w1C represents a weighting coefficient corresponding to the second predicted image, o0C represents an offset corresponding to the first predicted image, and o1C represents an offset corresponding to the second predicted image. .. Hereinafter, they are referred to as a first weighting coefficient, a second weighting coefficient, a first offset, and a second offset, respectively. logWDC is a parameter indicating the fixed-point accuracy of each weighting factor. The variable C means a signal component. For example, in the case of a YUV spatial signal, the luminance signal is represented as C = Y, the Cr color difference signal is represented as C = Cr, and the Cb color difference component is represented as C = Cb.
なお、重み付き動き補償部302は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるlogWDCを数式(8)のように制御することで丸め処理を実現する。
When the calculated accuracy of the first predicted image and the second predicted image is different from that of the predicted image, the weighted
logWD’C=logWDC+offset1 …(8) logWD'C = logWDC + offset1 ... (8)
丸め処理は、数式(7)のlogWDCを、数式(8)のlogWD’Cに置き換えることで実現できる。例えば、予測画像のビット精度が8であり、第一予測画像及び第二予測画像のビット精度が14である場合、logWDCを再設定することにより、数式(1)のshift2と同様の演算精度における一括丸め処理を実現することが可能となる。 The rounding process can be realized by replacing the logWDC of the mathematical formula (7) with the logWD'C of the mathematical formula (8). For example, when the bit accuracy of the predicted image is 8 and the bit precision of the first predicted image and the second predicted image is 14, by resetting the logWDC, the calculation accuracy is the same as that of shift2 of the mathematical formula (1). It is possible to realize batch rounding processing.
なお、動き情報(予測パラメータ)で示される予測モードが単方向予測である場合、重み付き動き補償部302は、第一予測画像のみを用いて、数式(9)に基づいて最終的な予測画像を算出する。
When the prediction mode indicated by the motion information (prediction parameter) is unidirectional prediction, the weighted
P[x,y]=Clip1((PLX[x,y]*wXC+(1<<logWDC-1))>>(logWDC)) …(9) P [x, y] = Clip1 ((PLX [x, y] * wXC + (1 << logWDC-1)) >> (logWDC)) ... (9)
ここで、PLX[x,y]は単方向予測画像(第一予測画像)を示し、wXCは単方向予測に対応する重み係数を示しており、Xは参照リストの0又は1のいずれかを示す識別子である。例えば、参照リストが0の場合はPL0[x,y]、w0C、参照リストが1の場合はPL1[x,y]、w1Cとなる。 Here, PLX [x, y] indicates a unidirectional prediction image (first prediction image), wXC indicates a weighting coefficient corresponding to unidirectional prediction, and X indicates either 0 or 1 in the reference list. It is an identifier to indicate. For example, when the reference list is 0, it is PL0 [x, y], w0C, and when the reference list is 1, it is PL1 [x, y], w1C.
なお、重み付き動き補償部302は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるlogWDCを双方向予測時と同様に数式(8)のように制御することで丸め処理を実現する。
In addition, when the calculation accuracy of the first predicted image and the second predicted image is different from that of the predicted image, the weighted
丸め処理は、数式(7)のlogWDCを、数式(8)のlogWD’Cに置き換えることで実現できる。例えば、予測画像のビット精度が8であり、第一予測画像のビット精度が14である場合、logWDCを再設定することにより、数式(4)のshift1と同様の演算精度における一括丸め処理を実現することが可能となる。
The rounding process can be realized by replacing the logWDC of the mathematical formula (7) with the logWD'C of the mathematical formula (8). For example, when the bit precision of the predicted image is 8 and the bit precision of the first predicted image is 14, by resetting the logWDC, a batch rounding process with the same calculation precision as
図7は、第1実施形態における重み係数の固定小数点精度の一例の説明図であり、時間方向の明度変化がある動画像と階調値との変化の一例を示す図である。図7に示す例では、符号化対象フレームをFrame(t)とし、時間的に1つ前のフレームをFrame(t-1)、時間的に1つ後のフレームをFrame(t+1)としている。図7に示すように、白から黒に変化するフェード画像では、画像の明度(階調値)が時間とともに減少していく。重み係数は、図7における変化の度合いを意味しており、数式(7)及び数式(9)から明らかなように、明度変化がない場合に1.0の値を取る。固定小数点精度は、重み係数の小数点に対応する刻み幅を制御するパラメータであり、明度変化がない場合の重み係数は、1<<logWDCとなる。 FIG. 7 is an explanatory diagram of an example of the fixed-point accuracy of the weighting coefficient in the first embodiment, and is a diagram showing an example of a change between a moving image having a change in brightness in the time direction and a gradation value. In the example shown in FIG. 7, the frame to be encoded is Frame (t), the frame immediately before in time is Frame (t-1), and the frame one after in time is Frame (t + 1). As shown in FIG. 7, in a fade image that changes from white to black, the brightness (gradation value) of the image decreases with time. The weighting coefficient means the degree of change in FIG. 7, and as is clear from the formulas (7) and (9), it takes a value of 1.0 when there is no change in lightness. The fixed-point precision is a parameter that controls the step size corresponding to the decimal point of the weighting factor, and the weighting factor when there is no change in brightness is 1 << logWDC.
なお、単方向予測の場合には、第二予測画像に対応する各種パラメータ(第二WP適応フラグ,第二重み係数,及び第二オフセットの情報)は利用されないため、予め定めた初期値に設定されていてもよい。 In the case of unidirectional prediction, various parameters (second WP adaptation flag, second weighting coefficient, and second offset information) corresponding to the second prediction image are not used, so they are set to predetermined initial values. It may have been done.
図1に戻り、動き評価部109は、入力画像と予測画像生成部107から入力された参照画像とに基づき複数フレーム間の動き評価を行い、動き情報及びWPパラメータ情報を出力し、動き情報を予測画像生成部107及び符号化部110に入力し、WPパラメータ情報を予測画像生成部107及びインデックス設定部108に入力する。
Returning to FIG. 1, the
動き評価部109は、例えば、予測対象画素ブロックの入力画像と同位置に対応する複数の参照画像を起点として差分値を計算することで誤差を算出し、この位置を分数精度でずらし、誤差最小のブロックを探すブロックマッチングなどの手法により、最適な動き情報を算出する。動き評価部109は、双方向予測の場合には、単方向予測で導出された動き情報を用いて、数式(1)及び数式(4)に示すようなデフォルト動き補償予測を含むブロックマッチングを行うことにより、双方向予測の動き情報を算出する。
The
この際、動き評価部109は、数式(7)及び数式(9)で示されるような重み付き動き補償予測を含むブロックマッチングを行うことにより、WPパラメータ情報を算出できる。なお、WPパラメータ情報の算出には、入力画像の明度勾配を用いて重み係数やオフセットを算出する方法や、符号化した際の予測誤差の累積による重み係数やオフセットの算出方法などを用いてもよい。またWPパラメータ情報は、符号化装置毎に予め定めた固定値を用いてもよい。
At this time, the
ここで、図7を参照しながら、時間的に明度変化のある動画像から、重み係数、重み係数の固定小数点精度、及びオフセットを算出する方法を説明する。前述したように、図7に示すような白から黒に変化するフェード画像では、画像の明度(階調値)が時間とともに減少していく。動き評価部109は、この傾きを計算することにより、重み係数を算出することができる。
Here, with reference to FIG. 7, a method of calculating the weighting coefficient, the fixed-point accuracy of the weighting coefficient, and the offset from the moving image whose brightness changes with time will be described. As described above, in a fade image that changes from white to black as shown in FIG. 7, the brightness (gradation value) of the image decreases with time. The
また、重み係数の固定小数点精度は、この傾きの精度を示す情報であり、動き評価部109は、参照画像の時間的な距離と画像明度の変化度から、最適な値を計算できる。例えば、図7において、Frame(t-1)~Frame(t+1)間の重み係数が小数点精度で0.75である場合、1/4精度であれば、3/4が表現できるため、動き評価部109は、固定小数点精度を2(1<<2)に設定する。固定小数点精度の値は、重み係数を符号化した場合の符号量に影響を与えるため、符号量と予測精度を考慮して最適な値を選択すればよい。なお、固定小数点精度の値は、予め定めた固定値としてもよい。
Further, the fixed-point accuracy of the weighting coefficient is information indicating the accuracy of this inclination, and the
また、動き評価部109は、傾きが一致しない場合、一次関数の切片に対応する補正値(ズレ量)を求めることでオフセット値を算出できる。例えば、図7において、Frame(t-1)~Frame(t+1)間の重み係数が小数点精度で0.60であり、固定小数点精度が1(1<<1)である場合、重み係数は1(つまり、重み係数の小数点精度0.50に該当)が設定される可能性が高い。この場合、重み係数の小数点精度は、最適な値である0.60から0.10ずれているため、動き評価部109は、この分の補正値を画素の最大値から計算し、オフセット値として設定する。画素の最大値が255である場合、動き評価部109は、25(255×0.1)などの値を設定すればよい。
Further, when the slopes do not match, the
なお第1実施形態では、符号化装置100の一機能として動き評価部109を例示しているが、動き評価部109は符号化装置100の必須の構成ではなく、例えば、動き評価部109を符号化装置100外の装置としてもよい。この場合、動き評価部109で算出された動き情報及びWPパラメータ情報を符号化装置100にロードするようにすればよい。
In the first embodiment, the
インデックス設定部108は、動き評価部109から入力されたWPパラメータ情報を受け取り、参照リスト(リスト番号)と参照画像(参照番号)とを確認して、インデックス情報を出力し、符号化部110に入力する。インデックス設定部108は、動き評価部109から入力されたWPパラメータ情報を、後述するシンタクス要素にマッピングしてインデックス情報を生成する。
The
図8A及び図8Bは、第1実施形態のWPパラメータ情報の一例を示す図である。P-slice時のWPパラメータ情報の一例は、図8Aに示すとおりであり、B-slice時のWPパラメータ情報の一例は、図8A及び図8Bに示すとおりである。リスト番号は、予測方向を示す識別子であり、単方向予測時は0の値を取り、双方向予測時は2種類の予測を用いることができるため、0と1の2つの値を取る。参照番号は、フレームメモリ206に示される1~Nに対応する値である。WPパラメータ情報は、参照リストと参照画像毎に保持されるため、B-slice時で必要な情報は、参照画像がN個とすると2N個となる。
8A and 8B are diagrams showing an example of WP parameter information of the first embodiment. An example of WP parameter information at the time of P-slice is as shown in FIG. 8A, and an example of WP parameter information at the time of B-slice is as shown in FIGS. 8A and 8B. The list number is an identifier indicating the prediction direction, and takes a value of 0 at the time of unidirectional prediction, and takes two values of 0 and 1 at the time of bidirectional prediction because two types of prediction can be used. The reference number is a value corresponding to 1 to N shown in the
図1に戻り、符号化部110は、量子化部103から入力された量子化変換係数、動き評価部109から入力された動き情報、インデックス設定部108から入力されたインデックス情報、及び符号化制御部111によって指定される量子化情報などの様々な符号化パラメータに対して符号化処理を行い、符号化データを生成する。符号化処理は、例えば、ハフマン符号化や算術符号化などが該当する。
Returning to FIG. 1, the
符号化パラメータとは、予測方法などを示す予測情報、量子化変換係数に関する情報、及び量子化に関する情報などの復号に必要となるパラメータである。例えば、符号化制御部111が図示せぬ内部メモリを持ち、この内部メモリに符号化パラメータが保持され、画素ブロックを符号化する際に隣接する既に符号化済みの画素ブロックの符号化パラメータを用いるようにできる。例えば、H.264のイントラ予測では、符号化済みの隣接ブロックの予測情報から、画素ブロックの予測情報を導出することができる。
The coding parameter is a parameter required for decoding such as prediction information indicating a prediction method, information on a quantization conversion coefficient, and information on quantization. For example, the
符号化部110は、生成した符号化データを、符号化制御部111が管理する適切な出力タイミングに従って出力する。出力された符号化データは、例えば、図示せぬ多重化部などで様々な情報が多重化されて、図示せぬ出力バッファなどに一時的に蓄積された後に、例えば、図示せぬ蓄積系(蓄積メディア)又は伝送系(通信回線)へ出力される。
The
符号化部110は、エントロピー符号化部110Aと、インデックス再構成部110Bとを、備える。
The
エントロピー符号化部110Aは、入力されてきた情報に対して可変長符号化や算術符号化などの符号化処理を行う。例えば、H.264では、コンテキスト適応型の可変長符号化(CAVLC:Context based Adaptive Variable Length Coding)やコンテキスト適応型の算術符号化(CABAC:Context based Adaptive Binary Arithmetic Coding)などが用いられる。
The
インデックス再構成部110Bは、インデックス設定部108から入力されたインデックス情報のシンタクス要素の符号長を削減するため、シンタクス要素のパラメータの特徴に応じて予測処理を行い、シンタクス要素のそのままの値(直値)と予測値の差分値とを計算し、エントロピー符号化部110Aに出力する。予測処理の具体例は、後述する。
In order to reduce the code length of the syntax element of the index information input from the
図9は、第1実施形態の符号化装置100が利用するシンタクス500の一例を示す図である。シンタクス500は、符号化装置100が入力画像(動画像データ)を符号化して生成した符号化データの構造を示している。符号化データを復号化する場合、後述の復号装置は、シンタクス500と同一のシンタクス構造を参照して動画像のシンタクス解釈を行う。
FIG. 9 is a diagram showing an example of the
シンタクス500は、ハイレベルシンタクス501、スライスレベルシンタクス502及びコーディングツリーレベルシンタクス503の3つのパートを含む。ハイレベルシンタクス501は、スライスよりも上位のレイヤのシンタクス情報を含む。スライスとは、フレーム若しくはフィールドに含まれる矩形領域又は連続領域を指す。スライスレベルシンタクス502は、各スライスを復号化するために必要な情報を含む。コーディングツリーレベルシンタクス503は、各コーディングツリー(即ち、各コーディングツリーブロック)を復号するために必要な情報を含む。これら各パートは、更に詳細なシンタクスを含む。
The
ハイレベルシンタクス501は、シーケンスパラメータセットシンタクス504、ピクチャパラメータセットシンタクス505、及びアダプテーションパラメータセットシンタクス506などのシーケンス及びピクチャレベルのシンタクスを含む。
High-
スライスレベルシンタクス502は、スライスヘッダーシンタクス507、プレッドウェイトテーブルシンタクス508、及びスライスデータシンタクス509などを含む。プレッドウェイトテーブルシンタクス508は、スライスヘッダーシンタクス507から呼び出される。
The
コーディングツリーレベルシンタクス503は、コーディングツリーユニットシンタクス510、トランスフォームユニットシンタクス511、及びプレディクションユニットシンタクス512などを含む。コーディングツリーユニットシンタクス510は、四分木構造を持つことができる。具体的には、コーディングツリーユニットシンタクス510のシンタクス要素として、更にコーディングツリーユニットシンタクス510を再帰呼び出しすることができる。即ち、1つのコーディングツリーブロックを四分木で細分化することができる。また、コーディングツリーユニットシンタクス510内にはトランスフォームユニットシンタクス511が含まれている。トランスフォームユニットシンタクス511は、四分木の最末端の各コーディングツリーユニットシンタクス510において呼び出される。トランスフォームユニットシンタクス511は、逆直交変換及び量子化などに関わる情報が記述されている。これらのシンタクスには、重み付き動き補償予測に関する情報が記述されてもよい。
The coding
図10は、第1実施形態のピクチャパラメータセットシンタクス505の一例を示す図である。weighted_pred_flagは、例えば、P-sliceに関する第1実施形態の重み付き補償予測の有効又は無効を示すシンタクス要素である。weighted_pred_flagが0である場合、P-slice内での第1実施形態の重み付き動き補償予測は無効となる。従って、WPパラメータ情報に含まれるWP適用フラグは常に0に設定され、WPセレクタ304、305は、各々の出力端をデフォルト動き補償部301へ接続する。一方、weighted_pred_flagが1である場合、P-slice内での第1実施形態の重み付き動き補償予測は有効となる。
FIG. 10 is a diagram showing an example of the picture parameter set
なお、別の例として、weighted_pred_flagが1である場合には、より下位のレイヤ(スライスヘッダー、コーディングツリーブロック、トランスフォームユニット、及びプレディクションユニットなど)のシンタクスにおいて、スライス内部の局所領域毎に第1実施形態の重み付き動き補償予測の有効又は無効を規定するようにしてもよい。 As another example, when weighted_pred_flag is 1, in the syntax of lower layers (slice header, coding tree block, transform unit, prediction unit, etc.), the first is for each local area inside the slice. One embodiment may specify the validity or invalidity of the weighted motion compensation prediction.
weighted_bipred_idcは、例えば、B-sliceに関する第1実施形態の重み付き補償予測の有効又は無効を示すシンタクス要素である。weighted_bipred_idcが0である場合、B-slice内での第1実施形態の重み付き動き補償予測は無効となる。従って、WPパラメータ情報に含まれるWP適用フラグは常に0に設定され、WPセレクタ304、305は、各々の出力端をデフォルト動き補償部301へ接続する。一方、weighted_bipred_idcが1である場合、B-slice内での第1実施形態の重み付き動き補償予測は有効となる。
The weighted_bipred_idc is, for example, a syntax element indicating the validity or invalidity of the weighted compensation prediction of the first embodiment regarding B-slice. When weighted_bipred_idc is 0, the weighted motion compensation prediction of the first embodiment in B-slice becomes invalid. Therefore, the WP application flag included in the WP parameter information is always set to 0, and the
なお、別の例として、weighted_bipred_idcが1である場合には、より下位のレイヤ(スライスヘッダー、コーディングツリーブロック、及びトランスフォームユニットなど)のシンタクスにおいて、スライス内部の局所領域毎に第1実施形態の重み付き動き補償予測の有効又は無効を規定するようにしてもよい。 As another example, when weighted_bipred_idc is 1, in the syntax of lower layers (slice header, coding tree block, transform unit, etc.), for each local region inside the slice, the first embodiment The validity or invalidity of the weighted motion compensation prediction may be specified.
図11は、第1実施形態のスライスヘッダーシンタクス507の一例を示す図である。slice_typeはスライスのスライスタイプ(I-slice,P-slice,B-sliceなど)を示している。pic_parameter_set_idは、いずれのピクチャパラメータセットシンタクス505を参照するかを示す識別子である。num_ref_idx_active_override_flagは、有効な参照画像の数を更新するかどうかを示すフラグであり、本フラグが1の場合、参照リストの参照画像数を定義するnum_ref_idx_l0_active_minus1及びnum_ref_idx_l1_active_minus1が利用できる。pred_weight_table()は、重み付き動き補償予測に利用するプレッドウェイトテーブルシンタクスを示す関数であり、前述のweighted_pred_flagが1かつP-sliceの場合、及びweighted_bipred_idcが1かつB-sliceの場合に、本関数が呼び出される。
FIG. 11 is a diagram showing an example of the
図12は、第1実施形態のプレッドウェイトテーブルシンタクス508の一例を示す図である。luma_log2_weight_denomは、スライスにおける輝度信号の重み係数の固定小数点精度を表しており、数式(7)又は数式(9)のlogWDCに対応する値である。chroma_log2_weight_denomは、スライスにおける色差信号の重み係数の固定小数点精度を表しており、数式(7)又は数式(9)のlogWDCに対応する値である。chroma_format_idcは、色空間を表す識別子であり、MONO_IDXはモノクロ映像を示す値である。num_ref_common_active_minus1は、スライスにおける共通リストに含まれる参照画像の数から1を引いた値を示している。
FIG. 12 is a diagram showing an example of the pred
luma_weight_l0_flag及びluma_weight_l1_flagは、リスト0及びリスト1のそれぞれに対応する輝度信号におけるWP適応フラグを示している。本フラグが1の場合、スライス内全域で第1実施形態の輝度信号の重み付き動き補償予測が有効となる。chroma_weight_l0_flag及びchroma_weight_l1_flagは、リスト0及びリスト1のそれぞれに対応する色差信号におけるWP適応フラグを示している。本フラグが1の場合、スライス内全域で第1実施形態の色差信号の重み付き動き補償予測が有効となる。luma_weight_l0[i]及びluma_weight_l1[i]は、リスト0及びリスト1のそれぞれで管理されたi番目に対応する輝度信号の重み係数である。luma_offset_l0[i]及びluma_offset_l1[i]は、リスト0及びリスト1のそれぞれで管理されたi番目に対応する輝度信号のオフセットである。これらは、それぞれ、数式(7)又は数式(9)のw0C、w1C、o0C、o1Cに対応する値である。但し、C=Yとする。
luma_weight_l0_flag and luma_weight_l1_flag indicate WP adaptation flags in the luminance signals corresponding to
chroma_weight_l0[i][j]及びchroma_weight_l1[i][j]は、リスト0及びリスト1のそれぞれで管理されたi番目に対応する色差信号の重み係数である。chroma_offset_l0[i][j]及びchroma_offset_l1[i][j]は、リスト0及びリスト1のそれぞれで管理されたi番目に対応する色差信号のオフセットである。これらは、それぞれ、数式(7)又は数式(9)のw0C、w1C、o0C、o1Cに対応する値である。但し、C=Cr又はCbとする。jは色差成分のコンポーネントを示しており、例えばYUV4:2:0信号の場合、j=0がCr成分、j=1がCb成分であることを示す。
chroma_weight_l0 [i] [j] and chroma_weight_l1 [i] [j] are the i-th corresponding color difference signal weighting coefficients managed in
ここで、シンタクス構成における重み付き予測に関連するそれぞれのシンタクス要素の予測方法の詳細について説明する。シンタクス要素の予測は、インデックス再構成部110Bにより行われる。図13は、第1実施形態の予測方法を明示的に示したシンタクス構成一例を示す図である。図13に示す例では、予測を導入したシンタクス要素をdeltaの接頭語を付けて示しているが、これらのシンタクス構成は基本的に図12で示したシンタクス構成を同じ構成要素を持つ。
Here, the details of the prediction method of each syntax element related to the weighted prediction in the syntax configuration will be described. The prediction of the syntax element is performed by the
まず、重み係数の固定小数点精度を示すluma_log2_weight_denom及びchroma_log2_weight_denomの信号間の予測方法について説明する。インデックス再構成部110Bは、数式(10)を用いて、luma_log2_weight_denom及びchroma_log2_weight_denomの信号間の予測処理を行い、数式(11)を用いて、復元処理を行う。ここでは、図12及び図13に示すとおり、luma_log2_weight_denomが先に定義されているため、luma_log2_weight_denomの値からchroma_log2_weight_denomを予測する。
First, a prediction method between the signals of luma_log2_weight_denom and chroma_log2_weight_denom, which indicate the fixed-point accuracy of the weighting factor, will be described. The
delta_chroma_log2_weight_denom = (chroma_log2_weight_denom - luma_log2_weight_denom) …(10) delta_chroma_log2_weight_denom = (chroma_log2_weight_denom --luma_log2_weight_denom)… (10)
chroma_log2_weight_denom = (luma_log2_weight_denom + delta_chroma_log2_weight_denom) …(11) chroma_log2_weight_denom = (luma_log2_weight_denom + delta_chroma_log2_weight_denom)… (11)
図14は、第1実施形態のchroma_log2_weight_denomの予測処理の一例を示すフローチャートである。 FIG. 14 is a flowchart showing an example of the prediction process of chroma_log2_weight_denom of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に設定されているluma_log2_weight_denomを予測値として導出する(ステップS101)。
First, the
続いて、インデックス再構成部110Bは、chroma_log2_weight_denomからluma_log2_weight_denomを減算し(ステップS102)、差分値をdelta_chroma_log2_weight_denomとしてインデックス情報に設定する(ステップS103)。
Subsequently, the
図15は、第1実施形態のchroma_log2_weight_denomの復元処理の一例を示すフローチャートである。 FIG. 15 is a flowchart showing an example of the restoration process of chroma_log2_weight_denom of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に既に設定されているluma_log2_weight_denomを予測値として導出する(ステップS201)。
First, the
続いて、インデックス再構成部110Bは、luma_log2_weight_denomをdelta_chroma_log2_weight_denomに加算し(ステップS202)、加算値をchroma_log2_weight_denomとしてインデックス情報に設定する(ステップS203)。
Subsequently, the
フェード効果は、一般的に色空間別に異なる時間的変化をさせるケースが少ないため、信号成分毎の固定小数点精度は、輝度成分と色差成分で強い相関がある。このため、このように色空間内で予測することにより、固定小数点精度を示す情報量を削減できる。 Since the fade effect generally has few cases of different temporal changes depending on the color space, the fixed-point accuracy for each signal component has a strong correlation between the luminance component and the color difference component. Therefore, by making predictions in the color space in this way, the amount of information indicating fixed-point accuracy can be reduced.
なお、数式(10)では、色差成分から輝度成分を減算しているが、輝度成分から色差成分を減算してもよい。この場合、数式(10)に応じて数式(11)も式を変形すればよい。 Although the luminance component is subtracted from the luminance component in the mathematical formula (10), the luminance component may be subtracted from the luminance component. In this case, the formula (11) may be modified according to the formula (10).
次に、輝度及び色差信号の重み係数をそれぞれ表すluma_weight_lx[i]及びchroma_weight_lx[i][j]の予測方法について説明する。ここで、xは、0又は1を示す識別子である。luma_weight_lx[i]及びchroma_weight_lx[i][j]の値は、それぞれ、luma_log2_weight_denom及びchroma_log2_weight_denomの値に応じて増減する。例えば、luma_log2_weight_denomの値が3である場合、明度変化がないと仮定した場合のluma_weight_lx[i]は、(1<<3)となる。一方、luma_log2_weight_denomの値が5である場合、明度変化がないと仮定した場合のluma_weight_lx[i]は、(1<<5)となる。 Next, a method for predicting luma_weight_lx [i] and chroma_weight_lx [i] [j], which represent the weight coefficients of the luminance and color difference signals, respectively, will be described. Here, x is an identifier indicating 0 or 1. The values of luma_weight_lx [i] and chroma_weight_lx [i] [j] increase or decrease according to the values of luma_log2_weight_denom and chroma_log2_weight_denom, respectively. For example, if the value of luma_log2_weight_denom is 3, then luma_weight_lx [i] is (1 << 3) assuming that there is no change in brightness. On the other hand, when the value of luma_log2_weight_denom is 5, luma_weight_lx [i] is (1 << 5) assuming that there is no change in brightness.
このため、インデックス再構成部110Bは、明度変化がない場合の重み係数を基準係数(デフォルト値)として予測処理を行う。具体的には、インデックス再構成部110Bは、数式(12)~(13)を用いてluma_weight_lx[i]の予測処理を行い、数式(14)を用いて、復元処理を行う。同様に、インデックス再構成部110Bは、数式(15)~(16)を用いてchroma_weight_lx[i]の予測処理を行い、数式(17)を用いて、復元処理を行う。
Therefore, the
delta_luma_weight_lx[i] = (luma_weight_lx[i] - default_luma_weight_lx) …(12) delta_luma_weight_lx [i] = (luma_weight_lx [i] --default_luma_weight_lx)… (12)
default_luma_weight_lx = (1<<luma_log2_weight_denom) …(13) default_luma_weight_lx = (1 << luma_log2_weight_denom)… (13)
luma_weight_lx[i] = (default_luma_weight_lx + delta_luma_weight_lx[i]) …(14) luma_weight_lx [i] = (default_luma_weight_lx + delta_luma_weight_lx [i])… (14)
delta_chroma_weight_lx[i][j] = (chroma_weight_lx[i][j] - default_chroma_weight_lx) …(15) delta_chroma_weight_lx [i] [j] = (chroma_weight_lx [i] [j] --default_chroma_weight_lx)… (15)
default_chroma_weight_lx = (1<<chroma_log2_weight_denom) …(16) default_chroma_weight_lx = (1 << chroma_log2_weight_denom)… (16)
chroma_weight_lx[i][j] = (default_chroma_weight_lx + delta_chroma_weight_lx[i][j]) …(17) chroma_weight_lx [i] [j] = (default_chroma_weight_lx + delta_chroma_weight_lx [i] [j])… (17)
ここで、default_luma_weight_lx、default_chroma_weight_lxは、それぞれ、輝度成分、色差成分における明度変化がないデフォルト値である。 Here, default_luma_weight_lx and default_chroma_weight_lx are default values in which there is no change in brightness in the luminance component and the color difference component, respectively.
図16は、第1実施形態のluma_weight_lx[i]の予測処理の一例を示すフローチャートである。 FIG. 16 is a flowchart showing an example of the prediction process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に設定されているluma_log2_weight_denomを導出し(ステップS301)、default_luma_weight_lxを予測値として算出する(ステップS302)。
First, the
続いて、インデックス再構成部110Bは、luma_weight_lx[i]からdefault_luma_weight_lxを減算し(ステップS303)、差分値をdelta_luma_weight_lx[i]としてインデックス情報に設定する(ステップS304)。
Subsequently, the
なお、本処理を参照画像枚数分だけ繰り返すことでluma_weight_lx[i]に予測処理を適用できる。 The prediction process can be applied to luma_weight_lx [i] by repeating this process for the number of reference images.
図17は、第1実施形態のluma_weight_lx[i]の復元処理の一例を示すフローチャートである。 FIG. 17 is a flowchart showing an example of the restoration process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に既に設定されているdelta_luma_weight_lx[i]を導出し(ステップS401)、default_luma_weight_lxを予測値として算出する(ステップS402)。
First, the
続いて、インデックス再構成部110Bは、delta_luma_weight_lx[i]をdefault_luma_weight_lxに加算し(ステップS403)、加算値をluma_weight_lx[i]としてインデックス情報に設定する(ステップS404)。
Subsequently, the
なお、ここでは輝度成分に対するフローチャートを示したが、色差成分(chroma_weight_lx[i][j])に関しても同様に予測処理と復元処理が実現できる。 Although the flowchart for the luminance component is shown here, the prediction process and the restoration process can be similarly realized for the color difference component (chroma_weight_lx [i] [j]).
フェード効果を含む画像は、ある特定のフェード変化点でフェードを行い、それ以外の画像は通常の自然画像又はフェード効果のない画像であることが多い。この場合、重み係数は明度変化がない場合を取ることが多くなる。そこで、明度変化がない場合の初期値を、固定小数点精度から導出し、予測値として用いることで重み係数の符号量を削減できる。 An image containing a fade effect is often faded at a specific fade change point, and the other images are normal natural images or images without a fade effect. In this case, the weighting factor is often taken when there is no change in brightness. Therefore, the sign amount of the weighting coefficient can be reduced by deriving the initial value when there is no change in brightness from the fixed-point accuracy and using it as the predicted value.
なお、輝度及び色差信号の重み係数(luma_weight_lx[i]及びchroma_weight_lx[i][j])の予測値を、異なる参照番号又は異なるPOC番号で導出してもよい。この場合、符号化対象スライスから最も距離の近い参照番号をbase_idxとすると、インデックス再構成部110Bは、数式(18)を用いてluma_weight_lx[i]の予測処理を行い、数式(19)を用いて、復元処理を行う。同様に、インデックス再構成部110Bは、数式(20)を用いてchroma_weight_lx[i][j]の予測処理を行い、数式(21)を用いて、復元処理を行う。
The predicted values of the luminance and color difference signal weighting coefficients (luma_weight_lx [i] and chroma_weight_lx [i] [j]) may be derived with different reference numbers or different POC numbers. In this case, assuming that the reference number closest to the coded slice is base_idx, the
delta_luma_weight_lx[i] = (luma_weight_lx[i] - luma_weight_lx[base_idx]) …(18) delta_luma_weight_lx [i] = (luma_weight_lx [i] --luma_weight_lx [base_idx])… (18)
luma_weight_lx[i] = (delta_luma_weight_lx[i] + luma_weight_lx[base_idx]) …(19) luma_weight_lx [i] = (delta_luma_weight_lx [i] + luma_weight_lx [base_idx])… (19)
delta_chroma_weight_lx[i][j] = (chroma_weight_lx[i][j] - chroma_weight_lx[base_idx][j]) …(20) delta_chroma_weight_lx [i] [j] = (chroma_weight_lx [i] [j] --chroma_weight_lx [base_idx] [j])… (20)
chroma_weight_lx[i][j] = (delta_chroma_weight_lx[i][j] + chroma_weight_lx[base_idx][j]) …(21) chroma_weight_lx [i] [j] = (delta_chroma_weight_lx [i] [j] + chroma_weight_lx [base_idx] [j])… (21)
ここで、数式(18)及び(20)では、i≠base_idxとなる。base_idxで示される参照番号の重み係数は、数式(18)及び(20)で利用できないので、数式(12)~(13)及び(15)~(16)を利用すればよい。 Here, in the mathematical formulas (18) and (20), i ≠ base_idx. Since the weighting coefficient of the reference number indicated by base_idx cannot be used in the formulas (18) and (20), the formulas (12) to (13) and (15) to (16) may be used.
図18は、第1実施形態のluma_weight_lx[i]の予測処理の他の例を示すフローチャートである。 FIG. 18 is a flowchart showing another example of the prediction process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、基準となる参照番号を示すbaseidxを設定する(ステップS501)。ここでは、baseidxの値を、仮に0とする。
First, the
続いて、インデックス再構成部110Bは、baseidxに基づいて、インデックス情報からluma_weight_lx[baseidx]を予測値として導出する(ステップS502)。なお、baseidxで示されるインデックス情報のluma_weight_lx[baseidx]は、例えば、予測を行わず直値で符号化されている。
Subsequently, the
続いて、インデックス再構成部110Bは、luma_weight_lx[i]からluma_weight_lx[baseidx]を減算し(ステップS503)、差分値をdelta_luma_weight_lx[i]としてインデックス情報に設定する(ステップS504)。
Subsequently, the
なお、本処理を参照画像枚数分だけ繰り返すことでbaseidx以外のluma_weight_lx[i]に予測処理を適用できる。 By repeating this process for the number of reference images, the prediction process can be applied to luma_weight_lx [i] other than baseidx.
図19は、第1実施形態のluma_weight_lx[i]の復元処理の他の例を示すフローチャートである。 FIG. 19 is a flowchart showing another example of the restoration process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、基準となる参照番号を示すbaseidxを設定する(ステップS601)。ここでは、baseidxの値を、仮に0とする。
First, the
続いて、インデックス再構成部110Bは、baseidxに基づいて、インデックス情報からluma_weight_lx[baseidx]を予測値として導出する(ステップS602)。なお、baseidxで示されるインデックス情報のluma_weight_lx[baseidx]は、例えば、予測を行わず直値で符号化又は復号されている。
Subsequently, the
続いて、インデックス再構成部110Bは、delta_luma_weight_lx[i]をluma_weight_lx[baseidx]に加算し(ステップS603)、加算値をluma_weight_lx[i]としてインデックス情報に設定する(ステップS604)。
Subsequently, the
なお、ここでは輝度成分に対するフローチャートを示したが、色差成分(chroma_weight_lx[i][j])に関しても同様に予測処理と復元処理が実現できる。また、ここでは、例として、luma_weight_lx[i]の予測方法及び復元方法を説明したが、luma_offset_lx[i]に関しても同様に予測、復元が可能である。 Although the flowchart for the luminance component is shown here, the prediction process and the restoration process can be similarly realized for the color difference component (chroma_weight_lx [i] [j]). Further, here, as an example, the prediction method and the restoration method of luma_weight_lx [i] have been described, but the prediction and restoration of luma_offset_lx [i] can be similarly performed.
また、輝度及び色差信号の重み係数(luma_weight_lx[i]及びchroma_weight_lx[i][j])の予測値を、符号化対象の参照スライスとの距離を用いて導出してもよい。この場合、インデックス再構成部110Bは、数式(22)を用いてluma_weight_lx[i]の予測処理を行い、数式(23)を用いて、復元処理を行う。同様に、インデックス再構成部110Bは、数式(24)を用いてchroma_weight_lx[i][j]の予測処理を行い、数式(25)を用いて、復元処理を行う。
Further, the predicted values of the luminance and color difference signal weighting coefficients (luma_weight_lx [i] and chroma_weight_lx [i] [j]) may be derived using the distance from the reference slice to be encoded. In this case, the
delta_luma_weight_lx[i] = (luma_weight_lx[i] - luma_weight_lx[i-1]) …(22) delta_luma_weight_lx [i] = (luma_weight_lx [i] --luma_weight_lx [i-1])… (22)
luma_weight_lx[i] = (delta_luma_weight_lx[i] + luma_weight_lx[i-1]) …(23) luma_weight_lx [i] = (delta_luma_weight_lx [i] + luma_weight_lx [i-1])… (23)
delta_chroma_weight_lx[i][j] = (chroma_weight_lx[i][j] - chroma_weight_lx[i-1][j]) …(24) delta_chroma_weight_lx [i] [j] = (chroma_weight_lx [i] [j] --chroma_weight_lx [i-1] [j])… (24)
chroma_weight_lx[i][j] = (delta_chroma_weight_lx[i][j] + chroma_weight_lx[i-1][j]) …(25) chroma_weight_lx [i] [j] = (delta_chroma_weight_lx [i] [j] + chroma_weight_lx [i-1] [j])… (25)
ここで、数式(22)及び(24)では、i≠0となる。 Here, in the mathematical formulas (22) and (24), i ≠ 0.
なお、本予測処理及び復号処理は、図18及び図19のフローチャートにおいて、baseidxにi-1番目の値(i≠0)を導入することと等価であるため、説明は省略する。なお、ここでは輝度成分に対するフローチャートを示したが、色差成分(chroma_weight_lx[i][j])に関しても同様に予測処理と復元処理が実現できる。また、ここでは、例として、luma_weight_lx[i]の予測方法及び復元方法を説明したが、luma_offset_lx[i]に関しても同様に予測、復元が可能である。 Since the prediction process and the decoding process are equivalent to introducing the i-1st value (i ≠ 0) into baseidx in the flowcharts of FIGS. 18 and 19, the description thereof will be omitted. Although the flowchart for the luminance component is shown here, the prediction process and the restoration process can be similarly realized for the color difference component (chroma_weight_lx [i] [j]). Further, here, as an example, the prediction method and the restoration method of luma_weight_lx [i] have been described, but the prediction and restoration of luma_offset_lx [i] can be similarly performed.
符号化対象スライスが参照可能な参照スライスは、符号化効率の観点で符号化対象スライスから時間距離的又は空間距離的に近いスライスが設定される場合が多い。ここで、時間距離的に連続するスライスの輝度変化は相関が高いため、重み係数及びオフセットの時間距離的な相関も高い。そこで、基準となる参照スライスの重み係数及びオフセット値を用いて、時間的に異なる参照スライスの重み係数及びオフセット値を予測することで、効率良く符号量を削減できる。なお、空間的に同一の参照スライスは、同じ重み係数及びオフセット値を取る場合が多いため、同様の理由で予測を導入することにより、符号量を削減できる。 As the reference slice to which the coded target slice can be referred, a slice that is close in time distance or spatial distance to the coded target slice is often set from the viewpoint of coding efficiency. Here, since the luminance changes of the slices that are continuous over time and distance have a high correlation, the weighting coefficient and the offset have a high correlation over time and distance. Therefore, the code amount can be efficiently reduced by predicting the weighting coefficient and the offset value of the reference slice which are different in time by using the weighting coefficient and the offset value of the reference slice as the reference. Since spatially identical reference slices often have the same weighting factor and offset value, the amount of code can be reduced by introducing prediction for the same reason.
次に、色差信号のオフセットを表すchroma_offset_lx[i][j]の予測方法について説明する。YUVの色空間では、色差成分は、中央値からのズレ量で色を表現する。このため、重み係数を用いて中央値を考慮した明度変化からの変化量を予測値とすることができる。具体的には、インデックス再構成部110Bは、数式(26)~(27)を用いてchroma_offset_lx[i][j]の予測処理を行い、数式(28)を用いて、復元処理を行う。
Next, a method for predicting chroma_offset_lx [i] [j], which represents the offset of the color difference signal, will be described. In the YUV color space, the color difference component expresses the color by the amount of deviation from the median. Therefore, the amount of change from the change in brightness in consideration of the median can be used as the predicted value by using the weighting coefficient. Specifically, the
delta_chroma_offset_lx[i][j] = (chroma_offset_lx[i][j] + ( ( MED * chroma_weight_lx[i][j])>> chroma_log2_weight_denom) - MED ) …(26) delta_chroma_offset_lx [i] [j] = (chroma_offset_lx [i] [j] + ((MED * chroma_weight_lx [i] [j]) >> chroma_log2_weight_denom) --MED)… (26)
MED = (MaxChromaValue>>1) …(27) MED = (MaxChromaValue >> 1)… (27)
ここで、MaxChromaValueは色差信号が取れる最大明度を示している。例えば、8ビットの信号である場合、MaxChromaValueは255であり、MEDは128となる。 Here, MaxChromaValue indicates the maximum brightness at which a color difference signal can be obtained. For example, for an 8-bit signal, MaxChromaValue is 255 and MED is 128.
chroma_offset_lx[i][j] = (delta_chroma_offset_lx[i][j] - ( ( MED * chroma_weight_lx[i][j])>> chroma_log2_weight_denom) + MED ) …(28) chroma_offset_lx [i] [j] = (delta_chroma_offset_lx [i] [j]-((MED * chroma_weight_lx [i] [j]) >> chroma_log2_weight_denom) + MED)… (28)
図20は、第1実施形態のchroma_offset_lx[i][j]の予測処理の一例を示すフローチャートである。 FIG. 20 is a flowchart showing an example of the prediction process of chroma_offset_lx [i] [j] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に設定されているchroma_log2_weight_denomを導出する(ステップS701)。
First, the
続いて、インデックス再構成部110Bは、インデックス情報に設定されているchroma_offset_lx[i][j]を導出する(ステップS702)。
Subsequently, the
続いて、インデックス再構成部110Bは、色差信号の最大値(最大信号)の中間値を導出する(ステップS703)。
Subsequently, the
続いて、インデックス再構成部110Bは、delta_chroma_offsett_lx[i][j]を導出し、インデックス情報に設定する(ステップS704)。
Subsequently, the
図21は、第1実施形態のchroma_offset_lx[i][j]の復元処理の一例を示すフローチャートである。 FIG. 21 is a flowchart showing an example of the restoration process of chroma_offset_lx [i] [j] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に既に設定されているchroma_log2_weight_denomを導出する(ステップS801)。
First, the
続いて、インデックス再構成部110Bは、インデックス情報に設定されているchroma_offset_lx[i][j]を導出する(ステップS802)。
Subsequently, the
続いて、インデックス再構成部110Bは、色差信号の最大値(最大信号)の中間値を導出する(ステップS803)。
Subsequently, the
続いて、インデックス再構成部110Bは、chroma_offsett_lx[i][j]を導出し、インデックス情報に設定する(ステップS804)。
Subsequently, the
色差信号の信号特性を利用して、中央値からのズレ量を考慮した予測値を導入することにより、オフセット値をそのまま符号化する場合と比較して、色差信号のオフセット値の符号量を削減できる。 By using the signal characteristics of the color difference signal and introducing a predicted value that takes into account the amount of deviation from the median, the code amount of the offset value of the color difference signal is reduced compared to the case where the offset value is encoded as it is. can.
次に、H.264などで定義されている重み付き予測の暗黙的重み付き予測のWPパラメータ導出方法を用いた重み係数及び固定小数点精度の予測値導出手法を説明する。H.264の暗黙的重み付き予測では、参照スライス間の時間的距離(POC番号の時間比率)に応じて、重み係数を導出している(オフセットは0となる)。参照スライス間の時間的距離は、POC番号に基づいて、符号化対象スライスと参照スライス間の距離を導出し、その距離比に基づいて重み係数が定まる。この際、固定小数点精度は固定値5に設定される。 Next, H. The method of deriving the predicted value of the weighting coefficient and the fixed-point accuracy using the WP parameter deriving method of the implicit weighted prediction defined in 264 and the like will be described. H. In the implicit weighted prediction of 264, the weighting factor is derived (the offset is 0) according to the time distance between the reference slices (the time ratio of the POC number). For the temporal distance between reference slices, the distance between the coded slice and the reference slice is derived based on the POC number, and the weighting factor is determined based on the distance ratio. At this time, the fixed-point precision is set to a fixed value of 5.
例えばH.264では、数式(29)に示す疑似コードに従って重み係数が導出される。 For example, H. In 264, the weighting coefficient is derived according to the pseudo code shown in the equation (29).
td = Clip3(-128, 127, POCA - POCB)
tb = Clip3(-128, 127, POCT - POCA)
tx = ( td != 0 ) ? ( ( 16384 + abs( td / 2 ) ) / td ) : (0)
DistScaleFactor = Clip3( -1024, 1023, ( tb * tx + 32 ) >> 6 )
implicit_luma_weight_l0[i] = 64 - (DistScaleFactor >> 2)
implicit_luma_weight_l1[i] = DistScaleFactor >> 2 …(29)
td = Clip3 (-128, 127, POCA --POCB)
tb = Clip3 (-128, 127, POCT --POCA)
tx = (td! = 0)? ((16384 + abs (td / 2)) / td): (0)
DistScaleFactor = Clip3 (-1024, 1023, (tb * tx + 32) >> 6)
implicit_luma_weight_l0 [i] = 64-(DistScaleFactor >> 2)
implicit_luma_weight_l1 [i] = DistScaleFactor >> 2… (29)
ここで、POCAは、リスト1に対応する参照画像AのPOC番号、POCBは、リスト0に対応する参照画像BのPOC番号、POCTは、予測対象画像のPOC番号を示している。Clip3(L,M,N)は、最後の引数Nが、最初の2つが示す最小値Lと最大値Mの範囲を超えないようにクリップ処理を行う関数である。abs()関数は、引数の絶対値を返す関数である。td及びtbは、時間比を表しており、tdは、リスト1に対応する参照画像のPOC番号とリスト0に対応する参照画像のPOC番号の差、tbは、予測対象画像のPOC番号とリスト0に対応する参照画像のPOC番号の差を示す。これらの値によって重み係数の距離におけるスケーリング変数DistScaleFactorが導出される。DistScaleFactorに基づいて、リスト0及びリスト1に対応する重み係数(implicit_luma_weight_l0[i]、implicit_luma_weight_l1[i])が導出される。なお、色差信号についても同様に設定される。インデックス再構成部110Bは、ここで導出される固定小数点精度implicit_log2_weight_denomを用いて、数式(30)で固定小数点精度を予測する。
Here, POCA indicates the POC number of the reference image A corresponding to the
delta_luma_log2_weight_denom = (luma_log2_weight_denom - implicit_log2_weight_denom) …(30) delta_luma_log2_weight_denom = (luma_log2_weight_denom --implicit_log2_weight_denom)… (30)
なお、色差信号の固定小数点精度も数式(30)で予測できる。この値は、数式(31)で復元される。 The fixed-point accuracy of the color difference signal can also be predicted by the mathematical formula (30). This value is restored by the formula (31).
luma_log2_weight_denom = (delta_luma_log2_weight_denom + implicit_log2_weight_denom) …(31) luma_log2_weight_denom = (delta_luma_log2_weight_denom + implicit_log2_weight_denom)… (31)
なお、色差信号の固定小数点精度も数式(31)と同様の方法で復元できる。 The fixed-point accuracy of the color difference signal can also be restored by the same method as in the equation (31).
次に、重み係数の予測式を説明する。暗黙的重み係数をimplicit_luma_weight_lx[i]とすると、インデックス再構成部110Bは、数式(32)で重み係数luma_weight_lx[i]を予測し、数式(33)で復元する。
Next, a prediction formula for the weighting factor will be described. Assuming that the implicit weighting factor is implicit_luma_weight_lx [i], the
if(luma_log2_weight_denom >= implicit_log2_weight_denom ) {
norm_denom = (luma_log2_weight_denom - implicit_log2_weight_denom)
delta_luma_weight_lx[i] = (luma_weight_lx[i] - (implicit_luma_weight_lx[i] << norm_denom) )
}
else{
norm_denom = (implicit_log2_weight_denom - luma_log2_weight_denom)
delta_luma_weight_lx[i] = (luma_weight_lx[i] - (implicit_luma_weight_lx[i] >> norm_denom) )
} …(32)
if (luma_log2_weight_denom> = implicit_log2_weight_denom) {
norm_denom = (luma_log2_weight_denom --implicit_log2_weight_denom)
delta_luma_weight_lx [i] = (luma_weight_lx [i]-(implicit_luma_weight_lx [i] << norm_denom))
}
else {
norm_denom = (implicit_log2_weight_denom --luma_log2_weight_denom)
delta_luma_weight_lx [i] = (luma_weight_lx [i]-(implicit_luma_weight_lx [i] >> norm_denom))
}… (32)
ここでは、インデックス再構成部110Bは、暗黙的重み付き予測の固定小数点精度から大きいか小さいかにより、重み係数を補正して予測に利用する。
Here, the
if(luma_log2_weight_denom >= implicit_log2_weight_denom ) {
norm_denom = (luma_log2_weight_denom - implicit_log2_weight_denom)
luma_weight_lx[i] = (delta_luma_weight_lx[i] + (implicit_luma_weight_lx[i] << norm_denom) )
}
else{
norm_denom = (implicit_log2_weight_denom - luma_log2_weight_denom)
luma_weight_lx[i] = (delta_luma_weight_lx[i] + (implicit_luma_weight_lx[i] >> norm_denom) )
} …(33)
if (luma_log2_weight_denom> = implicit_log2_weight_denom) {
norm_denom = (luma_log2_weight_denom --implicit_log2_weight_denom)
luma_weight_lx [i] = (delta_luma_weight_lx [i] + (implicit_luma_weight_lx [i] << norm_denom))
}
else {
norm_denom = (implicit_log2_weight_denom --luma_log2_weight_denom)
luma_weight_lx [i] = (delta_luma_weight_lx [i] + (implicit_luma_weight_lx [i] >> norm_denom))
}… (33)
なお、数式(32)では輝度成分の重み係数の例を示したが、色差成分についても同様な方法を用いることにより予測値を導出できる。 Although the formula (32) shows an example of the weighting coefficient of the luminance component, the predicted value can be derived by using the same method for the color difference component.
図22は、第1実施形態のluma_weight_lx[i]の予測処理の他の例を示すフローチャートである。 FIG. 22 is a flowchart showing another example of the prediction process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に設定されているluma_log2_weight_denomを導出する(ステップS901)。
First, the
続いて、インデックス再構成部110Bは、H.264の暗黙的重み付き予測の導出方法に従って、implicit_log2_weight_denom及びimplicit_luma_weight_lx[i]を導出する(ステップS902、S903)。
Subsequently, the
続いて、インデックス再構成部110Bは、luma_log2_weight_denomがimplicit_log2_weight_denom以上かどうかを判断する(ステップS904)。
Subsequently, the
luma_log2_weight_denomがimplicit_log2_weight_denom以上の場合(ステップS904でYes)、インデックス再構成部110Bは、luma_log2_weight_denomからimplicit_log2_weight_denomを減算し(ステップS905)、implicit_luma_weight_lx[i]を減算した値分左シフトし、予測値を導出する(ステップS906)。
When luma_log2_weight_denom is implicit_log2_weight_denom or more (Yes in step S904), the
一方、luma_log2_weight_denomがimplicit_log2_weight_denom以上でない場合(ステップS904でNo)、インデックス再構成部110Bは、implicit_log2_weight_denomからluma_log2_weight_denomを減算し(ステップS907)、implicit_luma_weight_lx[i]を減算した値分右シフトし、予測値を導出する(ステップS908)。
On the other hand, when luma_log2_weight_denom is not greater than or equal to implicit_log2_weight_denom (No in step S904), the
続いて、インデックス再構成部110Bは、luma_weight_lx[i]から導出した予測値を減算し(ステップS909)、減算した値(差分値)をインデックス情報に設定する(ステップS910)。
Subsequently, the
図23は、第1実施形態のluma_weight_lx[i]の復元処理の他の例を示すフローチャートである。 FIG. 23 is a flowchart showing another example of the restoration process of luma_weight_lx [i] of the first embodiment.
まず、インデックス再構成部110Bは、インデックス情報に既に設定されているluma_log2_weight_denomを導出する(ステップS1001)。
First, the
続いて、インデックス再構成部110Bは、H.264の暗黙的重み付き予測の導出方法に従って、implicit_log2_weight_denom及びimplicit_luma_weight_lx[i]を導出する(ステップS1002、S1003)。
Subsequently, the
続いて、インデックス再構成部110Bは、luma_log2_weight_denomがimplicit_log2_weight_denom以上かどうかを判断する(ステップS1004)。
Subsequently, the
luma_log2_weight_denomがimplicit_log2_weight_denom以上の場合(ステップS1004でYes)、インデックス再構成部110Bは、luma_log2_weight_denomからimplicit_log2_weight_denomを減算し(ステップS1005)、implicit_luma_weight_lx[i]を減算した値分左シフトし、予測値を導出する(ステップS1006)。
When luma_log2_weight_denom is implicit_log2_weight_denom or more (Yes in step S1004), the
一方、luma_log2_weight_denomがimplicit_log2_weight_denom以上でない場合(ステップS1004でNo)、インデックス再構成部110Bは、implicit_log2_weight_denomからluma_log2_weight_denomを減算し(ステップS1007)、implicit_luma_weight_lx[i]を減算した値分右シフトし、予測値を導出する(ステップS1008)。
On the other hand, when luma_log2_weight_denom is not greater than or equal to implicit_log2_weight_denom (No in step S1004), the
続いて、インデックス再構成部110Bは、delta_luma_weight_lx[i]に導出した予測値を加算し(ステップS1009)、加算した値をインデックス情報に設定する(ステップS1010)。
Subsequently, the
なお、上記で説明した複数の予測手法は、単独で使用するだけでなく組み合わせて利用することもできる。例えば、数式(10)、数式(12)~(13)、数式(15)~(16)、及び数式(26)~(27)を組み合わせるなどとすることにより、インデックス情報におけるシンタクス要素の符号量を効率良く削減することが可能となる。 It should be noted that the plurality of prediction methods described above can be used not only individually but also in combination. For example, by combining formulas (10), formulas (12) to (13), formulas (15) to (16), and formulas (26) to (27), the sign amount of the syntax element in the index information Can be efficiently reduced.
以上のように第1実施形態では、インデックス設定部108は、WPパラメータ情報を対応するシンタクス構成にマッピングしたインデックス情報を出力し、インデックス再構成部110Bは、シンタクス要素の冗長な表現を、当該スライス内で符号化される情報に基づいて予測する。従って、第1実施形態によれば、シンタクス要素をそのまま(直値で)符号化する場合と比較して、符号量を削減することができる。
As described above, in the first embodiment, the
ここで、符号化対象スライスで利用されるシンタクス要素の定義順(符号化順序)に基づいて、既に符号化済みのシンタクス要素から画面内相関として予測値を導出することや、明度変化がないことを仮定したデフォルト値から、予測値を導出することで、シンタクス要素の特徴を活かした予測が可能となり、結果としてシンタクス要素の符号化に必要なオーバーヘッドを削減できる効果を奏する。 Here, based on the definition order (coding order) of the syntax elements used in the coded slice, the predicted value is derived from the already coded syntax elements as an in-screen correlation, and there is no change in brightness. By deriving the predicted value from the default value assuming the above, it is possible to make a prediction that makes the best use of the characteristics of the syntax element, and as a result, the overhead required for coding the syntax element can be reduced.
なお、第1実施形態の図10~図13に例示するシンタクステーブルの行間には、本実施形態において規定していないシンタクス要素が挿入されてもよいし、その他の条件分岐に関する記述が含まれていてもよい。また、シンタクステーブルを複数のテーブルに分割したり、複数のシンタクステーブルを統合したりしてもよい。また、例示した各シンタクス要素の用語は、任意に変更可能である。 Note that a syntax element not specified in this embodiment may be inserted between the rows of the syntax table illustrated in FIGS. 10 to 13 of the first embodiment, and a description of other conditional branches is included. You may. Further, the syntax table may be divided into a plurality of tables, or a plurality of syntax tables may be integrated. In addition, the terms of each of the illustrated syntactic elements can be changed arbitrarily.
以上説明したように、第1実施形態の符号化装置100は、符号化する情報のパラメータの相関を利用して空間冗長性を削除することにより、符号化効率が低下する問題を解消する。符号化装置100は、重み付き動き補償予測で用いるシンタクス要素をそのまま(直値で)符号化していた従来の構成と比較して、符号量を削減することができる。
As described above, the
(第2実施形態)
第2実施形態では、第1実施形態の符号化装置で符号化された符号化データを復号する復号装置について説明する。
(Second Embodiment)
In the second embodiment, a decoding device that decodes the coded data encoded by the coding device of the first embodiment will be described.
図24は、第2実施形態の復号装置800の構成の一例を示すブロック図である。
FIG. 24 is a block diagram showing an example of the configuration of the
復号装置800は、図示せぬ入力バッファなどに蓄積された符号化データを復号画像に復号し、出力画像として図示せぬ出力バッファに出力する。符号化データは、例えば、図1の符号化装置100などから出力され、図示せぬ蓄積系、伝送系、又はバッファなどを経て、復号装置800に入力される。
The
復号装置800は、図24に示すように、復号部801と、逆量子化部802と、逆直交変換部803と、加算部804と、予測画像生成部805と、インデックス設定部806とを、備える。逆量子化部802、逆直交変換部803、加算部804、予測画像生成部805は、それぞれ、図1の逆量子化部104、逆直交変換部105、加算部106、予測画像生成部107、と実質的に同一又は類似の要素である。なお、図24に示す復号制御部807は、復号装置800を制御するものであり、例えば、CPUなどにより実現できる。
As shown in FIG. 24, the
復号部801は、符号化データの復号のために、1フレーム又は1フィールド毎にシンタクスに基づいて解読を行う。復号部801は、エントロピー復号部801Aと、インデックス再構成部801Bとを、備える。
The
エントロピー復号部801Aは、各シンタクスの符号列を順次エントロピー復号し、予測モード、動きベクトル、及び参照番号などを含む動き情報、重み付き動き補償予測のためのインデックス情報、並びに量子化変換係数などの符号化対象ブロックの符号化パラメータを再生する。ここで、符号化パラメータとは、上記以外にも変換係数に関する情報、量子化に関する情報、などの復号に必要となるすべてのパラメータである。
The
具体的には、エントロピー復号部801Aは、入力されてきた符号化データに対して可変長復号処理や算術復号処理などの復号処理を行う機能を有する。例えば、H.264ではコンテキスト適応型の可変長符号化(CAVLC:Context based Adaptive Variable Length Coding)やコンテキスト適応型の算術符号化(CABAC:Context based Adaptive Binary Arithmetic Coding)などが用いられている。これらの処理は解読処理とも呼ばれる。
Specifically, the
インデックス再構成部801Bは、解読されたインデックス情報を復元し、インデックス情報を再構成する。具体的には、インデックス再構成部801Bは、解読されたインデックス情報のシンタクス要素の符号長を削減するために、シンタクス要素のパラメータの特徴に応じて予測処理を行い、シンタクス要素を復元し、インデックス情報を再構成する。予測処理の具体例は、後述する。
The
復号部801は、動き情報、インデックス情報、及び量子化変換係数を出力し、量子化変換係数を逆量子化部802に入力し、インデックス情報をインデックス設定部806に入力し、動き情報を予測画像生成部805に入力する。
The
逆量子化部802は、復号部801から入力された量子化変換係数に対して逆量子化処理を行い、復元変換係数を得る。具体的には、逆量子化部802は、復号部801において使用された量子化情報に従って逆量子化を行う。より詳細には、逆量子化部802は、量子化情報によって導出された量子化ステップサイズを量子化変換係数に乗算し、復元変換係数を得る。逆量子化部802は、復元変換係数を出力し、逆直交変換部803に入力する。
The
逆直交変換部803は、逆量子化部802から入力された復元変換係数に対して、符号化側において行われた直交変換に対応する逆直交変換を行い、復元予測誤差を得る。逆直交変換部803は、復元予測誤差を出力し、加算部804に入力する。
The inverse
加算部804は、逆直交変換部803から入力された復元予測誤差と、対応する予測画像とを加算し、復号画像を生成する。加算部804は、復号画像を出力し、予測画像生成部805に入力する。また加算部804は、復号画像を出力画像として外部に出力する。出力画像は、その後図示せぬ外部の出力バッファなどに一時的に蓄積され、例えば、復号制御部807によって管理される出力タイミングに従って、図示せぬディスプレイやモニタなどの表示装置系又は映像デバイス系へ出力される。
The
インデックス設定部806は、復号部801から入力されたインデックス情報を受け取り、WPパラメータ情報に変換して出力し、予測画像生成部805に入力する。具体的には、インデックス設定部806は、エントロピー復号部801Aで復号処理され、インデックス再構成部801Bで再構成されたインデックス情報を受け取る。そしてインデックス設定部806は、参照画像のリストと参照番号を確認して、WPパラメータ情報に変換し、変換したWPパラメータ情報を予測画像生成部805へ出力する。WPパラメータ情報については、図8A及び図8Bを参照して既に説明しているため、説明を省略する。
The
予測画像生成部805は、復号部801から入力された動き情報、インデックス設定部806から入力されたWPパラメータ情報、及び加算部804から入力された復号画像を用いて、予測画像815を生成する。
The predicted
ここで、図4を参照しながら、予測画像生成部805の詳細について説明する。予測画像生成部805は、予測画像生成部107同様、複数フレーム動き補償部201と、メモリ202と、単方向動き補償部203と、予測パラメータ制御部204と、参照画像セレクタ205と、フレームメモリ206と、参照画像制御部207と、を備える。
Here, the details of the predicted
フレームメモリ206は、参照画像制御部207の制御の下、加算部106から入力された復号画像を参照画像として格納する。フレームメモリ206は、参照画像を一時保持するための複数のメモリセットFM1~FMN(N≧2)を有する。
The
予測パラメータ制御部204は、復号部801から入力される動き情報に基づいて、参照画像番号と予測パラメータとの複数の組み合わせをテーブルとして用意している。ここで、動き情報とは、動き補償予測で用いられる動きのズレ量を示す動きベクトルや参照画像番号、単方向/双方向予測などの予測モードに関する情報などを指す。予測パラメータは、動きベクトル及び予測モードに関する情報を指す。そして予測パラメータ制御部204は、動き情報に基づいて、予測画像の生成に用いる参照画像番号と予測パラメータとの組み合わせを選択して出力し、参照画像番号を参照画像セレクタ205に入力し、予測パラメータを単方向動き補償部203に入力する。
The prediction
参照画像セレクタ205は、フレームメモリ206が有するフレームメモリFM1~FMNのいずれの出力端を接続するかを、予測パラメータ制御部204から入力された参照画像番号に従って切り替えるスイッチである。参照画像セレクタ205は、例えば、参照画像番号が0であれば、FM1の出力端を参照画像セレクタ205の出力端に接続し、参照画像番号がN-1であれば、FMNの出力端を参照画像セレクタ205の出力端に接続する。参照画像セレクタ205は、フレームメモリ206が有するフレームメモリFM1~FMNのうち、出力端が接続されているフレームメモリに格納されている参照画像を出力し、単方向動き補償部203へ入力する。なお、復号装置800では、予測画像生成部805以外で参照画像は利用されないため、予測画像生成部805の外部へ参照画像を出力しなくてもよい。
The
単方向予測動き補償部203は、予測パラメータ制御部204から入力された予測パラメータと参照画像セレクタ205から入力された参照画像に従って、動き補償予測処理を行い、単方向予測画像を生成する。動き補償予測については、図5を参照して既に説明しているため、説明を省略する。
The unidirectional prediction
単方向予測動き補償部203は、単方向予測画像を出力し、メモリ202に一時的に格納する。ここで、動き情報(予測パラメータ)が双方向予測を示す場合には、複数フレーム動き補償部201が2種類の単方向予測画像を用いて重み付き予測を行うため、単方向予測動き補償部203は、1つ目に対応する単方向予測画像をメモリ202に格納し、2つ目に対応する単法予測画像を複数フレーム動き補償部201に直接出力する。ここでは、1つ目に対応する単方向予測画像を第一予測画像とし、2つ目に対応する単方向予測画像を第二予測画像とする。
The unidirectional prediction
なお、単方向動き補償部203を2つ用意し、それぞれが2つの単方向予測画像を生成するようにしてもよい。この場合、動き情報(予測パラメータ)が単方向予測を示すときには、単方向動き補償部203が、1つ目の単方向予測画像を第一予測画像として複数フレーム動き補償部201に直接出力すればよい。
It should be noted that two unidirectional
複数フレーム動き補償部201は、メモリ202から入力される第一予測画像、単方向予測動き補償部203から入力される第二予測画像、及び動き評価部109から入力されるWPパラメータ情報を用いて、重み付き予測を行って予測画像を生成する。複数フレーム動き補償部201は、予測画像を出力し、加算部804に入力する。
The multi-frame
ここで、図6を参照しながら、複数フレーム動き補償部201の詳細について説明する。複数フレーム動き補償部201は、予測画像生成部107同様、デフォルト動き補償部301と、重み付き動き補償部302と、WPパラメータ制御部303と、WPセレクタ304、305とを、備える。
Here, the details of the multi-frame
WPパラメータ制御部303は、インデックス設定部806から入力されるWPパラメータ情報に基づいて、WP適用フラグ及び重み情報を出力し、WP適用フラグをWPセレクタ304、305に入力し、重み情報を重み付き動き補償部302に入力する。
The WP
ここで、WPパラメータ情報は、重み係数の固定小数点精度、第一予測画像に対応する第一WP適用フラグ,第一重み係数,及び第一オフセット、並びに第二予測画像に対応する第二WP適応フラグ,第二重み係数,及び第二オフセットの情報を含む。WP適用フラグは、該当する参照画像及び信号成分毎に設定可能なパラメータであり、重み付き動き補償予測を行うかどうかを示す。重み情報は、重み係数の固定小数点精度、第一重み係数、第一オフセット、第二重み係数、及び第二オフセットの情報を含む。なおWPパラメータ情報は、第1実施形態と同様の情報を表す。 Here, the WP parameter information includes the fixed-point accuracy of the weighting factor, the first WP application flag corresponding to the first predicted image, the first weighting factor, and the first offset, and the second WP adaptation corresponding to the second predicted image. Contains information on flags, second weighting factors, and second offset. The WP application flag is a parameter that can be set for each applicable reference image and signal component, and indicates whether or not to perform weighted motion compensation prediction. The weighting information includes information on the fixed-point accuracy of the weighting factors, the first weighting factor, the first offset, the second weighting factor, and the second offset. The WP parameter information represents the same information as in the first embodiment.
詳細には、WPパラメータ制御部303は、インデックス設定部806からWPパラメータ情報が入力されると、WPパラメータ情報を第一WP適用フラグ、第二WP適用フラグ、及び重み情報に分離して出力し、第一WP適用フラグをWPセレクタ304に入力し、第二WP適用フラグをWPセレクタ305に入力し、重み情報を重み付き動き補償部302に入力する。
Specifically, when the WP parameter information is input from the
WPセレクタ304、305は、WPパラメータ制御部303から入力されたWP適用フラグに基づいて、各々の予測画像の接続端を切り替える。WPセレクタ304、305は、各々のWP適用フラグが0の場合、各々の出力端をデフォルト動き補償部301へ接続する。そしてWPセレクタ304、305は、第一予測画像及び第二予測画像を出力し、デフォルト動き補償部301に入力する。一方、WPセレクタ304、305は、各々のWP適用フラグが1の場合、各々の出力端を重み付き動き補償部302へ接続する。そしてWPセレクタ304、305は、第一予測画像及び第二予測画像を出力し、重み付き動き補償部302に入力する。
The
デフォルト動き補償部301は、WPセレクタ304、305から入力された2つの単方向予測画像(第一予測画像及び第二予測画像)を元に平均値処理を行い、予測画像を生成する。具体的には、デフォルト動き補償部301は、第一WP適用フラグ及び第二WP適用フラグが0の場合、数式(1)に基づいて平均値処理を行う。
The default
なお、動き情報(予測パラメータ)で示される予測モードが単方向予測である場合、デフォルト動き補償部301は、第一予測画像のみを用いて、数式(4)に基づいて最終的な予測画像を算出する。
When the prediction mode indicated by the motion information (prediction parameter) is unidirectional prediction, the default
重み付き動き補償部302は、WPセレクタ304、305から入力された2つの単方向予測画像(第一予測画像及び第二予測画像)とWPパラメータ制御部303から入力された重み情報とを元に重み付き動き補償を行う。具体的には、重み付き動き補償部302は、第一WP適用フラグ及び第二WP適用フラグが1の場合、数式(7)に基づいて重み付き処理を行う。
The weighted
なお、重み付き動き補償部302は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるlogWDCを数式(8)のように制御することで丸め処理を実現する。
When the calculated accuracy of the first predicted image and the second predicted image is different from that of the predicted image, the weighted
また、動き情報(予測パラメータ)で示される予測モードが単方向予測である場合、重み付き動き補償部302は、第一予測画像のみを用いて、数式(9)に基づいて最終的な予測画像を算出する。
Further, when the prediction mode indicated by the motion information (prediction parameter) is unidirectional prediction, the weighted
なお、重み付き動き補償部302は、第一予測画像及び第二予測画像と予測画像との演算精度が異なる場合、固定小数点精度であるlogWDCを双方向予測時と同様に数式(8)のように制御することで丸め処理を実現する。
In addition, when the calculation accuracy of the first predicted image and the second predicted image is different from that of the predicted image, the weighted
重み係数の固定小数点精度については、図7を参照して既に説明しているため、説明を省略する。なお、単方向予測の場合には、第二予測画像に対応する各種パラメータ(第二WP適応フラグ,第二重み係数,及び第二オフセットの情報)は利用されないため、予め定めた初期値に設定されていてもよい。 Since the fixed-point accuracy of the weighting factor has already been described with reference to FIG. 7, the description thereof will be omitted. In the case of unidirectional prediction, various parameters (second WP adaptation flag, second weighting coefficient, and second offset information) corresponding to the second prediction image are not used, so they are set to predetermined initial values. It may have been done.
復号部801は、図9に示すシンタクス500を利用する。シンタクス500は、復号部801の復号対象の符号化データの構造を示している。シンタクス500については、図9を参照して既に説明しているため、説明を省略する。また、ピクチャパラメータセットシンタクス505については、符号化が復号である点を除き、図10を参照して既に説明しているため、説明を省略する。また、スライスヘッダーシンタクス507についても、符号化が復号である点を除き、図11を参照して既に説明しているため、説明を省略する。また、プレッドウェイトテーブルシンタクス508についても、符号化が復号である点を除き、図12を参照して既に説明しているため、説明を省略する。
The
ここで、シンタクス構成における重み付き予測に関連するそれぞれのシンタクス要素の予測方法の詳細について説明する。シンタクス要素の予測は、インデックス再構成部801Bにより行われる。第2実施形態の予測方法を明示的に示したシンタクス構成は、第2実施形態と同様であり、図13に示すとおりである。
Here, the details of the prediction method of each syntax element related to the weighted prediction in the syntax configuration will be described. The prediction of the syntax element is performed by the
重み係数の固定小数点精度を示すluma_log2_weight_denom及びchroma_log2_weight_denomの信号間の予測方法については、数式(11)を用いて、復元処理が行われる。復元処理の詳細は、図15に示すとおりである。 For the prediction method between the signals of luma_log2_weight_denom and chroma_log2_weight_denom indicating the fixed-point accuracy of the weighting coefficient, the restoration process is performed using the mathematical formula (11). The details of the restoration process are as shown in FIG.
輝度及び色差信号の重み係数を表すluma_weight_lx[i]及びchroma_weight_lx[i][j]の予測方法については、数式(14)及び(17)を用いて、復元処理が行われる。復元処理の詳細は、図17に示すとおりである。 For the prediction methods of luma_weight_lx [i] and chroma_weight_lx [i] [j] representing the luminance and color difference signal weighting coefficients, restoration processing is performed using mathematical formulas (14) and (17). The details of the restoration process are as shown in FIG.
輝度及び色差信号の重み係数(luma_weight_lx[i]及びchroma_weight_lx[i][j])の予測値を、異なる参照番号又は異なるPOC番号で導出する予測方法については、数式(19)及び(21)を用いて、復元処理が行われる。復元処理の詳細は、図19に示すとおりである。 For prediction methods for deriving the predicted values of the luminance and color difference signal weighting coefficients (luma_weight_lx [i] and chroma_weight_lx [i] [j]) with different reference numbers or different POC numbers, formulas (19) and (21) are used. The restoration process is performed using. The details of the restoration process are as shown in FIG.
輝度及び色差信号の重み係数(luma_weight_lx[i]及びchroma_weight_lx[i][j])の予測値を、符号化対象の参照スライスとの距離を用いて導出する予測方法については、数式(23)及び(25)を用いて、復元処理が行われる。復元処理の詳細は、図19のフローチャートにおいて、baseidxにi-1番目の値(i≠0)を導入することと等価である。 For the prediction method for deriving the predicted values of the luminance and color difference signal weighting coefficients (luma_weight_lx [i] and chroma_weight_lx [i] [j]) using the distance from the reference slice to be encoded, refer to the equation (23) and The restoration process is performed using (25). The details of the restoration process are equivalent to introducing the i-1st value (i ≠ 0) into baseidx in the flowchart of FIG.
H.264などで定義されている重み付き予測の暗黙的重み付き予測のWPパラメータ導出方法を用いた重み係数及び固定小数点精度の予測値導出手法については、数式(31)及び(33)を用いて、復元処理が行われる。復元処理の詳細は、図23に示すとおりである。 H. For the method of deriving the predicted value of the weighting coefficient and the fixed-point accuracy using the WP parameter deriving method of the implicit weighted prediction defined in 264 and the like, the formulas (31) and (33) are used. The restoration process is performed. The details of the restoration process are as shown in FIG.
なお、上記説明した複数の予測手法は、単独で使用するだけでなく組み合わせて利用することもできる。例えば、数式(11)、数式(14)、数式(17)、及び数式(28)を組み合わせるなどとすることにより、インデックス情報におけるシンタクス要素の符号量を効率良く削減することが可能となる。 It should be noted that the plurality of prediction methods described above can be used not only individually but also in combination. For example, by combining the mathematical formula (11), the mathematical formula (14), the mathematical formula (17), and the mathematical formula (28), it is possible to efficiently reduce the sign amount of the syntax element in the index information.
以上のように第2実施形態では、復号装置800は、符号化する情報のパラメータの相関を利用して空間冗長性を削除することにより、符号化効率が低下する問題を解消する。復号装置800は、重み付き動き補償予測で用いるシンタクス要素をそのまま(直値で)符号化していた従来の構成と比較して、符号量を削減することができる。
As described above, in the second embodiment, the
(変形例)
上記第1~第2実施形態では、フレームを16×16画素サイズなどの矩形ブロックに分割し、画面左上のブロックから右下に向かって順に符号化/復号を行う例について説明している(図2Aを参照)。しかしながら、符号化順序及び復号順序はこの例に限定されない。例えば、右下から左上に向かって順に符号化及び復号が行われてもよいし、画面中央から画面端に向かって渦巻を描くように符号化及び復号が行われてもよい。更に、右上から左下に向かって順に符号化及び復号が行われてもよいし、画面端から画面中央に向かって渦巻きを描くように符号化及び復号が行われてもよい。この場合、符号化順序によって参照できる隣接画素ブロックの位置が変わるので、適宜利用可能な位置に変更すればよい。
(Modification example)
In the first to second embodiments, an example is described in which a frame is divided into rectangular blocks having a size of 16 × 16 pixels, and encoding / decoding is performed in order from the block on the upper left of the screen to the lower right (FIG.). See 2A). However, the coding order and the decoding order are not limited to this example. For example, coding and decoding may be performed in order from the lower right to the upper left, or coding and decoding may be performed so as to draw a spiral from the center of the screen toward the edge of the screen. Further, coding and decoding may be performed in order from the upper right to the lower left, or coding and decoding may be performed so as to draw a spiral from the edge of the screen toward the center of the screen. In this case, the positions of the adjacent pixel blocks that can be referred to change depending on the coding order, so the positions may be changed as appropriate.
上記第1~第2実施形態では、4×4画素ブロック、8×8画素ブロック、16×16画素ブロックなどの予測対象ブロックサイズを例示して説明を行ったが、予測対象ブロックは均一なブロック形状でなくてもよい。例えば、予測対象ブロックサイズは、16×8画素ブロック、8×16画素ブロック、8×4画素ブロック、4×8画素ブロックなどであってもよい。また、1つのコーディングツリーブロック内で全てのブロックサイズを統一させる必要はなく、複数の異なるブロックサイズを混在させてもよい。1つのコーディングツリーブロック内で複数の異なるブロックサイズを混在させる場合、分割数の増加に伴って分割情報を符号化又は復号するための符号量も増加する。そこで、分割情報の符号量と局部復号画像または復号画像の品質との間のバランスを考慮して、ブロックサイズを選択することが望ましい。 In the first to second embodiments, the prediction target block sizes such as 4 × 4 pixel block, 8 × 8 pixel block, and 16 × 16 pixel block have been illustrated as examples, but the prediction target block is a uniform block. It does not have to be a shape. For example, the prediction target block size may be a 16 × 8 pixel block, an 8 × 16 pixel block, an 8 × 4 pixel block, a 4 × 8 pixel block, or the like. Further, it is not necessary to unify all block sizes in one coding tree block, and a plurality of different block sizes may be mixed. When a plurality of different block sizes are mixed in one coding tree block, the amount of code for encoding or decoding the division information increases as the number of divisions increases. Therefore, it is desirable to select the block size in consideration of the balance between the code amount of the divided information and the quality of the locally decoded image or the decoded image.
上記第1~第2実施形態では、簡単化のために、輝度信号と色差信号における予測処理とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる予測方法が用いられてよい。輝度信号と色差信号との間で異なる予測方法が用いられるならば、色差信号に対して選択した予測方法を輝度信号と同様の方法で符号化又は復号できる。 In the first and second embodiments described above, for the sake of simplification, a comprehensive description of the color signal component is described without distinguishing between the luminance signal and the prediction process in the color difference signal. However, when the prediction process differs between the luminance signal and the color difference signal, the same or different prediction methods may be used. If different prediction methods are used for the luminance signal and the color difference signal, the prediction method selected for the luminance signal can be encoded or decoded in the same manner as the luminance signal.
上記第1~第2実施形態では、簡単化のために、輝度信号と色差信号における重み付き動き補償予測処理とを区別せず、色信号成分に関して包括的な説明を記述した。しかしながら、重み付き動き補償予測処理が輝度信号と色差信号との間で異なる場合には、同一または異なる重み付き動き補償予測処理が用いられてよい。輝度信号と色差信号との間で異なる重み付き動き補償予測処理が用いられるならば、色差信号に対して選択した重み付き動き補償予測処理を輝度信号と同様の方法で符号化又は復号できる。 In the first and second embodiments described above, for the sake of simplicity, the luminance signal and the weighted motion compensation prediction process in the color difference signal are not distinguished, and a comprehensive description of the color signal component is described. However, when the weighted motion compensation prediction process differs between the luminance signal and the color difference signal, the same or different weighted motion compensation prediction process may be used. If different weighted motion compensation prediction processes are used between the luminance signal and the color difference signal, the weighted motion compensation prediction process selected for the color difference signal can be encoded or decoded in the same manner as the luminance signal.
上記第1~第2実施形態では、シンタクス構成に示す表の行間には、本実施形態で規定していないシンタクス要素が挿入されることも可能であるし、それ以外の条件分岐に関する記述が含まれていても構わない。或いは、シンタクステーブルを複数のテーブルに分割、統合することも可能である。また、必ずしも同一の用語を用いる必要は無く、利用する形態によって任意に変更しても構わない。 In the first and second embodiments, a syntax element not specified in the present embodiment may be inserted between the rows of the table shown in the syntax configuration, and other descriptions regarding conditional branching are included. It doesn't matter if it is. Alternatively, the syntax table can be divided and integrated into a plurality of tables. Further, it is not always necessary to use the same term, and it may be arbitrarily changed depending on the form to be used.
以上説明したように、各実施形態は、重み付き動き補償予測を行う際にシンタクス構成の冗長な情報を符号化する問題を解消しつつ、高効率な重み付き動き補償予測処理を実現する。故に、各実施形態によれば、符号化効率が向上し、ひいては主観画質も向上する。 As described above, each embodiment realizes highly efficient weighted motion compensation prediction processing while solving the problem of encoding redundant information of the syntax configuration when performing weighted motion compensation prediction. Therefore, according to each embodiment, the coding efficiency is improved, and the subjective image quality is also improved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and variations thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
例えば、上記各実施形態の処理を実現するプログラムを、コンピュータで読み取り可能な記憶媒体に格納して提供することも可能である。記憶媒体としては、磁気ディスク、光ディスク(CD-ROM、CD-R、DVD等)、光磁気ディスク(MO等)、半導体メモリなど、プログラムを記憶でき、かつ、コンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。 For example, it is also possible to store and provide a program that realizes the processing of each of the above embodiments in a computer-readable storage medium. The storage medium may be a storage medium such as a magnetic disk, an optical disk (CD-ROM, CD-R, DVD, etc.), a magneto-optical disk (MO, etc.), a semiconductor memory, etc., which can store a program and can be read by a computer. For example, the storage form may be any form.
また、上記各実施形態の処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ(サーバ)上に格納し、ネットワーク経由でコンピュータ(クライアント)にダウンロードさせてもよい。 Further, the program that realizes the processing of each of the above embodiments may be stored on a computer (server) connected to a network such as the Internet and downloaded to the computer (client) via the network.
100 符号化装置
101 減算部
102 直交変換部
103 量子化部
104 逆量子化部
105 逆直交変換部
106 加算部
107 予測画像生成部
108 インデックス設定部
109 動き評価部
110 符号化部
110A エントロピー符号化部
110B インデックス再構成部
111 符号化制御部
201 複数フレーム動き補償部
202 メモリ
203 単方向動き補償部
204 予測パラメータ制御部
205 参照画像セレクタ
206 フレームメモリ
207 参照画像制御部
301 デフォルト動き補償部
302 重み付き動き補償部
303 WPパラメータ制御部
304、305 WPセレクタ
800 復号装置
801 復号部
801A エントロピー復号部
801B インデックス再構成部
802 逆量子化部
803 逆直交変換部
804 加算部
805 予測画像生成部
806 インデックス設定部
807 復号制御部
100
Claims (3)
前記第1固定小数点精度と、色差の重み係数の第2固定小数点精度との差異と同じ値である、第1差分値を表すデータであって、前記第1固定小数点精度と前記第1差分値とが加算されることにより、前記第2固定小数点精度を決定する処理に用いられるデータと、
前記第1固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ参照画像と対象画像との間の輝度における画素値変化がない場合の前記輝度の重み係数の値と同じ値である第1基準値と、前記輝度の重み係数と、の差異と同じ値である、前記輝度の重み係数の第2差分値を表すデータであって、前記第1基準値と前記第2差分値とが加算されることにより、前記輝度の重み係数を決定する処理に用いられるデータと、
前記第2固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ前記参照画像と前記対象画像との間の色差における画素値変化がない場合の前記色差の重み係数の値と同じ値である第2基準値と、前記色差の重み係数と、の差異と同じ値である第3差分値を表すデータであって、前記第3差分値と前記第2基準値とが加算されることにより、前記色差の重み係数を決定する処理に用いられるデータと、
をそれぞれ符号化した符号化データを生成する符号化部と、
前記符号化データを記憶する記憶部と、
を備える記憶装置。 Data representing the first fixed-point accuracy of the luminance weighting factor,
Data representing the first difference value, which is the same value as the difference between the first fixed-point accuracy and the second fixed-point accuracy of the weight coefficient of the color difference, and is the data representing the first fixed-point accuracy and the first difference value. And the data used in the process of determining the second fixed-point accuracy by adding
When the value is the same as the value obtained by shifting "1" to the left by the number of bits determined by the first fixed-point precision, and there is no change in the pixel value in the brightness between the reference image and the target image. Data representing the second difference value of the brightness weighting coefficient, which is the same value as the difference between the first reference value, which is the same value as the brightness weighting coefficient value, and the brightness weighting coefficient. The data used in the process of determining the weighting coefficient of the brightness by adding the first reference value and the second difference value, and
It is the same value as the value obtained by shifting "1" to the left by the number of bits determined by the second fixed-point precision, and there is no change in the pixel value due to the color difference between the reference image and the target image. The data representing the third difference value which is the same value as the difference between the second reference value which is the same value as the value of the weight coefficient of the color difference and the weight coefficient of the color difference in the case, and the third difference value. And the data used in the process of determining the weight coefficient of the color difference by adding the second reference value and the data.
A coding unit that generates coded data that encodes each of
A storage unit for storing the coded data and
A storage device equipped with .
前記第1固定小数点精度と、色差の重み係数の第2固定小数点精度との差異と同じ値である、第1差分値を表すデータであって、前記第1固定小数点精度と前記第1差分値とが加算されることにより、前記第2固定小数点精度を決定する処理に用いられるデータと、
前記第1固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ参照画像と対象画像との間の輝度における画素値変化がない場合の前記輝度の重み係数の値と同じ値である第1基準値と、前記輝度の重み係数と、の差異と同じ値である、前記輝度の重み係数の第2差分値を表すデータであって、前記第1基準値と前記第2差分値とが加算されることにより、前記輝度の重み係数を決定する処理に用いられるデータと、
前記第2固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ前記参照画像と前記対象画像との間の色差における画素値変化がない場合の前記色差の重み係数の値と同じ値である第2基準値と、前記色差の重み係数と、の差異と同じ値である第3差分値を表すデータであって、前記第3差分値と前記第2基準値とが加算されることにより、前記色差の重み係数を決定する処理に用いられるデータと、
をそれぞれ符号化した符号化データを生成する符号化部と、
前記符号化データを送信する送信部と、
を備える送信装置。 Data representing the first fixed-point accuracy of the luminance weighting factor,
Data representing the first difference value, which is the same value as the difference between the first fixed-point accuracy and the second fixed-point accuracy of the weight coefficient of the color difference, and is the data representing the first fixed-point accuracy and the first difference value. And the data used in the process of determining the second fixed-point accuracy by adding
When the value is the same as the value obtained by shifting "1" to the left by the number of bits determined by the first fixed-point precision, and there is no change in the pixel value in the brightness between the reference image and the target image. Data representing the second difference value of the brightness weighting coefficient, which is the same value as the difference between the first reference value, which is the same value as the brightness weighting coefficient value, and the brightness weighting coefficient. The data used in the process of determining the weighting coefficient of the brightness by adding the first reference value and the second difference value, and
It is the same value as the value obtained by shifting "1" to the left by the number of bits determined by the second fixed-point precision, and there is no change in the pixel value due to the color difference between the reference image and the target image. The data representing the third difference value which is the same value as the difference between the second reference value which is the same value as the value of the weight coefficient of the color difference and the weight coefficient of the color difference in the case, and the third difference value. And the data used in the process of determining the weight coefficient of the color difference by adding the second reference value and the data.
A coding unit that generates coded data that encodes each of
A transmission unit that transmits the coded data and
A transmitter equipped with .
前記第1固定小数点精度を符号化するステップと、
前記第1固定小数点精度と前記第2固定小数点精度との差異と同じ値である第1差分値を符号化するステップと、
前記第1固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ前記参照画像と対象画像との間の輝度における画素値変化がない場合の前記輝度の重み係数の値と同じ値である第1基準値を、前記第1固定小数点精度に基づいて導出するステップと、
前記第1基準値と、前記輝度の重み係数と、の差異と同じ値である、前記輝度の重み係数の第2差分値を符号化するステップと、
前記第2固定小数点精度で定められるビット数だけ“1”を左シフトすることによって得られる値と同じ値であって、かつ前記参照画像と前記対象画像との間の色差における画素値変化がない場合の前記色差の重み係数の値と同じ値である第2基準値を、前記第2固定小数点精度に基づいて導出するステップと、
前記色差の重み係数と前記第2基準値との差異と同じ値である、第3差分値を符号化するステップと、
画素値の最大値の中央値から、前記中央値に対して前記色差の重み係数を乗算しかつ前記第2固定小数点精度により定められるビット数だけ右シフトすることによって得られる値を減算することにより得られる値と同じ値である第3基準値を導出するステップと、
色差のオフセットと前記第3基準値との差異と同じ値である第4差分値を符号化するステップと、
を含む符号化方法。 A step of setting an index for a reference image, a luminance weighting factor, a first fixed-point precision of the luminance weighting factor, a color difference weighting factor, and a second fixed-point precision of the color difference weighting factor.
The step of encoding the first fixed-point precision and
A step of encoding a first difference value, which is the same value as the difference between the first fixed-point precision and the second fixed-point precision.
When the value is the same as the value obtained by shifting "1" to the left by the number of bits determined by the first fixed-point precision, and there is no change in the pixel value in the brightness between the reference image and the target image. A step of deriving a first reference value, which is the same value as the value of the weighting coefficient of the brightness, based on the first fixed-point accuracy.
A step of encoding a second difference value of the luminance weighting coefficient, which is the same value as the difference between the first reference value and the luminance weighting coefficient.
It is the same value as the value obtained by shifting "1" to the left by the number of bits determined by the second fixed-point precision, and there is no change in the pixel value due to the color difference between the reference image and the target image. A step of deriving a second reference value, which is the same value as the value of the weight coefficient of the color difference in the case, based on the second fixed-point accuracy.
A step of encoding a third difference value, which is the same value as the difference between the color difference weighting coefficient and the second reference value.
By subtracting the value obtained by multiplying the median by the weighting factor of the color difference and shifting to the right by the number of bits determined by the second fixed-point precision, from the median of the maximum pixel value. The step of deriving the third reference value, which is the same value as the obtained value,
A step of encoding a fourth difference value, which is the same value as the difference between the color difference offset and the third reference value, and
Coding method including.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020094692A JP7000498B2 (en) | 2020-05-29 | 2020-05-29 | Storage device, transmitter and coding method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020094692A JP7000498B2 (en) | 2020-05-29 | 2020-05-29 | Storage device, transmitter and coding method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020000687A Division JP6744507B2 (en) | 2020-01-07 | 2020-01-07 | Encoding method and decoding method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020129848A JP2020129848A (en) | 2020-08-27 |
JP7000498B2 true JP7000498B2 (en) | 2022-01-19 |
Family
ID=72174921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020094692A Active JP7000498B2 (en) | 2020-05-29 | 2020-05-29 | Storage device, transmitter and coding method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7000498B2 (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007379A (en) | 2002-04-10 | 2004-01-08 | Toshiba Corp | Method for encoding moving image and method for decoding moving image |
JP2004007377A (en) | 2002-04-18 | 2004-01-08 | Toshiba Corp | Motion picture coding / decoding method and apparatus |
WO2006128072A3 (en) | 2005-05-26 | 2007-03-01 | Ntt Docomo Inc | Method and apparatus for coding motion and prediction weighting parameters |
JP2007081518A (en) | 2005-09-12 | 2007-03-29 | Victor Co Of Japan Ltd | Moving image coding apparatus and moving image coding method |
JP2009525687A (en) | 2006-02-02 | 2009-07-09 | トムソン ライセンシング | Method and apparatus for adaptive weight selection for motion compensated prediction |
WO2011032852A1 (en) | 2009-09-17 | 2011-03-24 | Mitsubishi Electric R&D Centre Europe B.V. | Weighted motion compensation of video |
WO2011124676A1 (en) | 2010-04-09 | 2011-10-13 | Mitsubishi Electric R&D Centre Europe B.V. | Weighted motion compensation of video |
-
2020
- 2020-05-29 JP JP2020094692A patent/JP7000498B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004007379A (en) | 2002-04-10 | 2004-01-08 | Toshiba Corp | Method for encoding moving image and method for decoding moving image |
JP2004007377A (en) | 2002-04-18 | 2004-01-08 | Toshiba Corp | Motion picture coding / decoding method and apparatus |
WO2006128072A3 (en) | 2005-05-26 | 2007-03-01 | Ntt Docomo Inc | Method and apparatus for coding motion and prediction weighting parameters |
JP2008541502A (en) | 2005-05-26 | 2008-11-20 | 株式会社エヌ・ティ・ティ・ドコモ | Method and apparatus for encoding motion and prediction weighting parameters |
JP2007081518A (en) | 2005-09-12 | 2007-03-29 | Victor Co Of Japan Ltd | Moving image coding apparatus and moving image coding method |
JP2009525687A (en) | 2006-02-02 | 2009-07-09 | トムソン ライセンシング | Method and apparatus for adaptive weight selection for motion compensated prediction |
WO2011032852A1 (en) | 2009-09-17 | 2011-03-24 | Mitsubishi Electric R&D Centre Europe B.V. | Weighted motion compensation of video |
WO2011124676A1 (en) | 2010-04-09 | 2011-10-13 | Mitsubishi Electric R&D Centre Europe B.V. | Weighted motion compensation of video |
Non-Patent Citations (3)
Title |
---|
Akiyuki Tanizawa et al.,AHG18: Explicit Weighted Prediction with simple WP parameter estimation,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-F326r1,6th Meeting: Torino, IT,2011年07月,pp.1-9 |
Akiyuki Tanizawa et al.,Redundancy removal of explicit weighted prediction syntax,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G441r2,7th Meeting: Geneva, CH,2011年11月,pp.1-4 |
Philippe Bordes,Weighted Prediction,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-F265_v3,6th Meeting: Torino, IT,2011年07月,pp.1-14 |
Also Published As
Publication number | Publication date |
---|---|
JP2020129848A (en) | 2020-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2681359C1 (en) | Encoding device, decoding device, encoding method and decoding method | |
JP5925801B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
JP7000498B2 (en) | Storage device, transmitter and coding method | |
JP6419934B2 (en) | Electronic device, encoding method and program | |
JP6088036B2 (en) | Decoding method, decoding apparatus, and program | |
JP6262381B2 (en) | Electronic device, decoding method and program | |
JP6744507B2 (en) | Encoding method and decoding method | |
JP5702011B2 (en) | Encoding method, encoding apparatus, and program | |
RU2638756C2 (en) | Encoding device, decoding device, encoding method and decoding method | |
JP6396566B2 (en) | Electronic device, encoding method and program | |
JP6235745B2 (en) | Electronic device, decoding method and program | |
JP6235742B2 (en) | Electronic device, decoding method and program | |
JP6903778B2 (en) | Storage device, transmitter and receiver | |
JP5869160B2 (en) | Decoding method, decoding apparatus, and program | |
JP6682594B2 (en) | Encoding method and decoding method | |
JP6262380B2 (en) | Electronic device, decoding method and program | |
JP6132950B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
JP2019009792A (en) | Encoding method, decoding method and encoded data | |
JP5916906B2 (en) | Encoding method, decoding method, encoding device, and decoding device | |
JPWO2013057783A1 (en) | Encoding method and decoding method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210728 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211223 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7000498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |