JP5846838B2 - Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof - Google Patents
Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof Download PDFInfo
- Publication number
- JP5846838B2 JP5846838B2 JP2011225460A JP2011225460A JP5846838B2 JP 5846838 B2 JP5846838 B2 JP 5846838B2 JP 2011225460 A JP2011225460 A JP 2011225460A JP 2011225460 A JP2011225460 A JP 2011225460A JP 5846838 B2 JP5846838 B2 JP 5846838B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- correction value
- moving picture
- pixel
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は,ループ内フィルタにて所定の規則によって分類された画素群に対して補正値を与える動画像符号化において,補正値の符号量を削減し,動画像符号化における発生符号量を低減させるための符号化・復号技術に関するものである。 The present invention reduces the code amount of the correction value and reduces the generated code amount in the moving image coding in the moving image coding in which the correction value is given to the pixel group classified by the predetermined rule by the in-loop filter. The present invention relates to an encoding / decoding technique for performing the above.
なお,本願明細書において,所定の規則によって分類された画素群をまとめる構造をクラスと定義する。画素群を分類する規則については,下記の「背景技術」の項にて解説する。 In the present specification, a structure that groups pixel groups classified according to a predetermined rule is defined as a class. The rules for classifying pixel groups are explained in the “Background” section below.
High Efficiency Video Coding(HEVC)として標準化が進められる動画像符号化の次期標準化規格では,H.264に搭載されているデブロッキングフィルタに加えて,ウイナーフィルタベースの適応フィルタおよび画素値の振幅方向の補正を行うSample Adaptive Offset(SAO)〔非特許文献1参照〕が追加されている。 The next standardization standard for moving picture coding, which is being standardized as High Efficiency Video Coding (HEVC), In addition to the deblocking filter mounted on H.264, a Wiener filter-based adaptive filter and Sample Adaptive Offset (SAO) [see Non-Patent Document 1] for correcting the amplitude direction of pixel values are added.
SAOの処理の概要について説明する。なお,本願明細書において,図18に記すシンタックス要素pqao_type_idx で指定される9種類をSAOタイプと定義する。SAOでは,まず復号画像の画素値の特性に基づき,各画素を複数のクラスに分類する。続いて4分木構造に基づく階層表現により画面内を分割し,4分木の葉ノードにあたる領域に対して,前記クラスごとに分類された該当画素への補正が行われる。 An outline of SAO processing will be described. In the present specification, nine types designated by the syntax element pqao_type_idx shown in FIG. 18 are defined as SAO types. In SAO, first, each pixel is classified into a plurality of classes based on the characteristics of the pixel value of the decoded image. Subsequently, the screen is divided by a hierarchical expression based on the quadtree structure, and correction to the corresponding pixels classified for each class is performed on the area corresponding to the leaf node of the quadtree.
クラスには,band offset(BO) ,edge offset(EO) の2つのカテゴリがある。 There are two categories of classes: band offset (BO) and edge offset (EO).
(1)band offset(BO)
図19は,BOにおけるクラス分類を示している。画素値のレンジ(8ビット信号では,0〜255)に基づき,レンジを等間隔に32分割する。この各区間をBOにおけるクラスとし,クラスごとに補正値を算出する。この32分割された区間は16個の区間からなる2つのグループに分けられ,補正値を伝送するのは,図19に示すように指定された一方のグループのみである。ここで,図19におけるfirst group をBO_1,second groupをBO_2とする。
(1) band offset (BO)
FIG. 19 shows the class classification in BO. Based on the range of pixel values (0 to 255 for 8-bit signals), the range is divided into 32 at equal intervals. Each section is defined as a class in BO, and a correction value is calculated for each class. The 32 divided sections are divided into two groups of 16 sections, and only one group designated as shown in FIG. 19 transmits the correction value. Here, the first group in FIG. 19 is BO_1 and the second group is BO_2.
(2)edge offset(EO)
近傍画素値との大小関係に基づきクラス分類を行う。大小関係の分類方法としては,2 近傍画素との大小関係に基づく4種類の方法と,4近傍画素との大小関係に基づく2種類の方法とが用意されている。
(2) edge offset (EO)
Class classification is performed based on the magnitude relationship with neighboring pixel values. As a classification method of magnitude relation, four kinds of methods based on the magnitude relation with 2 neighboring pixels and two kinds of methods based on the magnitude relation with 4 neighboring pixels are prepared.
図20は,EOにおける近傍画素の選択方法を示す図であり,図21は,EOにおけるクラス分類を示す図である。具体的なクラス分類は,図21に示すように2近傍画素との大小関係に基づく方法では5つのクラス(図20(a)〜(d)に対するクラス分類),4近傍画素との大小関係に基づく方法では7つのクラス(図20(e),(f)に対するクラス分類)にそれぞれ分類され,クラスごとに補正値を算出する。ここで,前記2近傍画素との大小関係に基づく4種類をそれぞれEO_1〜4とし,4近傍画素との大小関係に基づく方法をそれぞれEO_5,6とする。 FIG. 20 is a diagram illustrating a method of selecting neighboring pixels in EO, and FIG. 21 is a diagram illustrating class classification in EO. As shown in FIG. 21, the specific class classification includes five classes (class classification for FIGS. 20A to 20D) in the method based on the magnitude relationship with two neighboring pixels, and the magnitude relation with four neighboring pixels. In the method based on this, the data is classified into seven classes (class classifications for FIGS. 20E and 20F), and a correction value is calculated for each class. Here, the four types based on the magnitude relationship with the two neighboring pixels are EO_1 to 4, respectively, and the methods based on the magnitude relationship with the four neighboring pixels are EO_5 and 6, respectively.
各補正値は,符号化ストリームのスライスヘッダに格納され,BO_1,2にはそれぞれ16クラス,EO_1〜4にはそれぞれ5クラス,EO_5,6にはそれぞれ7クラス分の補正値がすべて符号化/復号される。 Each correction value is stored in the slice header of the encoded stream. The correction values for 16 classes are respectively stored in BO_1 and 2; 5 classes are respectively stored in EO_1 to 4; and 7 classes are respectively stored in EO_5 and 6; Decrypted.
符号化時には,前記4分木の葉ノードにあたる領域に対して,前記BO_1,2もしくはEO_1〜6もしくはSAOを適用しない手法のいずれかがRD最適化により選択され,選択された手法を明示する番号(図18参照)がSAOタイプとして符号化ストリームに加えられる。 At the time of encoding, any one of the methods that do not apply BO_1, 2 or EO_1 to 6 or SAO to the region corresponding to the leaf node of the quadtree is selected by RD optimization, and a number that clearly indicates the selected method (see FIG. 18) is added to the encoded stream as the SAO type.
復号時には,前記4分木の葉ノードにあたる領域に対して,符号化時に選択された手法を明示する番号(SAOタイプ)を符号化ストリームから復号し,当該手法を適用して画素値の補正を行う。 At the time of decoding, for the area corresponding to the leaf node of the quadtree, a number (SAO type) specifying the method selected at the time of encoding is decoded from the encoded stream, and the pixel value is corrected by applying the method.
例えば黒フェード過程の画像のように画面全体が暗い画像では,BOの各クラスに割り当てられる画素は画素値の低いクラスに集中し,画素値の高いクラスの割り当て画素数はほとんどが零になる。EOについても,画面内の模様次第では割り当て画素数が零になるクラスが発生し得る。 For example, in an image with a dark entire screen such as an image in a black fade process, the pixels assigned to each class of BO are concentrated in a class having a low pixel value, and the number of assigned pixels in a class having a high pixel value is almost zero. As for EO, a class in which the number of assigned pixels is zero may occur depending on the pattern in the screen.
しかし,従来のSAOでは,前述のとおり該当クラス分の補正値がすべて符号化/復号される。つまり,割り当て画素数が零のクラスに対しても,何らかの補正値を付加情報として伝送しており,符号化効率向上に改善に余地を残す。 However, in the conventional SAO, as described above, all correction values for the corresponding class are encoded / decoded. That is, some correction value is transmitted as additional information even for a class in which the number of assigned pixels is zero, leaving room for improvement in encoding efficiency.
本発明は,上記課題の解決を図り,SAOにおける付加情報の発生符号量の削減を図り,符号化効率を向上させることを目的とする。 An object of the present invention is to solve the above-described problems, reduce the amount of codes generated for additional information in SAO, and improve encoding efficiency.
本発明は,符号化時に復号画像に対して各クラスの割り当て画素数を事前に解析しておき,各クラスに対して与えられた補正値を符号化する際に,割り当て画素数が非零のクラスの補正値のみを符号化して符号化ストリームに加え,割り当て画素数が零のクラスに対しては補正値を符号化ストリームに格納する処理を省略する適応処理を実行する。 In the present invention, the number of assigned pixels of each class is analyzed in advance with respect to the decoded image at the time of encoding, and when the correction value given to each class is encoded, the number of assigned pixels is non-zero. Only the correction value of the class is encoded and added to the encoded stream, and for the class with the number of assigned pixels of zero, an adaptive process that omits the process of storing the correction value in the encoded stream is executed.
復号時には,各クラスに対して与えられた補正値を復号する前に,復号画像に対して各クラスの割り当て画素数を事前に解析する。割り当て画素数が非零のクラスの補正値のみを復号し,割り当て画素数が零のクラスに対しては,補正値の復号を省略する適応処理を実行する。 At the time of decoding, before decoding the correction value given to each class, the number of assigned pixels of each class is analyzed in advance with respect to the decoded image. Only a correction value of a class having a non-zero number of assigned pixels is decoded, and an adaptive process that omits decoding of the correction value is executed for a class having a zero number of assigned pixels.
なお,クラスごとの割り当て画素数は,復号装置においても符号化装置と共通の処理手順を用いて算出可能である。このため,クラスごとの割り当て画素数に基づいて,復号装置側ではクラスの補正値の復号の要否を判断することができ,この判断のための符号化情報の追加は不要である。これにより,SAOにおける補正値の発生符号量を削減することが可能となる。 Note that the number of assigned pixels for each class can be calculated in the decoding apparatus using a processing procedure common to the encoding apparatus. Therefore, based on the number of assigned pixels for each class, the decoding device can determine whether or not it is necessary to decode the correction value of the class, and it is not necessary to add encoding information for this determination. Thereby, it is possible to reduce the generated code amount of the correction value in SAO.
本発明により,ループ内フィルタにおけるSAOの付加情報が削減可能であり,この結果,動画像符号化における発生符号量の低減を実現することができる。 According to the present invention, it is possible to reduce SAO additional information in the in-loop filter, and as a result, it is possible to reduce the amount of generated code in moving picture coding.
以下,図面を用いて,本発明の実施形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
〔動画像符号化装置の構成例〕
図1は,本発明を適用する動画像符号化装置の一構成例を示す図である。動画像符号化装置100において,本実施形態は,特にインループフィルタ処理部110の部分が従来技術と異なる部分であり,他の部分は,従来の一般的な動画像符号化装置の構成と同様である。
[Configuration example of moving image encoding apparatus]
FIG. 1 is a diagram illustrating a configuration example of a moving image encoding apparatus to which the present invention is applied. In the moving
動画像符号化装置100は,符号化対象の映像信号を入力し,入力映像信号のフレームをブロックに分割してブロックごとに符号化し,そのビットストリームを符号化ストリームとして出力する。予測残差信号生成部103は,入力映像信号のブロックと,イントラ予測部101もしくはインター予測部102の予測ブロックとの差分を求め,それを予測残差信号とする。変換部104は,予測残差信号に対する直交変換(DCT)等を行い,変換係数を出力する。量子化部105は,変換係数を量子化し,量子化後変換係数を出力する。
The
逆量子化部106では,量子化部105の逆量子化が行われ,逆変換部107では,変換係数の逆変換が行われる。逆変換後の値は,復号信号生成部108にて前記予測ブロックと加算合成され,復号画像記憶部109に格納される。復号画像記憶部109の画像は,イントラ予測部101 にて使用される。当該フレームのすべてのブロックに対して上記処理が終了すると,インループフィルタ処理部110にて復号画像の符号化歪を除去する画像処理フィルタが施され,フィルタ後の出力信号はフレームバッファ111に格納される。
In the
フレームバッファ111の画像は,インター予測部102にて使用される。イントラ予測部101,インター予測部102の予測情報や量子化後変換係数,インループフィルタ処理部110のオーバーヘッドは,エントロピー符号化部112に入力される。エントロピー符号化部112は,入力情報に対するエントロピー符号化を行い,符号化ストリームを出力する。
The image in the
〔動画像符号化装置におけるインループフィルタ処理部の構成例〕
図2は,本発明を適用する動画像符号化装置におけるインループフィルタ処理部の一構成例を示す図である。インループフィルタ処理部110において,本実施形態は,特にSAO処理部1102の部分が従来技術と異なる部分であり,他の部分は従来の一般的な動画像符号化装置の構成と同様である。
[Configuration Example of In-Loop Filter Processing Unit in Video Encoding Device]
FIG. 2 is a diagram illustrating a configuration example of an in-loop filter processing unit in a moving image encoding apparatus to which the present invention is applied. In the in-loop
インループフィルタ処理部110は,フィルタリング処理前の信号と原信号を入力とし,デブロッキングフィルタ処理部1101にてブロックノイズを軽減し,SAO処理部1102にて画素値の振幅方向の補正を行い,適応フィルタ処理部1103にて原信号との二乗誤差を最小化する計3段階のフィルタ処理を行う。フィルタリング後の信号は,フレームバッファ111に格納され,インター予測にて参照される。また,SAO処理部1102および適応フィルタ処理部1103は,それぞれ各種係数を出力し,これらの出力は,エントロピー符号化部112に入力されて符号化ストリームに格納される。
The in-loop
〔動画像符号化におけるインループフィルタ処理手順の例〕
前述したインループフィルタ処理部110の機能は,内包する3つのフィルタ処理により,復号信号の符号化ノイズを除去することである。インループフィルタ処理の入力は,ノイズ除去前の復号信号と原信号であり,出力は,ノイズ除去後の復号信号とインループフィルタのオーバーヘッドである。
[Example of in-loop filter processing procedure in video coding]
The function of the in-loop
図3は,動画像符号化におけるインループフィルタ処理のフローチャートである。以下,図3に示す各ステップでの処理を説明する。
・ステップS101:原信号と復号信号とを読み込む。
・ステップS102:デブロッキングフィルタを実行してブロックノイズを軽減する。
・ステップS103:SAOを実行して画素値の振幅方向の補正を行い,フィルタ係数やブロックサイズ,フィルタの適用非適用を記したフラグなど,各種係数を決定する。
・ステップS104:適応フィルタを実行して原信号との二乗誤差を最小化するフィルタ処理を行い,フィルタ係数やブロックサイズ,フィルタの適用非適用を記したフラグなど,各種係数を決定する。
・ステップS105:SAOの各種係数および適応フィルタの各種係数をインループフィルタのオーハーヘッドとして出力し,ノイズ除去後の復号信号を出力する。
FIG. 3 is a flowchart of in-loop filter processing in moving image coding. Hereinafter, processing in each step shown in FIG. 3 will be described.
Step S101: Read an original signal and a decoded signal.
Step S102: A deblocking filter is executed to reduce block noise.
Step S103: SAO is executed to correct the pixel value in the amplitude direction, and various coefficients such as a filter coefficient, a block size, and a flag indicating application / non-application of the filter are determined.
Step S104: An adaptive filter is executed to perform a filter process that minimizes a square error with the original signal, and various coefficients such as a filter coefficient, a block size, and a flag that indicates whether the filter is not applied are determined.
Step S105: The various coefficients of SAO and the various coefficients of the adaptive filter are output as the in-loop filter overhead, and the decoded signal after noise removal is output.
〔動画像符号化装置におけるSAO処理部の構成例〕
前述した図2に示すSAO処理部1102は,所定サイズの最大ブロックをから4分木構造にてブロックを細分化しながら最適なSAOタイプと適用ブロックサイズを決定する。
[Configuration Example of SAO Processing Unit in Video Encoding Device]
The
図4に,任意ブロックに対するSAO処理を実行するSAO処理部の詳細な構成例を示す。本実施形態は,特に補正値符号化部204が従来技術と異なる部分であり,他の部分は従来の一般的な動画像符号化装置の構成と同様である。また,本発明の手法では,補正値符号化部204に追加の入力として復号信号を与える。
FIG. 4 shows a detailed configuration example of the SAO processing unit that executes SAO processing on an arbitrary block. In the present embodiment, the correction
まず,最適SAOタイプ/補正値決定部201では,対象ブロックに対して図18に記載のpqao_type_idx (0〜8)のすべてのタイプの中からRDコストが最小となるSAOタイプと補正値を決定し,補正後の対象ブロックを生成する。分割判定部202では,対象ブロックのサイズから,対象ブロックを田の字形に4分割するか否かの判定が行われる。
First, the optimum SAO type / correction
4分木分割フラグ/SAOタイプ符号化部203にて,分割フラグと最適なSAOタイプの符号化を行い,補正値符号化部204にて,最適SAOタイプ/補正値決定部201で決定した補正値の符号化を行った後,発生符号量と補正後の対象ブロックからRDコスト算出部205にて,RDコストを算出する。
The quadtree division flag / SAO
分割判定部202における判定で,対象ブロックの分割が可能な場合,4分木分割フラグ符号化部206にて,分割フラグの符号化を行い,第1分割ブロック計算部207〜第4分割ブロック計算部210のそれぞれにて,本図(図4)に記載の処理部による再帰的な処理が繰り返されて,分割ブロックそれぞれのRDコスト,補正後分割ブロック,各種係数が出力される。
If it is determined by the
分割決定部211では,対象ブロックのRDコストと分割ブロック4つのRDコストの合計値との判定が行われ,RDコストが低い方のRDコスト,補正後ブロック,各種係数を出力する。分割判定部202の判定にて,対象ブロックが分割できない場合,4分木分割フラグ/SAOタイプ符号化部203では,分割フラグの符号化処理を省略し,4分木分割フラグ符号化部206,第1分割ブロック計算部207〜第4分割ブロック計算部210で算出される4つの分割ブロックのRDコストの合計値には十分に大きな値が代入される。
The
〔動画像符号化におけるSAO処理手順の例〕
SAO処理部の機能は,4分木構造に分割した各対象ブロックのSAOタイプと補正値を算出することである。SAO処理部の入力は,補正前の復号信号,原信号,対象ブロックの座標値,対象ブロックのサイズであり,出力は,補正後の対象ブロック,RDコスト,各種係数である。
[Example of SAO processing procedure in video encoding]
The function of the SAO processing unit is to calculate the SAO type and correction value of each target block divided into a quadtree structure. The input of the SAO processing unit is the decoded signal before correction, the original signal, the coordinate value of the target block, and the size of the target block, and the output is the target block after correction, the RD cost, and various coefficients.
図5および図6は,動画像符号化におけるSAO処理のフローチャートである。図5および図6に示す各ステップに従って,図4に示すSAO処理部が行う処理について説明する。
・ステップS201:補正前の復号信号,対象ブロックの座標値,対象ブロックのサイズ,原信号を読み込む。
・ステップS202:対象ブロックの最適なSAOタイプと補正値を算出し,補正後の対象ブロックを生成する。
・ステップS203:対象ブロックの座標値とサイズから分割可否の判断を行う。
・ステップS204:ステップS203の判断結果から分割可否に応じた条件分岐を行う。
・ステップS205:分割可能な場合,まず,分割可能でも分割しないケースのために,分割フラグ(off)の符号化と最適なSAOタイプの符号化を行い,ステップS207へ進む。
・ステップS206:分割不可能な場合,最適なSAOタイプの符号化を行う。
・ステップS207:最適なSAOタイプにて使用される各クラスの補正値を符号化する。
・ステップS208:対象ブロックのRDコストを算出する。
・ステップS209:ステップS203の判断結果から分割可否の条件分岐を行う。もし分割不可能の場合には,ステップS215に移り,可能な場合には,以下の処理を実行する。
・ステップS210:RDコスト×4を0で初期化し,分割ブロック用のストリームとして分割フラグ(on)の符号化を行う。
・ステップS211:田の字形に分割した各分割ブロックに対して,ステップS214までの処理を繰り返す(ループL1)。
・ステップS212:分割ブロックのそれぞれについて,本処理を再帰的に呼び出し,ステップS201以降の処理を行う。
・ステップS213:分割ブロックのRDコストをRDコスト×4に加算する。
・ステップS214:各分割ブロックに対するループL1の処理が終了したならば,ステップS216へ進む。
・ステップS215:ブロックの分割が不可能な場合,RDコスト×4に十分に大きな値を代入する。
・ステップS216:対象ブロックのRDコストとRDコスト×4を比較し,コストが低い方のRDコスト,補正後ブロック,各種係数を出力する。
5 and 6 are flowcharts of SAO processing in moving image coding. The processing performed by the SAO processing unit shown in FIG. 4 according to the steps shown in FIGS. 5 and 6 will be described.
Step S201: Read the decoded signal before correction, the coordinate value of the target block, the size of the target block, and the original signal.
Step S202: The optimum SAO type and correction value of the target block are calculated, and a corrected target block is generated.
Step S203: Judgment of whether or not division is possible is performed from the coordinate value and size of the target block.
Step S204: Perform conditional branching according to the possibility of division based on the determination result of step S203.
Step S205: When division is possible, first, for the case where division is possible but not division, division flag (off) encoding and optimum SAO type encoding are performed, and the process proceeds to step S207.
Step S206: When division is impossible, optimal SAO type encoding is performed.
Step S207: Encode the correction value of each class used in the optimum SAO type.
Step S208: Calculate the RD cost of the target block.
Step S209: Perform conditional branching on whether or not division is possible based on the determination result in step S203. If division is impossible, the process proceeds to step S215, and if possible, the following processing is executed.
Step S210: The RD cost × 4 is initialized to 0, and the division flag (on) is encoded as a divided block stream.
Step S211: The process up to Step S214 is repeated for each divided block divided into a square shape (loop L1).
Step S212: This process is recursively called for each of the divided blocks, and the processes after step S201 are performed.
Step S213: The RD cost of the divided block is added to RD cost × 4.
Step S214: When the processing of the loop L1 for each divided block is completed, the process proceeds to step S216.
Step S215: When block division is impossible, a sufficiently large value is substituted for RD cost × 4.
Step S216: Compare the RD cost of the target block with the RD cost × 4, and output the RD cost with the lower cost, the corrected block, and various coefficients.
〔動画像符号化装置におけるSAOの補正値符号化部の構成例〕
前述した図4に示すSAOの補正値符号化部204が従来手法と本実施形態とで異なる部分である。図7は,補正値符号化部の構成例を示しており,特に図7(A)は,従来法による例,図7(B)は,本発明の実施形態による例を示している。
[Configuration Example of Correction Value Encoding Unit of SAO in Video Encoding Device]
The SAO correction
最初に,従来法におけるSAOの補正値符号化部204′の構成例を,図7(A)に従って説明する。
First, a configuration example of the SAO correction
従来の補正値符号化部204′の場合,符号化対象クラス判定部2041′は,最適なSAOタイプから同定される各クラスを判定し,クラス補正値符号化部2042′にて対象となる全クラスの補正値の符号化を行う。
In the case of the conventional correction
これに対して,本実施形態に係る補正値符号化部204は,図7(B)に示すように構成される。符号化対象クラス判定部2041は,従来の符号化対象クラス判定部2041′と同一の機能を有する。クラス内該当画素数算出部2043は,復号信号内に最適なSAOタイプの各クラスに割り当てられる画素数をカウントする。クラス補正値符号化部2042は,各クラスに割り当てられる画素数が非零のクラスのみを対象として補正値の符号化を行う。
On the other hand, the correction
〔動画像符号化におけるSAOの補正値符号化処理〕
前述した補正値符号化部204の機能は,最適なSAOタイプに該当する各クラスの補正値の符号化を行うことである。そのための補正値符号化部204の入力は,最適なSAOタイプ,各クラスの補正値であり,本実施形態では,さらに復号信号も入力する。補正値符号化部204の出力は,各種係数(符号化された各クラスの補正値) である。
[SAO correction value encoding processing in moving image encoding]
The function of the correction
図8は,補正値符号化部の処理フローを示しており,特に図8(A)は,従来法による例,図8(B)は,本発明の実施形態による例を示している。 FIG. 8 shows a processing flow of the correction value encoding unit, in particular, FIG. 8A shows an example according to the conventional method, and FIG. 8B shows an example according to the embodiment of the present invention.
最初に,従来法におけるSAOの補正値符号化部204′の処理手順を,図8(A)に従って説明する。
・ステップS311:最適なSAOタイプ,各クラスの補正値を読み込む。
・ステップS312:最適なSAOタイプから符号化対象とするクラスを同定する。
・ステップS313:対象となる全クラスの補正値の符号化を行う。
First, the processing procedure of the SAO correction
Step S311: Read the optimum SAO type and correction value for each class.
Step S312: The class to be encoded is identified from the optimum SAO type.
Step S313: Encode correction values for all classes to be processed.
これに対して,本実施形態によるSAOの補正値符号化部204では,図8(B)に示す処理を実行する。
・ステップS301:まず,最適なSAOタイプ,各クラスの補正値,復号信号を読み込む。
・ステップS302:最適なSAOタイプから符号化対象とするクラスを同定する。
・ステップS303:復号信号内にて最適なSAOタイプの符号化対象とする各クラスに割り当てられる画素数をカウントする。
・ステップS304:対象となるクラスにおいて,ステップS303にて割り当てられる画素数が非零のクラスの補正値のみ符号化を行う。
In contrast, the SAO correction
Step S301: First, an optimum SAO type, a correction value for each class, and a decoded signal are read.
Step S302: Identify the class to be encoded from the optimum SAO type.
Step S303: Count the number of pixels allocated to each class to be encoded with the optimum SAO type in the decoded signal.
Step S304: In the target class, only the correction value of the class in which the number of pixels allocated in step S303 is non-zero is encoded.
〔動画像復号装置の構成例〕
図9は,本発明を適用する動画像復号装置の一構成例を示す図である。動画像復号装置300において,本実施形態は,インループフィルタ処理部308の部分が従来技術と異なる部分であり,他の部分は,従来の一般的な動画像復号装置の構成と同様である。
[Configuration example of video decoding device]
FIG. 9 is a diagram illustrating a configuration example of a moving image decoding apparatus to which the present invention is applied. In the moving
動画像復号装置300は,符号化ストリームを入力し,エントロピー復号部301にてブロックごとの予測情報や量子化後変換係数,インループフィルタのオーバーヘッドが復号される。復号された量子化後変換係数は,逆量子化部304にて逆量子化が行われ,逆変換部305にて逆直交変換(IDCT)等が行われる。逆変換部305の出力信号は,復号信号生成部306により,イントラ予測部302もしくはインター予測部303の予測ブロックと加算合成され,復号画像記憶部307に格納される。
The moving
復号画像記憶部307の画像は,イントラ予測部302にて使用される。当該フレームのすべてのブロックに対して上記処理が終了すると,インループフィルタ処理部308にて復号画像の符号化歪を除去する画像処理フィルタが施され,フィルタ後の出力信号はフレームバッファ310に格納される。フレームバッファ310の画像は,インター予測部303にて使用される。
The image in the decoded
〔動画像復号装置におけるインループフィルタ処理部の構成例〕
図10は,本発明を適用する動画像復号装置におけるインループフィルタ処理部の一構成例を示す図である。インループフィルタ処理部308において,本実施形態は,特にSAO処理部3082の部分が従来技術と異なる部分であり,他の部分は従来の一般的な動画像復号装置の構成と同様である。
[Configuration Example of In-Loop Filter Processing Unit in Video Decoding Device]
FIG. 10 is a diagram illustrating a configuration example of an in-loop filter processing unit in the video decoding device to which the present invention is applied. In the in-loop
インループフィルタ処理部308は,フィルタリング処理前の信号と各種係数を入力とし,デブロッキングフィルタ処理部3081にてブロックノイズを軽減し,SAO処理部3082にて画素値の振幅方向の補正を行い,適応フィルタ処理部3083にて原信号との二乗誤差を最小化する計3段階のフィルタ処理を行う。
The in-loop
フィルタリング後の信号はフレームバッファ310に格納され,インター予測部303にて参照される。また,SAO処理部3082および適応フィルタ処理部3083は,それぞれ各種係数を入力とし,動画像符号化装置で決定された適切なフィルタ係数やブロックサイズ,フィルタの適用非適用を記したフラグを用いてフィルタリングを実行する。
The filtered signal is stored in the
〔動画像復号におけるインループフィルタ処理手順の例〕
前述したインループフィルタ処理部308の機能は,内包する3つのフィルタ処理により,復号信号の符号化ノイズを除去することである。インループフィルタ処理の入力は,ノイズ除去前の復号信号とインループフィルタのオーバーヘッドであり,出力は,ノイズ除去後の復号信号である。
[Example of in-loop filter processing procedure in video decoding]
The function of the in-loop
図11は,動画像復号におけるインループフィルタ処理のフローチャートである。以下,図11に示す各ステップでの処理を説明する。
・ステップS401:復号信号とインループフィルタのオーハーヘッドを読み込む。
・ステップS402:デブロッキングフィルタを実行してブロックノイズを軽減する。
・ステップS403:オーバーヘッドを読み解き,SAOを実行して画素値の振幅方向の補正を行う。
・ステップS404:オーバーヘッドを読み解き,適応フィルタを実行する。
FIG. 11 is a flowchart of in-loop filter processing in moving picture decoding. Hereinafter, processing in each step shown in FIG. 11 will be described.
Step S401: Read decoded signal and in-loop filter overhead.
Step S402: A deblocking filter is executed to reduce block noise.
Step S403: The overhead is read and SAO is executed to correct the amplitude direction of the pixel value.
Step S404: The overhead is read and an adaptive filter is executed.
〔動画像復号装置におけるSAO処理部の構成例〕
前述した図10に示すSAO処理部3082は,所定サイズの最大ブロックから4分木構造にて細分化された各ブロックに対して,復号されたSAOタイプに基づく補正を行う。
[Configuration Example of SAO Processing Unit in Video Decoding Device]
The above-described
図12に,任意ブロックに対するSAO処理を実行するSAO処理部の構成例を示す。本実施形態は,特に補正値復号部404が従来技術と異なる部分であり,他の部分は従来の一般的な動画像復号装置の構成と同様である。また,本発明の手法では,補正値復号部404に追加の入力として復号信号を与える。
FIG. 12 shows a configuration example of a SAO processing unit that executes SAO processing on an arbitrary block. In this embodiment, the correction
まず,分割判定部401にて対象ブロックのサイズから分割フラグ復号の要/不要を判定し,4分木分割フラグ復号部402にて復号を行う際,分割可能な場合は分割フラグの復号処理を行い,不可能な場合は復号処理を省略する。このとき,分割フラグがoffの場合には,SAOタイプ復号部403の処理を行い,補正値復号部404にてSAOタイプの対象クラスの各補正値を復号し,SAO実行部405にてSAOを実行し,補正後ブロックを出力する。分割フラグがonの場合には,第1分割ブロック計算部406〜第4分割ブロック計算部409のそれぞれにて対象ブロックを田の字形に分割した各分割ブロックに対して,本図(図12)に記載の処理部による再帰的な計算処理を行う。
First, the
〔動画像復号におけるSAO処理手順の例〕
動画像復号におけるSAO処理部の機能は,4分木構造に分割した各対象ブロック対してSAOによる補正を行うことである。SAO処理部の入力は,補正前の復号信号,対象ブロックの座標値,対象ブロックのサイズ,各種係数であり,出力は,補正後の対象ブロックである。
[Example of SAO processing procedure in video decoding]
The function of the SAO processing unit in moving image decoding is to perform correction by SAO for each target block divided into a quadtree structure. The input of the SAO processing unit is a decoded signal before correction, the coordinate value of the target block, the size of the target block, and various coefficients, and the output is the target block after correction.
図13は,動画像復号におけるSAO処理のフローチャートである。図13に示す各ステップに従って,図10に示すSAO処理部3082が行う処理について説明する。
・ステップS501:補正前の復号信号,対象ブロックの座標値,対象ブロックのサイズ,各種係数を読み込む。
・ステップS502:対象ブロックのサイズから分割可否の判断を行う。
・ステップS503:ステップS502の判断結果から分割可否の条件分岐を行い,分割不可能な場合にはステップS506に移る。
・ステップS504:分割可能な場合には,分割フラグを復号する。
・ステップS505:分割フラグの条件分岐を行い,onの場合にはステップS509に移る。offの場合にはステップS506に進む。
・ステップS506:SAOタイプを復号する。
・ステップS507:SAOタイプの各クラスにおける補正値の復号を行う。
・ステップS508:補正値とSAOタイプを用いて対象ブロックの画素値の補正を行い,補正後ブロックを出力し,SAO処理を終了する。
・ステップS509:分割フラグがonの場合,田の字形に分割した各分割ブロックに対して,ステップS511までの処理を繰り返す(ループL1)。
・ステップS510:分割ブロックそれぞれに対して,本処理を再帰的に呼び出し,ステップS501以降の処理を行う。
・ステップS511:各分割ブロックに対するループL1の処理が終了したならば,SAO処理を終了する。
FIG. 13 is a flowchart of SAO processing in moving picture decoding. Processing performed by the
Step S501: Read the decoded signal before correction, the coordinate value of the target block, the size of the target block, and various coefficients.
Step S502: It is determined whether or not division is possible based on the size of the target block.
Step S503: A conditional branch indicating whether or not division is possible is performed based on the determination result in step S502. If division is impossible, the process proceeds to step S506.
Step S504: If division is possible, the division flag is decoded.
Step S505: Conditional branching of the division flag is performed. If it is on, the process proceeds to step S509. If it is off, the process proceeds to step S506.
Step S506: Decrypt the SAO type.
Step S507: The correction value in each class of SAO type is decoded.
Step S508: Correct the pixel value of the target block using the correction value and the SAO type, output the corrected block, and end the SAO processing.
Step S509: When the division flag is on, the processing up to step S511 is repeated for each divided block divided into a square shape (loop L1).
Step S510: This process is recursively called for each of the divided blocks, and the processes after Step S501 are performed.
Step S511: When the process of the loop L1 for each divided block is completed, the SAO process is terminated.
〔動画像復号装置におけるSAOの補正値復号部の構成例〕
前述した図12に示すSAOの補正値復号部404が従来手法と本実施形態とで異なる部分である。図14は,補正値復号部の構成例を示しており,特に図14(A)は,従来法による例,図14(B)は,本発明の実施形態による例を示している。
[Configuration Example of SAO Correction Value Decoding Unit in Moving Picture Decoding Device]
The aforementioned SAO correction
従来法におけるSAOの補正値復号部404′は,図14(A)に示すように構成され,クラス補正値復号部4041′は,最適なSAOタイプから対象となる全クラスの補正値の復号を行う。
The SAO correction
これに対して,本実施形態におけるSAOの補正値復号部404は,図14(B)に示すように構成され,クラス内該当画素数算出部4041は,復号信号内に最適なSAOタイプの各クラスに割り当てられる画素数をカウントする。クラス補正値復号部4042では,各クラスに割り当てられる画素数が非零のクラスのみを対象として補正値の復号を行う。
On the other hand, the SAO correction
〔動画像復号におけるSAOの補正値復号処理〕
補正値復号部404の機能は,最適なSAOタイプに該当する各クラスの補正値の復号を行うことである。そのための補正値復号部404の入力は,最適なSAOタイプ,各種係数(符号化された各クラスの補正値)であり,本実施形態では,さらに復号信号も入力する。補正値復号部404の出力は,最適なSAOタイプに該当する各クラスの補正値である。
[SAO correction value decoding processing in moving image decoding]
The function of the correction
図15は,補正値復号部の処理フローを示しており,特に図15(A)は,従来法による例,図15(B)は,本発明の実施形態による例を示している。 FIG. 15 shows a processing flow of the correction value decoding unit, in particular, FIG. 15A shows an example according to the conventional method, and FIG. 15B shows an example according to the embodiment of the present invention.
最初に,従来法におけるSAOの補正値復号部404′の処理手順を,図15(A)に従って説明する。
・ステップS611:最適なSAOタイプ,各種係数を読み込む。
・ステップS612:対象となる全クラスの補正値の復号を行う。
・ステップS613:復号したクラスの補正値を出力する。
First, the processing procedure of the SAO correction
Step S611: The optimum SAO type and various coefficients are read.
Step S612: The correction values for all the classes to be processed are decoded.
Step S613: Output the correction value of the decoded class.
これに対して,本実施形態によるSAOの補正値復号部404では,図15(B)に示す処理を実行する。
・ステップS601:最適なSAOタイプ,各種係数(補正値),復号信号を読み込む。
・ステップS602:復号信号内にて最適なSAOタイプの復号対象とする各クラスに割り当てられる画素数をカウントする。
・ステップS603:対象となるクラスにおいて,ステップS602にて割り当てられる画素数が非零のクラスの補正値のみ復号を行う。
・ステップS604:復号したクラスの補正値を出力する。
On the other hand, the SAO correction
Step S601: Read an optimum SAO type, various coefficients (correction values), and a decoded signal.
Step S602: Count the number of pixels assigned to each class to be decoded of the optimum SAO type in the decoded signal.
Step S603: Only the correction value of the class in which the number of pixels allocated in step S602 is non-zero in the target class is decoded.
Step S604: The decoded class correction value is output.
以上説明した動画像符号化および動画像復号の処理は,コンピュータとソフトウェアプログラムとによっても実現することができ,そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも,ネットワークを通して提供することも可能である。 The video encoding and video decoding processes described above can be realized by a computer and a software program, and the program can be recorded on a computer-readable recording medium or provided through a network. It is.
図16に,図1の動画像符号化装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU700と,CPU700がアクセスするプログラムやデータが格納されるRAM等のメモリ701と,カメラ等からの符号化対象の映像信号を入力する映像信号入力部702(ディスク装置等による映像信号を記憶する記憶部でもよい)と,本手法により入力映像信号を符号化する処理をCPU700に実行させるソフトウェアプログラムである動画像符号化プログラム704が格納されたプログラム記憶装置703と,CPU700がメモリ701にロードされた動画像符号化プログラム704を実行することにより生成された符号化データを,例えばネットワークを介して出力する符号化ストリーム出力部705(ディスク装置等による符号化ストリームを記憶する記憶部でもよい)とが,バスで接続された構成になっている。
FIG. 16 shows a hardware configuration example in the case where the moving picture encoding apparatus of FIG. 1 is configured by a computer and a software program. This system includes a
図17に,図9の動画像復号装置をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは,プログラムを実行するCPU800と,CPU800がアクセスするプログラムやデータが格納されるRAM等のメモリ801と,動画像符号化装置が本手法により符号化して出力した符号化ストリームを入力する符号化ストリーム入力部802(ディスク装置等による符号化ストリームを記憶する記憶部でもよい)と,本手法により入力符号化ストリームを復号する処理をCPU800に実行させるソフトウェアプログラムである動画像復号プログラム804が格納されたプログラム記憶装置803と,CPU800がメモリ801にロードされた動画像復号プログラム804を実行することにより,符号化ストリームを復号した復号映像を,再生装置などに出力する復号映像データ出力部805とが,バスで接続された構成になっている。
FIG. 17 shows a hardware configuration example in the case where the moving picture decoding apparatus of FIG. 9 is configured by a computer and a software program. This system includes a
以上,図面を参照して本発明の実施の形態を説明してきたが,上記実施の形態は本発明の例示に過ぎず,本発明が上記実施の形態に限定されるものではないことは明らかである。したがって,本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加,省略,置換,その他の変更を行ってもよい。 The embodiments of the present invention have been described above with reference to the drawings. However, the above embodiments are merely examples of the present invention, and it is obvious that the present invention is not limited to the above embodiments. is there. Accordingly, additions, omissions, substitutions, and other modifications of the components may be made without departing from the spirit and technical scope of the present invention.
100 動画像符号化装置
110 インループフィルタ処理部
1102 SAO処理部
204 補正値符号化部
2041 符号化対象クラス判定部
2042 クラス補正値符号化部
2043 クラス内該当画素数算出部
300 動画像復号装置
308 インループフィルタ処理部
3082 SAO処理部
404 補正値復号部
4041 クラス内該当画素数算出部
4042 クラス補正値復号部
DESCRIPTION OF
Claims (6)
前記各クラスに割り当てられる復号信号内の画素数をカウントするステップと,
前記画素数のカウント結果に基づき,対象となるクラスに割り当てられる画素数が非零のクラスの補正値のみを符号化して符号化ストリームに加えるステップとを有する
ことを特徴とする動画像符号化方法。 For the decoded image generated in the moving image encoding process, each pixel is classified into a plurality of classes based on the characteristics of the pixel value of the decoded image, pixel correction values are given for each class, and based on the correction values In a moving image encoding method using an in-loop filter having a processing function for correcting a pixel value of a decoded image,
Counting the number of pixels in the decoded signal assigned to each class;
A video encoding method comprising: encoding only a correction value of a class having a non-zero number of pixels allocated to a target class based on the pixel count result and adding the correction value to the encoded stream. .
前記各クラスに割り当てられる復号信号内の画素数をカウントする手段と,
前記画素数のカウント結果に基づき,対象となるクラスに割り当てられる画素数が非零のクラスの補正値のみを符号化して符号化ストリームに加える手段とを備える
ことを特徴とする動画像符号化装置。 For the decoded image generated in the moving image encoding process, each pixel is classified into a plurality of classes based on the characteristics of the pixel value of the decoded image, pixel correction values are given for each class, and based on the correction values In a moving image encoding apparatus using an in-loop filter having a processing function for correcting a pixel value of a decoded image,
Means for counting the number of pixels in the decoded signal assigned to each class;
A moving picture encoding apparatus comprising: a means for encoding only a correction value of a class having a non-zero number of pixels assigned to a target class based on the pixel count result and adding the correction value to an encoded stream. .
前記各クラスに割り当てられる復号信号内の画素数をカウントするステップと,
前記画素数のカウント結果に基づき,対象となるクラスに割り当てられる画素数が非零のクラスの補正値のみを復号するステップとを有する
ことを特徴とする動画像復号方法。 For the decoded image generated in the moving image decoding process, the pixel class classified based on the characteristic of the pixel value of the decoded image is identified, and the decoding is performed based on the correction value of the pixel given to the identified class. In a moving picture decoding method using an in-loop filter having a processing function for correcting a pixel value of an image,
Counting the number of pixels in the decoded signal assigned to each class;
And a step of decoding only the correction value of the class in which the number of pixels assigned to the target class is non-zero based on the result of counting the number of pixels.
前記各クラスに割り当てられる復号信号内の画素数をカウントする手段と,
前記画素数のカウント結果に基づき,対象となるクラスに割り当てられる画素数が非零のクラスの補正値のみを復号する手段とを備える
ことを特徴とする動画像復号装置。 For the decoded image generated in the moving image decoding process, the pixel class classified based on the characteristic of the pixel value of the decoded image is identified, and the decoding is performed based on the correction value of the pixel given to the identified class. In a moving picture decoding apparatus using an in-loop filter having a processing function for correcting a pixel value of an image,
Means for counting the number of pixels in the decoded signal assigned to each class;
A moving picture decoding apparatus comprising: means for decoding only a correction value of a class in which the number of pixels allocated to a target class is non-zero based on the result of counting the number of pixels.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225460A JP5846838B2 (en) | 2011-10-13 | 2011-10-13 | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011225460A JP5846838B2 (en) | 2011-10-13 | 2011-10-13 | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013089979A JP2013089979A (en) | 2013-05-13 |
JP5846838B2 true JP5846838B2 (en) | 2016-01-20 |
Family
ID=48533523
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011225460A Active JP5846838B2 (en) | 2011-10-13 | 2011-10-13 | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5846838B2 (en) |
-
2011
- 2011-10-13 JP JP2011225460A patent/JP5846838B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013089979A (en) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7051773B2 (en) | Intra prediction method and encoders and decoders using it | |
US11032561B2 (en) | Flexible band offset mode in sample adaptive offset in HEVC | |
TWI499267B (en) | Multi-metric filtering | |
US10448015B2 (en) | Method and device for performing adaptive filtering according to block boundary | |
KR102492009B1 (en) | Image information encoding and decoding method | |
US20160073107A1 (en) | Method and apparatus for video encoding/decoding using intra prediction | |
EP2755388A1 (en) | Method, device, and program for encoding and decoding image | |
WO2012134204A2 (en) | In-loop filtering method and apparatus for same | |
US20120082235A1 (en) | Coding and decoding utilizing context model selection with adaptive scan pattern | |
CN110650349B (en) | Image encoding method, decoding method, encoder, decoder and storage medium | |
KR101365101B1 (en) | Adapting transform coefficient scaling in video/image coding to block features identified in the transform domain | |
US9172967B2 (en) | Coding and decoding utilizing adaptive context model selection with zigzag scan | |
WO2020259631A1 (en) | Signaling coding of transform-skipped blocks | |
JP6065613B2 (en) | Video encoding device | |
JP2019521555A (en) | Method and apparatus for decoding a block of intra-predicted pictures and corresponding coding method and apparatus | |
JP2013090120A (en) | Image coding method, image decoding method, image coder, image decoder, and program thereof | |
CA2812252A1 (en) | Coding and decoding utilizing context model selection with adaptive scan pattern | |
JP5846838B2 (en) | Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and programs thereof | |
US11962801B2 (en) | Image decoding device, image decoding method, and program | |
US11477446B2 (en) | Encoding method and apparatus therefor, and decoding method and apparatus therefor | |
US10694190B2 (en) | Processing apparatuses and controlling methods thereof | |
KR20200004348A (en) | Method and apparatus for processing video signal through target region correction | |
CA3155622A1 (en) | Efficient implementation of matrix-based intra-prediction | |
CN118555405A (en) | Video decompression method, video compression method, video decompression device and computer equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140501 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5846838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |