JP6154588B2

JP6154588B2 - Image encoding apparatus, image decoding apparatus, and program

Info

Publication number: JP6154588B2
Application number: JP2012184293A
Authority: JP
Inventors: 境田　慎一; 慎一境田; 市ヶ谷　敦郎; 敦郎市ヶ谷; 泰子森田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2012-08-23
Filing date: 2012-08-23
Publication date: 2017-06-28
Anticipated expiration: 2032-08-23
Also published as: JP2014042206A

Description

本発明は、量子化制御を行う画像符号化装置、画像復号装置及びプログラムに関する。 The present invention relates to an image encoding device, an image decoding device, and a program that perform quantization control.

ＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）、又は規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などの圧縮符号化方式では、映像信号の各フレームをブロックと呼ばれる矩形領域に分割する。 MPEG (Moving Picture Experts Group) -2, H.M. In a compression encoding method such as H.264 / AVC (Advanced Video Coding) or HEVC (High Efficiency Video Coding) under standardization, each frame of a video signal is divided into rectangular areas called blocks.

これらの圧縮符号化方式では、ブロックを単位として画像信号を周波数領域の信号に変換する変換符号化が採用されている。変換された周波数領域の信号は、量子化により代表値に置き換えられ、この代表値の置き換えの程度により映像情報の圧縮の度合いを制御する。 In these compression coding systems, transform coding is used in which an image signal is converted into a frequency domain signal in units of blocks. The converted signal in the frequency domain is replaced with a representative value by quantization, and the degree of compression of video information is controlled by the degree of replacement of the representative value.

量子化は、入力信号をある数値で除算することで実現する。除算する数値は量子化パラメータによって制御する。量子化パラメータは、ブロック単位で変化、制御されることにより、全体の圧縮率と画質を定める。 Quantization is realized by dividing the input signal by a certain numerical value. The numerical value to be divided is controlled by the quantization parameter. The quantization parameter is changed and controlled in units of blocks, thereby determining the overall compression rate and image quality.

ＭＰＥＧ−２やＨ．２６４／ＡＶＣ規格では、マクロブロックと呼ばれる１６×１６画素サイズのブロックを単位に処理がなされ、量子化パラメータはマクロブロックごとに変換させることが可能な仕組みになっている。 MPEG-2 and H.264 In the H.264 / AVC standard, processing is performed in units of 16 × 16 pixel size blocks called macroblocks, and the quantization parameter can be converted for each macroblock.

一方、ＨＥＶＣ規格では、ＣＵ（Coding Unit）と呼ばれる可変サイズブロックが導入されており、このＣＵを階層的に分割した小さなＴＵ（Transformation Unit）を単位として周波数変換や量子化が行われる。量子化パラメータは、ＣＵを単位として制御する仕組みが現在検討されている（非特許文献１）。 On the other hand, in the HEVC standard, a variable size block called a CU (Coding Unit) is introduced, and frequency conversion and quantization are performed in units of small TUs (Transformation Units) obtained by hierarchically dividing the CU. A mechanism for controlling the quantization parameter in units of CU is currently under study (Non-patent Document 1).

K.Sato, M.Budagavi, M.Coban, H.Aoki, X.li, "Description of Core Experiment 4:Quantization", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH, 16-23 March, 2011K.Sato, M.Budagavi, M.Coban, H.Aoki, X.li, "Description of Core Experiment 4: Quantization", Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO / IEC JTC1 / SC29 / WG11 5th Meeting: Geneva, CH, 16-23 March, 2011

ここで、現在規格化作業中のＨＥＶＣでは、前述した通り、符号化単位のＣＵよりも小さい単位の変換単位のＴＵで周波数変換、量子化を行う。しかしながら、量子化パラメータはＣＵ単位で設定されるため、符号化単位より小さな単位で圧縮率や画質の制御を行うことができなかった。 Here, in the HEVC that is currently being standardized, as described above, frequency conversion and quantization are performed using a TU that is a unit of conversion smaller than a CU that is a unit of coding. However, since the quantization parameter is set in units of CU, the compression rate and the image quality cannot be controlled in units smaller than the encoding unit.

そこで、本発明は、上記課題に鑑みてなされたものであり、符号化単位より小さな単位で圧縮率や画質の制御を行うことができる画像符号化装置、画像復号装置及びプログラムを提供することを目的とする。 Accordingly, the present invention has been made in view of the above problems, and provides an image encoding device, an image decoding device, and a program capable of controlling the compression rate and the image quality in units smaller than the encoding unit. Objective.

本発明の一態様における画像符号化装置は、画像を符号化単位に分割し、前記符号化単位を複数の変換単位で周波数変換して係数信号を生成して符号化を行う画像符号化装置であって、前記変換単位の係数信号に基づいて、量子化パラメータと対数で比例の関係にある量子化制御情報を前記変換単位毎に設定する量子化制御部と、前記符号化単位に含まれる全ての前記変換単位の量子化制御情報を、前記符号化単位内での前記変換単位の位置情報を変数とする近似関数で近似する近似部と、前記近似部により近似された前記量子化制御情報を用いて、前記係数信号を量子化する量子化処理部と、前記近似部により生成された近似関数のパラメータを符号化し、ストリームに含めるパラメータ符号化部と、を備える。 An image encoding apparatus according to an aspect of the present invention is an image encoding apparatus that divides an image into encoding units, generates a coefficient signal by performing frequency conversion on the encoding unit using a plurality of conversion units, and performs encoding. A quantization control unit that sets, for each transform unit, quantization control information that is logarithmically proportional to the quantization parameter based on the coefficient signal of the transform unit, and all of the coding units include The approximation unit that approximates the quantization control information of the transform unit with an approximation function that uses the position information of the transform unit in the coding unit as a variable, and the quantization control information approximated by the approximation unit And a quantization processing unit that quantizes the coefficient signal, and a parameter encoding unit that encodes the parameter of the approximation function generated by the approximation unit and includes the parameter in the stream .

また、前記近似部は、前記符号化単位に含まれる全ての前記変換単位の量子化制御情報を、前記符号化単位内での前記変換単位の２次元位置情報を変数とする、３つの係数から成る１次関数で平面近似してもよい。 Further, the approximation unit obtains the quantization control information of all the transform units included in the coding unit from three coefficients using the two-dimensional position information of the transform unit in the coding unit as a variable. Planar approximation may be performed using a linear function .

また、前記近似部は、前記符号化単位に含まれる全ての前記変換単位の量子化制御情報を、前記符号化単位内での前記変換単位の２次元位置情報を変数とする、５つの係数から成る２次関数で曲面近似してもよい。 Further, the approximating unit obtains the quantization control information of all the transform units included in the coding unit from five coefficients using the two-dimensional position information of the transform unit in the coding unit as a variable. The curved surface may be approximated by a quadratic function .

また、前記近似部は、前記変換単位のサイズに基づいて、前記符号化単位に含まれる全ての前記変換単位の量子化制御情報を、前記符号化単位内での前記変換単位の２次元位置情報を変数とする３つの係数から成る１次関数で平面近似するか、または前記符号化単位内での前記変換単位の２次元位置情報を変数とする５つの係数から成る２次関数で曲面近似するかを決定してもよい。 Further, the approximating unit converts the quantization control information of all the transform units included in the coding unit based on the size of the transform unit into the two-dimensional position information of the transform unit in the coding unit. Is approximated by a plane using a linear function consisting of three coefficients with a variable, or a curved surface is approximated using a quadratic function consisting of five coefficients using the two-dimensional position information of the transform unit in the coding unit as a variable. You may decide.

また、前記画像符号化装置により符号化されたストリームを復号する画像復号装置であって、前記ストリームを復号する復号部と、前記変換単位の近似された量子化制御情報を、前記復号部により復号された前記近似関数のパラメータを用いて取得し、この量子化制御情報を用いて前記復号部により復号されたデータを逆量子化する逆量子化部とを備えてもよい。 An image decoding apparatus that decodes a stream encoded by the image encoding apparatus, wherein the decoding unit that decodes the stream, and quantization control information that approximates the transform unit is decoded by the decoding unit. And an inverse quantization unit that obtains the parameter using the approximate function and performs inverse quantization on the data decoded by the decoding unit using the quantization control information.

本発明によれば、符号化単位より小さな単位で圧縮率や画質の制御を行うことができる。 According to the present invention, the compression rate and image quality can be controlled in units smaller than the encoding unit.

実施例１における画像符号化装置の概略構成の一例を示すブロック図。1 is a block diagram illustrating an example of a schematic configuration of an image encoding device according to Embodiment 1. FIG. 実施例１における量子化部の構成の一例を示すブロック図。FIG. 3 is a block diagram illustrating an example of a configuration of a quantization unit according to the first embodiment. 量子化パラメータの設定例を示す図。The figure which shows the example of a setting of a quantization parameter. 実施例１における量子化制御処理の一例を示すフローチャート。3 is a flowchart illustrating an example of a quantization control process according to the first embodiment. 実施例１における量子化処理に関する構成の一例を示すブロック図。FIG. 3 is a block diagram illustrating an example of a configuration related to a quantization process in the first embodiment. ＬＵＴの一例を示す図。The figure which shows an example of LUT. 実施例２における量子化制御処理、符号化処理の一例を示すフローチャート。9 is a flowchart illustrating an example of a quantization control process and an encoding process in the second embodiment. 実施例３における量子化処理に関する構成の一例を示すブロック図。FIG. 10 is a block diagram illustrating an example of a configuration related to a quantization process in the third embodiment. 実施例３における量子化制御処理、符号化処理の一例を示すフローチャート。10 is a flowchart illustrating an example of a quantization control process and an encoding process according to the third embodiment. 変形例における量子化制御処理、符号化処理の一例を示すフローチャート。The flowchart which shows an example of the quantization control process in a modification, and an encoding process. 実施例４における画像復号装置の概略構成の一例を示すブロック図。FIG. 10 is a block diagram illustrating an example of a schematic configuration of an image decoding device according to a fourth embodiment. 実施例５における画像処理装置の概略構成の一例を示すブロック図。FIG. 10 is a block diagram illustrating an example of a schematic configuration of an image processing apparatus according to a fifth embodiment.

まず、ＨＥＶＣでの符号化単位、予測単位、変換単位について説明する。ＨＥＶＣでは、従来の符号化技術のように画面を左上から符号化単位であるブロック状に単純に分割するのではなく、新たに階層分割を採用し、複数階層のブロック分割を可能とする。また、複数のブロックに分割された符号化単位は、ＣＵ（Coding Unit）とも呼ぶ。ＨＥＶＣでは、ＣＵとして８×８、１６×１６、３２×３２などのサイズに画像を分割して、符号化を行うことができる。また、量子化パラメータはＣＵ単位で設定される。 First, an encoding unit, a prediction unit, and a conversion unit in HEVC will be described. HEVC does not simply divide the screen into blocks that are encoding units from the upper left as in the conventional encoding technique, but newly adopts hierarchical division to enable block division of a plurality of hierarchies. A coding unit divided into a plurality of blocks is also called a CU (Coding Unit). In HEVC, an image can be divided into 8 × 8, 16 × 16, 32 × 32, etc. as a CU and encoded. The quantization parameter is set in units of CU.

また、ＨＥＶＣでは、予測誤差信号を効率的に表現するため、ＣＵを階層分割し、変換単位に分けることができる。変換単位は、ＴＵとも呼ぶ。例えば、３２×３２のＣＵに対し、階層分割０回のＴＵは３２×３２のＣＵと同じブロックであり、階層分割１回のＴＵは、１６×１６に分割されたブロックである。また、階層分割２回のＴＵは、８×８に分割されたブロックである。 In HEVC, in order to efficiently express the prediction error signal, the CU can be divided into layers and divided into conversion units. The conversion unit is also called TU. For example, for a 32 × 32 CU, a TU with zero layer division is the same block as a CU of 32 × 32, and a TU with one layer division is a block divided into 16 × 16. In addition, a TU with two hierarchical divisions is a block divided into 8 × 8.

また、ＨＥＶＣでは、ＣＵを複数種類の矩形領域である予測単位に分割し、それぞれの予測単位で予測処理が行われる。この予測単位は、ＰＵ（Prediction Unit）とも呼ぶ。 In HEVC, a CU is divided into prediction units that are a plurality of types of rectangular areas, and prediction processing is performed in each prediction unit. This prediction unit is also called PU (Prediction Unit).

以下、添付図面を参照しながら各実施例について詳細に説明するが、各実施例はＨＥＶＣの構成における量子化部の機能を改良したものである。 Hereinafter, each example will be described in detail with reference to the accompanying drawings. Each example is an improvement of the function of the quantization unit in the HEVC configuration.

［実施例１］
＜構成＞
図１は、実施例１における画像符号化装置１０の概略構成の一例を示すブロック図である。図１に示す例では、画像符号化装置１０は、前処理部１００、予測誤差信号生成部１０１、直交変換部１０２、量子化部１０３ａ、エントロピー符号化部１０４、逆量子化部１０５、逆直交変換部１０６、復号画像生成部１０７、デブロッキングフィルタ部１０８、ループフィルタ部１０９、復号画像記憶部１１０、イントラ予測部１１１、インター予測部１１２、動きベクトル計算部１１３、及び予測画像選択部１１５を有する。各部についての概略を以下に説明する。 [Example 1]
<Configuration>
FIG. 1 is a block diagram illustrating an example of a schematic configuration of an image encoding device 10 according to the first embodiment. In the example illustrated in FIG. 1, the image encoding device 10 includes a preprocessing unit 100, a prediction error signal generation unit 101, an orthogonal transform unit 102, a quantization unit 103a, an entropy encoding unit 104, an inverse quantization unit 105, and an inverse orthogonal. A conversion unit 106, a decoded image generation unit 107, a deblocking filter unit 108, a loop filter unit 109, a decoded image storage unit 110, an intra prediction unit 111, an inter prediction unit 112, a motion vector calculation unit 113, and a prediction image selection unit 115 Have. An outline of each part will be described below.

前処理部１００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部１００は、符号化のためのブロック分割なども行う。 The preprocessing unit 100 rearranges the pictures in accordance with the picture type, and sequentially outputs the picture type and the frame image for each frame. The preprocessing unit 100 also performs block division for encoding and the like.

予測誤差信号生成部１０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。 The prediction error signal generation unit 101 acquires block data obtained by dividing an encoding target image of input moving image data into blocks such as 32 × 32, 16 × 16, and 8 × 8 pixels.

予測誤差信号生成部１０１は、そのブロックデータと、予測画像選択部１１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部１０１は、生成された予測誤差信号を直交変換部１０２に出力する。 The prediction error signal generation unit 101 generates a prediction error signal based on the block data and the block data of the prediction image output from the prediction image selection unit 115. The prediction error signal generation unit 101 outputs the generated prediction error signal to the orthogonal transformation unit 102.

直交変換部１０２は、入力された予測誤差信号をＴＵ毎に直交変換処理する。直交変換部１０２は、直交変換処理によって水平及び垂直方向の周波数成分に分離された係数信号を量子化部１０３ａに出力する。 The orthogonal transform unit 102 performs orthogonal transform processing on the input prediction error signal for each TU. The orthogonal transform unit 102 outputs the coefficient signal separated into horizontal and vertical frequency components by the orthogonal transform process to the quantization unit 103a.

量子化部１０３ａは、直交変換部１０２から出力された係数信号を量子化する。量子化部１０３ａは、量子化することによって係数信号の符号量を低減し、この係数信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。量子化部１０３ａは、ＣＵではなく、ＴＵ毎に量子化パラメータを設定し、量子化を行う。この量子化制御処理については、後述する。 The quantization unit 103a quantizes the coefficient signal output from the orthogonal transform unit 102. The quantization unit 103 a reduces the code amount of the coefficient signal by performing quantization, and outputs the coefficient signal to the entropy encoding unit 104 and the inverse quantization unit 105. The quantization unit 103a sets the quantization parameter for each TU, not the CU, and performs quantization. This quantization control process will be described later.

エントロピー符号化部１０４は、量子化部１０３ａから出力された量子化後の係数信号や動きベクトル計算部１１３から出力された動きベクトル情報やループフィルタ部１０９からのフィルタ係数などをエントロピー符号化して出力する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。 The entropy encoding unit 104 entropy-encodes and outputs the quantized coefficient signal output from the quantization unit 103a, the motion vector information output from the motion vector calculation unit 113, the filter coefficient from the loop filter unit 109, and the like. To do. Entropy coding is a method of assigning variable-length codes according to the appearance frequency of symbols.

逆量子化部１０５は、量子化部１０３ａからの出力信号を逆量子化してから逆直交変換部１０６に出力する。逆直交変換部１０６は、逆量子化部１０５からの出力信号を逆直交変換処理してから復号画像生成部１０７に出力する。これら逆量子化部１０５及び逆直交変換部１０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。 The inverse quantization unit 105 performs inverse quantization on the output signal from the quantization unit 103 a and outputs the output signal to the inverse orthogonal transform unit 106. The inverse orthogonal transform unit 106 performs an inverse orthogonal transform process on the output signal from the inverse quantization unit 105 and then outputs the output signal to the decoded image generation unit 107. By performing decoding processing by the inverse quantization unit 105 and the inverse orthogonal transform unit 106, a signal having the same level as the prediction error signal before encoding is obtained.

復号画像生成部１０７は、インター予測部１１２で動き補償された画像のブロックデータと、逆量子化部１０５及び逆直交変換部１０６により復号処理された予測誤差信号とを加算する。復号画像生成部１０７は、加算して生成した復号画像のブロックデータを、デブロッキングフィルタ部１０８に出力する。 The decoded image generation unit 107 adds the block data of the image subjected to motion compensation by the inter prediction unit 112 and the prediction error signal decoded by the inverse quantization unit 105 and the inverse orthogonal transform unit 106. The decoded image generation unit 107 outputs the decoded image block data generated by the addition to the deblocking filter unit 108.

デブロッキングフィルタ部１０８は、復号画像生成部１０７から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ部１０９に出力する。 The deblocking filter unit 108 applies a filter for reducing block distortion to the decoded image output from the decoded image generation unit 107 and outputs the filtered image to the loop filter unit 109.

ループフィルタ部１０９は、例えばＡＬＦ（Adaptive Loop Filter）であり、デブロッキングフィルタ処理された復号画像と、入力画像とを用いてフィルタ処理を行う。フィルタ処理は、例えばウィナーフィルタ（Wiener Filter）が用いられるが、その他のフィルタでも良い。 The loop filter unit 109 is, for example, an ALF (Adaptive Loop Filter), and performs a filtering process using a decoded image subjected to the deblocking filtering process and an input image. For example, a Wiener filter is used for the filter processing, but other filters may be used.

また、ループフィルタ部１０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部１０９は、デブロッキングフィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部１０９は、フィルタ処理結果を復号画像記憶部１１０に出力し、参照画像として蓄積させる。所定サイズは、例えば、直交変換サイズである。 In addition, the loop filter unit 109 divides the input image into groups for each predetermined size, and generates an appropriate filter coefficient for each group. The loop filter unit 109 divides the decoded image subjected to the deblocking filter processing into groups for each predetermined size, and performs filter processing for each group using the generated filter coefficients. The loop filter unit 109 outputs the filter processing result to the decoded image storage unit 110 and accumulates it as a reference image. The predetermined size is, for example, an orthogonal transformation size.

復号画像記憶部１１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部１１１、インター予測部１１２及び動きベクトル計算部１１３に出力する。 The decoded image storage unit 110 stores the input block data of the decoded image as new reference image data, and outputs the data to the intra prediction unit 111, the inter prediction unit 112, and the motion vector calculation unit 113.

イントラ予測部１１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。 The intra prediction unit 111 generates block data of the predicted image from the already-encoded reference pixels for the processing target block of the encoding target image.

インター予測部１１２は、復号画像記憶部１１０から取得した参照画像のデータを動きベクトル計算部１１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。 The inter prediction unit 112 performs motion compensation on the reference image data acquired from the decoded image storage unit 110 with the motion vector provided from the motion vector calculation unit 113. Thereby, block data as a motion-compensated reference image is generated.

動きベクトル計算部１１３は、符号化対象画像におけるブロックデータと、復号画像記憶部１１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術を用いて求められるブロック単位の空間的なずれを示す値である。 The motion vector calculation unit 113 obtains a motion vector using the block data in the encoding target image and the reference image acquired from the decoded image storage unit 110. The motion vector is a value indicating a spatial deviation in units of blocks obtained using a block matching technique for searching for a position most similar to the processing target block from the reference image in units of blocks.

動きベクトル計算部１１３は、求めた動きベクトルをインター予測部１１２に出力し、動きベクトルや参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部１０４に出力する。 The motion vector calculation unit 113 outputs the obtained motion vector to the inter prediction unit 112, and outputs motion vector information including information indicating the motion vector and the reference image to the entropy coding unit 104.

イントラ予測部１１１とインター予測部１１２から出力されたブロックデータは、予測画像選択部１１５に入力される。 The block data output from the intra prediction unit 111 and the inter prediction unit 112 are input to the predicted image selection unit 115.

予測画像選択部１１５は、イントラ予測部１１１とインター予測部１１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部１０１に出力される。 The predicted image selection unit 115 selects one of the block data acquired from the intra prediction unit 111 and the inter prediction unit 112 as a predicted image. The selected prediction image is output to the prediction error signal generation unit 101.

画像符号化装置１０の上記構成はあくまでも一例であり、実装の仕方によって構成を変更してもよく、例えば複数の部をまとめて構成してもよい。 The above-described configuration of the image encoding device 10 is merely an example, and the configuration may be changed depending on the mounting method. For example, a plurality of units may be configured together.

＜量子化＞
次に、実施例１における量子化処理について説明する。実施例１では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うことができる。 <Quantization>
Next, the quantization process in Embodiment 1 will be described. In the first embodiment, the compression rate and image quality can be controlled for each TU by controlling the quantization parameter (Qp) for each TU instead of the CU.

図２は、実施例１における量子化部１０３ａの構成の一例を示すブロック図である。図２に示す量子化部１０３ａは、量子化制御部２０１、及び量子化処理部２０３を有する。 FIG. 2 is a block diagram illustrating an example of the configuration of the quantization unit 103a according to the first embodiment. The quantization unit 103a illustrated in FIG. 2 includes a quantization control unit 201 and a quantization processing unit 203.

量子化制御部２０１は、直交変換部１０２から取得した変換単位（ＴＵ）の係数信号に基づいて量子化制御情報を変換単位毎に設定する。量子化制御情報は、量子化ステップとも呼ばれる。量子化制御部２０１は、変換単位の係数信号に基づいて、ビットレートや所望の画質に応じて変換単位の量子化制御情報を設定する。 The quantization control unit 201 sets quantization control information for each transform unit based on the coefficient signal of the transform unit (TU) acquired from the orthogonal transform unit 102. The quantization control information is also called a quantization step. The quantization control unit 201 sets quantization control information for each transform unit according to the bit rate and desired image quality based on the transform unit coefficient signal.

量子化制御部２０１は、例えば予め設定された情報量を、１つのＴＵへの割当量に換算した上で、係数信号の特性などに応じて量子化制御情報を設定する。量子化制御情報の設定については、この方法に限られるものではない。 The quantization control unit 201 sets, for example, quantization control information according to the characteristics of the coefficient signal and the like after converting a preset information amount into an allocation amount to one TU. The setting of the quantization control information is not limited to this method.

量子化制御部２０１は、設定した量子化制御情報（量子化ステップ）から量子化パラメータ（Ｑｐ）を求める。例えば、量子化パラメータと量子化ステップの対数とは、比例する関係にある。量子化制御部２０１は、設定した変換単位の量子化制御情報を量子化処理部２０３に出力する。 The quantization control unit 201 obtains a quantization parameter (Qp) from the set quantization control information (quantization step). For example, the quantization parameter and the logarithm of the quantization step are in a proportional relationship. The quantization control unit 201 outputs quantization control information for the set transform unit to the quantization processing unit 203.

図３は、量子化パラメータの設定例を示す図である。図３に示す例では、ＣＵは、１６×１６であり、ＴＵは、４×４である。図３に示すように、設定された量子化パラメータをＱｐ（ｉ，ｊ）（０≦ｉ≦３，０≦ｊ≦３）と表記する。 FIG. 3 is a diagram illustrating a setting example of the quantization parameter. In the example shown in FIG. 3, the CU is 16 × 16 and the TU is 4 × 4. As shown in FIG. 3, the set quantization parameter is expressed as Qp (i, j) (0 ≦ i ≦ 3, 0 ≦ j ≦ 3).

量子化処理部２０３は、量子化制御部２０１から取得した変換単位の量子化制御情報を用いて、変換単位毎に係数信号を量子化する。量子化は、例えばＨ．２６４やＨＥＶＣなどの公知の技術を用いればよい。量子化処理部２０３は、量子化した係数信号をエントロピー符号化部１０４、逆量子化部１０５に出力する。 The quantization processing unit 203 quantizes the coefficient signal for each transform unit using the transform control information of the transform unit acquired from the quantization control unit 201. For example, quantization is described in H.264. A known technique such as H.264 or HEVC may be used. The quantization processing unit 203 outputs the quantized coefficient signal to the entropy encoding unit 104 and the inverse quantization unit 105.

なお、変換単位の量子化パラメータは、エントロピー符号化部１０４により符号化されて、情報量が削減されてもよい。 Note that the quantization parameter for each transform unit may be encoded by the entropy encoding unit 104 to reduce the amount of information.

＜動作＞
次に、実施例１における画像符号化装置１０の動作について説明する。図４は、実施例１における量子化制御処理の一例を示すフローチャートである。図４に示すステップＳ１０１で、量子化制御部２０１は、ＴＵでの量子化パラメータを設定する。 <Operation>
Next, the operation of the image encoding device 10 in the first embodiment will be described. FIG. 4 is a flowchart illustrating an example of the quantization control process according to the first embodiment. In step S101 illustrated in FIG. 4, the quantization control unit 201 sets a quantization parameter for the TU.

ステップＳ１０２で、量子化制御部２０１は、設定した量子化パラメータを量子化制御情報に換算する。 In step S102, the quantization control unit 201 converts the set quantization parameter into quantization control information.

ステップＳ１０３ａで、量子化制御部２０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ１０３−ＹＥＳ）ステップＳ１０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ１０３−ＮＯ）ステップＳ１０１に戻り、他のＴＵの量子化パラメータを設定する。 In step S103a, the quantization control unit 201 determines whether or not the processed TU is the last unit (TU) of the macroblock (or CU). If the TU is the last unit (step S103-YES), the process proceeds to step S104. If the TU is not the last unit (step S103-NO), the process returns to step S101, and quantization parameters of other TUs are set.

ステップＳ１０４で、量子化処理部２０３は、量子化パラメータに基づく量子化制御情報により、係数信号を量子化する。 In step S104, the quantization processing unit 203 quantizes the coefficient signal using the quantization control information based on the quantization parameter.

以上、実施例１によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。 As described above, according to the first embodiment, since the quantization parameter can be set for each TU of the conversion unit, the compression rate and the image quality can be accurately controlled for each TU.

［実施例２］
次に、実施例２における画像符号化装置について説明する。実施例２では、ＴＵ毎に量子化パラメータを設定することで増加した量子化パラメータの情報を、近似を用いることで情報量を削減する。 [Example 2]
Next, an image coding apparatus according to the second embodiment will be described. In the second embodiment, the amount of information is reduced by using the approximation of the quantization parameter information increased by setting the quantization parameter for each TU.

＜構成＞
実施例２における画像符号化装置の構成は、基本的には図１に示す概略構成と同様であるため、同じ符号を付す。以降では、実施例１と異なる量子化部を主に説明する。 <Configuration>
The configuration of the image encoding device in the second embodiment is basically the same as the schematic configuration shown in FIG. Hereinafter, the quantization unit different from that in the first embodiment will be mainly described.

＜量子化＞
次に、実施例２における量子化処理について説明する。実施例２では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うとともに、量子化制御情報を近似することで、量子化制御情報の情報量を削減する。 <Quantization>
Next, the quantization process in Example 2 will be described. In the second embodiment, the quantization parameter (Qp) is controlled for each TU, not the CU, so that the compression rate and the image quality are controlled for each TU, and the quantization control information is approximated. Reduce the amount of control information.

図５は、実施例２における量子化処理に関する構成の一例を示すブロック図である。図５に示す例では、量子化部１０３ｂは、量子化制御部３０１、近似部３０３、及び量子化処理部３０５を有し、エントロピー符号化部１０４は、パラメータ符号化部３０７を有する。 FIG. 5 is a block diagram illustrating an example of a configuration related to the quantization process according to the second embodiment. In the example illustrated in FIG. 5, the quantization unit 103 b includes a quantization control unit 301, an approximation unit 303, and a quantization processing unit 305, and the entropy encoding unit 104 includes a parameter encoding unit 307.

量子化制御部３０１は、基本的な処理について、実施例１の量子化制御部２０１と同様である。また、量子化制御部３０１は、後述する近似された量子化制御情報を近似部３０３から取得する。量子化制御部３０１は、量子化制御情報が近似されたことにより発生するＣＵの符号化情報量を再度計算し、次の符号化単位（ＣＵ）の処理ブロックの量子化制御に反映してもよい。 The quantization control unit 301 is the same as the quantization control unit 201 of the first embodiment in basic processing. In addition, the quantization control unit 301 acquires approximate quantization control information described later from the approximation unit 303. The quantization control unit 301 recalculates the encoded information amount of the CU generated by the approximation of the quantization control information, and reflects it in the quantization control of the processing block of the next encoding unit (CU). Good.

近似部３０３は、量子化制御部３０１から取得した符号化単位（ＣＵ）に含まれる変換単位（ＴＵ）の量子化制御情報を近似する。また、近似部３０３は、量子化パラメータを近似してもよい。以下に示す例では、量子化制御情報を近似する場合について説明する。近似の方法としては、（１）近似関数を用いる場合、（２）ルックアップテーブル（ＬＵＴ）を用いる場合との２つの例を挙げる。 The approximation unit 303 approximates the quantization control information of the transform unit (TU) included in the coding unit (CU) acquired from the quantization control unit 301. Further, the approximation unit 303 may approximate the quantization parameter. In the example shown below, a case where quantization control information is approximated will be described. As an approximation method, two examples are given: (1) using an approximation function and (2) using a lookup table (LUT).

（１）近似関数を用いる場合
近似部３０３は、例えば、変換単位の位置の近似関数を用いて量子化制御情報を近似する。近似部３０３は、ＴＵ毎に設定された量子化パラメータに基づく量子化制御情報を以下の関数として表現する。
Ｑｓ（ｉ，ｊ）＝ｆ（ｉ，ｊ）・・・式（１）
Ｑｓ（ｉ，ｊ）：位置（ｉ，ｊ）におけるＴＵの量子化制御情報
近似部３０３は、関数ｆ（ｉ，ｊ）に対し、平面近似するなら式（２）とし、２次曲面近似するなら式（３）とする。
ｆ（ｉ，ｊ）＝ａ×ｉ＋ｂ×ｊ＋ｃ・・・式（２）
ｆ（ｉ，ｊ）＝ａ×ｉ^２＋ｂ×ｊ^２＋ｃ×ｉ＋ｄ×ｊ＋ｅ・・・式（３）
これにより、式（２）を用いて平面近似する場合は、パラメータが３個（ａ，ｂ，ｃ）、式（３）を用いて２次曲面近似する場合は、パラメータが５個（ａ，ｂ，ｃ，ｄ，ｅ）になり、図３に示すように１６個よりもパラメータの数が少なくなる。このパラメータは、近似された量子化制御情報を表すためのパラメータである。 (1) Using approximate function The approximating unit 303 approximates the quantization control information using an approximate function of the position of the transform unit, for example. The approximating unit 303 expresses the quantization control information based on the quantization parameter set for each TU as the following function.
Qs (i, j) = f (i, j) Expression (1)
Qs (i, j): TU quantization control information at position (i, j) The approximation unit 303 approximates the function f (i, j) as a formula (2) and approximates a quadratic surface as a plane approximation. Then, it is set as Formula (3).
f (i, j) = a × i + b × j + c (2)
f (i, j) = a × i ² + b × j ² + c × i + d × j + e (3)
As a result, three parameters (a, b, c) are used for plane approximation using equation (2), and five parameters (a, b, c) are used for quadratic surface approximation using equation (3). b, c, d, e), and the number of parameters is smaller than 16 as shown in FIG. This parameter is a parameter for representing the approximated quantization control information.

近似方法としては、例えば、最小二乗法などの数値計算手法を利用することが可能である。また、近似関数としては、ｓｉｎ関数、ｃｏｓ関数などの三角関数や、ｌｏｇ関数などを用いてもよい。 As the approximation method, for example, a numerical calculation method such as a least square method can be used. Further, as an approximate function, a trigonometric function such as a sin function or a cos function, a log function, or the like may be used.

また、近似部３０３は、パラメータ数が多くなるほど近似が複雑になるので、例えば、変換単位のサイズに基づいて、近似関数として１次関数（平面近似）を用いるか、２次関数（２次曲面近似）を用いるかを決定してもよい。 The approximation unit 303 uses a linear function (planar approximation) as an approximation function or a quadratic function (quadratic surface), for example, based on the size of the conversion unit, since the approximation becomes more complex as the number of parameters increases. It may be determined whether to use approximation.

例えば、近似部３０３は、ＣＵからの階層分割が１回なら１次関数を用い、階層分割が２回以上なら２次関数を用いると決定してもよい。また、近似部３０３は、ＴＵのサイズが、ＣＵから４分割されたサイズであれば１次関数を用い、ＣＵから１６分割以上されたサイズであれば２次関数を用いると決定してもよい。 For example, the approximating unit 303 may determine that a linear function is used if the hierarchical division from the CU is once, and a quadratic function is used if the hierarchical division is twice or more. In addition, the approximating unit 303 may determine that a linear function is used if the size of the TU is divided into four from the CU, and a quadratic function is used if the size is divided into 16 or more from the CU. .

近似部３０３は、近似された量子化制御情報（近似量子化制御情報とも呼ぶ）をＴＵ毎に量子化処理部３０５に出力する。また、近似部３０３は、近似関数のパラメータ（近似パラメータとも呼ぶ）をパラメータ符号化部３０７に出力する。 The approximation unit 303 outputs the approximated quantization control information (also referred to as approximate quantization control information) to the quantization processing unit 305 for each TU. Further, the approximating unit 303 outputs the parameter of the approximating function (also referred to as an approximating parameter) to the parameter encoding unit 307.

（２）ＬＵＴを用いる場合
近似部３０３は、テーブル番号（Ｔｂ番号）と、各量子化制御情報とを関連付けたＬＵＴを保持し、設定された各量子化制御情報と最も類似する各量子化制御情報を有するテーブルを探す。テーブル番号は、近似量子化制御情報を表すためのパラメータである。 (2) When LUT is Used The approximating unit 303 holds an LUT in which a table number (Tb number) is associated with each quantization control information, and each quantization control most similar to each set quantization control information Look for tables with information. The table number is a parameter for representing the approximate quantization control information.

図６は、ＬＵＴの一例を示す図である。図６に示す例では、ＴＵが１６個ある場合の例である。図６に示すＱｓ１０１〜Ｑｓｎ１６には、代表的な量子化制御情報が設定されている。 FIG. 6 is a diagram illustrating an example of the LUT. The example shown in FIG. 6 is an example when there are 16 TUs. Typical quantization control information is set in Qs101 to Qsn16 shown in FIG.

近似部３０３は、各量子化制御情報と、ＬＵＴの各Ｑｓｉ０１〜Ｑｓｉ１６との差分絶対値和や最小二乗誤差が最も小さいテーブル番号を選択する。 The approximating unit 303 selects the table number having the smallest sum of absolute difference and least square error between each quantization control information and each Qsi01 to Qsi16 of the LUT.

近似部３０３は、最も類似する各量子化制御情報を有するテーブル番号を近似パラメータとしてパラメータ符号化部３０７に出力する。また、近似部３０３は、最も類似する各量子化制御情報を量子化処理部３０５に出力する。 The approximating unit 303 outputs the table number having the most similar quantization control information to the parameter encoding unit 307 as an approximate parameter. The approximating unit 303 also outputs the most similar quantization control information to the quantization processing unit 305.

図５に戻り、量子化処理部３０５は、近似部３０３から取得した近似量子化制御情報を用いて、係数信号を量子化する。量子化処理部３０５は、量子化した係数信号をエントロピー符号化部１０４及び逆量子化部１０５に出力する。 Returning to FIG. 5, the quantization processing unit 305 quantizes the coefficient signal using the approximate quantization control information acquired from the approximation unit 303. The quantization processing unit 305 outputs the quantized coefficient signal to the entropy encoding unit 104 and the inverse quantization unit 105.

パラメータ符号化部３０７は、近似部３０３により近似された量子化制御情報を表すための近似パラメータを符号化する。パラメータ符号化部３０７は、例えばＭＰＥＧ−２やＨ．２６４などで用いられるＶＬＣ（Variable Length Coding）や、Ｈ．２６４やＨＥＶＣで用いられるＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）などにより符号化を行えばよい。符号化された近似パラメータは、ストリームに含まれる。 The parameter encoding unit 307 encodes approximation parameters for representing the quantization control information approximated by the approximation unit 303. The parameter encoding unit 307 is, for example, MPEG-2 or H.264. VLC (Variable Length Coding) used in H.264, H.264, etc. The encoding may be performed by CABAC (Context-based Adaptive Binary Arithmetic Coding) used in H.264 or HEVC. The encoded approximate parameter is included in the stream.

＜動作＞
次に、実施例２における画像符号化装置１０の動作について説明する。図７は、実施例２における量子化制御処理、符号化処理の一例を示すフローチャートである。図７に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。 <Operation>
Next, the operation of the image encoding device 10 according to the second embodiment will be described. FIG. 7 is a flowchart illustrating an example of the quantization control process and the encoding process according to the second embodiment. The process shown in FIG. 7 shows the quantization control process and encoding process in one CU.

図７に示すステップＳ２０１で、量子化制御部３０１は、ＴＵでの量子化パラメータを設定する。 In step S201 illustrated in FIG. 7, the quantization control unit 301 sets a quantization parameter for the TU.

ステップＳ２０２で、量子化制御部３０１は、設定した量子化パラメータを量子化制御情報に換算する。 In step S202, the quantization control unit 301 converts the set quantization parameter into quantization control information.

ステップＳ２０３で、量子化制御部３０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ２０３−ＹＥＳ）ステップＳ２０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ２０３−ＮＯ）ステップＳ２０１に戻り、他のＴＵの量子化パラメータを設定する。 In step S203, the quantization control unit 301 determines whether the processed TU is the last unit (TU) of the macroblock (or CU). If the TU is the last unit (step S203—YES), the process proceeds to step S204. If the TU is not the last unit (step S203—NO), the process returns to step S201, and the quantization parameters of other TUs are set.

ステップＳ２０４で、近似部３０３は、量子化パラメータ（又は量子化制御情報）を近似する。近似方法としては、近似関数を用いたり、ＬＵＴを用いたりすればよい。 In step S204, the approximation unit 303 approximates the quantization parameter (or quantization control information). As an approximation method, an approximation function or an LUT may be used.

ステップＳ２０５で、量子化処理部３０５は、変換単位毎に近似された量子化制御情報を用いて、変換単位の係数信号を量子化する。 In step S205, the quantization processing unit 305 quantizes the coefficient signal of the transform unit using the quantization control information approximated for each transform unit.

ステップＳ２０６で、エントロピー符号化部１０４は、近似された量子化パラメータや、量子化された変換係数をエントロピー符号化する。 In step S206, the entropy encoding unit 104 performs entropy encoding on the approximated quantization parameter and the quantized transform coefficient.

ステップＳ２０７で、量子化制御部３０１は、近似部３０３から取得した近似された量子化パラメータ（又は近似量子化制御情報）を、次のＣＵ内のＴＵの量子化制御に反映する。 In step S207, the quantization control unit 301 reflects the approximated quantization parameter (or approximate quantization control information) acquired from the approximation unit 303 to the quantization control of the TU in the next CU.

以上、実施例２によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。また、実施例２によれば、量子化パラメータを近似して量子化パラメータに関するパラメータ数を削減することができ、符号化効率を向上させることができる。 As described above, according to the second embodiment, since the quantization parameter can be set for each TU of the conversion unit, it is possible to accurately control the compression rate and the image quality for each TU. Further, according to the second embodiment, the number of parameters related to the quantization parameter can be reduced by approximating the quantization parameter, and the encoding efficiency can be improved.

［実施例３］
次に、実施例３における画像符号化装置について説明する。実施例３では、ＴＵ毎に量子化パラメータを設定することで増加した量子化パラメータの情報を、最頻値を用いることで情報量を削減する。 [Example 3]
Next, an image coding apparatus according to the third embodiment will be described. In the third embodiment, the amount of information is reduced by using the mode value of the quantization parameter information increased by setting the quantization parameter for each TU.

＜構成＞
実施例３における画像符号化装置の構成は、基本的には図１に示す概略構成と同様であるため、同じ符号を付す。以降では、実施例１、２と異なる量子化部を主に説明する。 <Configuration>
The configuration of the image coding apparatus according to the third embodiment is basically the same as the schematic configuration illustrated in FIG. Hereinafter, the quantization unit different from the first and second embodiments will be mainly described.

＜量子化＞
次に、実施例３における量子化処理について説明する。実施例３では、ＣＵではなく、ＴＵ毎に量子化パラメータ（Ｑｐ）の制御を行うことで、ＴＵ毎に圧縮率や画質の制御を行うとともに、最頻値を用いることで、量子化制御情報の情報量を削減する。 <Quantization>
Next, the quantization process in Example 3 will be described. In the third embodiment, the quantization parameter (Qp) is controlled for each TU, not the CU, so that the compression rate and the image quality are controlled for each TU, and the mode value is used to control the quantization control information. Reduce the amount of information.

図８は、実施例３における量子化処理に関する構成の一例を示すブロック図である。図８に示す例では、量子化部１０３ｃは、量子化制御部４０１、パラメータ設定部４０３、及び量子化処理部４０５を有し、エントロピー符号化部１０４は、パラメータ符号化部４０７を有する。 FIG. 8 is a block diagram illustrating an example of a configuration related to a quantization process according to the third embodiment. In the example illustrated in FIG. 8, the quantization unit 103 c includes a quantization control unit 401, a parameter setting unit 403, and a quantization processing unit 405, and the entropy encoding unit 104 includes a parameter encoding unit 407.

量子化制御部４０１は、基本的な処理について、実施例１の量子化制御部２０１と同様である。量子化制御部４０１は、設定した量子化パラメータ（又は量子化制御情報）をパラメータ設定部４０３、及び量子化処理部４０５に出力する。 The quantization control unit 401 is the same as the quantization control unit 201 of the first embodiment in basic processing. The quantization control unit 401 outputs the set quantization parameter (or quantization control information) to the parameter setting unit 403 and the quantization processing unit 405.

パラメータ設定部４０３は、符号化単位に含まれる変換単位の量子化制御情報を、この量子化制御情報の最頻値と、最頻値との差分を示すパラメータとで表す。パラメータ設定部４０３は、求めた最頻値と、所定の走査順での差分値とをパラメータ符号化部４０７に出力する。 The parameter setting unit 403 represents the quantization control information of the transform unit included in the coding unit as a mode value of the quantization control information and a parameter indicating a difference between the mode values. The parameter setting unit 403 outputs the obtained mode value and the difference value in a predetermined scanning order to the parameter encoding unit 407.

量子化処理部４０５は、量子化制御部４０１から取得した量子化制御情報を用いて、変換単位毎の係数信号の量子化を行う。量子化処理部４０５は、量子化後の係数信号を、エントロピー符号化部１０４、及び逆量子化部１０５に出力する。 The quantization processing unit 405 quantizes the coefficient signal for each transform unit using the quantization control information acquired from the quantization control unit 401. The quantization processing unit 405 outputs the quantized coefficient signal to the entropy coding unit 104 and the inverse quantization unit 105.

パラメータ符号化部４０７は、量子化パラメータの最頻値と、各量子化パラメータの最頻値からの差分値とを、量子化パラメータに関するパラメータとして符号化し、ストリームに含める。 The parameter encoding unit 407 encodes the mode value of the quantization parameter and the difference value from the mode value of each quantization parameter as a parameter relating to the quantization parameter, and includes it in the stream.

＜動作＞
次に、実施例３における画像符号化装置１０の動作について説明する。図９は、実施例３における量子化制御処理、符号化処理の一例を示すフローチャートである。図９に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。 <Operation>
Next, the operation of the image encoding device 10 according to the third embodiment will be described. FIG. 9 is a flowchart illustrating an example of the quantization control process and the encoding process according to the third embodiment. The process shown in FIG. 9 shows a quantization control process and an encoding process in one CU.

図９に示すステップＳ３０１で、量子化制御部４０１は、ＴＵでの量子化パラメータを設定する。 In step S301 illustrated in FIG. 9, the quantization control unit 401 sets a quantization parameter in the TU.

ステップＳ３０２で、量子化制御部４０１は、設定した量子化パラメータを量子化制御情報に換算する。 In step S302, the quantization control unit 401 converts the set quantization parameter into quantization control information.

ステップＳ３０３で、量子化制御部４０１は、処理したＴＵはマクロブロック（あるいはＣＵ）の最後のＵｎｉｔ（ＴＵ）であるか否かを判定する。ＴＵが最後のＵｎｉｔであれば（ステップＳ３０３−ＹＥＳ）ステップＳ３０４に進み、ＴＵが最後のＵｎｉｔでなければ（ステップＳ３０３−ＮＯ）ステップＳ３０１に戻り、他のＴＵの量子化パラメータを設定する。 In step S303, the quantization control unit 401 determines whether the processed TU is the last unit (TU) of the macroblock (or CU). If the TU is the last unit (step S303—YES), the process proceeds to step S304. If the TU is not the last unit (step S303—NO), the process returns to step S301, and the quantization parameters of other TUs are set.

ステップＳ３０４で、パラメータ設定部４０４は、量子化パラメータ（又は量子化制御情報）の最頻値と、最頻値と各量子化パラメータとの差分値を求める。 In step S304, the parameter setting unit 404 obtains the mode value of the quantization parameter (or quantization control information) and the difference value between the mode value and each quantization parameter.

ステップＳ３０５で、パラメータ符号化部４０７は、最頻値と、差分値とを含むパラメータを符号化する。 In step S305, the parameter encoding unit 407 encodes a parameter including the mode value and the difference value.

ステップＳ３０６で、量子化処理部４０５は、変換単位毎に量子化制御情報を用いて、変換単位の係数信号を量子化する。 In step S306, the quantization processing unit 405 quantizes the coefficient signal of the transform unit using the quantization control information for each transform unit.

ステップＳ３０７で、エントロピー符号化部１０４は、量子化された変換係数をエントロピー符号化する。 In step S307, the entropy encoding unit 104 entropy encodes the quantized transform coefficient.

以上、実施例３によれば、変換単位のＴＵ毎に量子化パラメータを設定することができるので、ＴＵ毎に圧縮率や画質の制御を精度よく行うことができる。また、実施例３によれば、量子化パラメータに関して最頻値を用いて情報量を削減することができ、符号化効率を向上させることができる。 As described above, according to the third embodiment, since the quantization parameter can be set for each TU of the conversion unit, the compression rate and the image quality can be accurately controlled for each TU. Further, according to the third embodiment, it is possible to reduce the amount of information using the mode value with respect to the quantization parameter, and it is possible to improve the encoding efficiency.

＜変形例＞
上記各実施例の変形例として、量子化部１０３は、実施例１〜３の量子化制御処理を実行可能とし、どの量子化制御処理を行うかを設定可能とする。量子化部１０３は、各実施例の量子化部１０３ａ〜ｃをまとめた構成である。量子化部１０３は、設定された量子化制御処理を実行する。この処理について、図１０を用いて説明する。 <Modification>
As a modification of each of the above embodiments, the quantization unit 103 can execute the quantization control process according to the first to third embodiments, and can set which quantization control process is performed. The quantization unit 103 has a configuration in which the quantization units 103a to 103c of the embodiments are combined. The quantization unit 103 executes the set quantization control process. This process will be described with reference to FIG.

図１０は、変形例における量子化制御処理、符号化処理の一例を示すフローチャートである。図１０に示す処理は、１つのＣＵにおける量子化制御処理、符号化処理を示す。 FIG. 10 is a flowchart illustrating an example of the quantization control process and the encoding process in the modification. The process shown in FIG. 10 shows a quantization control process and an encoding process in one CU.

図１０に示すステップＳ４０１〜Ｓ４０３の処理は、図４に示すステップＳ１０１〜Ｓ１０３の処理と同様である。 The processes in steps S401 to S403 shown in FIG. 10 are the same as the processes in steps S101 to S103 shown in FIG.

ステップＳ４０４で、量子化部１０３は、量子化パラメータの近似が設定されているかを判定する。近似が設定されていれば（ステップＳ４０４−ＹＥＳ）ステップＳ４０５に進み、近似が設定されていなければ（ステップＳ４０４−ＮＯ）ステップＳ４０９に進む。 In step S404, the quantization unit 103 determines whether approximation of the quantization parameter is set. If approximation is set (step S404—YES), the process proceeds to step S405, and if approximation is not set (step S404—NO), the process proceeds to step S409.

ステップＳ４０５〜Ｓ４０８の処理は、実施例２で説明した図７に示すステップＳ２０４〜Ｓ２０７の処理と同様である。 The processing in steps S405 to S408 is the same as the processing in steps S204 to S207 shown in FIG. 7 described in the second embodiment.

ステップＳ４０９で、量子化部１０３は、量子化パラメータの最頻値及び差分値表現が設定されているかを判定する。最頻値及び差分値表現が設定されていれば（ステップＳ４０９−ＹＥＳ）ステップＳ４１０に進み、最頻値及び差分値表現が設定されていなければ（ステップＳ４０９−ＮＯ）ステップＳ４１４に進む。 In step S409, the quantization unit 103 determines whether the mode value and difference value representation of the quantization parameter are set. If the mode value and difference value expression are set (step S409-YES), the process proceeds to step S410, and if the mode value and difference value expression is not set (step S409-NO), the process proceeds to step S414.

ステップＳ４１０〜Ｓ４１３の処理は、実施例３で説明した図９に示すＳ３０４〜Ｓ３０７の処理と同様である。 The processing of steps S410 to S413 is the same as the processing of S304 to S307 shown in FIG. 9 described in the third embodiment.

ステップＳ４１４は、エントロピー符号化部１０４が、公知の技術を用いて量子化パラメータを符号化する。 In step S414, the entropy encoding unit 104 encodes the quantization parameter using a known technique.

以上、変形例によれば、実施例１〜３における量子化制御処理を有し、いずれの処理を行うかを画像に応じて変更することが可能となる。どの量子化制御処理を行うかは、予め量子化部１０３に設定されていればよい。 As described above, according to the modification, the quantization control process in the first to third embodiments is included, and which process is performed can be changed according to the image. Which quantization control process is to be performed may be set in the quantization unit 103 in advance.

［実施例４］
次に、実施例４における画像復号装置について説明する。実施例４では、実施例１〜３で符号化されたストリームを復号する。実施例４では、実施例１〜３と同様の量子化制御処理を行って、符号化装置と同一の量子化制御情報を用いて逆量子化を行う。 [Example 4]
Next, an image decoding apparatus according to the fourth embodiment will be described. In the fourth embodiment, the stream encoded in the first to third embodiments is decoded. In the fourth embodiment, the same quantization control processing as in the first to third embodiments is performed, and inverse quantization is performed using the same quantization control information as that of the encoding device.

＜構成＞
図１１は、実施例４における画像復号装置５０の概略構成の一例を示すブロック図である。図１１に示すように、画像復号装置５０は、エントロピー復号部５０１、逆量子化部５０２、逆直交変換部５０３、イントラ予測部５０４、復号情報記憶部５０５、インター予測部５０６、予測画像選択部５０７、復号画像生成部５０８、デブロッキングフィルタ部５０９、ループフィルタ部５１０、及びフレームメモリ５１１を有する。各部についての概略を以下に説明する。 <Configuration>
FIG. 11 is a block diagram illustrating an example of a schematic configuration of the image decoding device 50 according to the fourth embodiment. As illustrated in FIG. 11, the image decoding device 50 includes an entropy decoding unit 501, an inverse quantization unit 502, an inverse orthogonal transform unit 503, an intra prediction unit 504, a decoded information storage unit 505, an inter prediction unit 506, and a predicted image selection unit. 507, a decoded image generation unit 508, a deblocking filter unit 509, a loop filter unit 510, and a frame memory 511. An outline of each part will be described below.

エントロピー復号部５０１は、ビットストリームが入力されると、画像符号化装置１０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部５０１により復号された予測誤差信号、量子化に関するパラメータなどは逆量子化部５０２に出力される。また、インター予測されている場合の、復号された動きベクトルなどは復号情報記憶部５０５に出力される。 When the bit stream is input, the entropy decoding unit 501 performs entropy decoding corresponding to the entropy encoding of the image encoding device 10. The prediction error signal decoded by the entropy decoding unit 501, parameters related to quantization, and the like are output to the inverse quantization unit 502. In addition, a decoded motion vector or the like when inter prediction is performed is output to the decoded information storage unit 505.

また、エントロピー復号部５０１は、イントラ予測の場合、イントラ予測部５０４にその旨通知する。また、エントロピー復号部５０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部５０７に通知する。 In the case of intra prediction, the entropy decoding unit 501 notifies the intra prediction unit 504 to that effect. In addition, the entropy decoding unit 501 notifies the prediction image selection unit 507 whether the decoding target image is inter predicted or intra predicted.

逆量子化部５０２は、エントロピー復号部５０１からの出力信号に対して逆量子化処理を行う。このとき、逆量子化部５０２は、実施例１〜３で説明した処理と逆の処理を行う。逆量子化部５０２は、例えば近似関数やＬＵＴを保持している場合は近似パラメータから量子化制御情報を取得し、又は量子化に関するパラメータ（最頻値と差分値）から量子化制御情報を取得し、逆量子化を行う。逆量子化された出力信号は、逆直交変換部５０３に出力される。 The inverse quantization unit 502 performs inverse quantization processing on the output signal from the entropy decoding unit 501. At this time, the inverse quantization unit 502 performs processing reverse to the processing described in the first to third embodiments. For example, when the inverse quantization unit 502 holds an approximation function or an LUT, the inverse quantization unit 502 acquires the quantization control information from the approximation parameters, or acquires the quantization control information from the parameters related to the quantization (mode value and difference value). Then, inverse quantization is performed. The inversely quantized output signal is output to the inverse orthogonal transform unit 503.

逆直交変換部５０３は、逆量子化部５０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部５０８に出力される。 The inverse orthogonal transform unit 503 performs an inverse orthogonal transform process on the decoded block of the output signal from the inverse quantization unit 502 to generate a residual signal. The residual signal is output to the decoded image generation unit 508.

イントラ予測部５０４は、後述するフィルタ制御部５１０から通知されるフィルタを用いて、フレームメモリ５１１から取得する既に復号化された周辺画素から予測画像を生成する。 The intra prediction unit 504 generates a prediction image from the already decoded peripheral pixels acquired from the frame memory 511 using a filter notified from the filter control unit 510 described later.

復号情報記憶部５０５は、復号されたループフィルタのフィルタ係数や復号された動きベクトルなどを記憶する。 The decoded information storage unit 505 stores a filter coefficient of a decoded loop filter, a decoded motion vector, and the like.

インター予測部５０６は、フレームメモリ５１１から取得した参照画像のデータを復号情報記憶部５０５から取得する動きベクトルを用いて動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。 The inter prediction unit 506 performs motion compensation on the reference image data acquired from the frame memory 511 using the motion vector acquired from the decoded information storage unit 505. Thereby, block data as a motion-compensated reference image is generated.

予測画像選択部５０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部５０８に出力される。 The predicted image selection unit 507 selects either one of the intra predicted image and the inter predicted image. The selected block data is output to the decoded image generation unit 508.

復号画像生成部５０８は、予測画像選択部５０７から出力される予測画像と、逆直交変換部５０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はデブロッキングフィルタ部５０９に出力される。 The decoded image generation unit 508 adds the predicted image output from the predicted image selection unit 507 and the residual signal output from the inverse orthogonal transform unit 503 to generate a decoded image. The generated decoded image is output to the deblocking filter unit 509.

デブロッキングフィルタ部５０９は、復号画像生成部５０８から出力された復号画像に対し、ブロック歪を低減するためのデブロッキングフィルタをかけ、ループフィルタ部５１０に出力する。 The deblocking filter unit 509 applies a deblocking filter for reducing block distortion to the decoded image output from the decoded image generation unit 508 and outputs the result to the loop filter unit 510.

ループフィルタ部５１０は、復号情報記憶部５０５から取得したフィルタ係数を用いて、復号画像の所定サイズ毎にフィルタ処理を行う。所定サイズは、例えば逆直交変換サイズである。ループフィルタ処理後の復号画像をフレームメモリ５１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。 The loop filter unit 510 performs filter processing for each predetermined size of the decoded image using the filter coefficient acquired from the decoded information storage unit 505. The predetermined size is, for example, an inverse orthogonal transform size. The decoded image after the loop filter processing is output to the frame memory 511. Note that the decoded image after the loop filter may be output to a display device or the like.

フレームメモリ５１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶手段５０５とフレームメモリ５１１は、分けた構成にしているが、同じ記憶部であってもよい。なお、図１１に示す画像復号装置５０の構成はあくまでも一例にすぎず、実装の仕方によって構成を変更してもよい。 The frame memory 511 stores a decoded image that serves as a reference image. The decoded information storage unit 505 and the frame memory 511 are configured separately, but may be the same storage unit. Note that the configuration of the image decoding device 50 illustrated in FIG. 11 is merely an example, and the configuration may be changed depending on the implementation.

以上、実施例４によれば、実施例１〜３で符号化されたストリームを適切に復号することができる。 As described above, according to the fourth embodiment, it is possible to appropriately decode the streams encoded in the first to third embodiments.

［実施例５］
次に、実施例５における画像処理装置について説明する。上記実施例の画像処理装置は、画像符号化装置及び画像復号装置をまとめて画像処理装置と呼ぶ。実施例５では、上述した実施例の各処理をソフトウェアで実装した場合について説明する。 [Example 5]
Next, an image processing apparatus in Embodiment 5 will be described. In the image processing apparatus of the above embodiment, the image encoding apparatus and the image decoding apparatus are collectively referred to as an image processing apparatus. In the fifth embodiment, a case where each process of the above-described embodiment is implemented by software will be described.

＜構成＞
図１２は、実施例５における画像処理装置６０の概略構成の一例を示すブロック図である。図１２に示す画像処理装置６０は、制御部６０１と、主記憶部６０２と、補助記憶部６０３と、通信部６０４と、記録媒体Ｉ／Ｆ部６０５とを少なくとも有する。各部は、バスを介して相互にデータ送受信可能に接続されている。 <Configuration>
FIG. 12 is a block diagram illustrating an example of a schematic configuration of the image processing device 60 according to the fifth embodiment. An image processing device 60 illustrated in FIG. 12 includes at least a control unit 601, a main storage unit 602, an auxiliary storage unit 603, a communication unit 604, and a recording medium I / F unit 605. Each unit is connected via a bus so that data can be transmitted / received to / from each other.

制御部６０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部６０１は、主記憶部６０２や補助記憶部６０３に記憶されたプログラムを実行する演算装置であり、通信部６０４や各記憶部からデータを受け取り、演算、加工した上で、出力部や各記憶部に出力する。 The control unit 601 is a CPU (Central Processing Unit) that controls each device, calculates data, and processes in a computer. The control unit 601 is an arithmetic device that executes programs stored in the main storage unit 602 and the auxiliary storage unit 603. The control unit 601 receives data from the communication unit 604 and each storage unit, calculates, processes, and outputs the data. And output to each storage unit.

また、制御部６０１は、例えば補助記憶部６０３に記憶される上記実施例のいずれかの処理を行うプログラムを実行することで、上述した処理を実行することができる。 In addition, the control unit 601 can execute the above-described processing by executing a program for performing any of the processing of the above-described embodiment stored in the auxiliary storage unit 603, for example.

主記憶部６０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部６０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。 The main storage unit 602 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and a storage device that stores or temporarily stores programs and data such as an OS and application software that are basic software executed by the control unit 601. It is.

補助記憶部６０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部６０３は、記録媒体６０６などから取得されたプログラムを記憶しておいてもよい。 The auxiliary storage unit 603 is a hard disk drive (HDD) or the like, and is a storage device that stores data related to application software and the like. The auxiliary storage unit 603 may store a program acquired from the recording medium 606 or the like.

通信部６０４は、有線又は無線で通信を行う。通信部６０４は、例えばサーバなどから送信されたプログラムを補助記憶部６０３に記憶するようにしてもよい。 The communication unit 604 performs wired or wireless communication. For example, the communication unit 604 may store a program transmitted from a server or the like in the auxiliary storage unit 603.

記録媒体Ｉ／Ｆ（インターフェース）部６０５は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体６０６（例えば、フラッシュメモリなど）と画像処理装置６０とのインターフェースである。 A recording medium I / F (interface) unit 605 is an interface between the image processing apparatus 60 and a recording medium 606 (for example, a flash memory) connected via a data transmission path such as a USB (Universal Serial Bus).

また、記録媒体６０６に、所定のプログラムを格納し、この記録媒体６０６に格納されたプログラムは記録媒体Ｉ／Ｆ部６０５を介して画像処理装置６０にインストールされる。インストールされた所定のプログラムは、画像処理装置６０により実行可能となる。 A predetermined program is stored in the recording medium 606, and the program stored in the recording medium 606 is installed in the image processing apparatus 60 via the recording medium I / F unit 605. The installed predetermined program can be executed by the image processing apparatus 60.

例えば、図１に示す復号画像記憶部１１０や図１１に示す復号情報記憶部５０５やフレームメモリ５１１は、例えば、主記憶部６０２又は補助記憶部６０３などにより実現されうる。図１や図１１に示す各記憶部以外の各部は、例えば制御部６０１及びワーキングメモリとしての主記憶部６０２により実現されうる。 For example, the decoded image storage unit 110 illustrated in FIG. 1, the decoded information storage unit 505, and the frame memory 511 illustrated in FIG. 11 can be realized by the main storage unit 602 or the auxiliary storage unit 603, for example. Each unit other than each storage unit illustrated in FIGS. 1 and 11 can be realized by, for example, the control unit 601 and the main storage unit 602 as a working memory.

また、このプログラムを記録媒体６０６に記録し、このプログラムが記録された記録媒体６０６をコンピュータや携帯端末に読み取らせて、前述した処理を実現させることも可能である。 It is also possible to record the program on the recording medium 606 and cause the computer or portable terminal to read the recording medium 606 on which the program is recorded to realize the above-described processing.

なお、記録媒体６０６は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。 The recording medium 606 is a recording medium that records information optically, electrically, or magnetically, such as a CD-ROM, flexible disk, magneto-optical disk, etc., and information is electrically stored, such as a ROM or flash memory. Various types of recording media such as a semiconductor memory for recording can be used. Further, the processes described in the above embodiments may be implemented in one or a plurality of integrated circuits.

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。 Each embodiment has been described in detail above. However, the present invention is not limited to the specific embodiment, and various modifications and changes other than the above-described modification are possible within the scope described in the claims. .

１０画像符号化装置
５０画像復号装置
６０画像処理装置
１０３量子化部
１０４エントロピー符号化部
２０１、３０１、４０１量子化制御部
２０３、３０５、４０５量子化処理部
３０３近似部
３０７、４０７パラメータ符号化部
４０３パラメータ設定部
５０２逆量子化部
６０１制御部
６０２主記憶部 DESCRIPTION OF SYMBOLS 10 Image encoding apparatus 50 Image decoding apparatus 60 Image processing apparatus 103 Quantization part 104 Entropy encoding part 201,301,401 Quantization control part 203,305,405 Quantization processing part 303 Approximation part 307,407 Parameter encoding part 403 Parameter setting unit 502 Inverse quantization unit 601 Control unit 602 Main storage unit

Claims

An image encoding apparatus that divides an image into encoding units, performs frequency conversion on the encoding units by a plurality of conversion units, generates a coefficient signal, and performs encoding.
Based on the coefficient signal of the transform unit, a quantization control unit that sets quantization control information that is logarithmically proportional to the quantization parameter for each transform unit;
An approximation unit for approximating the quantization control information of all the transform units included in the coding unit with an approximation function having the position information of the transform unit in the coding unit as a variable;
A quantization processing unit that quantizes the coefficient signal using the quantization control information approximated by the approximation unit;
A parameter encoding unit that encodes the parameter of the approximation function generated by the approximation unit and includes the parameter in the stream;
An image encoding device comprising:

The approximation is
Approximate the quantization control information of all the transform units included in the encoding unit with a linear function composed of three coefficients using the two-dimensional position information of the transform unit in the encoding unit as a variable. The image encoding device according to claim 1.

The approximation is
Quantization control information of all the transform units included in the coding unit is approximated by a curved surface with a quadratic function consisting of five coefficients with the two-dimensional position information of the transform unit in the coding unit as a variable. The image encoding apparatus according to claim 1.

The approximation is
Based on the size of the transform unit, the quantization control information of all the transform units included in the coding unit, and the three coefficients using the two-dimensional position information of the transform unit in the coding unit as a variable 2. It is determined whether to perform planar approximation with a linear function consisting of or a curved surface approximation with a quadratic function consisting of five coefficients whose variables are two-dimensional position information of the transform unit in the coding unit. 4. The image encoding device according to any one of items 1 to 3.

An image decoding device for decoding a stream encoded by the image encoding device according to any one of claims 1 to 4,
A decoding unit for decoding the stream;
Quantization control information approximated by the transform unit is acquired using the parameters of the approximation function decoded by the decoding unit, and the data decoded by the decoding unit using the quantization control information is dequantized. An inverse quantization unit that
An image decoding apparatus comprising: