JP7406208B2

JP7406208B2 - Encoding device, encoding method and program

Info

Publication number: JP7406208B2
Application number: JP2020122903A
Authority: JP
Inventors: 大祐小林; 優也大森; 健中村; 裕江岩崎; 昌論張山; ハシタムトゥマラウィッデヤスーリヤ
Original assignee: Tohoku University NUC; Nippon Telegraph and Telephone Corp
Current assignee: Tohoku University NUC; Nippon Telegraph and Telephone Corp
Priority date: 2020-07-17
Filing date: 2020-07-17
Publication date: 2023-12-27
Anticipated expiration: 2040-07-17
Also published as: JP2022019205A

Description

本発明は、符号化装置、符号化方法及びプログラムに関する。 The present invention relates to an encoding device, an encoding method, and a program.

符号化された高精細な動画像データが、多様なネットワーク環境下で配信される場合がある。動画像の符号化規格としては、例えば、ＭＰＥＧ（Moving Picture Experts Group）－２と、Ｈ．２６４／ＡＶＣ（Advanced Video Coding）と、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）とがあり、動画像のデータ量は、符号化されることによって大幅に削減される。 Encoded high-definition video data may be distributed under various network environments. Examples of video encoding standards include MPEG (Moving Picture Experts Group)-2 and H. H.264/AVC (Advanced Video Coding) and H.264/AVC (Advanced Video Coding). H.265/HEVC (High Efficiency Video Coding) is used to greatly reduce the amount of data of a moving image by encoding it.

近年、「３８４０画素×２１６０ライン」及び「７６８０画素×４３２０ライン」等の超高精細な動画像の放送並びに配信サービスの普及が拡大している。そこで、動画像データの符号化効率を向上させることを目的として、次世代の符号化規格であるＶＶＣ（Versatile Video Coding）の標準化が進められている。ここで、ＶＶＣの符号化効率をＨＥＶＣの符号化効率の約２倍とすることが目標とされている。 2. Description of the Related Art In recent years, broadcasting and distribution services for ultra-high definition moving images such as "3840 pixels x 2160 lines" and "7680 pixels x 4320 lines" have become increasingly popular. Therefore, standardization of VVC (Versatile Video Coding), which is a next-generation coding standard, is being promoted with the aim of improving the coding efficiency of moving image data. Here, the goal is to make the coding efficiency of VVC approximately twice that of HEVC.

ＶＶＣ及び「Ｈ．２６５／ＨＥＶＣ」等の符号化規格では、動画像のフレームは、コーディングツリーユニット（Coding Tree Unit : CTU）と呼ばれる基本単位のブロックに分割される。ＣＴＵは、ＭＰＥＧ－２又は「Ｈ．２６４／ＡＶＣ」におけるマクロブロック（Macro Block : MB）に相当する。ＣＴＵは、コーディングユニット（Coding Unit : CU）と呼ばれる単位のブロックに分割される。 In coding standards such as VVC and "H.265/HEVC," a video frame is divided into basic unit blocks called coding tree units (CTUs). A CTU corresponds to a macro block (MB) in MPEG-2 or "H.264/AVC". The CTU is divided into blocks called coding units (CUs).

「Ｈ．２６５／ＨＥＶＣ」では、予測処理単位（Prediction Unit : PU）と変換処理単位（Transform Unit : TU）とがＣＵに定められ、予測処理がＰＵに対して実行され、変換処理がＴＵに対して実行される。これに対してＶＶＣでは、予測処理、変換処理及び量子化等の符号化処理が、ＣＵに対して実行される。 In "H.265/HEVC", a prediction processing unit (PU) and a transformation processing unit (TU) are defined as CU, prediction processing is executed on PU, and transformation processing is executed on TU. executed against. On the other hand, in VVC, prediction processing, conversion processing, and encoding processing such as quantization are performed on CUs.

「Ｈ．２６５／ＨＥＶＣ」では、ＴＵのサイズとして、「３２×３２」と「１６×１６」と「８×８」と「４×４」とが定められている。「４×４」のイントラ予測（画面内予測）では、予測処理が実行されたことによって導出された予測残差は、離散サイン変換（Discrete Sine Transform : DST）によって周波数領域に変換される。これに対して、「３２×３２」、「１６×１６」又は「８×８」のイントラ予測では、予測残差は、離散コサイン変換（Discrete Cosine Transform : DCT）によって周波数領域に変換される。周波数領域に変換された予測残差の高周波成分は、量子化処理によって削減される。予測残差の高周波成分が削減されることによって、動画像のデータ量は効率的に削減される。 In "H.265/HEVC", TU sizes are defined as "32x32", "16x16", "8x8", and "4x4". In "4x4" intra prediction (intra-screen prediction), the prediction residual derived by performing the prediction process is transformed into the frequency domain by discrete sine transform (DST). On the other hand, in "32x32", "16x16", or "8x8" intra prediction, the prediction residual is transformed into the frequency domain by discrete cosine transform (DCT). High frequency components of the prediction residual transformed into the frequency domain are reduced by quantization processing. By reducing the high frequency components of the prediction residual, the data amount of the moving image can be efficiently reduced.

ＶＶＣでは、ＭＴＳ（Multiple Transform Selection）と呼ばれる符号化ツールが採用される見込みである。周波数の変換効率が高くなるように変換基底が選択されることによって、ＨＥＶＣと比較して、ＶＶＣの符号化効率が大幅に向上することが期待できる。 VVC is expected to employ an encoding tool called MTS (Multiple Transform Selection). By selecting a conversion base so as to increase frequency conversion efficiency, it can be expected that the coding efficiency of VVC will be significantly improved compared to HEVC.

J.Chen, Y.Ye, S.Kim, “Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5),” JVET(Joint Video Exploration Team)-N1002.J.Chen, Y.Ye, S.Kim, “Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5),” JVET(Joint Video Exploration Team)-N1002.

以下、変換基底となるＤＣＴのタイプ「２」は「ＤＣＴ－２」と表記される。変換基底となるＤＳＴのタイプ「７」は「ＤＳＴ－７」と表記される。変換基底となるＤＣＴのタイプ「８」は「ＤＣＴ－８」と表記される。 Hereinafter, the type "2" of the DCT serving as the conversion base will be expressed as "DCT-2". The DST type "7" which is the conversion base is expressed as "DST-7". The type "8" of the DCT serving as the conversion base is expressed as "DCT-8."

ＭＴＳでは、ＣＵのサイズが「３２×３２」以下である場合、（水平，垂直）＝｛（ＤＣＴ－２，ＤＣＴ－２），（ＤＣＴ－８，ＤＣＴ－８），（ＤＣＴ－８，ＤＳＴ－７），（ＤＳＴ－７，ＤＣＴ－８），（ＤＳＴ－７，ＤＳＴ－７）｝が、変換基底（直交変換の基底）の組み合わせの候補として存在する。符号化装置が符号化処理において用いる組み合わせを候補のうちから選択するために、レート歪み（Rate Distortion : RD）値等のコスト値が候補ごとに比較される。そして、コスト値が最小となる変換基底の組み合わせが、符号化処理において用いられる。 In MTS, if the CU size is "32x32" or less, (horizontal, vertical) = {(DCT-2, DCT-2), (DCT-8, DCT-8), (DCT-8, DST -7), (DST-7, DCT-8), (DST-7, DST-7)} exist as candidates for combinations of transformation bases (orthogonal transformation bases). In order for the encoding device to select a combination from among the candidates in the encoding process, cost values such as rate distortion (RD) values are compared for each candidate. Then, the combination of transformation bases with the minimum cost value is used in the encoding process.

「Ｈ．２６５／ＨＥＶＣ」では、符号化処理において用いられる変換基底が、ＴＵのサイズに応じて一つに定まる。このため、「Ｈ．２６５／ＨＥＶＣ」における変換基底を選択するための処理量は多くない。これに対して、ＶＶＣにおける変換基底を選択するための処理量は、「Ｈ．２６５／ＨＥＶＣ」における変換基底を選択するための処理量の５倍である。特にＶＶＣでは、ＣＵのサイズが大きくなるほど、変換基底を選択するための処理量が増加する。このようにＶＶＣでは、変換基底を選択するための処理量が、「Ｈ．２６５／ＨＥＶＣ」と比較して大きく増大している。 In "H.265/HEVC", one conversion base used in the encoding process is determined depending on the size of the TU. Therefore, the amount of processing required to select a conversion base in "H.265/HEVC" is not large. On the other hand, the amount of processing for selecting a conversion base in VVC is five times the amount of processing for selecting a conversion basis in "H.265/HEVC". Particularly in VVC, as the size of the CU increases, the amount of processing for selecting a transformation base increases. As described above, in VVC, the amount of processing for selecting a conversion base is significantly increased compared to "H.265/HEVC".

上記事情に鑑み、本発明は、変換基底を選択するための処理量を削減することが可能である符号化装置、符号化方法及びプログラムを提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide an encoding device, an encoding method, and a program that can reduce the amount of processing for selecting a transformation base.

本発明の一態様は、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、前記サブブロックごとに代表値を導出する代表値導出部と、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択部と、選択された前記組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部とである。 One aspect of the present invention is to provide a subblock dividing unit that divides a block of a coding unit defined in an image into a plurality of subblocks, and a representative value deriving unit that derives a representative value for each subblock. a selection unit that selects a combination of transformation bases from among the plurality of combinations based on the plurality of representative values in the representative block constituted by the plurality of sub-blocks; and a conversion processing unit that executes frequency conversion processing for each block in units of conversion.

本発明の一態様は、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割部と、前記サブブロックごとに代表値を導出する代表値導出部と、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択部と、選択された前記組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理部とを備える符号化装置である。 One aspect of the present invention is to provide a subblock dividing unit that divides a block of a coding unit defined in an image into a plurality of subblocks, and a representative value deriving unit that derives a representative value for each subblock. a selection unit that selects a combination of transformation bases from among the plurality of combinations based on the plurality of representative values in the representative block constituted by the plurality of sub-blocks; and a selection unit other than the selected combination and the plurality of combinations. and a transform processing unit that performs frequency transform processing for each block of the coding unit using any one of the combinations of transform bases.

本発明の一態様は、上記に記載の符号化装置が実行する符号化方法であって、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、前記サブブロックごとに代表値を導出する代表値導出ステップと、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択ステップと、選択された前記組み合わせを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップとを含む符号化方法である。 One aspect of the present invention is an encoding method executed by the encoding device described above, which includes a subblock dividing step of dividing a block of a coding unit defined in an image into a plurality of subblocks; a representative value deriving step of deriving a representative value for each block; and a combination of conversion bases is selected from among the plurality of combinations based on the plurality of representative values in the representative block composed of the plurality of mutually adjacent subblocks. The encoding method includes a selection step of making a selection, and a conversion processing step of performing frequency conversion processing for each block of the coding unit using the selected combination.

本発明の一態様は、上記に記載の符号化装置が実行する符号化方法であって、画像に定められた符号化単位のブロックを複数のサブブロックに分割するサブブロック分割ステップと、前記サブブロックごとに代表値を導出する代表値導出ステップと、互いに隣接する複数の前記サブブロックから構成される代表ブロックにおける複数の前記代表値に基づいて、変換基底の組み合わせを複数の前記組み合わせのうちから選択する選択ステップと、選択された前記組み合わせと前記複数の組み合わせ以外の変換基底の組み合わせとのうちのいずれかを用いて、前記符号化単位のブロックごとに周波数変換処理を実行する変換処理ステップとである。 One aspect of the present invention is an encoding method executed by the encoding device described above, which includes a subblock dividing step of dividing a block of a coding unit defined in an image into a plurality of subblocks; a representative value deriving step of deriving a representative value for each block; and a combination of conversion bases is selected from among the plurality of combinations based on the plurality of representative values in the representative block composed of the plurality of mutually adjacent subblocks. a selection step of selecting; and a transform processing step of performing frequency transform processing for each block of the coding unit using either the selected combination and a combination of transform bases other than the plurality of combinations. It is.

本発明の一態様は、上記に記載の符号化装置としてコンピュータを機能させるためのプログラムである。 One aspect of the present invention is a program for causing a computer to function as the encoding device described above.

本発明により、変換基底を選択するための処理量を削減することが可能である。 According to the present invention, it is possible to reduce the amount of processing for selecting a transformation base.

実施形態における、符号化装置の構成例を示す図である。FIG. 2 is a diagram showing a configuration example of an encoding device in an embodiment. 実施形態における、周波数変換部の構成例を示す図である。It is a figure showing the example of composition of the frequency converter in an embodiment. 実施形態における、サブブロックの分割の例を示す図である。FIG. 3 is a diagram illustrating an example of sub-block division in the embodiment. 実施形態における、判定部とサブブロック分割部と代表値導出部と水平方向選択部との動作例を示すフローチャートである。7 is a flowchart illustrating an example of the operation of a determination unit, a sub-block division unit, a representative value derivation unit, and a horizontal selection unit in the embodiment. 実施形態における、垂直方向選択部の動作例を示すフローチャートである。It is a flowchart which shows the example of operation of the vertical direction selection part in an embodiment. 実施形態における、サブブロック分割部と代表値導出部との動作例を示すフローチャートである。It is a flow chart which shows an example of operation of a subblock division part and a representative value derivation part in an embodiment. 実施形態における、符号化装置のハードウェア構成例を示す図である。FIG. 2 is a diagram illustrating an example hardware configuration of an encoding device in an embodiment.

本発明の実施形態について、図面を参照して詳細に説明する。
図１は、実施形態における、符号化装置１の構成例を示す図である。符号化装置１は、動画像を符号化する装置である。符号化装置１には、符号化対象の動画像（原画像）が入力される。符号化装置１は、指定されたパラメータに基づいて、動画像を符号化する。符号化装置１は、符号化結果をビットストリームとして、所定の外部装置（不図示）に出力する。 Embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a diagram showing a configuration example of an encoding device 1 in an embodiment. The encoding device 1 is a device that encodes moving images. A moving image (original image) to be encoded is input to the encoding device 1 . The encoding device 1 encodes a moving image based on specified parameters. The encoding device 1 outputs the encoding result to a predetermined external device (not shown) as a bit stream.

符号化装置１は、ブロック分割部１０と、残差信号生成部１１と、周波数変換部１２と、量子化部１３と、エントロピー符号化部１４と、逆量子化部１５と、逆周波数変換部１６と、復号画像生成部１７と、ループフィルタ処理部１８と、参照画像バッファ部１９と、イントラ予測部２０と、インター予測部２１と、予測画像生成部２２とを備える。 The encoding device 1 includes a block division section 10, a residual signal generation section 11, a frequency conversion section 12, a quantization section 13, an entropy encoding section 14, an inverse quantization section 15, and an inverse frequency conversion section. 16, a decoded image generation section 17, a loop filter processing section 18, a reference image buffer section 19, an intra prediction section 20, an inter prediction section 21, and a predicted image generation section 22.

ブロック分割部１０は、入力された動画像（原画像）のフレームをＣＵに分割する。ＣＵのサイズは符号化処理の単位であり、動画像のフレームにおけるＣＵの形状は矩形である。ブロック分割部１０は、動画像をＣＵごとに残差信号生成部１１に出力する。 The block dividing unit 10 divides frames of an input moving image (original image) into CUs. The size of a CU is a unit of encoding processing, and the shape of a CU in a frame of a moving image is a rectangle. The block division unit 10 outputs the moving image to the residual signal generation unit 11 for each CU.

残差信号生成部１１には、ＣＵごとの動画像が、ブロック分割部１０から入力される。残差信号生成部１１には、ＣＵごとの動画像の予測画像が、予測画像生成部２２から入力される。残差信号生成部１１は、動画像と予測画像との差分（予測残差）を、ＣＵごとに導出する。残差信号生成部１１は、動画像と予測画像とのＣＵごとの差分を、予測残差信号として周波数変換部１２に出力する。 A moving image for each CU is input to the residual signal generation section 11 from the block division section 10 . A predicted image of a moving image for each CU is input to the residual signal generation unit 11 from the predicted image generation unit 22 . The residual signal generation unit 11 derives the difference (prediction residual) between the moving image and the predicted image for each CU. The residual signal generation unit 11 outputs the difference between the moving image and the predicted image for each CU to the frequency conversion unit 12 as a predicted residual signal.

周波数変換部１２には、予測残差信号が、残差信号生成部１１から入力される。周波数変換部１２は、離散コサイン変換又は離散サイン変換による周波数変換を、予測画像の水平方向と予測画像の垂直方向とに対して実行する。周波数変換部１２は、周波数変換の結果として導出された変換係数群を、量子化部１３に出力する。 A predicted residual signal is input to the frequency converter 12 from the residual signal generator 11 . The frequency conversion unit 12 performs frequency conversion using discrete cosine transform or discrete sine transform in the horizontal direction of the predicted image and in the vertical direction of the predicted image. The frequency conversion unit 12 outputs a group of conversion coefficients derived as a result of the frequency conversion to the quantization unit 13.

量子化部１３には、変換係数群が、周波数変換部１２から入力される。量子化部１３は、所定の量子化パラメータを用いて、変換係数を量子化する。量子化部１３は、量子化された変換係数を、エントロピー符号化部１４と逆量子化部１５とに出力する。 A group of transform coefficients is input to the quantizer 13 from the frequency transformer 12 . The quantization unit 13 quantizes the transform coefficients using a predetermined quantization parameter. The quantization unit 13 outputs the quantized transform coefficients to the entropy encoding unit 14 and the inverse quantization unit 15.

エントロピー符号化部１４には、量子化された変換係数が、量子化部１３から入力される。エントロピー符号化部１４は、量子化された変換係数をエントロピー符号化する。エントロピー符号化部１４は、エントロピー符号化の結果を、ビットストリームとして所定の外部装置（不図示）に出力する。 The quantized transform coefficients are input to the entropy encoding unit 14 from the quantization unit 13 . The entropy encoding unit 14 entropy encodes the quantized transform coefficients. The entropy encoding unit 14 outputs the entropy encoding result to a predetermined external device (not shown) as a bit stream.

逆量子化部１５には、量子化された変換係数が、量子化部１３から入力される。逆量子化部１５は、量子化された変換係数に対して、逆量子化処理を実行する。これによって、逆量子化部１５は変換係数を生成する。 The quantized transform coefficients are input to the inverse quantization unit 15 from the quantization unit 13 . The dequantization unit 15 performs dequantization processing on the quantized transform coefficients. Thereby, the inverse quantization unit 15 generates transform coefficients.

逆周波数変換部１６には、変換係数が、逆量子化部１５から入力される。逆周波数変換部１６は、変換係数に対して逆周波数変換を実行する。これによって、逆周波数変換部１６は、予測残差の復号画像を復号画像生成部１７に出力する。 The inverse frequency transformer 16 receives the transform coefficients from the inverse quantizer 15 . The inverse frequency transform unit 16 performs inverse frequency transform on the transform coefficients. Thereby, the inverse frequency transformer 16 outputs the decoded image of the prediction residual to the decoded image generator 17.

復号画像生成部１７には、予測残差の復号画像が、逆周波数変換部１６から入力され、予測画像が予測画像生成部２２から入力される。復号画像生成部１７は、予測残差の復号画像と原画像の予測画像とをＣＵごとに加算することによって、符号化対象の動画像の復号画像を、ＣＵごとに生成する。復号画像生成部１７は、符号化対象の動画像の復号画像を、ループフィルタ処理部１８と参照画像バッファ部１９とに出力する。 The decoded image of the prediction residual is input to the decoded image generation unit 17 from the inverse frequency conversion unit 16 , and the predicted image is input from the predicted image generation unit 22 . The decoded image generation unit 17 generates a decoded image of the moving image to be encoded for each CU by adding the decoded image of the prediction residual and the predicted image of the original image for each CU. The decoded image generation unit 17 outputs the decoded image of the moving image to be encoded to the loop filter processing unit 18 and the reference image buffer unit 19.

ループフィルタ処理部１８には、符号化対象の動画像の復号画像が、復号画像生成部１７から入力される。ループフィルタ処理部１８は、符号化歪みを低減するためのフィルタ処理を、符号化対象の動画像の復号画像に対して実行する。ループフィルタ処理部１８は、フィルタ処理が実行された復号画像を、参照画像バッファ部１９に記録する。 A decoded image of a moving image to be encoded is input to the loop filter processing unit 18 from the decoded image generation unit 17 . The loop filter processing unit 18 performs filter processing for reducing coding distortion on the decoded image of the moving image to be coded. The loop filter processing section 18 records the decoded image on which the filter processing has been performed in the reference image buffer section 19.

参照画像バッファ部１９には、フィルタ処理後の復号画像がループフィルタ処理部１８から入力され、符号化対象の動画像の復号画像が復号画像生成部１７から入力される。参照画像バッファ部１９は、フィルタ処理後の復号画像と、符号化対象の動画像の復号画像とを、参照用の画像として記憶する。すなわち、参照画像バッファ部１９は、過去の復号画像を参照用の画像として記憶する。 The reference image buffer section 19 receives a decoded image after filter processing from the loop filter processing section 18 and receives a decoded image of a moving image to be encoded from the decoded image generation section 17 . The reference image buffer unit 19 stores the decoded image after the filter processing and the decoded image of the moving image to be encoded as reference images. That is, the reference image buffer unit 19 stores past decoded images as reference images.

イントラ予測部２０は、過去の復号画像を参照画像バッファ部１９から取得する。イントラ予測部２０は、復号画像に対してフレーム内予測処理を実行することによって、フレーム内予測処理の結果に応じた予測結果を生成する。イントラ予測部２０は、原画像の予測結果を予測画像生成部２２に出力する。 The intra prediction unit 20 acquires past decoded images from the reference image buffer unit 19. The intra prediction unit 20 generates a prediction result according to the result of the intra frame prediction process by performing an intra frame prediction process on the decoded image. The intra prediction unit 20 outputs the prediction result of the original image to the predicted image generation unit 22.

インター予測部２１は、過去の復号画像を参照画像バッファ部１９から取得する。インター予測部２１は、過去の復号画像に対して動き補償予測処理を実行することによって、動き補償予測処理の結果に応じた予測結果を生成する。インター予測部２１は、原画像の予測結果を予測画像生成部２２に出力する。 The inter prediction unit 21 acquires past decoded images from the reference image buffer unit 19. The inter prediction unit 21 generates a prediction result according to the result of the motion compensation prediction process by executing the motion compensation prediction process on the past decoded image. The inter prediction unit 21 outputs the prediction result of the original image to the predicted image generation unit 22.

予測画像生成部２２には、原画像の予測結果が、イントラ予測部２０又はインター予測部２１から入力される。予測画像生成部２２は、予測画像に基づいて、参照用の画像として記憶されている過去の復号画像を、参照画像バッファ部１９から取得する。予測画像生成部２２は、原画像の予測結果と過去の復号画像データとに基づいて、原画像の予測画像を生成する。予測画像生成部２２は、原画像の予測画像を残差信号生成部１１に出力する。 The predicted image generation unit 22 receives the prediction result of the original image from the intra prediction unit 20 or the inter prediction unit 21 . The predicted image generation unit 22 acquires a past decoded image stored as a reference image from the reference image buffer unit 19 based on the predicted image. The predicted image generation unit 22 generates a predicted image of the original image based on the prediction result of the original image and past decoded image data. The predicted image generation section 22 outputs a predicted image of the original image to the residual signal generation section 11.

次に、周波数変換部１２の詳細を説明する。
図２は、実施形態における、周波数変換部１２の構成例を示す図である。周波数変換部１２は、絞込部１２０を備える。絞込部１２０は、判定部１２１と、サブブロック分割部１２２と、代表値導出部１２３と、水平方向選択部１２４と、垂直方向選択部１２５とを備える。周波数変換部１２は、変換処理部１２６とを備える。 Next, details of the frequency converter 12 will be explained.
FIG. 2 is a diagram showing a configuration example of the frequency converter 12 in the embodiment. The frequency conversion section 12 includes a narrowing down section 120. The narrowing down section 120 includes a determination section 121 , a subblock division section 122 , a representative value derivation section 123 , a horizontal direction selection section 124 , and a vertical direction selection section 125 . The frequency conversion unit 12 includes a conversion processing unit 126.

絞込部１２０には、符号化対象のＣＵの予測残差信号と、ＣＵのサイズ情報（以下「変換サイズ情報」という。）と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、ブロック分割部１０から入力される。ここで、予測残差信号は、ＣＵにおける２次元（水平方向及び垂直方向）の予測残差の信号である。 The narrowing down unit 120 stores the prediction residual signal of the CU to be encoded, the size information of the CU (hereinafter referred to as "transform size information"), and a list of combinations of frequency transform bases "TrMtxList", which are divided into blocks. The information is input from the unit 10. Here, the prediction residual signal is a two-dimensional (horizontal direction and vertical direction) prediction residual signal in the CU.

周波数変換領域の一部に動画像信号の成分が集められることによって、空間的な相関が動画像から除去されて、符号化効率が向上する。例えば、周波数変換後の係数行列が「Ｚ」と、周波数変換前の信号行列が「Ｘ」と、第１の変換行列が「Ｂ」と、第２の変換領域が「Ｃ」と表記される場合、２次元の信号に対する周波数変換は、式（１）のように表される。 By collecting the components of the moving image signal in a part of the frequency transform domain, spatial correlation is removed from the moving image, and encoding efficiency is improved. For example, the coefficient matrix after frequency conversion is written as "Z", the signal matrix before frequency conversion is written as "X", the first transformation matrix is written as "B", and the second transformation domain is written as "C". In this case, frequency conversion for a two-dimensional signal is expressed as in equation (1).

式（１）は、信号行列「Ｘ」の行（水平成分）に変換行列「Ｃ」が適用され、信号行列「Ｘ」の列（垂直成分）に変換行列「Ｂ」が適用されることを表す。 Equation (1) indicates that the transformation matrix "C" is applied to the rows (horizontal components) of the signal matrix "X", and the transformation matrix "B" is applied to the columns (vertical components) of the signal matrix "X". represent.

周波数変換前における、信号行列「Ｘ」の行（水平成分）又は列（垂直成分）として、Ｎ点（Ｎは２以上の整数）の入力成分「ｘ」は、「ｘ＝［ｘ_０，ｘ＿１，…，ｘ_{｛Ｎ－１｝}］^Ｔ」と表記される。また、周波数変換後における、入力信号の成分のＮ点とは別のＮ点の変換係数の成分「ｙ」は、「ｙ＝［ｙ_０，ｙ_１，…，ｙ_{｛Ｎ－１｝}］^Ｔ」と表記される。これらの式の肩に記載された「Ｔ」は、転置を表す。変換係数の成分「ｙ_ｉ」は式（２）のように表される。 As the rows (horizontal components) or columns (vertical components) of the signal matrix "X" before frequency conversion, the input component "x" at N points (N is an integer of 2 or more) is "x = [x ₀ , x_1 ,...,x _{N-1} ] ^T ''. Further, after frequency conversion, the component "y" of the conversion coefficient at N points other than the N points of the input signal component is "y=[y ₀ , y ₁ , ..., y _{N-1} ] ^T ” is written. The "T" written at the beginning of these formulas represents transposition. The component “y _i ” of the conversion coefficient is expressed as in equation (2).

ＶＶＣでは、式（２）に示された「Ｔ_ｉ（ｊ）」は、変換基底「ＤＣＴ－２」が選択された場合、式（３）のように表される。 In VVC, "T _i (j)" shown in equation (2) is expressed as in equation (3) when the conversion base "DCT-2" is selected.

「Ｔ_ｉ（ｊ）」は、変換基底「ＤＳＴ－７」が選択された場合、式（４）のように表される。 “T _i (j)” is expressed as in equation (4) when the conversion base “DST-7” is selected.

「Ｔ_ｉ（ｊ）」は、変換基底「ＤＣＴ－８」が選択された場合、式（５）のように表される。 “T _i (j)” is expressed as in equation (5) when the conversion base “DCT-8” is selected.

ＶＶＣでは、「ＤＣＴ－２」と「ＤＣＴ－８」と「ＤＳＴ－７」とが、各変換基底として用意されている。ＣＵのサイズが「６４×６４」である場合、垂直方向及び水平方向の予測残差に対して、１次元の変換基底「ＤＣＴ－２」が用いられる。これに対して、ＣＵのサイズが「３２×３２」以下である場合、「ＤＣＴ－２」と「ＤＳＴ－７」と「ＤＣＴ－８」とが、変換基底として選択可能である。つまり、ＣＵのサイズが「３２×３２」以下である場合、変換基底（直交変換の基底）の組み合わせ「（水平，垂直）＝｛（ＤＣＴ－２，ＤＣＴ－２），（ＤＣＴ－８，ＤＣＴ－８），（ＤＣＴ－８，ＤＳＴ－７），（ＤＳＴ－７，ＤＣＴ－８），（ＤＳＴ－７，ＤＳＴ－７）｝」が、垂直方向及び水平方向の予測誤差の周波数変換において選択可能である。 In VVC, "DCT-2", "DCT-8", and "DST-7" are prepared as conversion bases. When the size of the CU is “64×64”, a one-dimensional transformation base “DCT-2” is used for the vertical and horizontal prediction residuals. On the other hand, when the size of the CU is "32x32" or less, "DCT-2", "DST-7", and "DCT-8" can be selected as the conversion base. In other words, if the size of the CU is "32x32" or less, the combination of transformation bases (orthogonal transformation bases) "(horizontal, vertical) = {(DCT-2, DCT-2), (DCT-8, DCT -8), (DCT-8, DST-7), (DST-7, DCT-8), (DST-7, DST-7)} are selected for frequency conversion of vertical and horizontal prediction errors. It is possible.

絞込部１２０は、１次元の変換基底の組み合わせを、水平方向の予測残差と垂直方向の予測残差とに対して適用する。 The narrowing down unit 120 applies a combination of one-dimensional transformation bases to the horizontal prediction residual and the vertical prediction residual.

判定部１２１には、符号化対象のＣＵの予測残差信号と、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、ブロック分割部１０から入力される。判定部１２１は、変換基底を選択する処理を実行するか否かを、例えば変換サイズ情報に基づいて判定する。 The determination unit 121 receives the prediction residual signal of the CU to be encoded, transform size information, and a list of combinations of frequency transform bases “TrMtxList” from the block dividing unit 10 . The determination unit 121 determines whether or not to perform processing for selecting a transformation base, based on, for example, transformation size information.

判定部１２１は、変換基底を選択する処理を実行すると判定した場合、符号化対象のＣＵの予測残差信号と、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、サブブロック分割部１２２に出力する。 When the determination unit 121 determines to execute the process of selecting a transform base, the determination unit 121 selects the prediction residual signal of the CU to be encoded, the transform size information, and the frequency transform base combination list "TrMtxList" into subblocks. It is output to the dividing section 122.

判定部１２１は、符号化対象のＣＵの予測残差信号を、変換処理部１２６に出力する。判定部１２１は、変換基底を選択する処理を実行しないと判定した場合、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、変換処理部１２６に出力する。 The determination unit 121 outputs the prediction residual signal of the CU to be encoded to the conversion processing unit 126. If the determination unit 121 determines not to perform the process of selecting a transformation base, it outputs the transformation size information and a list of combinations of frequency transformation bases “TrMtxList” to the transformation processing unit 126.

サブブロック分割部１２２は、符号化対象の画像（フレーム）に定められた符号化単位のブロック（ＣＵ）を、複数のサブブロックに分割する。サブブロック分割部１２２は、複数のサブブロックと（サブブロックのサイズと）、サブブロックごとの予測残差と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、代表値導出部１２３に出力する。 The sub-block dividing unit 122 divides a coding unit block (CU) defined in an image (frame) to be coded into a plurality of sub-blocks. The subblock dividing unit 122 outputs the plurality of subblocks (the size of the subblock), the prediction residual for each subblock, and the combination list “TrMtxList” to the representative value deriving unit 123.

図３は、実施形態における、サブブロックの分割の例を示す図である。図３には、ブロック３０と、サブブロック３１と、サブブロック３２とが示されている。ブロック３０は、ＣＵである。ブロック３０のサイズ「Ｎ×Ｎ」は、一例として「８×８」である。サブブロック３１は、ブロック３０を１６分割するように定められる。サブブロック３２は、４個のサブブロック３１から構成される。 FIG. 3 is a diagram illustrating an example of subblock division in the embodiment. In FIG. 3, a block 30, a sub-block 31, and a sub-block 32 are shown. Block 30 is a CU. The size “N×N” of the block 30 is, for example, “8×8”. The sub-blocks 31 are defined to divide the block 30 into 16 parts. The sub-block 32 is composed of four sub-blocks 31.

以下、代表値が導出された複数のサブブロックから構成されるブロックを「代表ブロック」という。 Hereinafter, a block composed of a plurality of subblocks from which representative values have been derived will be referred to as a "representative block."

ブロック３０内のサイズ「２×２」の領域における予測残差の平均値が、サイズ「２×２」のサブブロック３１における予測残差の代表値として、サブブロック３１ごとに導出される。また、互いに隣接する４個のサブブロック３１の各代表値の平均値が、代表ブロックとしてのサブブロック３２における予測残差として、サブブロック３２ごとに導出される。ここで、互いに隣接する４個のサブブロック３１の各代表値の平均値の分散値が、サブブロック３２ごとに導出されてもよい。 The average value of the prediction residuals in the area of size “2×2” in the block 30 is derived for each subblock 31 as a representative value of the prediction residuals in the subblock 31 of size “2×2”. Further, the average value of the respective representative values of the four sub-blocks 31 adjacent to each other is derived for each sub-block 32 as the prediction residual in the sub-block 32 serving as the representative block. Here, the variance value of the average value of each representative value of the four sub-blocks 31 adjacent to each other may be derived for each sub-block 32.

図２に示された代表値導出部１２３には、複数のサブブロックと（サブブロックのサイズ情報と）、サブブロックごとの予測残差と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、サブブロック分割部１２２から入力される。代表値導出部１２３は、予測残差の代表値を、サブブロックごとに導出する。代表値導出部１２３は、サブブロックごとの予測残差の代表値（縮小信号）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とを、水平方向選択部１２４に出力する。 The representative value deriving unit 123 shown in FIG. Input from The representative value deriving unit 123 derives a representative value of the prediction residual for each subblock. The representative value deriving unit 123 outputs the representative value (reduced signal) of the prediction residual for each subblock and the combination list “TrMtxList” to the horizontal selection unit 124.

水平方向選択部１２４には、サブブロックごとの予測残差の代表値（縮小信号）が、代表値導出部１２３から入力される。水平方向選択部１２４は、サブブロックごとの予測残差の代表値（縮小信号）に対して、変換基底を用いた水平方向の周波数変換を実行する。 The horizontal selection unit 124 receives a representative value (reduced signal) of the prediction residual for each subblock from the representative value derivation unit 123 . The horizontal selection unit 124 performs horizontal frequency transformation using a transformation basis on the representative value (reduced signal) of the prediction residual for each subblock.

水平方向選択部１２４は、変換基底「ＤＳＴ－７」が用いられることによって導出された水平方向の変換係数群の絶対値和と、変換基底「ＤＣＴ－８」が用いられることによって導出された水平方向の変換係数群の絶対値和との大小を比較する。水平方向選択部１２４は、変換係数の絶対値和がより小さくなる変換基底を選択する。水平方向選択部１２４は、サブブロックごとの予測残差の代表値（縮小信号）と、絶対値和がより小さくなるように導出された水平方向の変換係数群と、水平方向について選択された変換基底（「ＤＳＴ－７」又は「ＤＣＴ－８」）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」（ＤＣＴ－２，ＤＣＴ－２）とを、垂直方向選択部１２５に出力する。 The horizontal direction selection unit 124 selects the absolute value sum of the horizontal transform coefficient group derived by using the transform base "DST-7" and the horizontal transform coefficient group derived by using the transform base "DCT-8". Compare the magnitude with the sum of absolute values of the direction conversion coefficient group. The horizontal selection unit 124 selects a transformation base with which the sum of absolute values of transformation coefficients is smaller. The horizontal selection unit 124 selects a representative value (reduced signal) of the prediction residual for each subblock, a group of horizontal transformation coefficients derived so that the sum of absolute values becomes smaller, and a transformation selected for the horizontal direction. The base (“DST-7” or “DCT-8”) and the combination list “TrMtxList” (DCT-2, DCT-2) are output to the vertical selection unit 125.

垂直方向選択部１２５には、サブブロックごとの予測残差の代表値（縮小信号）と、水平方向の変換係数群と、水平方向選択部１２４によって選択された変換基底と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、水平方向選択部１２４から入力される。垂直方向選択部１２５は、サブブロックごとの予測残差の代表値（縮小信号）に対して、変換基底を用いた垂直方向の周波数変換を実行する。 The vertical selection unit 125 includes a representative value (reduced signal) of the prediction residual for each subblock, a group of horizontal transformation coefficients, a transformation base selected by the horizontal selection unit 124, and a combination list “TrMtxList”. is input from the horizontal direction selection section 124. The vertical selection unit 125 performs vertical frequency transformation using the transformation basis on the representative value (reduced signal) of the prediction residual for each subblock.

垂直方向選択部１２５は、変換基底「ＤＳＴ－７」が用いられることによって導出された垂直方向の変換係数群の絶対値和と、変換基底「ＤＣＴ－８」が用いられることによって導出された垂直方向の変換係数群の絶対値和との大小を比較する。垂直方向選択部１２５は、変換係数の絶対値和がより小さくなる変換基底を選択する。垂直方向選択部１２５は、サブブロックごとの予測残差の代表値（縮小信号）と、絶対値和がより小さくなるように導出された垂直方向の変換係数群と、垂直方向について選択された変換基底（「ＤＳＴ－７」又は「ＤＣＴ－８」）と、組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」（ＤＣＴ－２，ＤＣＴ－２）とを、変換処理部１２６に出力する。 The vertical direction selection unit 125 selects the sum of absolute values of the vertical transform coefficient group derived by using the transform base "DST-7" and the vertical sum derived by using the transform base "DCT-8". Compare the magnitude with the sum of absolute values of the direction conversion coefficient group. The vertical selection unit 125 selects a transformation base with a smaller sum of absolute values of transformation coefficients. The vertical selection unit 125 selects a representative value (reduced signal) of the prediction residual for each subblock, a group of vertical transformation coefficients derived so that the sum of absolute values becomes smaller, and a transformation selected for the vertical direction. The base (“DST-7” or “DCT-8”) and the combination list “TrMtxList” (DCT-2, DCT-2) are output to the conversion processing unit 126.

変換処理部１２６には、符号化対象のＣＵの予測残差信号が、判定部１２１から入力される。変換処理部１２６には、変換サイズ情報と、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、判定部１２１から入力されてもよい。また、変換処理部１２６には、絶対値和がより小さくなるように導出された垂直方向の変換係数群と、水平方向選択部１２４及び垂直方向選択部１２５によって選択された各変換基底を含む組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」とが、垂直方向選択部１２５から入力される。 The prediction residual signal of the CU to be encoded is input from the determination unit 121 to the conversion processing unit 126 . The conversion processing unit 126 may receive the conversion size information and the frequency conversion basis combination list “TrMtxList” from the determination unit 121 . The conversion processing unit 126 also includes a group of vertical conversion coefficients derived such that the sum of absolute values is smaller, and a combination including each conversion base selected by the horizontal selection unit 124 and the vertical selection unit 125. The list “TrMtxList” is input from the vertical selection unit 125.

変換処理部１２６は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に含まれている選択された組み合わせごとに（絞り込まれた組み合わせごとに）、符号化単位のブロックに対して周波数変換処理を実行する。変換処理部１２６は、変換基底の組み合わせごとのレート歪み値等のコスト値に基づいて、周波数の変換基底の最終的な組み合わせを選択する。変換処理部１２６は、コスト値が最も小さくなる変換基底の組み合わせを、最終的な組み合わせとして選択する。 The conversion processing unit 126 performs frequency conversion processing on the coding unit block for each selected combination included in the frequency conversion base combination list “TrMtxList” (for each narrowed-down combination). . The conversion processing unit 126 selects the final combination of frequency conversion bases based on cost values such as rate distortion values for each combination of conversion bases. The conversion processing unit 126 selects the combination of conversion bases with the smallest cost value as the final combination.

変換処理部１２６は、周波数の変換基底の最終的な組み合わせを用いて、符号化単位のブロックについて周波数変換を実行する。変換処理部１２６は、周波数変換の結果として導出された変換係数群を、量子化部１３に出力する。 The transform processing unit 126 performs frequency transform on the coding unit block using the final combination of frequency transform bases. The transform processing unit 126 outputs a group of transform coefficients derived as a result of the frequency transform to the quantization unit 13.

次に、周波数変換部１２の動作を説明する。
図４は、実施形態における、判定部１２１と、サブブロック分割部１２２と、代表値導出部１２３と、水平方向選択部１２４との動作例を示すフローチャートである。判定部１２１は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に、デフォルトの変換基底である「（水平，垂直）＝（ＤＣＴ－２，ＤＣＴ－２）」を格納する（ステップＳ１０１）。 Next, the operation of the frequency converter 12 will be explained.
FIG. 4 is a flowchart illustrating an example of the operation of the determination unit 121, subblock division unit 122, representative value derivation unit 123, and horizontal direction selection unit 124 in the embodiment. The determination unit 121 stores the default conversion base “(horizontal, vertical)=(DCT-2, DCT-2)” in the frequency conversion base combination list “TrMtxList” (step S101).

判定部１２１は、変換基底を選択する処理（絞込処理）を実行するか否かを、例えば、変換サイズ情報と、予測残差の絶対値和と、予測残差の水平方向及び垂直方向の分布形状とのうちのいずれかに基づいて判定する。判定部１２１は、これらの組み合わせに基づいて、変換基底を選択する処理をするか否かを判定してもよい（ステップＳ１０２）。 The determination unit 121 determines whether or not to execute the process of selecting a transform base (narrowing down process), based on, for example, transform size information, the sum of absolute values of the prediction residuals, and the horizontal and vertical directions of the prediction residuals. The determination is made based on one of the distribution shapes. The determination unit 121 may determine whether or not to perform a process of selecting a conversion base based on these combinations (step S102).

例えば変換サイズ情報（CUSize）が「３２×３２」を超えている場合（ステップＳ１０２：ＮＯ）、判定部１２１は、図４及び図５に記載された処理を終了する。例えば変換サイズ情報が「３２×３２」以下である場合（ステップＳ１０２：ＹＥＳ）、判定部１２１は、変換サイズ情報が閾値「ＴｈＳｉｚｅ」を超えているか否かを判定する（ステップＳ１０３）。 For example, if the conversion size information (CUSize) exceeds "32x32" (step S102: NO), the determination unit 121 ends the processing described in FIGS. 4 and 5. For example, when the converted size information is less than or equal to "32x32" (step S102: YES), the determination unit 121 determines whether the converted size information exceeds the threshold value "ThSize" (step S103).

変換サイズ情報が閾値「ＴｈＳｉｚｅ」以下である場合（ステップＳ１０３：ＮＯ）、周波数変換に要する処理量（演算量）が少ないので、判定部１２１に入力された予測残差信号に対して周波数変換が実行されるように、判定部１２１は、ステップＳ１０５－１及びステップＳ１０５－２に処理を進める。 If the conversion size information is less than or equal to the threshold value "ThSize" (step S103: NO), the amount of processing (amount of calculation) required for frequency conversion is small, so frequency conversion is not performed on the prediction residual signal input to the determination unit 121. In order to be executed, the determination unit 121 advances the process to step S105-1 and step S105-2.

変換サイズ情報が閾値「ＴｈＳｉｚｅ」を超えている場合（ステップＳ１０３：ＹＥＳ）、サブブロック分割部１２２及び代表値導出部１２３は、ＣＵにおける予測残差の解像度を低下させることによって、予測残差信号を縮小する。すなわち、サブブロック分割部１２２及び代表値導出部１２３は、ＣＵにおける予測残差の個数を削減する。 If the transform size information exceeds the threshold value "ThSize" (step S103: YES), the sub-block dividing unit 122 and the representative value deriving unit 123 reduce the resolution of the prediction residual in the CU, thereby reducing the prediction residual signal. Reduce. That is, the subblock dividing unit 122 and the representative value deriving unit 123 reduce the number of prediction residuals in the CU.

例えば、サブブロック分割部１２２は、ＣＵを複数（例えば、４×４個）のサブブロックに分割する。代表値導出部１２３は、サブブロックごとに１個の代表値を導出する。ＣＵにおいて個数が削減された予測残差を導出するための代表値として、例えば、サブブロックごとに導出された予測残差の平均値と、予測残差の最大値、最小値、中央値又は最頻値と、サブブロック内及びサブブロック間の所定の特徴を表す特徴量とのうちのいずれかが用いられる。これによって、周波数変換に要する処理量が削減される（ステップＳ１０４）。 For example, the subblock dividing unit 122 divides the CU into a plurality of (for example, 4×4) subblocks. The representative value deriving unit 123 derives one representative value for each subblock. For example, the average value of the prediction residuals derived for each subblock, the maximum value, the minimum value, the median value, or the maximum value of the prediction residuals are used as representative values for deriving the prediction residuals whose number has been reduced in the CU. Either a frequency value or a feature amount representing a predetermined feature within a subblock and between subblocks is used. This reduces the amount of processing required for frequency conversion (step S104).

水平方向選択部１２４は、個数が削減された予測残差に対して、所定の複数の変換基底を用いて、水平方向の周波数変換を実行する。すなわち、水平方向選択部１２４は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた水平方向の周波数変換を実行する（ステップＳ１０５－１）。水平方向選択部１２４は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた水平方向の周波数変換を実行する（ステップＳ１０５－２）。 The horizontal selection unit 124 performs horizontal frequency transformation on the reduced number of prediction residuals using a plurality of predetermined transformation bases. That is, the horizontal selection unit 124 performs horizontal frequency conversion using the conversion base "DST-7" on the reduced number of prediction residuals (step S105-1). The horizontal selection unit 124 performs horizontal frequency transformation using the transformation base "DCT-8" on the reduced number of prediction residuals (step S105-2).

以下、変換基底「ＤＳＴ－７」が用いられることによって導出された水平方向の変換係数群は、「ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」と表記される。変換基底「ＤＣＴ－８」が用いられることによって導出された水平方向の変換係数群は、「ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」と表記される。 Hereinafter, a group of horizontal transform coefficients derived by using the transform base "DST-7" will be expressed as "h_Coeff_DST7". A group of horizontal transform coefficients derived by using the transform base "DCT-8" is expressed as "h_Coeff_DCT8".

水平方向選択部１２４は、変換係数群「ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１０６－１）。水平方向選択部１２４は、変換係数群「ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１０６－２）。 The horizontal selection unit 124 derives the sum of absolute values "|h_Coeff_DST7|" of the conversion coefficient group "h_Coeff_DST7" (step S106-1). The horizontal selection unit 124 derives the sum of absolute values "|h_Coeff_DCT8|" of the transform coefficient group "h_Coeff_DCT8" (step S106-2).

水平方向選択部１２４は、絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１０７）。周波数変換領域の一部に動画像信号の成分が集められることによって、空間的な相関が動画像信号から除去される。この場合、周波数変換後の変換係数が一部の低周波成分に集中するほど、量子化処理の影響を受けにくく、符号化効率が高まる。また、変換係数の値が小さいほど、符号化に必要な情報量が少なくなる。そこで、水平方向選択部１２４は、異なる変換基底を用いて得られたそれぞれの変換係数（ここで、低周波から高周波までの各周波成分に変換係数がある）の絶対値和を比較する。変換係数の絶対値和がより小さい変換基底を水平方向選択部１２４が選択することによって、符号化効率がより高くなる変換基底が選択される。 The horizontal selection unit 124 compares the sum of absolute values "|h_Coeff_DST7|" with the sum of absolute values "|h_Coeff_DCT8|" (step S107). Spatial correlation is removed from the video signal by gathering the components of the video signal in a portion of the frequency transform domain. In this case, the more the transform coefficients after frequency conversion are concentrated in some low frequency components, the less they are affected by the quantization process and the higher the encoding efficiency becomes. Furthermore, the smaller the value of the transform coefficient, the smaller the amount of information required for encoding. Therefore, the horizontal selection unit 124 compares the absolute value sums of respective transform coefficients (here, there is a transform coefficient for each frequency component from low frequency to high frequency) obtained using different transform bases. When the horizontal selection unit 124 selects a transform base with a smaller sum of absolute values of transform coefficients, a transform base with higher encoding efficiency is selected.

絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１０７：ＹＥＳ）、水平方向選択部１２４は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｈ」に代入する。水平方向選択部１２４は、大小比較の結果として選択された変換基底の水平方向の変換係数を、パラメータ「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に代入する（ステップＳ１０８）。 If the sum of absolute values “|h_Coeff_DST7|” is less than the sum of absolute values “|h_Coeff_DCT8|” (step S107: YES), the horizontal direction selection unit 124 selects the conversion base “DST” selected based on the smaller sum of absolute values. -7” is assigned to the parameter “Tr_h” of the conversion base. The horizontal selection unit 124 assigns the horizontal conversion coefficient of the conversion base selected as a result of the size comparison to the parameter "h_Coeff_Best" (step S108).

絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１０７：ＮＯ）、水平方向選択部１２４は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｈ」に代入する。水平方向選択部１２４は、大小比較の結果として選択された変換基底の水平方向の変換係数群を、パラメータ「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に代入する（ステップＳ１０９）。 If the sum of absolute values “|h_Coeff_DST7|” is greater than or equal to the sum of absolute values “|h_Coeff_DCT8|” (step S107: NO), the horizontal selection unit 124 selects the conversion base “DCT” selected based on the smaller sum of absolute values. −8” is assigned to the parameter “Tr_h” of the conversion base. The horizontal selection unit 124 assigns the horizontal transformation coefficient group of the transformation base selected as a result of the size comparison to the parameter "h_Coeff_Best" (step S109).

図５は、実施形態における、垂直方向選択部１２５の動作例を示すフローチャートである。垂直方向選択部１２５は、水平方向選択部１２４によって導出された水平方向の変換係数群「ｈ＿Ｃｏｅｆｆ＿Ｂｅｓｔ」に対して、垂直方向の周波数変換を、所定の複数の変換基底を用いて実行する。 FIG. 5 is a flowchart showing an example of the operation of the vertical direction selection unit 125 in the embodiment. The vertical selection unit 125 performs vertical frequency conversion on the horizontal conversion coefficient group “h_Coeff_Best” derived by the horizontal selection unit 124 using a plurality of predetermined conversion bases.

図４に示されたステップＳ１０８が実行された場合、ステップＳ１０８に続いて、ステップＳ１１０からステップ１１８までが実行される。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた垂直方向の周波数変換を実行する（ステップＳ１１０－１）。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた垂直方向の周波数変換を実行する（ステップＳ１１０－２）。 When step S108 shown in FIG. 4 is executed, steps S110 to 118 are executed following step S108. The vertical selection unit 125 performs vertical frequency transformation using the transformation base "DST-7" on the reduced number of prediction residuals (step S110-1). The vertical selection unit 125 performs vertical frequency transformation using the transformation base "DCT-8" on the reduced number of prediction residuals (step S110-2).

以下、変換基底「ＤＳＴ－７」が用いられることによって導出された垂直方向の変換係数群は、「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」と表記される。変換基底「ＤＣＴ－８」が用いられることによって導出された垂直方向の変換係数群は、「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」と表記される。 Hereinafter, a group of vertical transform coefficients derived by using the transform base "DST-7" will be expressed as "vh_Coeff_DST7". A group of vertical transform coefficients derived by using the transform base "DCT-8" is expressed as "vh_Coeff_DCT8".

垂直方向選択部１２５は、垂直方向の変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１１１－１）。垂直方向選択部１２５は、垂直方向の変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１１１－２）。 The vertical selection unit 125 derives the sum of absolute values “|vh_Coeff_DST7|” of the vertical conversion coefficient group “vh_Coeff_DST7” (step S111-1). The vertical selection unit 125 derives the sum of absolute values "|vh_Coeff_DCT8|" of the vertical transform coefficient group "vh_Coeff_DCT8" (step S111-2).

垂直方向選択部１２５は、絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１１２）。 The vertical direction selection unit 125 compares the sum of absolute values "|vh_Coeff_DST7|" and the sum of absolute values "|vh_Coeff_DCT8|" (step S112).

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１１２：ＹＥＳ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１３－１）。 If the absolute value sum "|vh_Coeff_DST7|" is less than the absolute value sum "|vh_Coeff_DCT8|" (step S112: YES), the vertical direction selection unit 125 selects the conversion base "DST" selected based on the smaller absolute value sum. -7'' is substituted into the conversion base parameter ``Tr_v'' (step S113-1).

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１１２：ＮＯ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１３－２）。 If the absolute value sum “|vh_Coeff_DST7|” is greater than or equal to the absolute value sum “|vh_Coeff_DCT8|” (step S112: NO), the vertical direction selection unit 125 selects the conversion base “DCT” selected based on the smaller absolute value sum. −8” is substituted into the conversion base parameter “Tr_v” (step S113-2).

図４に示されたステップＳ１０９が実行された場合、ステップＳ１０９に続いて、ステップＳ１１４からステップ１１８までが実行される。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＳＴ－７」を用いた垂直方向の周波数変換を実行する（ステップＳ１１４－１）。垂直方向選択部１２５は、個数が削減された予測残差に対して、変換基底「ＤＣＴ－８」を用いた垂直方向の周波数変換を実行する（ステップＳ１１４－２）。 When step S109 shown in FIG. 4 is executed, steps S114 to 118 are executed following step S109. The vertical selection unit 125 performs vertical frequency transformation using the transformation base "DST-7" on the reduced number of prediction residuals (step S114-1). The vertical selection unit 125 performs vertical frequency transformation using the transformation base "DCT-8" on the reduced number of prediction residuals (step S114-2).

垂直方向選択部１２５は、変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」を導出する（ステップＳ１１５－１）。垂直方向選択部１２５は、変換係数群「ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８」の絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」を導出する（ステップＳ１１５－２）。 The vertical selection unit 125 derives the sum of absolute values "|vh_Coeff_DST7|" of the conversion coefficient group "vh_Coeff_DST7" (step S115-1). The vertical selection unit 125 derives the sum of absolute values "|vh_Coeff_DCT8|" of the transform coefficient group "vh_Coeff_DCT8" (step S115-2).

垂直方向選択部１２５は、絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」と絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」との大小を比較する（ステップＳ１１６）。 The vertical selection unit 125 compares the sum of absolute values "|vh_Coeff_DST7|" with the sum of absolute values "|vh_Coeff_DCT8|" (step S116).

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」未満である場合（ステップＳ１１６：ＹＥＳ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＳＴ－７」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１７－１）。 If the sum of absolute values “|vh_Coeff_DST7|” is less than the sum of absolute values “|vh_Coeff_DCT8|” (step S116: YES), the vertical direction selection unit 125 selects the conversion base “DST” selected based on the smaller sum of absolute values. -7' is substituted into the parameter 'Tr_v' of the conversion base (step S117-1).

絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＳＴ７｜」が絶対値和「｜ｖｈ＿Ｃｏｅｆｆ＿ＤＣＴ８｜」以上である場合（ステップＳ１１６：ＮＯ）、垂直方向選択部１２５は、より小さい絶対値和に基づいて選択された変換基底「ＤＣＴ－８」を、変換基底のパラメータ「Ｔｒ＿ｖ」に代入する（ステップＳ１１７－２）。 When the absolute value sum “|vh_Coeff_DST7|” is greater than or equal to the absolute value sum “|vh_Coeff_DCT8|” (step S116: NO), the vertical direction selection unit 125 selects the conversion base “DCT” selected based on the smaller absolute value sum. -8' is substituted into the parameter 'Tr_v' of the conversion base (step S117-2).

このような絞込処理によって、垂直方向選択部１２５は、水平方向及び垂直方向に関して４通りの変換基底のうちから、「（水平，垂直）＝（Ｔｒ＿ｈ，Ｔｒ＿ｖ）」という１個の変換基底を選択する。 Through such narrowing down processing, the vertical direction selection unit 125 selects one conversion base "(horizontal, vertical)=(Tr_h, Tr_v)" from among the four types of conversion bases in the horizontal and vertical directions. select.

垂直方向選択部１２５は、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」に、「（水平，垂直）＝（Ｔｒ＿ｈ，Ｔｒ＿ｖ）」という１個の変換基底を含める（ステップＳ１１８）。これによって、周波数の変換基底の組み合わせリスト「ＴｒＭｔｘＬｉｓｔ」では、「（水平、垂直）＝（ＤＣＴ－２、ＤＣＴ－２）」と、「（水平、垂直）＝（Ｔｒ＿ｈ、Ｔｒ＿ｖ）」という２通りの変換基底の組み合わせに絞り込まれる。 The vertical selection unit 125 includes one conversion base “(horizontal, vertical)=(Tr_h, Tr_v)” in the frequency conversion base combination list “TrMtxList” (step S118). As a result, in the frequency conversion base combination list "TrMtxList", there are two types: "(horizontal, vertical) = (DCT-2, DCT-2)" and "(horizontal, vertical) = (Tr_h, Tr_v)". is narrowed down to combinations of conversion bases.

次に、予測残差の縮小信号を生成する処理（図４に示されたステップＳ１０４）の詳細を説明する。
図６は、実施形態における、サブブロック分割部１２２と代表値導出部１２３との動作例を示すフローチャートである。サブブロック分割部１２２は、予測残差を含むＣＵのサイズが「Ｎ×Ｎ」であるブロック３０（Ｎ×Ｎブロック）を、「Ｓ＿１×Ｓ＿１」のサイズのサブブロック３１と、「Ｓ＿２×Ｓ＿２」のサイズのサブブロック３２とに分割する。ここで、「Ｓ＿１＜Ｓ＿２」と、「Ｓ＿２＝２×Ｓ＿１」とが成立している（ステップＳ２０１）。 Next, details of the process of generating a reduced prediction residual signal (step S104 shown in FIG. 4) will be described.
FIG. 6 is a flowchart showing an example of the operation of the sub-block dividing section 122 and the representative value deriving section 123 in the embodiment. The sub-block dividing unit 122 divides a block 30 (N×N block) whose CU size including the prediction residual is “N×N” into sub-blocks 31 with a size of “S_1×S_1” and “S_2×S_2”. It is divided into sub-blocks 32 with a size of . Here, “S_1<S_2” and “S_2=2×S_1” are established (step S201).

サブブロック分割部１２２は、「ｓ＿１［０］」から「ｓ＿１［ｍ＿１－１］」までの「ｍ＿１＝（Ｎ×Ｎ）／（Ｓ＿１×Ｓ＿１）」個のサブブロック３１を生成する。サブブロック分割部１２２は、「ｓ＿２［０］」から「ｓ＿２［ｍ＿２－１］」までの「ｍ＿２＝（Ｎ×Ｎ）／（Ｓ＿２×Ｓ＿２）」個のサブブロック３２を生成する（ステップＳ２０２）。 The sub-block dividing unit 122 generates "m_1=(N×N)/(S_1×S_1)" sub-blocks 31 from "s_1[0]" to "s_1[m_1-1]". The sub-block dividing unit 122 generates "m_2=(N×N)/(S_2×S_2)" sub-blocks 32 from "s_2[0]" to "s_2[m_2-1]" (step S202 ).

代表値導出部１２３は、サブブロック「ｓ＿１［ｉ］（ｉは、０から「ｍ＿１－１」までの整数）」ごとに、サブブロック３１の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」を、代表値として導出する（ステップＳ２０３）。 The representative value deriving unit 123 calculates the average value “s_1_ave[i]” of the prediction residual of the sub-block 31 for each sub-block “s_1[i] (i is an integer from 0 to “m_1-1”)”. , is derived as a representative value (step S203).

代表値導出部１２３は、サブブロック「ｓ＿２［ｊ］（ｊは、０から「ｍ＿２－１」までの整数）」ごとに、サブブロック３２が内包する４個のサブブロック３１「ｓ＿１［ｉ］」の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」の分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」を、代表値として導出する。図３では、代表値導出部１２３は、平均値「ｓ＿１＿ａｖｅ［０］」と平均値「ｓ＿１＿ａｖｅ［１］」と平均値「ｓ＿１＿ａｖｅ［４］」と平均値「ｓ＿１＿ａｖｅ［５］」とを用いて、例えば分散値「ｓ＿２＿ｉｎ＿Ｖａｒ［０］」を、代表値を導出する（ステップＳ２０４）。 The representative value deriving unit 123 calculates four subblocks 31 "s_1[i] included in the subblock 32 for each subblock "s_2[j] (j is an integer from 0 to "m_2-1")". The variance value "s_2_in_var[j]" of the average value "s_1_ave[i]" of the prediction residuals of " is derived as a representative value. In FIG. 3, the representative value deriving unit 123 uses the average value "s_1_ave[0]", the average value "s_1_ave[1]", the average value "s_1_ave[4]", and the average value "s_1_ave[5]". , a representative value is derived, for example, the variance value "s_2_in_Var[0]" (step S204).

図３では、代表ブロックとしてのサブブロック３２－０「ｓ＿２［０］」における予測残差の平均値「ｓ＿２＿ａｖｅ［０］」は、「ｓ＿２＿ａｖｅ［０］＝（ｓ＿１＿ａｖｅ［０］＋ｓ＿１＿ａｖｅ［１］＋ｓ＿１＿ａｖｅ［４］＋ｓ＿１＿ａｖｅ［５］）／４」である。代表ブロックとしてのサブブロック３２－１「ｓ＿２［１］」における予測残差の平均値「ｓ＿２＿ａｖｅ［１］」は、「ｓ＿２＿ａｖｅ［１］＝（ｓ＿１＿ａｖｅ［２］＋ｓ＿１＿ａｖｅ［３］＋ｓ＿１＿ａｖｅ［６］＋ｓ＿１＿ａｖｅ［７］）／４」である。 In FIG. 3, the average value “s_2_ave[0]” of the prediction residual in the sub-block 32-0 “s_2[0]” as a representative block is “s_2_ave[0]=(s_1_ave[0]+s_1_ave[1]+s_1_ave [4]+s_1_ave[5])/4''. The average value "s_2_ave[1]" of the prediction residuals in the sub-block 32-1 "s_2[1]" as a representative block is "s_2_ave[1]=(s_1_ave[2]+s_1_ave[3]+s_1_ave[6]+s_1_ave [7])/4''.

図３では、代表ブロックとしてのサブブロック３２－２「ｓ＿２［２］」における予測残差の平均値「ｓ＿２＿ａｖｅ［２］」は、「ｓ＿２＿ａｖｅ［２］＝（ｓ＿１＿ａｖｅ［８］＋ｓ＿１＿ａｖｅ［９］＋ｓ＿１＿ａｖｅ［１２］＋ｓ＿１＿ａｖｅ［１３］）／４」である。代表ブロックとしてのサブブロック３２－３「ｓ＿２［３］」における予測残差の平均値「ｓ＿２＿ａｖｅ［３］」は、「ｓ＿２＿ａｖｅ［３］＝（ｓ＿１＿ａｖｅ［１０］＋ｓ＿１＿ａｖｅ［１１］＋ｓ＿１＿ａｖｅ［１４］＋ｓ＿１＿ａｖｅ［１５］）／４」である。 In FIG. 3, the average value "s_2_ave[2]" of the prediction residuals in the sub-block 32-2 "s_2[2]" as a representative block is "s_2_ave[2]=(s_1_ave[8]+s_1_ave[9]+s_1_ave [12]+s_1_ave[13])/4''. The average value “s_2_ave[3]” of the prediction residuals in the sub-block 32-3 “s_2[3]” as a representative block is “s_2_ave[3]=(s_1_ave[10]+s_1_ave[11]+s_1_ave[14]+s_1_ave [15])/4''.

代表値導出部１２３は、分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が閾値「ＴｈＶａｒ」以下であるか否かを判定する（ステップＳ２０５）。分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が所定の閾値「ＴｈＶａｒ」以下である場合（ステップＳ２０５：ＹＥＳ）、サブブロック「ｓ＿２」を構成する４個のサブブロック３１「ｓ＿１［ｉ］」の間で、各予測残差のばらつきが少なく、各予測残差が互いに近い値である。 The representative value deriving unit 123 determines whether the variance value "s_2_in_var[j]" is less than or equal to the threshold value "ThVar" (step S205). If the variance value "s_2_in_var[j]" is less than or equal to the predetermined threshold value "ThVar" (step S205: YES), between the four sub-blocks 31 "s_1[i]" constituting the sub-block "s_2", There is little variation in each prediction residual, and each prediction residual has a value close to each other.

このような場合、サイズ「Ｎ×Ｎ」のブロック３０がサイズ「Ｓ＿２×Ｓ＿２」のサブブロック３２に分割されたとしても、サイズ「Ｎ×Ｎ」のブロック３０がサイズ「Ｓ＿１×Ｓ＿１」のサブブロック３１に分割された場合における予測残差の縮小信号と同様の縮小信号を、代表値導出部１２３が導出することが可能である。また、周波数変換の対象とされるサブブロックのサイズを代表値導出部１２３が更に小さくすることによって、処理量をさらに削減することが可能である。 In such a case, even if the block 30 of size “N×N” is divided into sub-blocks 32 of size “S_2×S_2”, the block 30 of size “N×N” is divided into sub-blocks 32 of size “S_1×S_1”. The representative value deriving unit 123 can derive a reduced signal similar to the reduced signal of the prediction residual when divided into blocks 31. Furthermore, the amount of processing can be further reduced by the representative value deriving unit 123 further reducing the size of the sub-block targeted for frequency conversion.

代表値導出部１２３は、サブブロック「ｓ＿１［ｉ］」の予測残差の平均値「ｓ＿１＿ａｖｅ［ｉ］」に基づいて、サブブロック「ｓ＿２［ｊ］」の予測残差の平均値「ｓ＿２＿ａｖｅ［ｊ］」を導出する（ステップＳ２０６）。代表値導出部１２３は、サイズ「Ｎ／Ｓ＿２×Ｎ／Ｓ＿２」のサブブロック３１「ｓ＿２［ｊ］」を、水平方向選択部１２４に出力する（ステップＳ２０７）。 The representative value deriving unit 123 calculates the average value "s_2_ave[" of the prediction residuals of the sub-block "s_2[j]" based on the average value "s_1_ave[i]" of the prediction residuals of the sub-block "s_1[i]". j]" (step S206). The representative value derivation unit 123 outputs the sub-block 31 “s_2[j]” of size “N/S_2×N/S_2” to the horizontal direction selection unit 124 (step S207).

分散値「ｓ＿２＿ｉｎ＿ｖａｒ［ｊ］」が所定の閾値「ＴｈＶａｒ」を超える場合（ステップＳ２０５：ＮＯ）、予測残差信号がさらに縮小されると（予測残差の個数がさらに削減されると）、予測残差の特徴が失われてしまう可能性があるので、代表値導出部１２３は、サイズ「Ｎ／Ｓ＿１×Ｎ／Ｓ＿１」のサブブロック３１「ｓ＿１［ｉ］」を、水平方向選択部１２４に出力する（ステップＳ２０８）。 If the variance value "s_2_in_var[j]" exceeds the predetermined threshold "ThVar" (step S205: NO), when the prediction residual signal is further reduced (the number of prediction residuals is further reduced), the prediction Since the characteristics of the residual may be lost, the representative value deriving unit 123 sends the sub-block 31 “s_1[i]” of size “N/S_1×N/S_1” to the horizontal direction selection unit 124. Output (step S208).

以上のように、サブブロック分割部１２２は、符号化対象の画像に定められた符号化単位のブロックを、複数のサブブロックに分割する。代表値導出部１２３は、サブブロックごとに代表値を導出する。水平方向選択部１２４及び垂直方向選択部１２５は、互いに隣接する複数のサブブロックから構成される代表ブロックにおける複数の代表値に基づいて、変換基底の組み合わせを複数の組み合わせのうちから選択する。変換処理部１２６は、選択された組み合わせを用いて、符号化単位のブロックごとに周波数変換処理を実行する。 As described above, the sub-block dividing unit 122 divides the block of the encoding unit determined for the image to be encoded into a plurality of sub-blocks. The representative value deriving unit 123 derives a representative value for each subblock. The horizontal selection unit 124 and the vertical selection unit 125 select a combination of transformation bases from among a plurality of combinations based on a plurality of representative values in a representative block composed of a plurality of mutually adjacent subblocks. The conversion processing unit 126 uses the selected combination to perform frequency conversion processing for each coding unit block.

このように、最終的な変換モードを変換処理部１２６が複数の周波数変換モードのうちから選択する際に、変換処理部１２６は、符号化対象の画像に定められたブロックのサブブロックごとの代表値を用いて、変換基底「ＤＳＴ－７」と変換基底「ＤＣＴ－８」との組み合わせを絞り込む。変換処理部１２６は、絞り込まれた組み合わせとＤＣＴ－２とについて、コスト値を導出する。変換処理部１２６は、コスト値に基づいて変換モードを選択する。これによって、変換基底を選択するための処理量を削減することが可能である。 In this way, when the transform processing unit 126 selects the final transform mode from among a plurality of frequency transform modes, the transform processing unit 126 selects a representative sub-block of the block defined in the image to be encoded. Using the values, narrow down the combinations of the conversion bases "DST-7" and "DCT-8". The conversion processing unit 126 derives cost values for the narrowed down combinations and DCT-2. The conversion processing unit 126 selects a conversion mode based on the cost value. This makes it possible to reduce the amount of processing required to select a transformation basis.

水平方向選択部１２４は、代表ブロックの水平方向について変換基底を選択する。垂直方向選択部１２５は、水平方向について選択された変換基底を用いて、変換係数を代表値から変換する。垂直方向選択部１２５は、水平方向について選択された変換基底を用いて代表値から変換された変換係数に基づいて、垂直方向について変換基底を複数の候補の中から選択する。垂直方向選択部１２５は、水平方向について選択された変換基底と、垂直方向について選択された変換基底とを、変換基底の組み合わせとして選択する。変換処理部１２６は、「ＤＳＴ－７」と「ＤＣＴ－８」との４通りの組み合わせのうちから選択された変換基底の組み合わせと、これら４通りの組み合わせ以外の変換基底の組み合わせ「（ＤＣＴ－２，ＤＣＴ－２）」とのうちのいずれかを用いて、符号化単位のブロック（ＣＵ）ごとに周波数変換処理を実行してもよい。 The horizontal selection unit 124 selects a conversion base for the representative block in the horizontal direction. The vertical selection unit 125 converts the conversion coefficient from the representative value using the conversion base selected in the horizontal direction. The vertical selection unit 125 selects a conversion base in the vertical direction from a plurality of candidates based on the conversion coefficients converted from the representative value using the conversion base selected in the horizontal direction. The vertical selection unit 125 selects a transformation base selected for the horizontal direction and a transformation base selected for the vertical direction as a combination of transformation bases. The conversion processing unit 126 converts a combination of conversion bases selected from among the four combinations of “DST-7” and “DCT-8” and a combination of conversion bases other than these four combinations “(DCT- 2, DCT-2)", frequency conversion processing may be performed for each coding unit block (CU).

符号化装置１は、複数の周波数変換組み合わせを用いて、変換対象元の予測残差信号の縮小信号（縮小予測残差信号）を導出する。符号化装置１は、水平方向の変換基底と垂直方向の変換基底とを縮小信号に対して段階的に絞り込むことによって、変換基底を決定する。これによって、周波数の変換基底選択に関わる処理量を削減することが可能である。 The encoding device 1 uses a plurality of frequency conversion combinations to derive a reduced signal (reduced predicted residual signal) of the predicted residual signal of the conversion target source. The encoding device 1 determines a transform base by narrowing down the horizontal transform base and the vertical transform base for the reduced signal in stages. This makes it possible to reduce the amount of processing involved in frequency conversion basis selection.

特に大きなサイズのＣＵに対してＭＴＳ処理が実行される場合、周波数変換の対象とされた予測残差のパターンによらず、ＭＴＳの変換基底を水平方向と垂直方向とで段階的に絞り込む。これによって、変換基底の選択処理を固定処理量で符号化装置１が実行し、ＭＴＳでの変換基底を決定するための処理量を削減することが可能である。 In particular, when MTS processing is performed on a large CU, the MTS conversion basis is narrowed down in stages in the horizontal and vertical directions, regardless of the pattern of prediction residuals targeted for frequency conversion. Thereby, the encoding device 1 can perform the transformation base selection process with a fixed amount of processing, and it is possible to reduce the amount of processing for determining the transformation basis in MTS.

図７は、実施形態における、符号化装置１のハードウェア構成例を示す図である。符号化装置１の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサ１００が、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部２００に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。通信部３００は、符号化装置１による処理結果を外部装置（不図示）に送信する。通信部３００は、通信回線を経由してプログラムを受信してもよい。表示部４００は、符号化装置１による処理結果を表示する。表示部４００は、例えば、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイである。 FIG. 7 is a diagram showing an example of the hardware configuration of the encoding device 1 in the embodiment. Some or all of the functional units of the encoding device 1 are stored by a processor 100 such as a CPU (Central Processing Unit) in a storage unit 200 having a non-volatile recording medium (non-temporary recording medium). It is realized as software by executing the program. The program may be recorded on a computer-readable recording medium. Computer-readable recording media include, for example, portable media such as flexible disks, magneto-optical disks, ROM (Read Only Memory), and CD-ROM (Compact Disc Read Only Memory), and storage such as hard disks built into computer systems. It is a non-temporary recording medium such as a device. The communication unit 300 transmits the processing result by the encoding device 1 to an external device (not shown). The communication unit 300 may receive the program via a communication line. The display unit 400 displays the processing results by the encoding device 1. The display unit 400 is, for example, a liquid crystal display or an organic EL (Electro Luminescence) display.

符号化装置１の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。 Some or all of the functional units of the encoding device 1 are, for example, LSI (Large Scale Integration circuit), ASIC (Application Specific Integrated Circuit), PLD (Programmable Logic Device), FPGA (Field Programmable Gate Array), etc. It may be realized using hardware including an electronic circuit or circuitry using.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described above in detail with reference to the drawings, the specific configuration is not limited to these embodiments, and includes designs within the scope of the gist of the present invention.

本発明は、符号化等の画像処理を動画像に対して実行する装置に適用可能である。 INDUSTRIAL APPLICATION This invention is applicable to the apparatus which performs image processing, such as encoding, on a moving image.

１…符号化装置、１０…ブロック分割部、１１…残差信号生成部、１２…周波数変換部、１３…量子化部、１４…エントロピー符号化部、１５…逆量子化部、１６…逆周波数変換部、１７…復号画像生成部、１８…ループフィルタ処理部、１９…参照画像バッファ部、２０…イントラ予測部、２１…インター予測部、２２…予測画像生成部、３０…ブロック、３１…サブブロック、３２…サブブロック、１００…プロセッサ、１２１…判定部、１２２…サブブロック分割部、１２３…代表値導出部、１２４…水平方向選択部、１２５…垂直方向選択部、１２６…変換処理部、２００…記憶部、３００…通信部、４００…表示部 DESCRIPTION OF SYMBOLS 1... Encoding device, 10... Block division part, 11... Residual signal generation part, 12... Frequency conversion part, 13... Quantization part, 14... Entropy coding part, 15... Inverse quantization part, 16... Inverse frequency Conversion unit, 17... Decoded image generation unit, 18... Loop filter processing unit, 19... Reference image buffer unit, 20... Intra prediction unit, 21... Inter prediction unit, 22... Predicted image generation unit, 30... Block, 31... Sub Block, 32... Sub-block, 100... Processor, 121... Judgment unit, 122... Sub-block dividing unit, 123... Representative value deriving unit, 124... Horizontal direction selection unit, 125... Vertical direction selection unit, 126... Conversion processing unit, 200...Storage unit, 300...Communication unit, 400...Display unit

Claims

a sub-block dividing unit that divides a block of coding units defined in an image into a plurality of sub-blocks;
a representative value deriving unit that derives a representative value for each sub-block;
a selection unit that selects a combination of transformation bases from a plurality of combinations based on the plurality of representative values in the representative block composed of the plurality of mutually adjacent subblocks;
An encoding device comprising: a transformation processing unit that performs frequency transformation processing for each block of the encoding unit using the selected combination of the transformation bases .

The selection section is
The representative block is selected from among a plurality of candidates in the vertical direction based on the transformation base selected for the horizontal direction and the transformation coefficient transformed from the representative value using the transformation base selected for the horizontal direction. and selecting the transformation base as a combination of the transformation bases ,
The encoding device according to claim 1.

a sub-block dividing unit that divides a block of coding units defined in an image into a plurality of sub-blocks;
a representative value deriving unit that derives a representative value for each sub-block;
a selection unit that selects a combination of transformation bases from a plurality of combinations based on the plurality of representative values in the representative block composed of the plurality of mutually adjacent subblocks;
A code comprising: a transform processing unit that performs frequency transform processing for each block of the coding unit using any one of the selected combination of transform bases and a combination of transform bases other than the plurality of combinations; conversion device.

The selection section is
selecting a combination of the transformation bases for the horizontal direction of the representative block; selecting a combination of the transformation bases for the vertical direction of the representative block;
The conversion processing unit is
The frequency conversion process is performed in the horizontal direction of the block of the coding unit using either the combination of the transform bases selected for the horizontal direction or a combination of transform bases other than the plurality of combinations. ,
The encoding device according to claim 3.

An encoding method executed by an encoding device, the encoding method comprising:
a subblock dividing step of dividing a coding unit block defined in the image into a plurality of subblocks;
a representative value deriving step of deriving a representative value for each sub-block;
a selection step of selecting a combination of transformation bases from a plurality of combinations based on the plurality of representative values in the representative block constituted by the plurality of mutually adjacent subblocks;
and a transform processing step of performing frequency transform processing for each block of the coding unit using the selected combination of the transform bases .

An encoding method executed by an encoding device, the encoding method comprising:
a subblock dividing step of dividing a coding unit block defined in the image into a plurality of subblocks;
a representative value deriving step of deriving a representative value for each sub-block;
a selection step of selecting a combination of transformation bases from a plurality of combinations based on the plurality of representative values in the representative block constituted by the plurality of mutually adjacent subblocks;
a conversion processing step of performing a frequency conversion process for each block of the coding unit using any one of the selected combination of conversion bases and a combination of conversion bases other than the plurality of combinations; method.

A program for causing a computer to function as the encoding device according to any one of claims 1 to 4.