JP7109961B2 - Image decoding device, image encoding device, image processing system, image decoding method and program - Google Patents

Image decoding device, image encoding device, image processing system, image decoding method and program Download PDF

Info

Publication number
JP7109961B2
JP7109961B2 JP2018065347A JP2018065347A JP7109961B2 JP 7109961 B2 JP7109961 B2 JP 7109961B2 JP 2018065347 A JP2018065347 A JP 2018065347A JP 2018065347 A JP2018065347 A JP 2018065347A JP 7109961 B2 JP7109961 B2 JP 7109961B2
Authority
JP
Japan
Prior art keywords
transform
size
inverse
unit size
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018065347A
Other languages
Japanese (ja)
Other versions
JP2019176421A (en
Inventor
圭 河村
整 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Priority to JP2018065347A priority Critical patent/JP7109961B2/en
Priority to PCT/JP2018/046410 priority patent/WO2019187396A1/en
Publication of JP2019176421A publication Critical patent/JP2019176421A/en
Application granted granted Critical
Publication of JP7109961B2 publication Critical patent/JP7109961B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムに関する。 The present invention relates to an image decoding device, an image encoding device, an image processing system, an image decoding method and a program.

従来、イントラ予測（フレーム内予測）又はインター予測（フレーム間予測）によって生成される予測信号と入力画像信号との差分である予測残差信号を生成し、予測残差信号の変換処理及び量子化処理を行う技術（例えば、ＨＥＶＣ；Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）が提案されている（例えば、非特許文献１）。変換処理は、変換ユニットサイズを有する変換ユニットを１つの単位として、予測残差信号を周波数成分信号に変換する処理である。 Conventionally, a prediction residual signal that is the difference between a prediction signal generated by intra prediction (intra-frame prediction) or inter prediction (inter-frame prediction) and an input image signal is generated, and the prediction residual signal is transformed and quantized. Techniques for processing (for example, HEVC: High Efficiency Video Coding) have been proposed (for example, Non-Patent Document 1). The transform process is a process of transforming a prediction residual signal into a frequency component signal using a transform unit having a transform unit size as one unit.

さらに、上述したＨＥＶＣに対する次世代方式（ＦＶＣ；Ｆｕｔｕｒｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、上述した変換ユニットサイズとして、ＨＥＶＣよりも大きな変換ユニットサイズを用いることが検討されている（例えば、非特許文献２）。 Furthermore, in the future video coding (FVC) system for HEVC described above, use of a transform unit size larger than that of HEVC is being studied (for example, Non-Patent Document 2).

ＩＴＵ－Ｔ Ｈ．２６５ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ ＣｏｄｉｎｇITU-T H. 265 High Efficiency Video Coding Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ７（ＪＥＭ７）Algorithm Description of Joint Exploration Test Model 7 (JEM7)

しかしながら、変換ユニットサイズの拡大に伴って、変換処理又は逆変換処理に必要な負荷（演算時間及び回路規模など）の増大が見込まれる。 However, as the transform unit size increases, the load (computation time, circuit scale, etc.) required for transform processing or inverse transform processing is expected to increase.

そこで、本発明は、上述した課題を解決するためになされたものであり、変換ユニットサイズが拡大した場合であっても、変換処理又は逆変換処理に必要な負荷の増大を抑制することを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することを目的とする。 Therefore, the present invention has been made to solve the above-described problems, and it is possible to suppress an increase in the load required for transform processing or inverse transform processing even when the transform unit size is expanded. An object of the present invention is to provide an image decoding device, an image encoding device, an image processing system, an image decoding method, and a program.

第１の特徴は、画像復号装置であって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得する復号部と、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備え、前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 A first feature is an image decoding device that decodes encoded data encoded by an image encoding device and obtains a coefficient level value that has been transformed by the encoding device. and an inverse transform processing unit that performs at least inverse transform processing of the coefficient level values and acquires a prediction residual signal, wherein the inverse transform processing unit performs the inverse transform processing on the transform unit size of the 1 inverse transform processing and a second inverse transform processing with a transform size smaller than the transform unit size, wherein the first inverse transform processing is performed when the transform unit size corresponding to the coefficient level value is a threshold value It is a process applied to the following cases, and the gist is that the second inverse transform process is a process applied to a case where the transform unit size is larger than the threshold.

第２の特徴は、第１の特徴において、画像復号装置が、前記予測残差信号に対応する前記変換サイズを前記変換ユニットサイズに揃える拡大処理を行う拡大処理部を備え、前記拡大処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 A second feature is that in the first feature, the image decoding device includes an enlargement processing unit that performs enlargement processing for matching the transform size corresponding to the prediction residual signal to the transform unit size, and the enlargement processing includes: The gist is that the process is applied to a case where the transform unit size is larger than the threshold.

第３の特徴は、第１の特徴又は第２の特徴において前記変換サイズは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表され、かつ、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められる。 A third feature is that in the first feature or the second feature, the transform size is determined so that the number of horizontal pixels of the transform unit size is expressed by the power of 2 of the number of horizontal pixels of the transform size, Alternatively, the number of vertical pixels of the transform unit size is determined to be expressed by the power of 2 of the number of vertical pixels of the transform size, or the number of horizontal pixels of the transform unit size is the number of horizontal pixels of the transform size. It is determined to be expressed by a power of 2, and the number of vertical pixels of the transform unit size is expressed by a power of 2 to the number of vertical pixels of the transform size.

第４の特徴は、第１の特徴乃至第３の特徴のいずれかにおいて、前記復号部は、前記復号処理によって前記変換サイズを取得する。 A fourth feature is any one of the first to third features, wherein the decoding unit acquires the transform size through the decoding process.

第５の特徴は、第１の特徴乃至第３の特徴のいずれかにおいて、前記変換サイズは、前記変換ユニットサイズと予め対応付けられている。 A fifth feature is that in any one of the first to third features, the transform size is previously associated with the transform unit size.

第６の特徴は、第１の特徴乃至第５の特徴のいずれかにおいて、前記復号部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得する。 A sixth feature is that, in any one of the first to fifth features, the decoding section, when the transform unit size is larger than the threshold, determines the coefficient level having a predetermined coefficient level position. Get the value as zero.

第７の特徴は、画像符号化装置であって、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、前記予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備え、前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、前記第１変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 A seventh feature is an image coding apparatus comprising: a generation unit that generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal; and a transform processing unit that acquires a coefficient level value, wherein the transform processing unit performs a first transform process with the transform unit size as the transform process, and performs a first transform process with the transform unit size larger than the transform unit size. The second transform process is configured to be performed with a small transform size, the first transform process is a process applied in a case where the transform unit size corresponding to the coefficient level value is equal to or smaller than a threshold, The gist of the second conversion process is that it is a process applied to a case where the transform unit size is larger than the threshold.

第８の特徴は、画像符号化装置及び画像復号装置を備える画像処理システムであって、前記画像符号化装置は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、前記予測残差信号の変換処理を行うとともに、係数レベル値を取得する変換処理部とを備え、前記画像復号装置は、前記画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記係数レベル値を取得する復号部と、前記係数レベル値の逆変換処理を少なくとも行うとともに、前記予測残差信号を取得する逆変換処理部とを備え、前記変換処理部は、前記変換処理として、前記変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、前記第１変換処理及び前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２変換処理及び前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 An eighth feature is an image processing system comprising an image encoding device and an image decoding device, wherein the image encoding device is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal. The image decoding device includes a generation unit that generates a prediction residual signal, and a transformation processing unit that performs transformation processing on the prediction residual signal and obtains a coefficient level value, wherein the image decoding device is coded by the image coding device. a decoding unit that decodes the encoded data and obtains the coefficient level values; and an inverse transform processing unit that performs at least inverse transform processing of the coefficient level values and obtains the prediction residual signal. wherein the transform processing unit is configured to perform a first transform process with the transform unit size as the transform process, and perform a second transform process with a transform size smaller than the transform unit size; The transform processing unit is configured to perform a first inverse transform process with the transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process, and The transform process and the first inverse transform process are processes applied in a case where the transform unit size corresponding to the coefficient level value is equal to or smaller than a threshold, and the second transform process and the second inverse transform process are the The gist is that the process is applied to a case where the transform unit size is larger than the threshold.

第９の特徴は、画像復号方法であって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを備え、前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 A ninth feature is an image decoding method, comprising a step of decoding encoded data encoded by an image encoding device and acquiring coefficient level values transformed by the encoding device. A, and a step B of performing at least inverse transform processing of the coefficient level values and obtaining a prediction residual signal, wherein the step B is the inverse transform processing, in which the first inverse transform processing is performed with the transform unit size. and performing a second inverse transform process with a transform size smaller than the transform unit size, wherein the first inverse transform process is applied to a case where the transform unit size corresponding to the coefficient level value is less than or equal to a threshold. The gist is that the second inverse transform process is a process applied when the transform unit size is larger than the threshold.

第１０の特徴は、画像復号装置で用いるプログラムであって、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを実行させ、前記ステップＢは、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であることを要旨とする。 A tenth feature is a program used in an image decoding device, which performs decoding processing of encoded data encoded by the image encoding device, and converts coefficient level values transformed by the encoding device. and a step B of performing at least the inverse transform processing of the coefficient level values and acquiring a prediction residual signal, wherein the step B is the inverse transform processing in which the transform unit size is the first and performing a second inverse transform process with a transform size smaller than the transform unit size, wherein the first inverse transform process is such that the transform unit size corresponding to the coefficient level value is less than or equal to a threshold. The gist is that it is a process applied to a case, and the second inverse transform process is a process applied to a case where the transform unit size is larger than the threshold.

一態様によれば、変換ユニットサイズが拡大した場合であっても、変換処理又は逆変換処理に必要な負荷の増大を抑制することを可能とする画像復号装置、画像符号化装置、画像処理システム、画像復号方法及びプログラムを提供することができる。 According to one aspect, an image decoding device, an image encoding device, and an image processing system capable of suppressing an increase in the load required for transform processing or inverse transform processing even when the transform unit size increases , an image decoding method and program can be provided.

図１は、実施形態に係る画像処理システム１０を示す図である。FIG. 1 is a diagram showing an image processing system 10 according to an embodiment. 図２は、実施形態に係る画像符号化装置１００を示す図である。FIG. 2 is a diagram showing the image coding device 100 according to the embodiment. 図３は、実施形態に係る画像復号装置２００を示す図である。FIG. 3 is a diagram showing the image decoding device 200 according to the embodiment. 図４は、実施形態に係る縮小処理及び拡大処理を説明するための図である。FIG. 4 is a diagram for explaining reduction processing and enlargement processing according to the embodiment. 図５は、実施形態に係る変換処理及び逆変換処理を説明するための図である。FIG. 5 is a diagram for explaining conversion processing and inverse conversion processing according to the embodiment. 図６は、実施形態に係る変換処理及び逆変換処理を説明するための図である。FIG. 6 is a diagram for explaining transform processing and inverse transform processing according to the embodiment. 図７は、変更例３に係る係数レベル値を説明するための図である。FIG. 7 is a diagram for explaining coefficient level values according to Modification 3. In FIG.

以下において、実施形態について図面を参照しながら説明する。なお、以下の図面の記載において、同一又は類似の部分には、同一又は類似の符号を付している。 Embodiments will be described below with reference to the drawings. In addition, in the following description of the drawings, the same or similar reference numerals are given to the same or similar parts.

但し、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる場合があることに留意すべきである。従って、具体的な寸法などは以下の説明を参酌して判断すべきである。また、図面相互間においても互いの寸法の関係又は比率が異なる部分が含まれている場合があることは勿論である。 However, it should be noted that the drawings are schematic, and the ratio of each dimension may differ from the actual one. Therefore, specific dimensions should be determined with reference to the following description. In addition, it is needless to say that the drawings may include portions having different dimensional relationships or ratios.

［開示の概要］
開示の概要に係る画像復号装置は、画像符号化装置によって符号化された符号化データの復号処理を行うとともに、符号化装置によって変換処理が施された係数レベル値を取得する復号部と、係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備える。逆変換処理部は、逆変換処理として、変換ユニットサイズで第１逆変換処理と、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。 [Summary of Disclosure]
An image decoding device according to an overview of the disclosure includes a decoding unit that decodes encoded data encoded by an image encoding device and obtains a coefficient level value that has been transformed by the encoding device; and an inverse transform processing unit that performs at least inverse transform processing of the level values and acquires the prediction residual signal. The inverse transform processing unit is configured to perform, as inverse transform processing, first inverse transform processing with a transform unit size and second inverse transform processing with a transform size smaller than the transform unit size. The first transform process is a process applied when the transform unit size corresponding to the coefficient level value is equal to or less than the threshold. The second transform process is a process applied when the transform unit size is larger than the threshold.

開示の概要に係る画像復号装置では、変換ユニットサイズが閾値よりも大きい場合に、逆変換処理として、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、逆変換処理に必要な負荷の増大を抑制することができる。 In the image decoding apparatus according to the outline of the disclosure, when the transform unit size is larger than the threshold, the second inverse transform process is applied with a transform size smaller than the transform unit size as the inverse transform process. According to such a configuration, it is possible to suppress an increase in the load required for the inverse transform processing even when the transform unit size is increased.

開示の概要に係る画像符号化装置は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備える。変換処理部は、変換処理として、変換ユニットサイズで第１変換処理を行い、変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。 An image coding apparatus according to an overview of the disclosure includes a generation unit that generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal, and transform processing of the prediction residual signal. a transform processing unit that performs at least and acquires the coefficient level value. The transform processing section is configured to perform a first transform process with a transform unit size and perform a second transform process with a transform size smaller than the transform unit size. The first transform process is a process applied when the transform unit size corresponding to the coefficient level value is equal to or less than the threshold. The second transform process is a process applied when the transform unit size is larger than the threshold.

開示の概要に係る画像符号化装置では、変換ユニットサイズが閾値よりも大きい場合に、変換処理として、変換ユニットサイズよりも小さい変換サイズで第２変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、変換処理に必要な負荷の増大を抑制することができる。 In the image coding apparatus according to the outline of the disclosure, when the transform unit size is larger than the threshold, the second transform process is applied with a transform size smaller than the transform unit size. According to such a configuration, it is possible to suppress an increase in the load required for conversion processing even when the conversion unit size is increased.

開示の概要としては、上述した画像復号装置の動作に係る画像復号方法が提供されてもよく、上述した画像符号化装置の動作に係る画像符号化方法が提供されてもよい。開示の概要としては、上述した画像復号装置及び画像符号化装置を有する画像処理システムが提供されてもよい。開示の概要としては、上述した画像復号装置の動作に係るプログラムが提供されてもよく、上述した画像符号化装置の動作に係るプログラムが提供されてもよい。 As an overview of the disclosure, an image decoding method related to the operation of the image decoding device described above may be provided, and an image encoding method related to the operation of the image encoding device described above may be provided. As an overview of the disclosure, an image processing system having the image decoding device and the image encoding device described above may be provided. As an overview of the disclosure, a program related to the operation of the image decoding device described above may be provided, and a program related to the operation of the image encoding device described above may be provided.

［実施形態］
（画像処理システム）
以下において、実施形態に係る画像処理システムについて説明する。図１は、実施形態に係る実施形態に係る画像処理システム１０を示す図である。 [Embodiment]
(Image processing system)
An image processing system according to an embodiment will be described below. FIG. 1 is a diagram showing an image processing system 10 according to an embodiment.

図１に示すように、画像処理システム１０は、画像符号化装置１００及び画像復号装置２００を有する。画像符号化装置１００は、入力画像信号を符号化することによって符号化データを生成する。画像復号装置２００は、符号化データを復号することによって出力画像信号を生成する。符号化データは、画像符号化装置１００から画像復号装置２００に対して伝送路を介して送信されてもよい。符号化データは、記憶媒体に格納された上で、画像符号化装置１００から画像復号装置２００に提供されてもよい。 As shown in FIG. 1 , the image processing system 10 has an image encoding device 100 and an image decoding device 200 . The image coding apparatus 100 generates coded data by coding an input image signal. The image decoding device 200 generates an output image signal by decoding encoded data. The encoded data may be transmitted from the image encoding device 100 to the image decoding device 200 via a transmission line. The encoded data may be stored in a storage medium and then provided from the image encoding device 100 to the image decoding device 200 .

（画像符号化装置）
以下において、実施形態に係る画像符号化装置について説明する。図２は、実施形態に係る画像符号化装置１００を示す図である。 (Image encoding device)
An image coding apparatus according to an embodiment will be described below. FIG. 2 is a diagram showing the image coding device 100 according to the embodiment.

図２に示すように、画像符号化装置１００は、インター予測部１１１と、イントラ予測部１１２と、減算器１２１と、加算器１２２と、縮小処理部１３１と、拡大処理部１３２と、変換・量子化部１４１と、逆変換・逆量子化部１４２と、判定部１５０と、スイッチ１５１と、スイッチ１５２と、符号化部１６０と、インループフィルタ１７０と、フレームバッファ１８０とを有する。 As shown in FIG. 2, the image coding apparatus 100 includes an inter prediction unit 111, an intra prediction unit 112, a subtractor 121, an adder 122, a reduction processing unit 131, an expansion processing unit 132, a transform/ It has a quantization section 141 , an inverse transform/inverse quantization section 142 , a determination section 150 , a switch 151 , a switch 152 , an encoding section 160 , an in-loop filter 170 , and a frame buffer 180 .

インター予測部１１１は、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部１１１は、符号化対象のフレーム（以下、対象フレーム）とフレームバッファ１８０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部１１１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部１１１は、予測信号を減算器１２１及び加算器１２２に出力する。参照フレームは、対象フレームとは異なるフレームである。 The inter prediction unit 111 generates a prediction signal by inter prediction (inter-frame prediction). Specifically, the inter prediction unit 111 identifies a reference unit included in the reference frame by comparing a frame to be encoded (hereinafter referred to as a target frame) and a reference frame stored in the frame buffer 180, and identifies a reference unit included in the reference frame. determine the predicted motion vector for the reference unit. The inter prediction unit 111 generates a prediction signal for each prediction unit based on the prediction unit and the predicted motion vector. Inter prediction section 111 outputs the prediction signal to subtractor 121 and adder 122 . A reference frame is a frame different from the target frame.

イントラ予測部１１２は、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部１１２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部１１２は、予測信号を減算器１２１及び加算器１２２に出力する。例えば、参照ユニットは、符号化対象のユニット（以下、対象ユニット）に隣接するユニットである。 The intra prediction unit 112 generates a prediction signal by intra prediction (intra-frame prediction). Specifically, the intra prediction unit 112 identifies reference units included in the target frame, and generates a prediction signal for each prediction unit based on the identified reference units. The intra prediction unit 112 outputs the prediction signal to the subtractor 121 and the adder 122 . For example, a reference unit is a unit adjacent to a unit to be encoded (hereinafter referred to as a target unit).

減算器１２１は、入力画像信号から予測信号を減算し、予測残差信号を変換・量子化部１４１に出力する。ここで、減算器１２１は、イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部を構成する。 The subtractor 121 subtracts the prediction signal from the input image signal and outputs the prediction residual signal to the transform/quantization section 141 . Here, the subtractor 121 constitutes a generation unit that generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal.

加算器１２２は、逆変換・逆量子化部１４２又は拡大処理部１３２から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部１１２及びインループフィルタ１７０に出力する。フィルタ前復号信号は、イントラ予測部１１２で用いる参照ユニットを構成する。予測残差信号のソースは、スイッチ１５２によって切り替えられる。 The adder 122 adds the prediction signal to the prediction residual signal output from the inverse transform/inverse quantization unit 142 or the expansion processing unit 132, and outputs the pre-filter decoded signal to the intra prediction unit 112 and the in-loop filter 170. . The pre-filter decoded signal constitutes a reference unit used in intra prediction section 112 . The source of the prediction residual signal is switched by switch 152 .

縮小処理部１３１は、予測誤差信号に対応する変換ユニットサイズを変換サイズに揃える縮小処理を行う。縮小処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。変換ユニットサイズは、変換処理を適用すべき変換ユニットのサイズである。縮小処理の詳細については後述する（図４を参照）。 The reduction processing unit 131 performs reduction processing to align the transform unit size corresponding to the prediction error signal with the transform size. Reduction processing is processing that is applied when the transform unit size is larger than the threshold. The transform unit size is the size of the transform unit to which transform processing should be applied. Details of the reduction process will be described later (see FIG. 4).

ここで、変換ユニットサイズは、Ｎ（水平画素数）×Ｍ（垂直画素数）で定義されてもよい。例えば、Ｎの最大数は１２８であってもよく、Ｍの最大数は１２８であってもよい。Ｎ及びＭは、４×４、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８などのように同じ数であってもよく、３２×６４、３２×１２８、６４×１２８などのように異なる数であってもよい。変換サイズは、後述する第２変換処理又は第２逆変換処理を適用すべき予測残差信号のユニットのサイズである。変換サイズは、第２変換処理又は第２逆変換処理で用いる基底パターン（変換行列）のサイズと同義であると考えてもよい。 Here, the transform unit size may be defined by N (the number of horizontal pixels)×M (the number of vertical pixels). For example, the maximum number of N may be 128 and the maximum number of M may be 128. N and M may be the same number such as 4x4, 8x8, 16x16, 32x32, 64x64, 128x128, etc., 32x64, 32x128, 64x It may be a different number, such as 128. The transform size is the unit size of the prediction residual signal to which a second transform process or a second inverse transform process, which will be described later, should be applied. The transform size may be considered synonymous with the size of the base pattern (transformation matrix) used in the second transform process or the second inverse transform process.

拡大処理部１３２は、予測残差信号に対応する変換サイズを変換ユニットサイズに揃える拡大処理を行う。拡大処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。拡大処理の詳細については後述する（図４を参照）。 The enlargement processing unit 132 performs enlargement processing to align the transform size corresponding to the prediction residual signal with the transform unit size. The enlargement process is a process applied when the transform unit size is larger than the threshold. Details of the enlargement processing will be described later (see FIG. 4).

変換・量子化部１４１は、予測残差信号の変換処理を少なくも行うとともに、係数レベル値を取得する。さらに、変換・量子化部１４１は、係数レベル値の量子化を行ってもよい。変換処理は、予測残差信号を周波数成分信号に変換する処理である。変換処理では、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよく、離散サイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）に対応する基底パターン（変換行列）が用いられてもよい。 The transform/quantization unit 141 performs at least transform processing on the prediction residual signal and acquires coefficient level values. Furthermore, the transform/quantization unit 141 may quantize the coefficient level values. Transform processing is processing for transforming a prediction residual signal into a frequency component signal. In the transformation process, a basis pattern (transformation matrix) corresponding to discrete cosine transform (DCT) may be used, and a basis pattern (transformation matrix) corresponding to discrete sine transform (DCT) is may be used.

実施形態では、変換・量子化部１４１は、変換処理として、変換ユニットサイズで第１変換処理を行い、変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。具体的には、変換・量子化部１４１は、減算器１２１から出力される予測残差信号を用いて第１変換処理を行う。変換・量子化部１４１は、縮小処理部１３１から出力される予測残差信号を用いて第２変換処理を行う。 In the embodiment, the transform/quantization unit 141 is configured to perform the first transform process with a transform unit size and perform the second transform process with a transform size smaller than the transform unit size. The first transform process is a process applied when the transform unit size corresponding to the coefficient level value is equal to or less than the threshold. The second transform process is a process applied when the transform unit size is larger than the threshold. Specifically, transform/quantization section 141 performs a first transform process using the prediction residual signal output from subtractor 121 . The transform/quantization unit 141 performs second transform processing using the prediction residual signal output from the reduction processing unit 131 .

逆変換・逆量子化部１４２は、スイッチ１５１から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部１４２は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１４１で行われる変換処理及び量子化とは逆の手順で行われる。 The inverse transform/inverse quantization unit 142 performs inverse transform processing on the coefficient level values output from the switch 151 . Here, the inverse transform/inverse quantization unit 142 may perform inverse quantization of the coefficient level values prior to the inverse transform processing. The inverse transform processing and inverse quantization are performed in the reverse order of the transform processing and quantization performed by the transform/quantization unit 141 .

実施形態では、逆変換・逆量子化部１４２は、逆変換処理として、変換ユニットサイズで第１逆変換処理と、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されている。第１変換処理は、係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理である。第２変換処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。 In the embodiment, the inverse transform/inverse quantization unit 142 is configured to perform a first inverse transform process with a transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process. ing. The first transform process is a process applied when the transform unit size corresponding to the coefficient level value is equal to or less than the threshold. The second transform process is a process applied when the transform unit size is larger than the threshold.

判定部１５０は、第１変換処理を適用すべきか、第２変換処理を適用すべきかを判定する。具体的には、判定部１５０は、変換ユニットサイズが閾値以下である場合に、第１変換処理を適用すると判定する。一方で、判定部１５０は、変換ユニットサイズが閾値よりも大きい場合に、第２変換処理を適用すると判定する。特に限定されるものではないが、閾値は６４であってもよい。 The determination unit 150 determines whether the first conversion process should be applied or the second conversion process should be applied. Specifically, the determination unit 150 determines to apply the first conversion process when the transform unit size is equal to or less than the threshold. On the other hand, the determination unit 150 determines to apply the second conversion process when the transform unit size is larger than the threshold. Although not particularly limited, the threshold may be 64.

ここで、判定部１５０は、変換ユニットサイズの水平画素数が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。判定部１５０は、変換ユニットサイズの垂直画素数が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。判定部１５０は、変換ユニットサイズの水平画素数及び垂直画素数の双方が閾値よりも大きい場合に、第２変換処理を適用すると判定してもよい。 Here, the determining unit 150 may determine to apply the second transform processing when the number of horizontal pixels of the transform unit size is larger than the threshold. The determining unit 150 may determine to apply the second transform process when the number of vertical pixels of the transform unit size is larger than a threshold. The determining unit 150 may determine to apply the second transform process when both the number of horizontal pixels and the number of vertical pixels of the transform unit size are larger than a threshold.

判定部１５０は、判定結果に基づいて、スイッチ１５１及びスイッチ１５２を制御する。具体的には、判定部１５０は、第１変換処理が適用されると判定された場合に、第１変換処理が施された係数レベル値が出力されるようにスイッチ１５１を制御し、逆変換・逆量子化部１４２から出力される予測残差信号が出力されるようにスイッチ１５２を制御する。一方で、判定部１５０は、第２変換処理が適用されると判定された場合に、第２変換処理が施された係数レベル値が出力されるようにスイッチ１５１を制御し、拡大処理部１３２から出力される予測残差信号が出力されるようにスイッチ１５２を制御する。 The determination unit 150 controls the switches 151 and 152 based on the determination result. Specifically, when it is determined that the first transform processing is applied, the determination unit 150 controls the switch 151 so that the coefficient level values subjected to the first transform processing are output, and the inverse transform is performed. • Control the switch 152 so that the prediction residual signal output from the inverse quantization unit 142 is output. On the other hand, when it is determined that the second conversion processing is applied, the determination unit 150 controls the switch 151 so that the coefficient level values subjected to the second conversion processing are output, and the enlargement processing unit 132 The switch 152 is controlled so that the prediction residual signal output from is output.

符号化部１６０は、変換・量子化部１４１から出力された係数レベル値を符号化し、符号化データを出力する。例えば、符号化は、係数レベル値の発生確率に基づいて異なる長さの符号を割り当てるエントロピー符号化である。 The encoding unit 160 encodes the coefficient level values output from the transform/quantization unit 141 and outputs encoded data. For example, the coding is entropy coding that assigns different length codes based on the probability of occurrence of the coefficient level values.

符号化部１６０は、係数レベル値に加えて、復号処理で用いる制御データを符号化する。制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。制御データは、予測残差信号の生成方法や変換処理で用いる基底パターンの種類などを示すデータ（フラグを含む）を含んでもよい。 The encoding unit 160 encodes control data used in decoding processing in addition to coefficient level values. The control data may include size data such as encoding unit size, prediction unit size, transform unit size. The control data may include data (including flags) indicating the method of generating the prediction residual signal, the type of base pattern used in the transform processing, and the like.

インループフィルタ１７０は、加算器１２２から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ１８０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。 The in-loop filter 170 filters the pre-filter decoded signal output from the adder 122 and outputs the post-filter decoded signal to the frame buffer 180 . For example, the filtering is deblocking filtering that reduces the distortion that occurs at the boundaries of blocks (prediction units or transform units).

フレームバッファ１８０は、インター予測部１１１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部１１１で用いる参照フレームを構成する。 The frame buffer 180 accumulates reference frames used by the inter prediction section 111 . The filtered decoded signal forms a reference frame used in inter prediction section 111 .

（画像復号装置）
以下において、実施形態に係る画像復号装置について説明する。図３は、実施形態に係る画像復号装置２００を示す図である。 (Image decoding device)
An image decoding device according to an embodiment will be described below. FIG. 3 is a diagram showing the image decoding device 200 according to the embodiment.

図３に示すように、画像復号装置２００は、復号部２１０と、逆変換・逆量子化部２２０と、判定部２３０と、スイッチ２３１と、拡大処理部２４０と、加算器２５０と、インター予測部２６１と、イントラ予測部２６２と、インループフィルタ２７０と、フレームバッファ２８０とを有する。 As shown in FIG. 3, the image decoding device 200 includes a decoding unit 210, an inverse transform/inverse quantization unit 220, a determination unit 230, a switch 231, an enlargement processing unit 240, an adder 250, an inter prediction It has a unit 261 , an intra prediction unit 262 , an in-loop filter 270 and a frame buffer 280 .

復号部２１０は、画像符号化装置１００によって生成される符号化データを復号し、係数レベル値を復号する。例えば、復号は、符号化部１６０で行われるエントロピー符号化とは逆の手順のエントロピー復号である。 The decoding unit 210 decodes the encoded data generated by the image encoding device 100 and decodes the coefficient level values. For example, the decoding is entropy decoding that is the reverse procedure of the entropy encoding performed by the encoding unit 160 .

復号部２１０は、符号化データの復号処理によって制御データを取得してもよい。上述したように、制御データは、符号化ユニットサイズ、予測ユニットサイズ、変換ユニットサイズなどのサイズデータを含んでもよい。制御データは、予測残差信号の生成方法や逆変換処理で用いる基底パターンの種類などを示すデータ（フラグを含む）を含んでもよい。 The decoding unit 210 may obtain the control data by decoding the encoded data. As noted above, the control data may include size data such as encoding unit size, prediction unit size, transform unit size, and the like. The control data may include data (including flags) indicating the method of generating the prediction residual signal, the type of base pattern used in the inverse transform processing, and the like.

逆変換・逆量子化部２２０は、復号部２１０から出力される係数レベル値の逆変換処理を行う。ここで、逆変換・逆量子化部２２０は、逆変換処理に先立って、係数レベル値の逆量子化を行ってもよい。逆変換処理及び逆量子化は、変換・量子化部１４１で行われる変換処理及び量子化とは逆の手順で行われる。 The inverse transform/inverse quantization unit 220 performs inverse transform processing on the coefficient level values output from the decoding unit 210 . Here, the inverse transform/inverse quantization section 220 may perform inverse quantization of the coefficient level values prior to the inverse transform processing. The inverse transform processing and inverse quantization are performed in the reverse order of the transform processing and quantization performed by the transform/quantization unit 141 .

判定部２３０は、判定部１５０と同様の手順で、第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定する。具体的には、判定部２３０は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を適用すると判定する。一方で、判定部２３０は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を適用すると判定する。 The determination unit 230 determines whether the first inverse transform process or the second inverse transform process should be applied in the same procedure as the determination unit 150 . Specifically, the determination unit 230 determines to apply the first inverse transform process when the transform unit size is equal to or less than the threshold. On the other hand, the determination section 230 determines to apply the second inverse transform process when the transform unit size is larger than the threshold.

判定部２３０は、判定結果に基づいて、スイッチ２３１を制御する。具体的には、判定部２３０は、第１逆変換処理が適用されると判定された場合に、逆変換・逆量子化部２２０から出力される予測残差信号が出力されるようにスイッチ２３１を制御する。一方で、判定部２３０は、第２逆変換処理が適用されると判定された場合に、拡大処理部２４０から出力される予測残差信号が出力されるようにスイッチ２３１を制御する。 The determination unit 230 controls the switch 231 based on the determination result. Specifically, when it is determined that the first inverse transform process is applied, the determination unit 230 switches the switch 231 so that the prediction residual signal output from the inverse transform/inverse quantization unit 220 is output. to control. On the other hand, the determination section 230 controls the switch 231 so that the prediction residual signal output from the enlargement processing section 240 is output when it is determined that the second inverse transform processing is applied.

拡大処理部２４０は、拡大処理部１３２と同様に、予測残差信号に対応する変換サイズを変換ユニットサイズに揃える拡大処理を行う。拡大処理は、変換ユニットサイズが閾値よりも大きいケースに適用される処理である。拡大処理の詳細については後述する（図４を参照）。 The enlarging processing unit 240 performs enlarging processing to align the transform size corresponding to the prediction residual signal with the transform unit size, similarly to the enlarging processing unit 132 . The enlargement process is a process applied when the transform unit size is larger than the threshold. Details of the enlargement processing will be described later (see FIG. 4).

加算器２５０は、逆変換・逆量子化部２２０又は拡大処理部２４０から出力される予測残差信号に予測信号を加算し、フィルタ前復号信号をイントラ予測部２６２及びインループフィルタ２７０に出力する。フィルタ前復号信号は、イントラ予測部２６２で用いる参照ユニットを構成する。予測残差信号のソースは、スイッチ２３１によって切り替えられる。 The adder 250 adds the prediction signal to the prediction residual signal output from the inverse transform/inverse quantization unit 220 or the expansion processing unit 240, and outputs the pre-filter decoded signal to the intra prediction unit 262 and the in-loop filter 270. . The pre-filter decoded signal constitutes a reference unit used in intra prediction section 262 . The source of the prediction residual signal is switched by switch 231 .

インター予測部２６１は、インター予測部１１１と同様に、インター予測（フレーム間予測）によって予測信号を生成する。具体的には、インター予測部２６１は、対象フレームとフレームバッファ２８０に格納される参照フレームとの比較によって、参照フレームに含まれる参照ユニットを特定し、特定された参照ユニットに対する予測動きベクトルを決定する。インター予測部２６１は、予測ユニット及び予測動きベクトルに基づいて予測信号を予測ユニット毎に生成する。インター予測部２６１は、予測信号を加算器２５０に出力する。 Like the inter prediction section 111, the inter prediction section 261 generates a prediction signal by inter prediction (inter-frame prediction). Specifically, the inter prediction unit 261 identifies the reference unit included in the reference frame by comparing the target frame and the reference frame stored in the frame buffer 280, and determines the predicted motion vector for the identified reference unit. do. The inter prediction unit 261 generates a prediction signal for each prediction unit based on the prediction unit and the predicted motion vector. Inter prediction section 261 outputs the prediction signal to adder 250 .

イントラ予測部２６２は、イントラ予測部１１２と同様に、イントラ予測（フレーム内予測）によって予測信号を生成する。具体的には、イントラ予測部２６２は、対象フレームに含まれる参照ユニットを特定し、特定された参照ユニットに基づいて予測信号を予測ユニット毎に生成する。イントラ予測部２６２は、予測信号を加算器２５０に出力する。 The intra prediction unit 262, like the intra prediction unit 112, generates a prediction signal by intra prediction (intra-frame prediction). Specifically, the intra prediction section 262 identifies reference units included in the target frame, and generates a prediction signal for each prediction unit based on the identified reference units. The intra prediction section 262 outputs the prediction signal to the adder 250 .

インループフィルタ２７０は、インループフィルタ１７０と同様に、加算器２５０から出力されるフィルタ前復号信号に対してフィルタ処理を行うとともに、フィルタ後復号信号をフレームバッファ２８０に出力する。例えば、フィルタ処理は、ブロック（予測ユニット又は変換ユニット）の境界部分で生じる歪みを減少するデブロッキングフィルタ処理である。 Like in-loop filter 170 , in-loop filter 270 performs filter processing on the pre-filter decoded signal output from adder 250 and outputs the post-filter decoded signal to frame buffer 280 . For example, the filtering is deblocking filtering that reduces the distortion that occurs at the boundaries of blocks (prediction units or transform units).

フレームバッファ２８０は、フレームバッファ１８０と同様に、インター予測部２６１で用いる参照フレームを蓄積する。フィルタ後復号信号は、インター予測部２６１で用いる参照フレームを構成する。 The frame buffer 280, like the frame buffer 180, accumulates reference frames used by the inter prediction section 261. FIG. The filtered decoded signal constitutes a reference frame used in inter prediction section 261 .

（縮小処理及び拡大処理）
以下において、実施形態に係る縮小処理及び拡大処理について説明する。図４は、実施形態に係る縮小処理及び拡大処理を説明するための図である。上述したように、縮小処理及び拡大処理は、第２変換処理及び第２逆変換処理が適用される場合に行われる処理である。図４では、変換ユニットサイズは、Ｎ（水平画素数）×Ｍ（垂直画素数）で定義されるケースを例示する。 (reduction processing and enlargement processing)
Reduction processing and enlargement processing according to the embodiment will be described below. FIG. 4 is a diagram for explaining reduction processing and enlargement processing according to the embodiment. As described above, the reduction process and the enlargement process are processes performed when the second transform process and the second inverse transform process are applied. FIG. 4 illustrates a case where the transform unit size is defined by N (number of horizontal pixels)×M (number of vertical pixels).

第１に、図４に示すように、縮小処理は、水平方向において、変換ユニットサイズＮを変換サイズＮ／ｘに縮小する処理であってもよい。拡大処理は、水平方向において、変換サイズＮ／ｘを変換ユニットサイズＮに拡大する処理であってもよい。特に限定されるものではないが、ｘは２のべき乗であってもよい。すなわち、変換サイズは、変換ユニットサイズの水平画素数が変換サイズの水平画素数の２のべき乗で表されるように定められてもよい。 First, as shown in FIG. 4, the shrinking process may be a process of horizontally reducing transform unit size N to transform size N/x. The enlarging process may be a process of enlarging transform size N/x to transform unit size N in the horizontal direction. Although not particularly limited, x may be a power of two. That is, the transform size may be determined such that the number of horizontal pixels of the transform unit size is expressed by the power of 2 of the number of horizontal pixels of the transform size.

第２に、図４に示すように、縮小処理は、垂直方向において、変換ユニットサイズＭを変換サイズＭ／ｙに縮小する処理であってもよい。拡大処理は、垂直方向において、変換サイズＭ／ｙを変換ユニットサイズＭに拡大する処理であってもよい。特に限定されるものではないが、ｙは２のべき乗であってもよい。すなわち、変換サイズは、変換ユニットサイズの垂直画素数が変換サイズの垂直画素数の２のべき乗で表されるように定められてもよい。 Second, as shown in FIG. 4, the shrinking process may be a process of shrinking transform unit size M to transform size M/y in the vertical direction. The enlarging process may be a process of enlarging transform size M/y to transform unit size M in the vertical direction. Although not particularly limited, y may be a power of two. That is, the transform size may be determined such that the number of vertical pixels of the transform unit size is expressed by the power of 2 of the number of vertical pixels of the transform size.

第３に、図４に示すように、縮小処理は、水平方向において、変換ユニットサイズＮを変換サイズＮ／ｘに縮小するとともに、垂直方向において、変換ユニットサイズＭを変換サイズＭ／ｙに縮小する処理であってもよい。拡大処理は、水平方向において、変換サイズＮ／ｘを変換ユニットサイズＮに拡大するとともに、垂直方向において、変換サイズＭ／ｙを変換ユニットサイズＭに拡大する処理であってもよい。特に限定されるものではないが、ｘ及びｙは２のべき乗であってもよい。ｘは、ｙと同じ値であってもよく、ｙと異なる値であってもよい。すなわち、変換サイズは、変換ユニットサイズの水平画素数が変換サイズの水平画素数の２のべき乗で表され、かつ、変換ユニットサイズの垂直画素数が変換サイズの垂直画素数の２のべき乗で表されるように定められてもよい。 Third, as shown in FIG. 4, the shrinking process reduces transform unit size N to transform size N/x in the horizontal direction and transform unit size M to transform size M/y in the vertical direction. It may be a process to do. The enlarging process may be a process of enlarging transform size N/x to transform unit size N in the horizontal direction and enlarging transform size M/y to transform unit size M in the vertical direction. Although not particularly limited, x and y may be powers of two. x may have the same value as y, or may have a different value from y. That is, the transform size is expressed by the number of horizontal pixels of the transform unit size being a power of 2, and the number of vertical pixels of the transform unit size being a power of 2 of the number of vertical pixels of the transform size. may be defined to be

縮小処理は、画素を間引く処理であってもよい。拡大処理は、画素を補間する処理であってもよい。画素の補間は、１つの隣接画素をコピーする処理であってもよく、２以上の隣接画素から加重平均などによって画素を生成する処理であってもよい。ｘ又はｙが２のべき乗であることによって、縮小処理及び拡大処理の負荷を軽減することができる。 The reduction process may be a process of thinning out pixels. The enlargement process may be a process of interpolating pixels. Pixel interpolation may be a process of copying one adjacent pixel, or a process of generating a pixel from two or more adjacent pixels by weighted averaging or the like. When x or y is a power of 2, the load of reduction processing and enlargement processing can be reduced.

（変換処理及び逆変換処理）
以下において、実施形態に係る変換処理及び逆変換処理について説明する。図５及び図６は、実施形態に係る変換処理及び逆変換処理を説明するための図である。上述したように、変換処理は、第１変換処理及び第２変換処理を含み、逆変換処理は、第１逆変換処理及び第２逆変換処理を含む。 (Conversion processing and inverse conversion processing)
Transformation processing and inverse transformation processing according to the embodiment will be described below. 5 and 6 are diagrams for explaining conversion processing and inverse conversion processing according to the embodiment. As described above, the transform processing includes the first transform processing and the second transform processing, and the inverse transform processing includes the first inverse transform processing and the second inverse transform processing.

第１に、第１変換処理について図５を参照しながら説明する。図５では、変換ユニットサイズがＭ１×Ｎ１で表されるケースを例示する。第１変換処理は縮小処理を伴わない処理であるため、図５に示すように、予測誤差信号のサイズは変換ユニットサイズである。従って、変換ユニットサイズを有する変換行列（ＤＣＴ又はＤＳＴ）を用いて、予測残差信号が周波数成分に変換される。第１逆変換処理は、第１変換処理と逆の手順であるため、その説明については省略する。 First, the first conversion processing will be described with reference to FIG. FIG. 5 illustrates a case where the transform unit size is represented by M 1 ×N 1 . Since the first transform process is a process that does not involve reduction processing, the size of the prediction error signal is the transform unit size, as shown in FIG. Therefore, a transform matrix (DCT or DST) having a transform unit size is used to transform the prediction residual signal into frequency components. Since the first inverse transformation process is the reverse procedure of the first transformation process, the description thereof will be omitted.

第２に、第２変換処理について図６を参照しながら説明する。図５では、変換ユニットサイズがＭ２×Ｎ２で表されるケースを例示する。第２変換処理は縮小処理を伴う処理であるため、図６に示すように、予測誤差信号のサイズは変換サイズ（Ｍ２／ｘ×Ｎ２／ｙ）である。従って、変換サイズを有する変換行列（ＤＣＴ又はＤＳＴ）を用いて、予測残差信号が周波数成分に変換される。第２逆変換処理は、第２変換処理と逆の手順であるため、その説明については省略する。 Secondly, the second conversion processing will be described with reference to FIG. FIG. 5 illustrates a case where the transform unit size is represented by M 2 ×N 2 . Since the second transform process involves reduction process, the size of the prediction error signal is the transform size (M 2 /x×N 2 /y), as shown in FIG. Therefore, a transform matrix (DCT or DST) with a transform size is used to transform the prediction residual signal into frequency components. Since the second inverse transformation process is the reverse procedure of the second transformation process, the description thereof will be omitted.

ここで、変換ユニットサイズが変換サイズの２のべき乗である場合には、変換サイズを有する変換行列（ＤＣＴ又はＤＳＴ）として、変換ユニットサイズを有する変換行列（ＤＣＴ又はＤＳＴ）の一部を用いることが可能である。 Here, when the transform unit size is a power of 2 of the transform size, a part of the transform matrix (DCT or DST) having the transform unit size is used as the transform matrix (DCT or DST) having the transform size. is possible.

（作用及び効果）
実施形態に係る画像復号装置２００では、変換ユニットサイズが閾値よりも大きい場合に、逆変換処理として、変換ユニットサイズよりも小さい変換サイズで第２逆変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、逆変換処理に必要な負荷の増大を抑制することができる。 (Action and effect)
In the image decoding device 200 according to the embodiment, when the transform unit size is larger than the threshold, the second inverse transform process is applied with a transform size smaller than the transform unit size as the inverse transform process. According to such a configuration, it is possible to suppress an increase in the load required for the inverse transform processing even when the transform unit size is increased.

実施形態に係る画像符号化装置１００では、変換ユニットサイズが閾値よりも大きい場合に、変換処理として、変換ユニットサイズよりも小さい変換サイズで第２変換処理が適用される。このような構成によれば、変換ユニットサイズが拡大した場合であっても、変換処理に必要な負荷の増大を抑制することができる。 In the image coding apparatus 100 according to the embodiment, when the transform unit size is larger than the threshold, the second transform process is applied with a transform size smaller than the transform unit size. According to such a configuration, it is possible to suppress an increase in the load required for conversion processing even when the conversion unit size is increased.

実施形態では、変換サイズは、変換ユニットサイズの水平画素数又は／及び垂直画素数が変換サイズの水平画素数又は／及び垂直画素数の２のべき乗で表されるように定められてもよい。このような構成によれば、第２変換処理又は第２逆変換処理で用いる基底パターン（変換行列）を、第１変換処理又は第１逆変換処理で用いる基底パターン（変換行列）と共通化することができ、変換処理及び逆変換処理に必要な回路規模の増大を抑制することができる。 In embodiments, the transform size may be defined such that the number of horizontal pixels and/or the number of vertical pixels of the transform unit size is represented by the number of horizontal pixels and/or the number of vertical pixels of the transform size to a power of two. According to such a configuration, the base pattern (transformation matrix) used in the second transform process or the second inverse transform process is shared with the base pattern (transform matrix) used in the first transform process or the first inverse transform process. It is possible to suppress an increase in circuit scale required for transform processing and inverse transform processing.

［変更例１］
以下において、実施形態の変更例１について説明する。以下においては、実施形態に対する相違点について主として説明する。 [Modification 1]
Modification 1 of the embodiment will be described below. In the following, mainly the differences with respect to the embodiments will be described.

変更例１において、画像符号化装置１００は、変換サイズを示すデータ（フラグを含む）を制御データとして符号化する。画像復号装置２００は、符号化データの復号処理によって変換サイズを取得する。このような構成によれば、符号化データの量が増大するものの、変換ユニットサイズと変換サイズとの関係を設定する自由度が増大する。 In Modification 1, the image encoding device 100 encodes data (including a flag) indicating the transform size as control data. The image decoding device 200 acquires the transform size by decoding the encoded data. With such a configuration, although the amount of encoded data increases, the degree of freedom in setting the relationship between the transform unit size and the transform size increases.

［変更例２］
以下において、実施形態の変更例２について説明する。以下においては、実施形態に対する相違点について主として説明する。 [Modification 2]
Modification 2 of the embodiment will be described below. In the following, mainly the differences with respect to the embodiments will be described.

変更例２において、変換サイズは、変換ユニットサイズと予め対応付けられている。画像復号装置２００は、変換ユニットサイズに基づいて変換サイズを特定する。例えば、変換ユニットサイズが１２８×１２８である場合に、変換サイズは６４×６４（又は、３２×３２）となるように予め定められていてもよい。上述したように、変換サイズは、変換ユニットサイズの水平画素数又は／及び垂直画素数が変換サイズの水平画素数又は／及び垂直画素数の２のべき乗で表されるように予め定められていてもよい。このような構成によれば、変換ユニットサイズと変換サイズとの関係を設定する自由度が減少するものの、符号化データの量の増大を抑制することができる。 In Modification 2, transform sizes are associated in advance with transform unit sizes. The image decoding device 200 identifies the transform size based on the transform unit size. For example, when the transform unit size is 128×128, the transform size may be predetermined to be 64×64 (or 32×32). As described above, the transform size is predetermined such that the number of horizontal pixels and/or the number of vertical pixels of the transform unit size is expressed by the number of horizontal pixels and/or the number of vertical pixels of the transform size to a power of 2. good too. With such a configuration, although the degree of freedom in setting the relationship between the transform unit size and the transform size is reduced, it is possible to suppress an increase in the amount of encoded data.

［変更例３］
以下において、実施形態の変更例３について説明する。以下においては、実施形態に対する相違点について主として説明する。 [Modification 3]
Modification 3 of the embodiment will be described below. In the following, mainly the differences with respect to the embodiments will be described.

変更例３において、変換ユニットサイズが閾値よりも大きい場合において、予め定められた係数レベル位置を有する係数レベル値がゼロと置換される。具体的には、係数レベル値は、図７に示すように、水平方向周波数及び垂直方向周波数によって定義される空間で定義される。このようなケースにおいて、予め定められた係数レベル位置は、水平方向周波数が第１周波数よりも高い位置であってもよく、垂直方向周波数が第２周波数よりも高い位置であってもよく、或いは、水平方向周波数が第１周波数よりも高く、かつ、垂直方向周波数の双方が第２周波数よりも高い位置であってもよい。第１周波数は、第２周波数と同じ値であってもよく、第２周波数と異なる値であってもよい。 In modification 3, coefficient level values with predetermined coefficient level positions are replaced with zeros when the transform unit size is greater than the threshold. Specifically, the coefficient level values are defined in a space defined by horizontal frequency and vertical frequency, as shown in FIG. In such cases, the predetermined coefficient level location may be the location where the horizontal frequency is higher than the first frequency, the location where the vertical frequency is higher than the second frequency, or , where the horizontal frequency is higher than the first frequency and both the vertical frequencies are higher than the second frequency. The first frequency may have the same value as the second frequency, or may have a different value from the second frequency.

すなわち、画像符号化装置１００（符号化部１６０）は、変換ユニットサイズが閾値よりも大きい場合において、すなわち、第２変換処理が適用される場合において、予め定められた係数レベル位置（高周波成分）を有する係数レベル値をゼロとして取得する。同様に、画像復号装置２００（復号部２１０）は、変換ユニットサイズが閾値よりも大きい場合において、すなわち、第２逆変換処理が適用される場合において、予め定められた係数レベル位置（高周波成分）を有する係数レベル値をゼロとして取得する。 That is, when the transform unit size is larger than the threshold, that is, when the second transform process is applied, the image encoding device 100 (encoding section 160) sets the predetermined coefficient level position (high frequency component) as zero. Similarly, when the transform unit size is larger than the threshold, that is, when the second inverse transform process is applied, the image decoding device 200 (decoding section 210) sets the predetermined coefficient level position (high frequency component) as zero.

ここで、変換ユニットサイズが閾値よりも大きい場合には、変換ユニットに含まれる高周波成分が少ない可能性が高い。従って、変更例３に示す構成では、高周波成分をゼロに置換することによって、逆変換処理に伴う画像復号装置２００の負荷を軽減することができる。 Here, when the transform unit size is larger than the threshold, there is a high possibility that the transform unit contains few high-frequency components. Therefore, in the configuration shown in Modification 3, the load on the image decoding device 200 associated with the inverse transform process can be reduced by replacing the high frequency components with zeros.

さらに、画像符号化装置１００は、ゼロで取得される係数レベル値の符号化を省略してもよい。このような構成によれば、画像符号化装置１００から画像復号装置２００に符号化データが送信される場合に、符号化データのシグナリング量を低減することができる。 Furthermore, the image coding apparatus 100 may omit the coding of coefficient level values obtained with zero. According to such a configuration, when the encoded data is transmitted from the image encoding device 100 to the image decoding device 200, the signaling amount of the encoded data can be reduced.

［その他の実施形態］
本発明は上述した実施形態によって説明したが、この開示の一部をなす論述及び図面は、この発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施形態、実施例及び運用技術が明らかとなろう。 [Other embodiments]
Although the present invention has been described by the above-described embodiments, the statements and drawings forming part of this disclosure should not be construed as limiting the present invention. Various alternative embodiments, implementations and operational techniques will become apparent to those skilled in the art from this disclosure.

実施形態では、変換・量子化部１４１及び逆変換・逆量子化部１４２とは別に判定部１５０が設けられる。しかしながら、実施形態はこれに限定されるものではない。変換・量子化部１４１は、自ら第１変換処理を適用すべきか、第２変換処理を適用すべきかを判定してもよい。このようなケースにおいて、変換・量子化部１４１は、変換ユニットサイズが閾値以下である場合に、第１変換処理を行う。一方で、変換・量子化部１４１は、変換ユニットサイズが閾値よりも大きい場合に、第２変換処理を行う。同様に、逆変換・逆量子化部１４２は、自ら第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定してもよい。具体的には、逆変換・逆量子化部１４２は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を行う。一方で、逆変換・逆量子化部１４２は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を行う。 In the embodiment, a determination unit 150 is provided separately from the transform/quantization unit 141 and the inverse transform/inverse quantization unit 142 . However, embodiments are not so limited. The transform/quantization unit 141 may determine by itself whether to apply the first transform process or the second transform process. In such a case, the transform/quantization unit 141 performs the first transform process when the transform unit size is equal to or less than the threshold. On the other hand, the transform/quantization unit 141 performs the second transform process when the transform unit size is larger than the threshold. Similarly, the inverse transform/inverse quantization unit 142 may determine by itself whether to apply the first inverse transform process or the second inverse transform process. Specifically, the inverse transform/inverse quantization unit 142 performs the first inverse transform process when the transform unit size is equal to or less than the threshold. On the other hand, the inverse transform/inverse quantization unit 142 performs the second inverse transform process when the transform unit size is larger than the threshold.

実施形態では、逆変換・逆量子化部２２０とは別に判定部２３０が設けられる。しかしながら、実施形態はこれに限定されるものではない。逆変換・逆量子化部２２０は、自ら第１逆変換処理を適用すべきか、第２逆変換処理を適用すべきかを判定してもよい。具体的には、逆変換・逆量子化部２２０は、変換ユニットサイズが閾値以下である場合に、第１逆変換処理を行う。一方で、逆変換・逆量子化部２２０は、変換ユニットサイズが閾値よりも大きい場合に、第２逆変換処理を行う。 In the embodiment, a determination unit 230 is provided separately from the inverse transform/inverse quantization unit 220 . However, embodiments are not so limited. The inverse transform/inverse quantization unit 220 may determine by itself whether to apply the first inverse transform process or the second inverse transform process. Specifically, the inverse transform/inverse quantization section 220 performs the first inverse transform process when the transform unit size is equal to or less than the threshold. On the other hand, the inverse transform/inverse quantization section 220 performs the second inverse transform process when the transform unit size is larger than the threshold.

実施形態では、画像符号化装置１００（判定部１５０）は、所定条件が満たされていない場合に、第１変換処理を適用すると判定し、所定条件が満たされている場合に、第２変換処理を適用すると判定してもよい。所定条件は、変換ユニットサイズが閾値よりも大きい条件以外の条件を含んでもよい。例えば、所定条件は、特定のイントラ予測モードが適用されているという条件を含んでもよく、変換対象ブロックの動き情報（予測動きベクトルなど）が変換対象ブロックの隣接ブロックの動き情報と同じであるという条件を含んでもよい。 In the embodiment, the image encoding device 100 (determination unit 150) determines to apply the first conversion process when the predetermined condition is not satisfied, and performs the second conversion process when the predetermined condition is satisfied. may be determined to apply. The predetermined condition may include conditions other than the condition that the transform unit size is larger than the threshold. For example, the predetermined condition may include a condition that a specific intra prediction mode is applied, and that the motion information (predicted motion vector, etc.) of the transform target block is the same as the motion information of the adjacent blocks of the transform target block. May contain conditions.

実施形態において、画像復号装置２００（判定部２３０）は、所定条件が満たされていない場合に、第１逆変換処理を適用すると判定し、所定条件が満たされている場合に、第２逆変換処理を適用すると判定してもよい。所定条件は、変換ユニットサイズが閾値よりも大きい条件以外の条件を含んでもよい。例えば、所定条件は、特定のイントラ予測モードが適用されているという条件を含んでもよく、逆変換対象ブロックの動き情報（予測動きベクトルなど）が逆変換対象ブロックの隣接ブロックの動き情報と同じであるという条件を含んでもよい。 In the embodiment, the image decoding device 200 (determination unit 230) determines to apply the first inverse transform process when the predetermined condition is not satisfied, and performs the second inverse transform process when the predetermined condition is satisfied. It may be determined to apply the process. The predetermined condition may include conditions other than the condition that the transform unit size is larger than the threshold. For example, the predetermined condition may include a condition that a specific intra prediction mode is applied, and the motion information (predicted motion vector, etc.) of the inverse transform target block is the same as the motion information of adjacent blocks of the inverse transform target block. It may include the condition that there is

実施形態では特に触れていないが、画像符号化装置１００は、第２逆変換処理を適用すべきか否かを示すデータを制御データとして生成してもよい。このようなケースにおいて、画像復号装置２００は、第２逆変換処理を適用すべきか否かを示すデータに基づいて、第２逆変換処理を適用するか否かを判定してもよい。例えば、第２逆変換処理を適用すべきか否かを示すデータは、第２逆変換処理を適用すべきである旨を示す“１”及び第２逆変換処理を適用すべきでない旨を示す“０”を取り得るフラグであってもよい。 Although not specifically mentioned in the embodiment, the image encoding device 100 may generate data indicating whether or not to apply the second inverse transform process as control data. In such a case, the image decoding device 200 may determine whether to apply the second inverse transform process based on data indicating whether to apply the second inverse transform process. For example, data indicating whether or not to apply the second inverse transform processing includes “1” indicating that the second inverse transform processing should be applied and “1” indicating that the second inverse transform processing should not be applied. It may be a flag that can take 0”.

実施形態では特にふれていないが、第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、色差予測残差信号には適用されず、輝度予測残差信号に適用されてもよい。第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、輝度予測残差信号には適用されず、色差予測残差信号に適用されてもよい。第２変換処理及び第２逆変換処理は、変換ユニットサイズが閾値よりも大きい場合において、輝度予測残差信号及び色差予測残差信号の双方に適用されてもよい。 Although not particularly mentioned in the embodiment, the second transform process and the second inverse transform process are not applied to the chrominance prediction residual signal but applied to the luminance prediction residual signal when the transform unit size is larger than the threshold. may be The second transform process and the second inverse transform process may not be applied to the luminance prediction residual signal but may be applied to the chrominance prediction residual signal when the transform unit size is larger than the threshold. The second transform process and the second inverse transform process may be applied to both the luminance prediction residual signal and the chrominance prediction residual signal when the transform unit size is larger than the threshold.

実施形態では特に触れていないが、画像符号化装置１００及び画像復号装置２００が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。 Although not particularly mentioned in the embodiment, a program may be provided that causes a computer to execute each process performed by the image encoding device 100 and the image decoding device 200 . Also, the program may be recorded on a computer-readable medium. A computer readable medium allows the installation of the program on the computer. Here, the computer-readable medium on which the program is recorded may be a non-transitory recording medium. The non-transitory recording medium is not particularly limited, but may be, for example, a recording medium such as CD-ROM or DVD-ROM.

或いは、画像符号化装置１００及び画像復号装置２００が行う各処理を実行するためのプログラムを記憶するメモリ及びメモリに記憶されたプログラムを実行するプロセッサによって構成されるチップが提供されてもよい。 Alternatively, a chip configured by a memory storing a program for executing each process performed by the image encoding device 100 and the image decoding device 200 and a processor executing the program stored in the memory may be provided.

１０…画像処理システム、１００…画像符号化装置、１１１…インター予測部、１１２…イントラ予測部、１２１…減算器、１２２…加算器、１３１…縮小処理部、１３２…拡大処理部、１４１…変換・量子化部、１４２…逆変換・逆量子化部、１５０…判定部、１５１…スイッチ、１５２…スイッチ、１６０…符号化部、１７０…インループフィルタ、１８０…フレームバッファ、２００…画像復号装置、２１０…復号部、２２０…逆変換・逆量子化部、２３０…判定部、２３１…スイッチ、２４０…拡大処理部、２５０…加算器、２６１…インター予測部、２６２…イントラ予測部、２７０…インループフィルタ、２８０…フレームバッファ DESCRIPTION OF SYMBOLS 10... Image processing system, 100... Image encoding apparatus, 111... Inter prediction part, 112... Intra prediction part, 121... Subtractor, 122... Adder, 131... Reduction process part, 132... Enlargement process part, 141... Conversion Quantization unit 142 Inverse transform/inverse quantization unit 150 Determination unit 151 Switch 152 Switch 160 Encoding unit 170 In-loop filter 180 Frame buffer 200 Image decoding device , 210 decoding unit 220 inverse transform/inverse quantization unit 230 determination unit 231 switch 240 enlargement processing unit 250 adder 261 inter prediction unit 262 intra prediction unit 270 in-loop filter, 280 ... frame buffer

Claims (8)

画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得する復号部と、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得する逆変換処理部とを備え、
前記逆変換処理部は、前記逆変換処理として、変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であり、
前記復号部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記第１逆変換処理及び前記第２逆変換処理で用いる変換行列は共通化されている、画像復号装置。 a decoding unit that decodes encoded data encoded by an image encoding device and obtains a coefficient level value that has been transformed by the encoding device;
an inverse transform processing unit that performs at least inverse transform processing of the coefficient level value and acquires a prediction residual signal;
The inverse transform processing unit is configured to perform a first inverse transform process with a transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process,
The first inverse transform process is a process applied to a case where the transform unit size corresponding to the coefficient level value is equal to or less than a threshold,
The second inverse transform process is a process applied to a case where the transform unit size is larger than the threshold,
the decoding unit obtains the coefficient level value having a predetermined coefficient level position as zero when the transform unit size is larger than the threshold;
The image decoding device, wherein a transformation matrix used in the first inverse transform process and the second inverse transform process is common . 前記変換サイズは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められ、或いは、前記変換ユニットサイズの水平画素数が前記変換サイズの水平画素数の２のべき乗で表され、かつ、前記変換ユニットサイズの垂直画素数が前記変換サイズの垂直画素数の２のべき乗で表されるように定められる、請求項１に記載の画像復号装置。 The transform size is determined such that the number of horizontal pixels of the transform unit size is expressed by a power of two of the number of horizontal pixels of the transform size, or the number of vertical pixels of the transform unit size is the number of vertical pixels of the transform size. or the number of horizontal pixels of the transform unit size is expressed by the number of horizontal pixels of the transform size to the power of 2, and the vertical pixels of the transform unit size 2. The image decoding device according to claim 1, wherein the number is defined as a power of 2 of the number of vertical pixels of said transform size. 前記復号部は、前記復号処理によって前記変換サイズを取得する、請求項１又は２に記載の画像復号装置。 The image decoding device according to claim 1 or 2, wherein the decoding unit acquires the transform size through the decoding process. 前記変換サイズは、前記変換ユニットサイズと予め対応付けられている、請求項１又は２に記載の画像復号装置。 3. The image decoding device according to claim 1, wherein said transform size is associated in advance with said transform unit size. イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、
前記予測残差信号の変換処理を少なくとも行うとともに、係数レベル値を取得する変換処理部とを備え、
前記変換処理部は、前記変換処理として、変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、
前記第１変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であり、
前記変換処理部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記第１変換処理及び前記第２変換処理で用いる変換行列は共通化されている、画像符号化装置。 a generation unit that generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal;
a transform processing unit that performs at least transform processing of the prediction residual signal and acquires a coefficient level value;
The conversion processing unit is configured to perform a first conversion process with a conversion unit size as the conversion process, and perform a second conversion process with a conversion size smaller than the conversion unit size,
the first transform process is a process applied to a case where a transform unit size corresponding to the coefficient level value is equal to or smaller than a threshold;
the second transformation process is a process applied to a case where the transformation unit size is larger than the threshold;
the transform processing unit acquires the coefficient level value having a predetermined coefficient level position as zero when the transform unit size is larger than the threshold;
The image encoding device, wherein a transformation matrix used in the first transformation process and the second transformation process is common . 画像符号化装置及び画像復号装置を備える画像処理システムであって、
前記画像符号化装置は、
イントラ予測又はインター予測によって生成される予測信号と入力画像信号との差分である予測残差信号を生成する生成部と、
前記予測残差信号の変換処理を行うとともに、係数レベル値を取得する変換処理部とを備え、
前記画像復号装置は、
前記画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記係数レベル値を取得する復号部と、
前記係数レベル値の逆変換処理を少なくとも行うとともに、前記予測残差信号を取得する逆変換処理部とを備え、
前記変換処理部は、前記変換処理として、変換ユニットサイズで第１変換処理を行い、前記変換ユニットサイズよりも小さい変換サイズで第２変換処理を行うように構成されており、
前記逆変換処理部は、前記逆変換処理として、前記変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うように構成されており、
前記第１変換処理及び前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２変換処理及び前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であり、
前記変換処理部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記復号部は、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記第１変換処理及び前記第２変換処理で用いる変換行列は共通化されており、
前記第１逆変換処理及び前記第２逆変換処理で用いる変換行列は共通化されている、画像処理システム。 An image processing system comprising an image encoding device and an image decoding device,
The image encoding device is
a generation unit that generates a prediction residual signal that is a difference between a prediction signal generated by intra prediction or inter prediction and an input image signal;
a transform processing unit that performs transform processing on the prediction residual signal and acquires a coefficient level value;
The image decoding device is
a decoding unit that decodes encoded data encoded by the image encoding device and acquires the coefficient level value;
an inverse transform processing unit that performs at least inverse transform processing of the coefficient level value and acquires the prediction residual signal;
The conversion processing unit is configured to perform a first conversion process with a conversion unit size as the conversion process, and perform a second conversion process with a conversion size smaller than the conversion unit size,
The inverse transform processing unit is configured to perform a first inverse transform process with the transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process,
The first transform process and the first inverse transform process are processes applied when a transform unit size corresponding to the coefficient level value is equal to or smaller than a threshold,
The second transform process and the second inverse transform process are processes applied when the transform unit size is larger than the threshold,
the transform processing unit acquires the coefficient level value having a predetermined coefficient level position as zero when the transform unit size is larger than the threshold;
the decoding unit obtains the coefficient level value having a predetermined coefficient level position as zero when the transform unit size is larger than the threshold;
A transformation matrix used in the first transformation process and the second transformation process is common,
An image processing system, wherein a transformation matrix used in the first inverse transformation process and the second inverse transformation process is common . 画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを備え、
前記ステップＢは、前記逆変換処理として、変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であり、
前記ステップＡにおいて、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記第１逆変換処理及び前記第２逆変換処理で用いる変換行列は共通化されている、画像復号方法。 a step A of decoding encoded data encoded by an image encoding device and obtaining a coefficient level value transformed by the encoding device;
A step B of performing at least inverse transform processing of the coefficient level values and obtaining a prediction residual signal;
The step B includes a step of performing a first inverse transform process with a transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process,
The first inverse transform process is a process applied to a case where the transform unit size corresponding to the coefficient level value is equal to or less than a threshold,
The second inverse transform process is a process applied to a case where the transform unit size is larger than the threshold,
In step A, obtaining the coefficient level value with a predetermined coefficient level position as zero when the transform unit size is greater than the threshold;
The image decoding method, wherein a transformation matrix used in the first inverse transform process and the second inverse transform process is common . 画像復号装置で用いるプログラムであって、
画像符号化装置によって符号化された符号化データの復号処理を行うとともに、前記符号化装置によって変換処理が施された係数レベル値を取得するステップＡと、
前記係数レベル値の逆変換処理を少なくとも行うとともに、予測残差信号を取得するステップＢとを実行させ、
前記ステップＢは、前記逆変換処理として、変換ユニットサイズで第１逆変換処理と、前記変換ユニットサイズよりも小さい変換サイズで第２逆変換処理を行うステップを含み、
前記第１逆変換処理は、前記係数レベル値に対応する変換ユニットサイズが閾値以下であるケースに適用される処理であり、
前記第２逆変換処理は、前記変換ユニットサイズが前記閾値よりも大きいケースに適用される処理であり、
前記ステップＡにおいて、前記変換ユニットサイズが前記閾値よりも大きい場合において、予め定められた係数レベル位置を有する前記係数レベル値をゼロとして取得し、
前記第１逆変換処理及び前記第２逆変換処理で用いる変換行列は共通化されている、プログラム。 A program used in an image decoding device,
a step A of decoding encoded data encoded by an image encoding device and obtaining a coefficient level value transformed by the encoding device;
performing at least inverse transform processing of the coefficient level values and obtaining a prediction residual signal;
The step B includes a step of performing a first inverse transform process with a transform unit size and a second inverse transform process with a transform size smaller than the transform unit size as the inverse transform process,
The first inverse transform process is a process applied to a case where the transform unit size corresponding to the coefficient level value is equal to or less than a threshold,
The second inverse transform process is a process applied to a case where the transform unit size is larger than the threshold,
In step A, obtaining the coefficient level value with a predetermined coefficient level position as zero when the transform unit size is greater than the threshold;
A program , wherein a transformation matrix used in the first inverse transformation process and the second inverse transformation process is common .
JP2018065347A 2018-03-29 2018-03-29 Image decoding device, image encoding device, image processing system, image decoding method and program Active JP7109961B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018065347A JP7109961B2 (en) 2018-03-29 2018-03-29 Image decoding device, image encoding device, image processing system, image decoding method and program
PCT/JP2018/046410 WO2019187396A1 (en) 2018-03-29 2018-12-17 Image decoding device, image coding device, image processing system, image decoding method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018065347A JP7109961B2 (en) 2018-03-29 2018-03-29 Image decoding device, image encoding device, image processing system, image decoding method and program

Publications (2)

Publication Number Publication Date
JP2019176421A JP2019176421A (en) 2019-10-10
JP7109961B2 true JP7109961B2 (en) 2022-08-01

Family

ID=68058667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018065347A Active JP7109961B2 (en) 2018-03-29 2018-03-29 Image decoding device, image encoding device, image processing system, image decoding method and program

Country Status (2)

Country Link
JP (1) JP7109961B2 (en)
WO (1) WO2019187396A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134999A1 (en) 2009-12-09 2011-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2014532377A (en) 2011-10-14 2014-12-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ Region-based image compression
WO2016203981A1 (en) 2015-06-16 2016-12-22 シャープ株式会社 Image decoding device and image encoding device
JP2017513342A (en) 2014-03-17 2017-05-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ System and method for low complex forward transformation using zeroed out coefficients

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0284895A (en) * 1988-09-20 1990-03-26 Nippon Telegr & Teleph Corp <Ntt> Picture encoding system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110134999A1 (en) 2009-12-09 2011-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video
JP2014532377A (en) 2011-10-14 2014-12-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッドＡｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｉｎｃｏｒｐｏｒａｔｅｄ Region-based image compression
JP2017513342A (en) 2014-03-17 2017-05-25 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ System and method for low complex forward transformation using zeroed out coefficients
WO2016203981A1 (en) 2015-06-16 2016-12-22 シャープ株式会社 Image decoding device and image encoding device

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAWAMURA, Kei et al.，Description of SDR video coding technology proposal by KDDI，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US. 10-20 Apr. 2018, [JVET-J0016]，ITU-T，2018年04月12日，pp. i-iii, 1-23
SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video，ITU-T Recommendation H.263 (01/2005) Video coding for low bit rate communication，ITU-T，2005年06月24日，pp. 130-142
TOURAPIS, Alexis Michael and WINGER, Lowell，Reduced Resolution Update Mode for Enhanced Compression，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San Jose, CA, USA, 1-10 February, 2012, [JCTVC-H0447]，JCTVC-H0447 (version 1)，ITU-T，2012年01月20日，pp. 1-4

Also Published As

Publication number Publication date
WO2019187396A1 (en) 2019-10-03
JP2019176421A (en) 2019-10-10

Similar Documents

Publication Publication Date Title
JP6660074B2 (en) Video decoding method and apparatus
JP5905613B2 (en) Video decoding device
JP2023126408A (en) Intra-prediction method and encoder and decoder using same
JP5750579B2 (en) Intra prediction mode decoding method and apparatus
JP5989838B2 (en) Video decoding device
CA2851600A1 (en) Methods, apparatuses, and programs for encoding and decoding picture
KR20200091848A (en) Method for intra prediction and apparatus thereof
JP2007013298A (en) Image coding apparatus
JP5770647B2 (en) Image encoding method, image encoding device, image decoding method, image decoding device, and programs thereof
JP7109961B2 (en) Image decoding device, image encoding device, image processing system, image decoding method and program
JP7502890B2 (en) Image encoding device and program thereof
EP3993415A1 (en) Encoding device, decoding device, and program
JP6590412B2 (en) Video encoding apparatus, method and program, and video decoding apparatus, method and program
WO2020059341A1 (en) Image decoding device, image encoding device, image processing system, and program
JP5814191B2 (en) Deblocking processing method, deblocking processing apparatus, program, and recording medium
JP7343702B2 (en) Deblocking filter device, decoding device, and program
JP7536484B2 (en) Image encoding device, image encoding method and program, image decoding device, image decoding method and program
JP6396782B2 (en) Deblocking processing method, deblocking processing apparatus, computer program, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200811

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220720

R150 Certificate of patent or registration of utility model

Ref document number: 7109961

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150