WO2019188465A1 - 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法 - Google Patents

画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法 Download PDF

Info

Publication number
WO2019188465A1
WO2019188465A1 PCT/JP2019/011047 JP2019011047W WO2019188465A1 WO 2019188465 A1 WO2019188465 A1 WO 2019188465A1 JP 2019011047 W JP2019011047 W JP 2019011047W WO 2019188465 A1 WO2019188465 A1 WO 2019188465A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
orthogonal transform
image
size
encoding
Prior art date
Application number
PCT/JP2019/011047
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201980021591.1A priority Critical patent/CN111903125A/zh
Priority to US17/040,763 priority patent/US20210006836A1/en
Publication of WO2019188465A1 publication Critical patent/WO2019188465A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present disclosure relates to an image encoding device, an image encoding method, an image decoding device, and an image decoding method, and in particular, an image encoding device and an image that can reduce the amount of encoding processing and decoding processing.
  • the present invention relates to an encoding method, an image decoding device, and an image decoding method.
  • JVET Joint Video Exploration Team
  • ITU-T International Telecommunication Union Telecommunication Standardization Sector
  • affine motion compensation (MC) prediction affine motion compensation
  • Such inter prediction processing can predict not only translation between screens (translation), but also more complex movements such as rotation, scaling (enlargement / reduction), and skew. It is expected that the coding efficiency is improved as the image quality is improved.
  • the quality of prediction is improved by performing the inter prediction process by applying the affine transformation as described above.
  • the coding amount increases in the affine transformation by increasing the size of the coding unit. The efficiency is improved.
  • the size of the coding unit is increased, there is a concern that the amount of processing required for orthogonal transform or inverse orthogonal transform in the encoding process and decoding process increases.
  • the present disclosure has been made in view of such a situation, and is capable of reducing the amount of encoding processing and decoding processing.
  • An image encoding device includes a setting unit that sets identification information for identifying a threshold value of an orthogonal transformation maximum size that is a maximum size of a processing unit when orthogonally transforming an image, and encodes the image.
  • a coding unit which is a processing unit at the time of conversion, is larger than a threshold of the maximum orthogonal transform size
  • an orthogonal transform unit that performs simple orthogonal transform on the coding unit, and the simple orthogonal transform is performed by the orthogonal transform unit
  • An encoding unit that encodes a simple transform coefficient that is a result of the determination and generates a bitstream including the identification information.
  • the encoding apparatus that encodes an image identifies identification information for identifying a threshold value of an orthogonal transform maximum size that is a maximum size of a processing unit when the image is orthogonally transformed. And when a coding unit that is a processing unit for encoding the image is larger than a threshold of the maximum orthogonal transform size, simple orthogonal transform is performed on the coding unit, and the simple orthogonal transform is performed. Encoding a simple conversion coefficient, which is a result of the conversion, and generating a bitstream including the identification information.
  • identification information for identifying a threshold value of the maximum orthogonal transform size which is the maximum size of a processing unit when orthogonally transforming an image, is set and is a processing unit when encoding an image.
  • a coding unit is larger than the threshold of the maximum orthogonal transform size
  • simple orthogonal transform is performed on the coding unit, and a simple transform coefficient that is a result of the simple orthogonal transform is encoded and includes identification information.
  • a bitstream is generated.
  • the image decoding device parses the identification information from a bit stream including identification information for identifying a threshold of the orthogonal transformation maximum size, which is the maximum size of a processing unit when orthogonally transforming an image.
  • a parsing unit a decoding unit that decodes the bitstream and generates a simple transform coefficient that is a result of simple orthogonal transform performed on a coding unit that is a processing unit for encoding the image;
  • An inverse orthogonal transform unit that refers to the identification information parsed by the parsing unit and performs simple inverse orthogonal transform according to the size of the coding unit.
  • the image decoding method includes a bit including identification information for identifying a threshold value of an orthogonal transformation maximum size that is a maximum size of a processing unit when the decoding device that decodes an image performs orthogonal transformation on the image.
  • a simple transform coefficient obtained by parsing the identification information from a stream, decoding the bit stream, and performing a simple orthogonal transform on a coding unit that is a processing unit for encoding the image And generating simple inverse orthogonal transform according to the size of the coding unit with reference to the parsed identification information.
  • identification information is parsed from a bit stream including identification information for identifying a threshold value of the maximum orthogonal transform size, which is the maximum size of a processing unit when performing orthogonal transform on an image, and the bit stream is After decoding, a simple transform coefficient is generated as a result of simple orthogonal transform performed on the coding unit, which is a processing unit for encoding an image, and the size of the coding unit is determined by referring to the parsed identification information. Simple inverse orthogonal transform is performed according to the above.
  • the processing amount of the encoding process and the decoding process can be reduced.
  • FIG. 18 is a block diagram illustrating a configuration example of an embodiment of a computer to which the present technology is applied.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "High efficiency video coding", H.265, 12/2016
  • Non-Patent Document 3 TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU (International Telecommunication Union), "Advanced video coding for generic audiovisual services", H.264, 04/2017
  • Non-Patent Documents 1 to 3 described above are also grounds for determining support requirements.
  • QTBT Quad Tree Plus Binary Tree
  • QT Quad-Tree Block Structure described in Non-Patent Document 2
  • Block (not a block indicating a processing unit) used for explanation as a partial area or processing unit of an image (picture) indicates an arbitrary partial area in the picture, unless otherwise specified, and its size, shape, and The characteristics and the like are not limited.
  • “Block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), CU (Coding Unit), LCU (Largest Coding Unit) ), CTB (Coding Tree Block), CTU (Coding Tree Unit), transform block, sub-block, macroblock, tile, slice, or any other partial region (processing unit).
  • the block size may be designated indirectly.
  • the block size may be designated using identification information for identifying the size.
  • the block size may be specified by a ratio or difference with the size of a reference block (for example, LCU or SCU).
  • a reference block for example, LCU or SCU.
  • the designation of the block size includes designation of a block size range (for example, designation of an allowable block size range).
  • the data unit in which various information is set and the data unit targeted by various processes are arbitrary and are not limited to the above-described examples.
  • these information and processing are TU (Transform Unit), TB (Transform Block), PU (Prediction Unit), PB (Prediction Block), CU (Coding Unit), LCU (Largest Coding Unit), and sub-block, respectively. It may be set for each block, tile, slice, picture, sequence, or component, or the data of those data units may be targeted.
  • this data unit can be set for each information or process, and it is not necessary to unify all the data units of information and processes.
  • the storage location of these pieces of information is arbitrary, and the information may be stored in the above-described data unit header, parameter set, or the like. Moreover, you may make it store in multiple places.
  • Control information related to the present technology may be transmitted from the encoding side to the decoding side. For example, you may make it transmit the control information (for example, enabled_flag) which controls whether application (or prohibition) of applying this technique mentioned above is permitted. Further, for example, control information indicating a target to which the present technology is applied (or a target to which the present technology is not applied) may be transmitted. For example, control information designating a block size (upper limit or lower limit, or both) to which the present technology is applied (or permission or prohibition of application), a frame, a component, a layer, or the like may be transmitted.
  • “flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more Information that can identify the state is also included. Therefore, the value that can be taken by the “flag” may be, for example, a binary value of 1/0, or may be three or more values. That is, the number of bits constituting this “flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information includes not only the form in which the identification information is included in the bitstream but also the form in which the difference information of the identification information with respect to certain reference information is included in the bitstream.
  • the “flag” and “identification information” include not only the information but also difference information with respect to the reference information.
  • association metadata means, for example, that one data can be used (linked) when one data is processed. That is, the data associated with each other may be collected as one data, or may be individual data. For example, information associated with encoded data (image) may be transmitted on a different transmission path from the encoded data (image). Further, for example, information associated with encoded data (image) may be recorded on a recording medium different from the encoded data (image) (or another recording area of the same recording medium). Good.
  • the “association” may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • encoding includes not only the entire process of converting an image into a bit stream but also a part of the process.
  • decoding includes not only the entire process of converting a bitstream into an image but also a part of the process.
  • processing includes inverse arithmetic decoding, inverse quantization, inverse orthogonal transform, prediction processing, but also processing that includes inverse arithmetic decoding and inverse quantization, inverse arithmetic decoding, inverse quantization, and prediction processing. Including comprehensive processing.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system 11 includes an image encoding device 12 and an image decoding device 13.
  • an image captured by an imaging device is input to the image encoding device 12, and the image encoding device 12 encodes the image to generate encoded data.
  • the encoded data is transmitted as a bit stream from the image encoding device 12 to the image decoding device 13.
  • an image is generated by decoding the encoded data in the image decoding device 13, and is displayed on a display device (not shown).
  • the image encoding device 12 has a configuration in which an image processing chip 21 and an external memory 22 are connected via a bus.
  • the image processing chip 21 includes an encoding circuit 23 that encodes an image, and a cache memory 24 that temporarily stores data necessary when the encoding circuit 23 encodes the image.
  • the external memory 22 is configured by, for example, DRAM (Dynamic Random Access Memory), and is processed for each processing unit (for example, frame) in which the image processing chip 21 processes image data to be encoded in the image encoding device 12.
  • DRAM Dynamic Random Access Memory
  • QTBT Quad Tree Plus Binary Tree
  • CTU Coding Unit
  • PB Prediction Block
  • PU Prediction Unit
  • CU Coding Unit
  • CB Coding Block
  • the processing unit is a CTB or CTU, which is a processing unit in which the block size is fixed at the sequence level.
  • the image encoding device 12 caches data divided for each coding unit, which is a processing unit for encoding, of image data for one frame (or CTB) stored in the external memory 22. It is read into the memory 24. In the image encoding device 12, encoding is performed by the encoding circuit 23 for each coding unit stored in the cache memory 24, and encoded data is generated.
  • CU and TU are processed in the same dimension block here, CU and TU may be processed in different dimensions like QT.
  • the image encoding device 12 when the encoded data is generated, the image encoding device 12 performs orthogonal transform on the prediction residual D based on the transform information Tinfo as described later with reference to FIG.
  • a transformation coefficient Coeff is generated as a result of the orthogonal transformation.
  • this orthogonal transform is also processed using a coding unit as a processing unit.
  • a threshold for the maximum orthogonal transform size which is the maximum size of the processing unit when performing orthogonal transform, is set, and when the coding unit is larger than the threshold for the maximum orthogonal transform size,
  • simple orthogonal transformation which is a process simplified more than the orthogonal transformation, is performed.
  • the simple orthogonal transform includes skip of residual data output, skip of orthogonal transform, and generation of only a DC component as residual data.
  • a simple transform coefficient that does not include residual data a simple transform coefficient that includes spatial domain residual data, and a simple transform coefficient that includes only a DC component as residual data are obtained. can get.
  • CU and TU are described as being processed in the same dimension, but CU and TU may be processed in different dimensions as in QT.
  • orthogonal transformation maximum size identification information for identifying a threshold value for the orthogonal transformation maximum size is transmitted from the image encoding device 12 to the image decoding device 13.
  • the orthogonal transformation maximum size identification information may be expressed in any form as long as it is information that can identify a threshold for the size or shape of the orthogonal transformation that is the maximum size.
  • the image decoding device 13 has a configuration in which an image processing chip 31 and an external memory 32 are connected via a bus.
  • the image processing chip 31 includes a decoding circuit 33 that decodes encoded data to generate an image, and a cache memory 34 that temporarily stores data required when the decoding circuit 33 decodes the encoded data. Is done.
  • the external memory 32 is composed of, for example, a DRAM, and stores encoded data to be decoded by the image decoding device 13 for each image processing unit (for example, frame, CTB).
  • the image decoding device 13 parses the orthogonal transform maximum size identification information from the bitstream, refers to the orthogonal transform maximum size identification information, and performs orthogonal transform or simple orthogonal transform according to the size of the coding unit.
  • an image is generated by decoding the encoded data by the decoding circuit 33 for each coding unit stored in the cache memory 34.
  • the orthogonal transform maximum size identification information for identifying the orthogonal transform maximum size threshold is set in the image encoding device 12, and the bit stream including the sub-block size identification information is converted into the image decoding device 13. Is transmitted to.
  • the orthogonal transform maximum size identification information can be defined by a high level syntax such as SPS, PPS, SLICE header.
  • the processing amount in the encoding process and the decoding process can be reduced by performing simple orthogonal transform for a coding unit larger than the threshold of the maximum orthogonal transform size. Therefore, for example, in an application that requires a reduction in the processing amount, the processing amount of the encoding process and the decoding process can be greatly reduced by setting the threshold value for the maximum orthogonal transform size small, and more reliably. Encoding or decoding can be performed.
  • the encoding circuit 23 is designed to function as a setting unit, an orthogonal transform unit, and an encoding unit as illustrated.
  • the encoding circuit 23 can perform setting processing for setting orthogonal transformation maximum size identification information for identifying a threshold value of the orthogonal transformation maximum size.
  • the encoding circuit 23 has a small threshold for the maximum orthogonal transform size.
  • the orthogonal transform maximum size identification information is set so that Similarly, the encoding circuit 23 decreases the threshold value of the maximum orthogonal transform size when, for example, the amount of processing required in an application that executes decoding of a bitstream in the image decoding device 13 is equal to or less than a predetermined set value.
  • the orthogonal transform maximum size identification information is set.
  • set values that prescribe the amount of processing in the application to be executed are set in advance in accordance with the processing capabilities of each. For example, when encoding processing or decoding processing is performed in a mobile terminal with low processing capability, a low setting value according to the processing capability is set.
  • the encoding circuit 23 can perform simple orthogonal transform for the coding unit instead of performing normal orthogonal transform.
  • the encoding circuit 23 skips the output of the residual data itself without performing the orthogonal transformation on the coding unit having a size larger than the threshold of the orthogonal transformation maximum size as the simple orthogonal transformation (for example, in FIG. 4). Not supplied to the quantization unit 114 shown). That is, in this simple orthogonal transform, residual data is not included in the simple transform coefficient obtained by performing the simple orthogonal transform on the coding unit.
  • the encoding circuit 23 skips the orthogonal transformation for the coding unit having a size larger than the threshold value of the orthogonal transformation maximum size as the simple orthogonal transformation, and outputs the residual data in the spatial domain where the orthogonal transformation is not performed. That is, in this simple orthogonal transform, spatial domain residual data is included in the simple transform coefficient obtained by performing the simple orthogonal transform on the coding unit.
  • the encoding circuit 23 performs orthogonal transformation on a coding unit having a size larger than the threshold of the maximum orthogonal transformation size as simple orthogonal transformation, but generates only a direct current component as residual data and outputs the direct current component. To do. That is, in this simple orthogonal transform, only the DC component is included as residual data in the simple transform coefficient obtained by performing the simple orthogonal transform on the coding unit.
  • a transform coefficient generated by performing the normal orthogonal transform is obtained.
  • Domain residual data or DC component as residual data is included. Note that residual data may not be included as a simple transform coefficient by simple orthogonal transform.
  • the encoding circuit 23 encodes a transform coefficient or simple transform coefficient (spatial domain residual data or DC component as residual data) by orthogonal transform or simple orthogonal transform, and includes orthogonal transform maximum size identification information. An encoding process for generating a bit stream can be performed.
  • the decoding circuit 33 is designed to function as a parsing unit, a decoding unit, and an inverse orthogonal transform unit as illustrated.
  • the decoding circuit 33 can perform a parsing process for parsing the orthogonal transform maximum size identification information for identifying the threshold value of the orthogonal transform maximum size from the bit stream transmitted from the image encoding device 12.
  • the decoding circuit 33 can perform a decoding process of decoding the bit stream and generating a transform coefficient or a simple transform coefficient that is a result of the orthogonal transform or the simple orthogonal transform performed in the encoding circuit 23.
  • the decoding circuit 33 refers to the orthogonal transform maximum size identification information parsed from the bit stream, and when the size of the coding unit is larger than the threshold of the orthogonal transform maximum size, the normal inverse orthogonal transform is performed for the coding unit. Instead of performing the above, simple inverse orthogonal transform can be performed.
  • the encoding circuit 23 when the simple orthogonal transform in which the output of the residual data is skipped in the encoding circuit 23 is performed as the simple inverse orthogonal transform, the encoding circuit 23 has a size larger than the threshold value of the maximum orthogonal transform size. For coding units, the inverse orthogonal transform is skipped. Therefore, in this case, the residual data is not included in the simple transform coefficients from the image encoding device 12, and the inverse orthogonal transform is not substantially performed.
  • the encoding circuit 23 refers to the orthogonal transformation maximum size identification information regardless of the parsing with respect to the residual identification information for identifying whether the residual data is included in the simple transformation coefficient, thereby determining the orthogonal transformation maximum size. When the size of the coding unit is larger than the threshold, it can be determined that the residual data is not included in the simple transform coefficient.
  • the encoding circuit 23 is configured for a coding unit having a size larger than the orthogonal transform maximum size threshold.
  • the inverse orthogonal transform is skipped, and spatial domain residual data that is not subjected to orthogonal transform is output. Therefore, in this case, the image decoding device 13 can perform the decoding process using the residual data in the spatial domain that is not subjected to the orthogonal transformation, which is included in the simple transform coefficient from the image coding device 12. it can.
  • the encoding circuit 23 has a size larger than the threshold value of the maximum orthogonal transform size.
  • the DC component is output without performing inverse orthogonal transform. Therefore, in this case, the image decoding device 13 can perform the decoding process by using the direct current component as the residual data included in the simple transform coefficient from the image encoding device 12 as it is. Note that when the decoding process is performed using the DC component as the residual data, for example, an improvement in image quality is expected as compared with the case where the decoding process is performed without using the residual data.
  • FIG. 4 is a block diagram illustrating a configuration example of an embodiment of an image encoding device to which the present technology is applied.
  • the image encoding device 12 shown in FIG. 4 is a device that encodes image data of a moving image.
  • the image encoding device 12 implements the technique described in Non-Patent Document 1, Non-Patent Document 2, or Non-Patent Document 3 and uses a method that conforms to the standards described in any of those documents.
  • the image data of the moving image is encoded.
  • FIG. 4 shows the main components such as the processing unit and the data flow, and the ones shown in FIG. 4 are not all. That is, in the image encoding device 12, there may be a processing unit that is not shown as a block in FIG. 4, or there may be a process or data flow that is not shown as an arrow or the like in FIG.
  • the image encoding device 12 includes a control unit 101, a rearrangement buffer 111, a calculation unit 112, an orthogonal transformation unit 113, a quantization unit 114, an encoding unit 115, an accumulation buffer 116, and an inverse quantization unit. 117, an inverse orthogonal transform unit 118, a calculation unit 119, an in-loop filter unit 120, a frame memory 121, a prediction unit 122, and a rate control unit 123.
  • the prediction unit 122 includes an intra prediction unit and an inter prediction unit (not shown).
  • the image encoding device 12 is a device for generating encoded data (bit stream) by encoding moving image data.
  • the control unit 101 divides the moving image data held by the rearrangement buffer 111 into processing unit blocks (CU, PU, conversion block, etc.) based on the block size of the processing unit designated externally or in advance. .
  • the control unit 101 determines encoding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, etc.) to be supplied to each block based on, for example, RDO (Rate-Distortion Optimization). To do.
  • control unit 101 determines the encoding parameter as described above, the control unit 101 supplies it to each block. Specifically, it is as follows.
  • the header information Hinfo is supplied to each block.
  • the prediction mode information Pinfo is supplied to the encoding unit 115 and the prediction unit 122.
  • the transform information Tinfo is supplied to the encoding unit 115, the orthogonal transform unit 113, the quantization unit 114, the inverse quantization unit 117, and the inverse orthogonal transform unit 118.
  • the filter information Finfo is supplied to the in-loop filter unit 120.
  • control unit 101 when setting the processing unit, can set the orthogonal transformation maximum size identification information for identifying the threshold value of the orthogonal transformation maximum size as described above with reference to FIG. Then, the control unit 101 also supplies orthogonal transform maximum size identification information to the encoding unit 115.
  • Each field (input image) of moving image data is input to the image encoding device 12 in the reproduction order (display order).
  • the rearrangement buffer 111 acquires and holds (stores) each input image in the reproduction order (display order).
  • the rearrangement buffer 111 rearranges the input image in the encoding order (decoding order) or divides the input image into blocks based on the control of the control unit 101.
  • the rearrangement buffer 111 supplies each processed input image to the calculation unit 112.
  • the rearrangement buffer 111 also supplies each input image (original image) to the prediction unit 122 and the in-loop filter unit 120.
  • the orthogonal transform unit 113 receives the prediction residual D supplied from the calculation unit 112 and the conversion information Tinfo supplied from the control unit 101, and is orthogonal to the prediction residual D based on the conversion information Tinfo. Conversion is performed to derive a conversion coefficient Coeff. The orthogonal transform unit 113 supplies the obtained transform coefficient Coeff to the quantization unit 114.
  • the orthogonal transform unit 113 refers to the threshold of the maximum orthogonal transform size and can perform orthogonal transform or simple orthogonal transform based on the size of the coding unit. . Then, when performing orthogonal transform, the orthogonal transform unit 113 supplies the transform coefficient Coeff generated by the processing to the quantization unit 114.
  • the orthogonal transform unit 113 skips the output of the residual data as described above with reference to FIG. 2, or uses the spatial domain residual data as a simple transform coefficient. For example, only the direct current component as residual data is supplied to the quantization unit 114 as a simple transform coefficient.
  • the quantization unit 114 receives the transform coefficient Coeff supplied from the orthogonal transform unit 113 and the transform information Tinfo supplied from the control unit 101, and scales (quantizes) the transform coefficient Coeff based on the transform information Tinfo. ) Note that the rate of quantization is controlled by the rate control unit 123.
  • the quantization unit 114 supplies the quantized transform coefficient obtained by such quantization, that is, the quantized transform coefficient level level, to the encoding unit 115 and the inverse quantization unit 117.
  • the encoding unit 115 includes the quantization transform coefficient level level supplied from the quantization unit 114, and various encoding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo supplied from the control unit 101. Etc.), information relating to a filter such as a filter coefficient supplied from the in-loop filter unit 120, and information relating to an optimal prediction mode supplied from the prediction unit 122 are input.
  • the encoding unit 115 performs variable-length encoding (for example, arithmetic encoding) on the quantized transform coefficient level level to generate a bit string (encoded data).
  • the encoding unit 115 derives residual information Rinfo from the quantized transform coefficient level level, encodes the residual information Rinfo, and generates a bit string.
  • the encoding unit 115 includes information on the filter supplied from the in-loop filter unit 120 in the filter information Finfo, and includes information on the optimal prediction mode supplied from the prediction unit 122 in the prediction mode information Pinfo. Then, the encoding unit 115 encodes the various encoding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, and the like) described above, and generates a bit string.
  • the encoding unit 115 multiplexes the bit strings of various information generated as described above to generate encoded data.
  • the encoding unit 115 supplies the encoded data to the accumulation buffer 116.
  • the encoding unit 115 can encode the orthogonal transform maximum size identification information supplied from the control unit 101, generate a bit string, multiplex the bit string, and generate encoded data. Thereby, as described above with reference to FIG. 1, encoded data (bit stream) including the orthogonal transform maximum size identification information is transmitted.
  • the accumulation buffer 116 temporarily stores the encoded data obtained by the encoding unit 115.
  • the accumulation buffer 116 outputs the held encoded data to the outside of the image encoding device 12 as a bit stream, for example, at a predetermined timing.
  • the encoded data is transmitted to the decoding side via an arbitrary recording medium, an arbitrary transmission medium, an arbitrary information processing apparatus, or the like. That is, the accumulation buffer 116 is also a transmission unit that transmits encoded data (bit stream).
  • the inverse quantization unit 117 performs processing related to inverse quantization. For example, the inverse quantization unit 117 receives the quantized transform coefficient level level supplied from the quantization unit 114 and the transform information Tinfo supplied from the control unit 101, and performs quantization based on the transform information Tinfo. Scale (dequantize) the value of the transform coefficient level level. This inverse quantization is an inverse process of quantization performed in the quantization unit 114. The inverse quantization unit 117 supplies the transform coefficient Coeff_IQ obtained by such inverse quantization to the inverse orthogonal transform unit 118.
  • the inverse orthogonal transform unit 118 performs processing related to inverse orthogonal transform. For example, the inverse orthogonal transform unit 118 receives the transform coefficient Coeff_IQ supplied from the inverse quantization unit 117 and the transform information Tinfo supplied from the control unit 101, and converts the transform coefficient Coeff_IQ into the transform coefficient Coeff_IQ based on the transform information Tinfo. Then, inverse orthogonal transform is performed to derive a prediction residual D ′.
  • the inverse orthogonal transform is an inverse process of the orthogonal transform performed in the orthogonal transform unit 113.
  • the inverse orthogonal transform unit 118 supplies the prediction residual D ′ obtained by such inverse orthogonal transform to the calculation unit 119.
  • the inverse orthogonal transform unit 118 is the same as the decoding-side inverse orthogonal transform unit (described later), and therefore the description (described later) applied to the decoding side can be applied to the inverse orthogonal transform unit 118.
  • the in-loop filter unit 120 performs processing related to in-loop filter processing.
  • the in-loop filter unit 120 includes a local decoded image R local supplied from the calculation unit 119, filter information Finfo supplied from the control unit 101, and an input image (original image) supplied from the rearrangement buffer 111.
  • Information input to the in-loop filter unit 120 is arbitrary, and information other than these pieces of information may be input. For example, prediction mode, motion information, code amount target value, quantization parameter QP, picture type, block (CU, CTU, etc.) information, etc. may be input to the in-loop filter unit 120 as necessary. Good.
  • the in-loop filter unit 120 appropriately performs a filtering process on the local decoded image R local based on the filter information Finfo.
  • the in-loop filter unit 120 also uses an input image (original image) and other input information for the filtering process as necessary.
  • the in-loop filter unit 120 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF Adaptive Loop Filter
  • the filter processing performed by the in-loop filter unit 120 is arbitrary and is not limited to the above example.
  • the in-loop filter unit 120 may apply a Wiener filter or the like.
  • the in-loop filter unit 120 supplies the filtered local decoded image R local to the frame memory 121. For example, when information related to a filter such as a filter coefficient is transmitted to the decoding side, the in-loop filter unit 120 supplies information related to the filter to the encoding unit 115.
  • the frame memory 121 performs processing related to storage of data related to images. For example, the frame memory 121, and a local decoded image R local supplied from the arithmetic operation unit 119 inputs the filtered local decoded image R local supplied from the in-loop filter unit 120, holds it (memory) . Further, the frame memory 121 reconstructs and holds the decoded image R for each picture unit using the local decoded image R local (stores it in a buffer in the frame memory 121). The frame memory 121 supplies the decoded image R (or part thereof) to the prediction unit 122 in response to a request from the prediction unit 122.
  • the prediction unit 122 performs processing related to generation of a predicted image. For example, the prediction unit 122 predicts prediction mode information Pinfo supplied from the control unit 101, an input image (original image) supplied from the rearrangement buffer 111, and a decoded image R (or part thereof) read from the frame memory 121. As an input. The prediction unit 122 performs prediction processing such as inter prediction and intra prediction using the prediction mode information Pinfo and the input image (original image), performs prediction with reference to the decoded image R as a reference image, and based on the prediction result. Motion compensation processing is performed to generate a predicted image P. The prediction unit 122 supplies the generated predicted image P to the calculation unit 112 and the calculation unit 119. In addition, the prediction unit 122 supplies information related to the prediction mode selected by the above processing, that is, the optimal prediction mode, to the encoding unit 115 as necessary.
  • the rate control unit 123 performs processing related to rate control. For example, the rate control unit 123 controls the rate of the quantization operation of the quantization unit 114 based on the code amount of the encoded data stored in the storage buffer 116 so that overflow or underflow does not occur.
  • the control unit 101 sets orthogonal transform maximum size identification information for identifying a threshold value of the orthogonal transform maximum size.
  • the orthogonal transform unit 113 refers to the threshold value of the maximum orthogonal transform size, and performs orthogonal transform or simple orthogonal transform based on the size of the coding unit.
  • the encoding unit 115 encodes a transform coefficient or a simple transform coefficient obtained by performing orthogonal transform or simple orthogonal transform, and generates encoded data including orthogonal transform maximum size identification information.
  • the image encoding device 12 sets the orthogonal transform maximum size identification information so that the threshold value of the orthogonal transform maximum size becomes small, for example, by performing simple orthogonal transform for a coding unit having a large size, The amount of processing can be reduced.
  • each process performed as a setting part, an orthogonal transformation part, and an encoding part in the encoding circuit 23 as mentioned above with reference to FIG. 2 is not performed individually in each block shown in FIG. For example, it may be performed by a plurality of blocks.
  • FIG. 5 is a block diagram illustrating a configuration example of an embodiment of an image decoding device to which the present technology is applied.
  • the image decoding device 13 illustrated in FIG. 5 is a device that decodes encoded data in which a prediction residual between an image and a predicted image thereof is encoded, such as AVC and HEVC.
  • the image decoding device 13 implements the technique described in Non-Patent Document 1, Non-Patent Document 2, or Non-Patent Document 3, and uses a method that complies with the standards described in any of those documents.
  • the encoded data obtained by encoding the image data of the image is decoded.
  • the image decoding device 13 decodes the encoded data (bit stream) generated by the image encoding device 12 described above.
  • FIG. 5 shows main components such as a processing unit and a data flow, and the ones shown in FIG. 5 are not all. That is, in the image decoding device 13, there may be a processing unit not shown as a block in FIG. 5, or there may be a process or data flow not shown as an arrow or the like in FIG.
  • the image decoding device 13 includes a storage buffer 211, a decoding unit 212, an inverse quantization unit 213, an inverse orthogonal transform unit 214, a calculation unit 215, an in-loop filter unit 216, a rearrangement buffer 217, a frame memory 218, and A prediction unit 219 is provided.
  • the prediction unit 219 includes an intra prediction unit and an inter prediction unit (not shown).
  • the image decoding device 13 is a device for generating moving image data by decoding encoded data (bitstream).
  • the accumulation buffer 211 acquires and holds (stores) the bit stream input to the image decoding device 13.
  • the accumulation buffer 211 supplies the accumulated bit stream to the decoding unit 212 at a predetermined timing or when a predetermined condition is satisfied.
  • the decoding unit 212 performs processing related to image decoding. For example, the decoding unit 212 receives the bit stream supplied from the accumulation buffer 211 as input, and variable-length decodes the syntax value of each syntax element from the bit string in accordance with the definition of the syntax table, thereby deriving parameters. To do.
  • the parameters derived from the syntax elements and the syntax values of the syntax elements include, for example, information such as header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, residual information Rinfo, and filter information Finfo. That is, the decoding unit 212 parses (analyzes and acquires) these pieces of information from the bitstream. Such information will be described below.
  • the header information Hinfo includes header information such as VPS (Video Parameter Set) / SPS (Sequence Parameter Set) / PPS (Picture Parameter Set) / SH (slice header).
  • the header information Hinfo includes, for example, an image size (horizontal width PicWidth, vertical width PicHeight), bit depth (luminance bitDepthY, color difference bitDepthC), color difference array type ChromaArrayType, maximum CU size value MaxCUSize / minimum value MinCUSize, quadtree partition ( Maximum depth MaxQTDepth / minimum depth MinQTDepth (also known as quad-tree partitioning) Maximum depth MaxBTDepth / minimum depth MinBTDepth / binary tree partitioning (binary-tree partitioning), maximum conversion skip block value MaxTSSize (also referred to as maximum conversion skip block size) ), Information defining an on / off flag (also referred to as a valid flag) of each encoding tool, and the like.
  • the on / off flag of the encoding tool included in the header information Hinfo there are on / off flags related to the conversion and quantization processing shown below.
  • the on / off flag of the encoding tool can also be interpreted as a flag indicating whether or not the syntax related to the encoding tool exists in the encoded data. Further, when the value of the on / off flag is 1 (true), this indicates that the encoding tool can be used. When the value of the on / off flag is 0 (false), it indicates that the encoding tool cannot be used. Show. Note that the interpretation of the flag value may be reversed.
  • Inter-component prediction enabled flag (ccp_enabled_flag): Flag information indicating whether inter-component prediction (CCP (Cross-Component Prediction), also referred to as CC prediction) is usable. For example, when the flag information is “1” (true), it indicates that it is usable, and when it is “0” (false), it indicates that it is not usable.
  • CCP Cross-Component Prediction
  • This CCP is also called linear prediction between components (CCLM or CCLMP).
  • the prediction mode information Pinfo includes, for example, information such as size information PBSize (prediction block size) of the processing target PB (prediction block), intra prediction mode information IPinfo, and motion prediction information MVinfo.
  • the intra prediction mode information IPinfo includes, for example, prev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode in JCTVC-W1005, 7.3.8.5 Coding Unit syntax, and the luminance intra prediction mode IntraPredModeY derived from the syntax.
  • the intra prediction mode information IPinfo includes, for example, an inter-component prediction flag (ccp_flag (cclmp_flag)), a multi-class linear prediction mode flag (mclm_flag), a color difference sample position type identifier (chroma_sample_loc_type_idx), a color difference MPM identifier (chroma_mpm_idx), and
  • a luminance intra prediction mode (IntraPredModeC) derived from these syntaxes is included.
  • the multi-class linear prediction mode flag (mclm_flag) is information (linear prediction mode information) regarding the mode of linear prediction. More specifically, the multiclass linear prediction mode flag (mclm_flag) is flag information indicating whether or not to set the multiclass linear prediction mode. For example, “0” indicates a 1-class mode (single class mode) (for example, CCLMP), and “1” indicates a 2-class mode (multi-class mode) (for example, MCLMP). .
  • the color difference sample position type identifier (chroma_sample_loc_type_idx) is an identifier for identifying a pixel position type (also referred to as a color difference sample position type) of the color difference component. For example, when the color difference array type (ChromaArrayType), which is information related to the color format, indicates 420 format, the color difference sample position type identifier is assigned as shown below.
  • This color difference sample position type identifier (chroma_sample_loc_type_idx) is transmitted (stored in) as information (chroma_sample_loc_info ()) regarding the pixel position of the color difference component.
  • the color difference MPM identifier (chroma_mpm_idx) is an identifier indicating which prediction mode candidate in the color difference intra prediction mode candidate list (intraPredModeCandListC) is designated as the color difference intra prediction mode.
  • the information included in the prediction mode information Pinfo is arbitrary, and information other than these information may be included.
  • the conversion information Tinfo includes the following information, for example.
  • the information included in the conversion information Tinfo is arbitrary, and information other than these information may be included.
  • Conversion skip flag (ts_flag): This flag indicates whether (inverse) primary conversion and (inverse) secondary conversion are skipped.
  • Scan identifier (scanIdx) Quantization parameter (qp) Quantization matrix (scaling_matrix (for example, JCTVC-W1005, 7.3.4 Scaling list data syntax))
  • the residual information Rinfo includes, for example, the following syntax.
  • cbf (coded_block_flag): Residual data presence / absence flag last_sig_coeff_x_pos: Last non-zero coefficient X coordinate last_sig_coeff_y_pos: Last non-zero coefficient Y coordinate coded_sub_block_flag: Sub-block non-zero coefficient presence flag sig_coeff_flag: Non-zero coefficient presence flag gr1_flag: Non-zero coefficient level Flag indicating whether it is greater than 1 (also called GR1 flag)
  • gr2_flag Flag indicating whether the level of non-zero coefficient is greater than 2 (also called GR2 flag) sign_flag: A sign indicating the sign of a non-zero coefficient (also called a sign code) coeff_abs_level_remaining: nonzero coefficient residual level (also called nonzero coefficient residual level) Such.
  • the information included in the residual information Rinfo is arbitrary, and information other than these information may be included.
  • the filter information Finfo includes, for example, control information related to each filter process described below.
  • DPF deblocking filter
  • SAO pixel adaptive offset
  • ALF adaptive loop filter
  • a picture to which each filter is applied information for designating an area in the picture, filter on / off control information for each CU, filter on / off control information on slice and tile boundaries, and the like. included.
  • the information included in the filter information Finfo is arbitrary, and information other than these information may be included.
  • the decoding unit 212 refers to the residual information Rinfo to derive the quantized transform coefficient level level of each coefficient position in each transform block.
  • the decoding unit 212 supplies the quantized transform coefficient level level to the inverse quantization unit 213.
  • the decoding unit 212 supplies the parsed header information Hinfo, prediction mode information Pinfo, quantized transform coefficient level level, transform information Tinfo, and filter information Finfo to each block. Specifically, it is as follows.
  • the header information Hinfo is supplied to the inverse quantization unit 213, the inverse orthogonal transform unit 214, the prediction unit 219, and the in-loop filter unit 216.
  • the prediction mode information Pinfo is supplied to the inverse quantization unit 213 and the prediction unit 219.
  • the transform information Tinfo is supplied to the inverse quantization unit 213 and the inverse orthogonal transform unit 214.
  • the filter information Finfo is supplied to the in-loop filter unit 216.
  • each encoding parameter may be supplied to an arbitrary processing unit.
  • other information may be supplied to an arbitrary processing unit.
  • the decoding unit 212 can parse the orthogonal transformation maximum size identification information. Also, the decoding unit 212 can decode the bitstream and generate a transform coefficient or a simple transform coefficient by orthogonal transform or simple orthogonal transform.
  • the inverse quantization unit 213 performs processing related to inverse quantization. For example, the inverse quantization unit 213 receives the transform information Tinfo and the quantized transform coefficient level level supplied from the decoding unit 212, and scales (reverses) the value of the quantized transform coefficient level level based on the transform information Tinfo. Quantization) to derive a transform coefficient Coeff_IQ after inverse quantization.
  • this inverse quantization is performed as an inverse process of quantization by the quantization unit 114.
  • This inverse quantization is a process similar to the inverse quantization by the inverse quantization unit 117. That is, the inverse quantization unit 117 performs the same processing (inverse quantization) as the inverse quantization unit 213.
  • the inverse quantization unit 213 supplies the derived transform coefficient Coeff_IQ to the inverse orthogonal transform unit 214.
  • the inverse orthogonal transform unit 214 performs processing related to inverse orthogonal transform. For example, the inverse orthogonal transform unit 214 receives the transform coefficient Coeff_IQ supplied from the inverse quantization unit 213 and the transform information Tinfo supplied from the decoding unit 212, and converts the transform coefficient Coeff_IQ into the transform coefficient Coeff_IQ based on the transform information Tinfo. Then, inverse orthogonal transform processing is performed to derive a prediction residual D ′.
  • this inverse orthogonal transform is performed as an inverse process of the orthogonal transform by the orthogonal transform unit 113.
  • This inverse orthogonal transform is the same process as the inverse orthogonal transform by the inverse orthogonal transform unit 118. That is, the inverse orthogonal transform unit 118 performs the same processing (inverse orthogonal transform) as the inverse orthogonal transform unit 214.
  • the inverse orthogonal transform unit 214 supplies the derived prediction residual D ′ to the calculation unit 215.
  • the inverse orthogonal transform unit 214 refers to the orthogonal transform maximum size identification information parsed from the bitstream by the decoding unit 212 and performs transform based on the coding unit size. Inverse orthogonal transformation or simple inverse orthogonal transformation can be performed on the coefficient or the simple transformation coefficient. Then, when the inverse orthogonal transform is performed, the inverse orthogonal transform unit 214 supplies the prediction residual D ′ generated by performing the inverse orthogonal transform on the transform coefficient Coeff_IQ to the calculation unit 215.
  • the inverse orthogonal transform unit 214 skips the supply of residual data to the calculation unit 215 without performing inverse orthogonal transform on the simple transform coefficient by the simple orthogonal transform.
  • the inverse orthogonal transform unit 214 skips the inverse orthogonal transform for the simple transform coefficient by the simple orthogonal transform, and supplies the spatial domain residual data included in the simple transform coefficient to the arithmetic unit 215 as it is.
  • the inverse orthogonal transform unit 214 skips the inverse orthogonal transform for the simple transform coefficient by the simple orthogonal transform, and supplies only the DC component as the residual data included in the simple transform coefficient to the arithmetic unit 215.
  • the calculation unit 215 supplies the derived local decoded image R local to the in-loop filter unit 216 and the frame memory 218.
  • the in-loop filter unit 216 performs processing related to in-loop filter processing. For example, the in-loop filter unit 216 receives the local decoded image R local supplied from the calculation unit 215 and the filter information Finfo supplied from the decoding unit 212 as inputs. Information input to the in-loop filter unit 216 is arbitrary, and information other than these pieces of information may be input.
  • the in-loop filter unit 216 appropriately performs a filtering process on the local decoded image R local based on the filter information Finfo.
  • the in-loop filter unit 216 includes a bilateral filter, a deblocking filter (DBF (DeBlocking Filter)), an adaptive offset filter (SAO (Sample Adaptive Offset)), and an adaptive loop filter.
  • DPF DeBlocking Filter
  • SAO Sample Adaptive Offset
  • ALF Adaptive Loop Filter
  • the in-loop filter unit 216 performs filter processing corresponding to the filter processing performed by the encoding side (for example, the in-loop filter unit 120 of the image encoding device 12 in FIG. 4).
  • the filtering process performed by the in-loop filter unit 216 is arbitrary, and is not limited to the above example.
  • the in-loop filter unit 216 may apply a Wiener filter or the like.
  • the in-loop filter unit 216 supplies the filtered local decoded image R local to the rearrangement buffer 217 and the frame memory 218.
  • the rearrangement buffer 217 receives the local decoded image R local supplied from the in-loop filter unit 216 and holds (stores) it.
  • the rearrangement buffer 217 reconstructs and holds the decoded image R for each picture unit using the local decoded image R local (stores it in the buffer).
  • the rearrangement buffer 217 rearranges the obtained decoded images R from the decoding order to the reproduction order.
  • the rearrangement buffer 217 outputs the rearranged decoded image R group as moving image data to the outside of the image decoding device 13.
  • the frame memory 218 performs processing related to storage of data related to images. For example, the frame memory 218 receives the local decoded image R local supplied from the arithmetic unit 215, reconstructs the decoded image R for each picture unit, and stores it in a buffer in the frame memory 218.
  • the frame memory 218 receives the in-loop filtered local decoded image R local supplied from the in-loop filter unit 216, reconstructs the decoded image R for each picture unit, and stores the frame image in the frame memory 218. Store to buffer.
  • the frame memory 218 appropriately supplies the stored decoded image R (or part thereof) to the prediction unit 219 as a reference image.
  • the frame memory 218 may store header information Hinfo, prediction mode information Pinfo, conversion information Tinfo, filter information Finfo, and the like related to generation of a decoded image.
  • the prediction unit 219 performs processing related to generation of a predicted image. For example, the prediction unit 219 receives the prediction mode information Pinfo supplied from the decoding unit 212, performs prediction by a prediction method specified by the prediction mode information Pinfo, and derives a predicted image P. At the time of the derivation, the prediction unit 219 uses the pre-filter or post-filter decoded image R (or a part thereof) stored in the frame memory 218 specified by the prediction mode information Pinfo as a reference image. The prediction unit 219 supplies the derived predicted image P to the calculation unit 215.
  • the decoding unit 212 performs a parsing process for parsing the orthogonal transform maximum size identification information from the bitstream, and decodes the bitstream to generate a transform coefficient or a simple transform coefficient.
  • the inverse orthogonal transform unit 214 refers to the orthogonal transform maximum size identification information, and performs inverse orthogonal transform or inverse simple orthogonal transform on the transform coefficient or the simple transform coefficient based on the size of the coding unit. Accordingly, when the orthogonal transform maximum size identification information is set so that the threshold value for the orthogonal transform maximum size becomes small, the image decoding device 13 performs simple inverse orthogonal transform, for example, for a large coding unit. Thus, the amount of decoding processing can be reduced.
  • Each process performed as the parsing unit, the decoding unit, and the inverse orthogonal transform unit in the decoding circuit 33 described above with reference to FIG. 3 is not performed individually in each block illustrated in FIG. It may be performed by a plurality of blocks.
  • FIG. 6 is a flowchart for explaining the image encoding process executed by the image encoding device 12.
  • step S11 the rearrangement buffer 111 is controlled by the control unit 101 to rearrange the frames of the input moving image data from the display order to the encoding order.
  • step S12 the control unit 101 sets a processing unit for the input image held in the rearrangement buffer 111 (performs block division).
  • processing for setting orthogonal transformation maximum size identification information is also performed.
  • step S13 the control unit 101 determines (sets) an encoding parameter for the input image held by the rearrangement buffer 111.
  • step S14 the prediction unit 122 performs a prediction process and generates a prediction image or the like in the optimal prediction mode. For example, in this prediction process, the prediction unit 122 performs intra prediction to generate a prediction image or the like of the optimal intra prediction mode, performs inter prediction to generate a prediction image or the like of the optimal inter prediction mode, and the like.
  • the optimum prediction mode is selected based on the cost function value.
  • step S15 the calculation unit 112 calculates a difference between the input image and the predicted image in the optimal mode selected by the prediction process in step S14. That is, the calculation unit 112 generates a prediction residual D between the input image and the predicted image.
  • the prediction residual D obtained in this way is reduced in data amount compared to the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • step S16 the orthogonal transform unit 113 performs orthogonal transform processing on the prediction residual D generated by the processing in step S15, and derives a transform coefficient Coeff.
  • the orthogonal transform unit 113 refers to the threshold value for the maximum orthogonal transform size, and instead of performing the orthogonal transform process based on the coding unit size. Simple orthogonal transform processing can be performed.
  • step S17 the quantization unit 114 quantizes the transform coefficient Coeff obtained by the process in step S16 by using the quantization parameter calculated by the control unit 101, and derives the quantized transform coefficient level level. .
  • step S18 the inverse quantization unit 117 inversely quantizes the quantized transform coefficient level level generated by the processing in step S17 with characteristics corresponding to the quantization characteristics in step S17, and derives a transform coefficient Coeff_IQ. .
  • step S19 the inverse orthogonal transform unit 118 performs inverse orthogonal transform on the transform coefficient Coeff_IQ obtained by the process of step S18 by a method corresponding to the orthogonal transform process of step S16, and derives a prediction residual D ′. Since this inverse orthogonal transform process is the same as the inverse orthogonal transform process (described later) performed on the decoding side, the description (described later) performed on the decoding side is applied to the inverse orthogonal transform process in step S19. can do.
  • step S20 the computing unit 119 adds the predicted image obtained by the prediction process of step S14 to the prediction residual D ′ derived by the process of step S19, thereby obtaining a locally decoded decoded image. Generate.
  • step S21 the in-loop filter unit 120 performs in-loop filter processing on the locally decoded decoded image derived by the processing in step S20.
  • step S22 the frame memory 121 stores the locally decoded decoded image derived by the process of step S20 and the locally decoded decoded image filtered in step S21.
  • the encoding unit 115 encodes the quantized transform coefficient level level obtained by the process in step S17.
  • the encoding unit 115 encodes a quantized transform coefficient level level, which is information related to an image, by arithmetic encoding or the like, and generates encoded data.
  • the encoding unit 115 encodes various encoding parameters (header information Hinfo, prediction mode information Pinfo, conversion information Tinfo). Further, the encoding unit 115 derives residual information RInfo from the quantized transform coefficient level level and encodes the residual information RInfo.
  • step S24 the accumulation buffer 116 accumulates the encoded data obtained in this way, and outputs it to the outside of the image encoding device 12, for example, as a bit stream.
  • This bit stream is transmitted to the decoding side via a transmission path or a recording medium, for example.
  • the rate control unit 123 performs rate control as necessary.
  • step S24 When the process of step S24 is finished, the image encoding process is finished.
  • the process to which the above-described present technology is applied is performed as the process of step S12 and step S16. Therefore, by executing this image encoding process, the processing amount of the image encoding process can be reduced by performing the simple orthogonal transform process when the size of the coding unit is large.
  • FIG. 7 is a flowchart for explaining a first processing example of processing when simple orthogonal transform is performed in step S16 of FIG.
  • step S31 the orthogonal transform unit 113 determines whether or not the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S31 when the orthogonal transform unit 113 determines that the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size, the process proceeds to step S32.
  • step S32 the orthogonal transform unit 113 performs orthogonal transform on the prediction residual D, supplies the transform coefficient Coeff generated by the process to the quantization unit 114, and then the process ends.
  • step S31 determines in step S31 that the size of the coding unit is not less than or equal to the threshold of the orthogonal transform maximum size (greater than the maximum orthogonal transform size)
  • the process proceeds to step S33.
  • step S ⁇ b> 33 the orthogonal transform unit 113 skips the supply of the residual data to the quantization unit 114 without performing the orthogonal transform, and then the process ends.
  • the orthogonal transform unit 113 skips the output of the residual data without performing the orthogonal transform on the coding unit when the maximum orthogonal transform size is larger than the maximum orthogonal transform size. Can do.
  • FIG. 8 is a flowchart for explaining a second process example of the process when the simple orthogonal transform is performed in step S16 of FIG.
  • step S41 the orthogonal transform unit 113 determines whether or not the size of the coding unit is equal to or less than the threshold value of the maximum orthogonal transform size.
  • step S41 when the orthogonal transform unit 113 determines that the size of the coding unit is equal to or smaller than the threshold of the orthogonal transform maximum size, the process proceeds to step S42.
  • step S42 the orthogonal transform unit 113 performs orthogonal transform on the prediction residual D, supplies the transform coefficient Coeff generated by the process to the quantization unit 114, and the process ends.
  • step S41 determines in step S41 that the size of the coding unit is not less than or equal to the threshold for the maximum orthogonal transform size (greater than the maximum orthogonal transform size)
  • the process proceeds to step S43.
  • step S43 the orthogonal transform unit 113 skips the orthogonal transform and supplies the residual data of the spatial domain that has not been orthogonal transformed to the quantizing unit 114, and then the process ends.
  • the orthogonal transform unit 113 skips the orthogonal transform for the coding unit and outputs spatial domain residual data. Can do.
  • FIG. 9 is a flowchart for explaining a third process example of the process when the simple orthogonal transform is performed in step S16 of FIG.
  • step S51 the orthogonal transform unit 113 determines whether or not the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S51 when the orthogonal transform unit 113 determines that the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size, the process proceeds to step S52.
  • step S52 the orthogonal transform unit 113 performs orthogonal transform on the prediction residual D, supplies the transform coefficient Coeff generated by the process to the quantization unit 114, and then the process ends.
  • step S51 determines in step S51 that the size of the coding unit is not less than or equal to the threshold for the maximum orthogonal transform size (greater than the maximum orthogonal transform size)
  • step S53 the orthogonal transform unit 113 performs inverse orthogonal transform to generate only a direct current component as residual data, supplies the direct current component to the quantization unit 114, and then the process ends.
  • the orthogonal transform unit 113 can output only the DC component as the residual data of the orthogonal transform for the coding unit. .
  • FIG. 10 is a flowchart for explaining the image decoding process executed by the image decoding device 13.
  • the accumulation buffer 211 acquires and stores (accumulates) the encoded data (bit stream) supplied from the outside of the image decoding device 13 in step S61.
  • step S62 the decoding unit 212 decodes the encoded data (bit stream) to obtain the quantized transform coefficient level level. Also, the decoding unit 212 parses (analyzes and acquires) various encoding parameters from the encoded data (bitstream) by this decoding.
  • various coding parameters obtained by decoding include a transform coefficient or a simple transform coefficient as a result of performing orthogonal transform or simple orthogonal transform.
  • step S63 the inverse quantization unit 213 performs inverse quantization, which is an inverse process of quantization performed on the encoding side, on the quantized transform coefficient level level obtained by the process of step S62. Obtain the coefficient Coeff_IQ.
  • step S64 the inverse orthogonal transform unit 214 performs an inverse orthogonal transform process, which is an inverse process of the orthogonal transform process performed on the encoding side, on the transform coefficient Coeff_IQ obtained by the process of step S63, so that a prediction residual is obtained. Get the difference D '.
  • the inverse orthogonal transform unit 214 refers to the orthogonal transform maximum size identification information and performs the inverse orthogonal transform process based on the size of the coding unit. Instead, simple inverse orthogonal transform processing can be performed.
  • step S65 based on the information parsed in step S62, the prediction unit 219 performs a prediction process using a prediction method specified by the encoding side, refers to a reference image stored in the frame memory 218, and the like. Then, the predicted image P is generated.
  • step S66 the calculation unit 215 adds the prediction residual D ′ obtained by the process of step S64 and the predicted image P obtained by the process of step S65, and derives a local decoded image R local .
  • step S67 the in-loop filter unit 216 performs in-loop filter processing on the local decoded image R local obtained by the processing in step S66.
  • step S68 the rearrangement buffer 217 derives the decoded image R using the filtered local decoded image R local obtained by the process of step S67, and changes the order of the decoded image R group from the decoding order to the reproduction order. Rearrange.
  • the decoded image R group rearranged in the reproduction order is output to the outside of the image decoding device 13 as a moving image.
  • step S69 the frame memory 218, local decoded image R local obtained by the processing of step S66, the and, among the local decoded image R local after filtering obtained by the processing in step S67, the at least one Remember.
  • step S69 When the process of step S69 is finished, the image decoding process is finished.
  • step S62 and step S64 a process to which the above-described present technology is applied is performed as the process of step S62 and step S64. Therefore, by executing this image decoding process, the processing amount of the image decoding process can be reduced by performing the simple inverse orthogonal transform process when the size of the coding unit is large.
  • FIG. 11 is a flowchart for explaining a first processing example of processing when simple inverse orthogonal transform is performed in step S64 of FIG.
  • step S71 the inverse orthogonal transform unit 214 determines whether the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S71 when the inverse orthogonal transform unit 214 determines that the size of the coding unit is equal to or smaller than the threshold of the maximum orthogonal transform size, the process proceeds to step S72.
  • step S72 the inverse orthogonal transform unit 214 supplies the prediction residual D ′ obtained by performing the inverse orthogonal transform process on the transform coefficient Coeff_IQ to the calculation unit 215, and then the process ends.
  • step S71 determines in step S71 that the size of the coding unit is not less than or equal to the threshold of the maximum orthogonal transform size (greater than the maximum orthogonal transform size)
  • the process proceeds to step S73.
  • step S73 the inverse orthogonal transform unit 214 determines that the simple transform coefficient does not include residual data regardless of the parsing with respect to the residual identification information that identifies whether the simple transform coefficient includes residual data. To do. Then, the process is terminated without performing the inverse orthogonal transform.
  • the inverse orthogonal transform unit 214 can skip the inverse orthogonal transform for a coding unit when the maximum size of the orthogonal transform is larger than the maximum orthogonal transform size.
  • step S71 the inverse orthogonal transform unit 214 determines whether the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S71 when the inverse orthogonal transform unit 214 determines that the size of the coding unit is equal to or smaller than the threshold of the maximum orthogonal transform size, the process proceeds to step S72.
  • step S72 the inverse orthogonal transform unit 214 supplies the prediction residual D ′ obtained by performing the inverse orthogonal transform process on the transform coefficient Coeff_IQ to the calculation unit 215, and then the process ends.
  • step S71 determines that the size of the coding unit is not less than or equal to the threshold of the maximum orthogonal transform size (greater than the maximum orthogonal transform size)
  • the process proceeds to step S73.
  • step S73 the inverse orthogonal transform unit 214 determines that the residual data is not included in the simple transform coefficient, regardless of the parsing with respect to the residual identification information that identifies whether the residual data is included in the simple transform coefficient. . Therefore, the inverse orthogonal transform unit 214 does not perform the inverse orthogonal transform, the supply of residual data from the inverse orthogonal transform unit 214 to the calculation unit 215 is skipped, and the process ends. That is, in this case, the calculation unit 215 reconstructs the image without adding the prediction residual to the predicted image.
  • the inverse orthogonal transform unit 214 can skip the inverse orthogonal transform for a coding unit when the maximum size of the orthogonal transform is larger than the maximum orthogonal transform size.
  • FIG. 12 is a flowchart for explaining a second process example of the process when the simple inverse orthogonal transform is performed in step S64 of FIG.
  • step S81 the inverse orthogonal transform unit 214 determines whether the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S81 when the inverse orthogonal transform unit 214 determines that the size of the coding unit is equal to or less than the threshold of the maximum orthogonal transform size, the process proceeds to step S82.
  • step S82 the inverse orthogonal transform unit 214 supplies the prediction residual D ′ obtained by performing the inverse orthogonal transform process on the transform coefficient Coeff_IQ to the calculation unit 215, and then the process ends.
  • step S81 when the inverse orthogonal transform unit 214 determines in step S81 that the size of the coding unit is not less than or equal to the maximum orthogonal transform size threshold (greater than the maximum orthogonal transform size), the process proceeds to step S83.
  • step S ⁇ b> 83 the inverse orthogonal transform unit 214 skips the inverse orthogonal transform and supplies the spatial domain residual data included in the simple transform coefficient as it is to the calculation unit 215, and then the process ends. That is, in this case, the calculation unit 215 can reconstruct an image only by adding the residual data to the predicted image.
  • the inverse orthogonal transform unit 214 can skip the inverse orthogonal transform for a coding unit when the maximum size of the orthogonal transform is larger than the maximum orthogonal transform size.
  • FIG. 13 is a flowchart for explaining a third process example of the process when the simple inverse orthogonal transform is performed in step S64 of FIG.
  • step S91 the inverse orthogonal transform unit 214 determines whether the size of the coding unit is equal to or smaller than the threshold value of the maximum orthogonal transform size.
  • step S91 when the inverse orthogonal transform unit 214 determines that the size of the coding unit is equal to or smaller than the threshold of the maximum orthogonal transform size, the process proceeds to step S92.
  • step S92 the inverse orthogonal transform unit 214 supplies the prediction residual D ′ obtained by performing the inverse orthogonal transform process on the transform coefficient Coeff_IQ to the calculation unit 215, and then the process ends.
  • step S91 determines in step S91 that the size of the coding unit is not less than or equal to the threshold for the maximum orthogonal transform size (greater than the maximum orthogonal transform size)
  • the process proceeds to step S93.
  • step S93 the inverse orthogonal transform unit 214 supplies the direct current component as the residual data included in the simple transform coefficient to the calculation unit 215 without performing the inverse orthogonal transform, and then the process ends. That is, in this case, the calculation unit 215 can reconstruct the image only by adding the DC component to the predicted image.
  • the inverse orthogonal transform unit 214 performs direct current as residual data without performing the inverse orthogonal transform on the coding unit.
  • the component can be output.
  • FIG. 14 is a block diagram illustrating a configuration example of an embodiment of a computer in which a program for executing the series of processes described above is installed.
  • the program can be recorded in advance in a hard disk 305 or ROM 303 as a recording medium built in the computer.
  • the program can be stored (recorded) in a removable recording medium 311 driven by the drive 309.
  • a removable recording medium 311 can be provided as so-called package software.
  • examples of the removable recording medium 311 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, a semiconductor memory, and the like.
  • the program can be installed in the computer from the removable recording medium 311 as described above, or can be downloaded to the computer via the communication network or the broadcast network and installed in the built-in hard disk 305. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • a network such as a LAN (Local Area Network) or the Internet.
  • the computer includes a CPU (Central Processing Unit) 302, and an input / output interface 310 is connected to the CPU 302 via the bus 301.
  • a CPU Central Processing Unit
  • an input / output interface 310 is connected to the CPU 302 via the bus 301.
  • the CPU 302 executes a program stored in a ROM (Read Only Memory) 303 accordingly. .
  • the CPU 302 loads a program stored in the hard disk 305 to a RAM (Random Access Memory) 304 and executes it.
  • the CPU 302 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 302 causes the processing result to be output from the output unit 306 or transmitted from the communication unit 308 via the input / output interface 310, or recorded on the hard disk 305, for example, as necessary.
  • the input unit 307 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 306 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be executed in a time series in the order described in this specification for the processing of the steps describing the program, or in parallel or called. It may be executed individually at a necessary timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • the present technology can be applied to any image encoding / decoding method. That is, unless there is a contradiction with the above-described present technology, specifications of various processes relating to image encoding / decoding such as transformation (inverse transformation), quantization (inverse quantization), encoding (decoding), prediction, etc. are arbitrary. The example is not limited. Moreover, as long as there is no contradiction with this technique mentioned above, you may abbreviate
  • the present technology can be applied to a multi-view image encoding / decoding system that performs encoding / decoding of multi-view images including images of a plurality of viewpoints (views).
  • the present technology may be applied in encoding / decoding of each viewpoint (view).
  • the present technology is applied to a hierarchical image encoding (scalable encoding) / decoding system that performs encoding / decoding of a multi-layered (hierarchical) hierarchical image so as to have a scalability function for a predetermined parameter. can do.
  • the present technology may be applied in encoding / decoding of each layer (layer).
  • the image encoding device and the image decoding device include, for example, a transmitter and a receiver (for example, a television broadcast) such as satellite broadcast, cable broadcast such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication.
  • a transmitter and a receiver for example, a television broadcast
  • a receiver for example, a television broadcast
  • cable broadcast such as cable TV
  • distribution on the Internet and distribution to terminals by cellular communication.
  • Various devices such as a hard disk recorder or a camera that records an image on a medium such as an optical disk, a magnetic disk, or a flash memory, or reproduces an image from a storage medium. It can be applied to electronic equipment.
  • the present technology can be applied to any configuration installed in an arbitrary device or a device constituting the system, for example, a processor (for example, a video processor) as a system LSI (Large Scale Integration), a module using a plurality of processors (for example, a video) Modules), units using a plurality of modules (for example, video units), sets obtained by adding other functions to the units (for example, video sets), etc. (that is, a configuration of a part of the apparatus).
  • a processor for example, a video processor
  • LSI Large Scale Integration
  • modules using a plurality of processors for example, a video
  • modules for example, video units
  • sets obtained by adding other functions to the units for example, video sets
  • the present technology can also be applied to a network system including a plurality of devices.
  • a network system including a plurality of devices.
  • it can also be applied to cloud services that provide services related to images (moving images) to arbitrary terminals such as computers, AV (Audio Visual) devices, portable information processing terminals, IoT (Internet of Things) devices, etc. it can.
  • systems, devices, processing units, etc. to which this technology is applied shall be used in any field such as traffic, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factory, home appliance, weather, nature monitoring, etc. Can do. Moreover, the use is also arbitrary.
  • the present technology can be applied to a system or device used for providing ornamental content or the like.
  • the present technology can also be applied to systems and devices used for traffic such as traffic situation management and automatic driving control.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for automatic control of a machine or the like.
  • the present technology can also be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans, and wildlife.
  • the present technology can be applied to a system or a device provided for sports.
  • this technique can also take the following structures.
  • a setting unit for setting identification information for identifying a threshold value of the maximum orthogonal transform size which is the maximum size of a processing unit when performing orthogonal transform on an image;
  • an orthogonal transform unit that performs simple orthogonal transform on the coding unit;
  • An image encoding device comprising: an encoding unit that encodes a simple transform coefficient that is a result of the simple orthogonal transform performed by the orthogonal transform unit, and generates a bitstream including the identification information.
  • the setting unit when a processing amount required in an application for performing the coding of the image or the decoding of the bitstream is equal to or less than a predetermined set value, the identification unit so that the threshold value of the maximum orthogonal transform size is reduced.
  • the image encoding device wherein information is set.
  • the said orthogonal transformation part skips the output of the residual data with respect to the said coding unit larger than the threshold value of the said orthogonal transformation largest size as said simple orthogonal transformation, The image coding as described in said (1) or (2) apparatus.
  • An encoding device for encoding an image Setting identification information for identifying a threshold of the orthogonal transformation maximum size that is the maximum size of the processing unit when orthogonally transforming the image;
  • a coding unit which is a processing unit for encoding the image
  • An image encoding method comprising: encoding a simple transform coefficient that is a result of the simple orthogonal transform, and generating a bitstream including the identification information.
  • a parsing unit that parses the identification information from a bitstream that includes identification information that identifies a threshold of the orthogonal transformation maximum size, which is the maximum size of a processing unit when orthogonally transforming an image;
  • a decoding unit that decodes the bitstream and generates a simple transform coefficient that is a result of simple orthogonal transform performed on a coding unit that is a processing unit for encoding the image;
  • An image decoding apparatus comprising: an inverse orthogonal transform unit that refers to the identification information parsed by the parsing unit and performs simple inverse orthogonal transform on the simple transform coefficient according to a size of the coding unit.
  • the inverse orthogonal transform unit as the simple inverse orthogonal transform, does not parse the residual identification information that identifies whether residual data is included in the simple transform coefficient, and the coding is more than the threshold of the orthogonal transform maximum size.
  • the image decoding apparatus wherein when the unit size is large, it is determined that residual data is not included in the simple transform coefficient of the coding unit.
  • the inverse orthogonal transform unit as the simple inverse orthogonal transform, when the size of the coding unit is larger than a threshold value of the maximum orthogonal transform size, the simple transform that is output without performing orthogonal transform on the coding unit.
  • the image decoding device according to (7), wherein the inverse orthogonal transform for the coefficients is skipped.
  • the inverse orthogonal transform unit as the simple inverse orthogonal transform, has a DC component as residual data included in the simple transform coefficient of the coding unit when the size of the coding unit is larger than a threshold of the maximum orthogonal transform size.
  • a decoding device for decoding an image Parsing the identification information from a bitstream including identification information for identifying a threshold of an orthogonal transformation maximum size that is a maximum size of a processing unit when orthogonally transforming the image; Decoding the bitstream and generating a simple transform coefficient that is a result of performing a simple orthogonal transform on a coding unit that is a processing unit for encoding the image;
  • An image decoding method comprising: referring to the parsed identification information and performing simple inverse orthogonal transform on the simple transform coefficient according to the size of the coding unit.
  • 11 image processing system 12 image encoding device, 13 image decoding device, 21 image processing chip, 22 external memory, 23 encoding circuit, 24 cache memory, 31 image processing chip, 32 external memory, 33 decoding circuit, 34 cache memory, 101 control unit, 122 prediction unit, 113 orthogonal transform unit, 115 encoding unit, 118 inverse orthogonal transform unit, 120 in-loop filter unit, 212 decoding unit, 214 inverse orthogonal transform unit, 216 in-loop filter unit, 219 prediction unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、符号化処理および復号処理の処理量を削減することができるようにする画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法に関する。 符号化装置では、直交変換最大サイズの閾値を識別する識別情報が設定され、コーディングユニットが直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換が行われ、その簡易直交変換が行われた結果である簡易変換係数が符号化されて、識別情報を含むビットストリームが生成される。画像復号装置では、ビットストリームから識別情報がパースされ、ビットストリームを復号して、コーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数が生成され、識別情報を参照し、コーディングユニットの大きさに従った簡易逆直交変換が行われる。本技術は、例えば、画像を符号化する画像符号化装置や画像を復号する画像復号装置等に適用することができる。

Description

画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
　本開示は、画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法に関し、特に、符号化処理および復号処理の処理量を削減することができるようにした画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法に関する。
　ITU-T(International Telecommunication Union Telecommunication Standardization Sector)の次世代ビデオ符号化を探索するJVET（Joint Video Exploration Team）では、サブブロックの頂点の動きベクトルに基づいて参照画像をアフィン変換することにより動き補償を行うインター予測処理（Affine motion compensation (MC) prediction）が提案されている（例えば、非特許文献１参照）。かかるインター予測処理によれば、画面間の並進移動（平行移動）だけでなく、回転や、スケーリング（拡大／縮小）、スキューと呼ばれる、より複雑な動きなどを予測することができ、予測の品質が改善されるのに伴って符号化効率が改善することが期待される。
Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, JillBoyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
　ところで、上述したようなアフィン変換を適用してインター予測処理を行うことで予測の品質が改善される一方、アフィン変換では符号量が多くなることより、コーディングユニットのサイズを大きくすることで符号化効率を向上させることが図られる。しかしながら、コーディングユニットのサイズを大きくすると、符号化処理および復号処理における直交変換や逆直交変換などに要する処理量が増大することが懸念される。
　本開示は、このような状況に鑑みてなされたものであり、符号化処理および復号処理の処理量を削減することができるようにするものである。
　本開示の第１の側面の画像符号化装置は、画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定する設定部と、前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行う直交変換部と、前記直交変換部により前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成する符号化部とを備える。
　本開示の第１の側面の画像符号化方法は、画像を符号化する符号化装置が、前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定することと、前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行うことと、前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成することとを含む。
　本開示の第１の側面においては、画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報が設定され、画像を符号化する際の処理単位であるコーディングユニットが直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換が行われ、簡易直交変換が行われた結果である簡易変換係数が符号化されて、識別情報を含むビットストリームが生成される。
　本開示の第２の側面の画像復号装置は、画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースするパース部と、前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成する復号部と、前記パース部によりパースされた前記識別情報を参照し、前記コーディングユニットの大きさに従った簡易逆直交変換を行う逆直交変換部とを備える。
　本開示の第２の側面の画像復号方法は、画像を復号する復号装置が、前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースすることと、前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成することと、パースされた前記識別情報を参照し、前記コーディングユニットの大きさに従った簡易逆直交変換を行うこととを含む。
　本開示の第２の側面においては、画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、識別情報がパースされ、ビットストリームが復号されて、画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数が生成され、パースされた識別情報を参照し、コーディングユニットの大きさに従った簡易逆直交変換が行われる。
　本開示の第１および第２の側面によれば、符号化処理および復号処理の処理量を削減することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した画像伝送システムの一実施の形態の構成例を示すブロック図である。 符号化回路において行われる処理について説明する図である。 復号回路において行われる処理について説明する図である。 画像符号化装置の一実施の形態の構成例を示すブロック図である。 画像復号装置の一実施の形態の構成例を示すブロック図である。 画像符号化処理を説明するフローチャートである。 簡易直交変換が行われる場合における処理の第１の処理例を説明するフローチャートである。 簡易直交変換が行われる場合における処理の第２の処理例を説明するフローチャートである。 簡易直交変換が行われる場合における処理の第３の処理例を説明するフローチャートである。 画像復号処理を説明するフローチャートである。 簡易逆直交変換が行われる場合における処理の第１の処理例を説明するフローチャートである。 簡易逆直交変換が行われる場合における処理の第２の処理例を説明するフローチャートである。 簡易逆直交変換が行われる場合における処理の第３の処理例を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
　非特許文献１：（上述）
　非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
　非特許文献３：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
　つまり、上述の非特許文献１乃至３に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献１に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structure、または、非特許文献２に記載されているQT（Quad-Tree） Block Structureが、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施の形態において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
　＜用語＞
　本願では、以下の用語を、以下のように定義する。
　　　　＜ブロック＞
　画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、TB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding TreeBlock）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
　　　　＜ブロックサイズの指定＞
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　　　　＜情報・処理の単位＞
　各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
　　　　＜制御情報＞
　本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
　　　　＜フラグ＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　　　　＜メタデータを関連付ける＞
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜本技術の概要＞
　図１乃至図５を参照して、本技術の概要について説明する。
　図１は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図１に示すように、画像処理システム１１は、画像符号化装置１２および画像復号装置１３を備えて構成される。例えば、画像処理システム１１では、図示しない撮像装置により撮像された画像が画像符号化装置１２に入力され、画像符号化装置１２において画像が符号化されることで符号化データが生成される。これにより、画像処理システム１１では、画像符号化装置１２から画像復号装置１３へ、符号化データがビットストリームとして伝送される。そして、画像処理システム１１では、画像復号装置１３において符号化データが復号されることで画像が生成され、図示しない表示装置に表示される。
　画像符号化装置１２は、画像処理チップ２１および外部メモリ２２がバスを介して接続された構成となっている。
　画像処理チップ２１は、画像を符号化する符号化回路２３、および、符号化回路２３が画像を符号化する際に必要となるデータを一時的に記憶するキャッシュメモリ２４により構成される。
　外部メモリ２２は、例えば、DRAM（Dynamic Random Access Memory）により構成され、画像符号化装置１２において符号化の対象となる画像のデータを画像処理チップ２１で処理する処理単位（例えば、フレーム）ごとに記憶する。なお、非特許文献１に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structure、または、非特許文献２に記載されているQT（Quad-Tree） Block Structureが、Block Structureとして適用される場合には、CTB（Coding TreeBlock）、CTU（Coding Tree Unit）、PB（Prediction Block）、PU（Prediction Unit）、CU（Coding Unit）、CB（Coding Block）を処理単位として外部メモリ２２に記憶される場合もある。好適には、シーケンスレベルでブロックサイズが固定された処理単位であるCTBやCTUを処理単位とすることが想定される。
　例えば、画像符号化装置１２では、外部メモリ２２に記憶されている１フレーム分（又はCTB）の画像のデータのうちの、符号化を行う処理単位となるコーディングユニットごとに分割されたデータがキャッシュメモリ２４に読み込まれる。そして、画像符号化装置１２では、キャッシュメモリ２４に記憶されているコーディングユニットごとに符号化回路２３による符号化が行われ、符号化データが生成される。なお、ここでは、CUとTUとを同じ次元でブロックを処理していることを説明しているが、QTのようにCUとTUが別次元でブロックを処理されてもよい。
　ここで、画像符号化装置１２では、符号化データを生成する際に、図４を参照して後述するように、変換情報Tinfoに基づいて予測残差Dに対して直交変換が行われ、その直交変換の結果として変換係数Coeffが生成される。例えば、この直交変換もコーディングユニットを処理単位として処理が行われる。このため、画像符号化装置１２では、直交変換を行う際の処理単位の最大サイズである直交変換最大サイズの閾値が設定されており、直交変換最大サイズの閾値よりもコーディングユニットが大きい場合、通常の直交変換に替えて、直交変換よりも簡略化した処理である簡易直交変換が行われる。例えば、簡易直交変換には、残差データの出力のスキップ、直交変換のスキップ、および、残差データとして直流成分のみの生成が含まれる。そして、簡易直交変換を行うことにより、残差データが含まれない簡易変換係数、空間ドメインの残差データが含まれる簡易変換係数、および、残差データとして直流成分のみが含まれる簡易変換係数が得られる。なお、ここでも、CUとTUとを同じ次元でブロックを処理していることを説明しているが、QTのようにCUとTUが別次元でブロックを処理してもよい。
　そして、画像処理システム１１では、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報を含むビットストリームが画像符号化装置１２から画像復号装置１３へ伝送される。なお、直交変換最大サイズ識別情報は、最大サイズである直交変換のサイズ又は形状に対する閾値を識別できる情報であれば、その表現形態は問われない。
　画像復号装置１３は、画像処理チップ３１および外部メモリ３２がバスを介して接続された構成となっている。
　画像処理チップ３１は、符号化データを復号して画像を生成する復号回路３３、および、復号回路３３が符号化データを復号する際に必要となるデータを一時的に記憶するキャッシュメモリ３４により構成される。
　外部メモリ３２は、例えば、DRAMにより構成され、画像復号装置１３において復号の対象となる符号化データを画像の処理単位（例えば、フレーム、CTB）ごとに記憶する。
　例えば、画像復号装置１３では、ビットストリームから直交変換最大サイズ識別情報がパースされ、直交変換最大サイズ識別情報を参照し、コーディングユニットの大きさに従って、直交変換または簡易直交変換が行われる。そして、画像復号装置１３では、キャッシュメモリ３４に記憶されているコーディングユニットごとに、復号回路３３により符号化データが復号されることにより画像が生成される。
　このように、画像処理システム１１では、画像符号化装置１２において、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報が設定され、サブブロックサイズ識別情報を含むビットストリームが画像復号装置１３へ伝送される。例えば、画像処理システム１１では、直交変換最大サイズ識別情報を、SPS，PPS，SLICE headerなどのハイレベルシンタックスで定義することができる。例えば、処理の簡略化や、画像復号装置１３でのパースの観点からSPSまたはPPSに直交変換最大サイズ識別情報を定義することが好ましい。
　そして、画像処理システム１１では、直交変換最大サイズの閾値よりも大きなコーディングユニットについては簡易直交変換を行うことにより、符号化処理および復号処理における処理量を削減することができる。従って、例えば、処理量を抑制することが要求されるアプリケーションでは、直交変換最大サイズの閾値を小さく設定することで、符号化処理および復号処理の処理量を多く削減することができ、より確実に符号化または復号を行うことができる。
　図２を参照して、画像符号化装置１２の符号化回路２３が行う処理について、さらに説明する。
　例えば、符号化回路２３は、図示するような設定部、直交変換部、および符号化部として機能するように設計される。
　即ち、符号化回路２３は、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報を設定する設定処理を行うことができる。
　このとき、符号化回路２３は、例えば、画像符号化装置１２における画像の符号化を実行するアプリケーションにおいて要求される処理量が、所定の設定値以下である場合、直交変換最大サイズの閾値が小さくなるように直交変換最大サイズ識別情報を設定する。同様に、符号化回路２３は、例えば、画像復号装置１３におけるビットストリームの復号を実行するアプリケーションにおいて要求される処理量が、所定の設定値以下である場合、直交変換最大サイズの閾値が小さくなるように直交変換最大サイズ識別情報を設定する。ここで、画像符号化装置１２および画像復号装置１３には、それぞれが備える処理能力に従って、実行するアプリケーションにおける処理量を規定する設定値が予め設定されている。例えば、処理能力が低いモバイル端末において符号化処理または復号処理が行われる場合には、その処理能力に従った低い設定値が設定される。
　さらに、符号化回路２３は、直交変換最大サイズの閾値よりもコーディングユニットのサイズが大きい場合、そのコーディングユニットについては、通常の直交変換を行うのに替えて、簡易直交変換を行うことができる。
　ここで、符号化回路２３は、簡易直交変換として、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットに対する直交変換を行わずに、残差データの出力そのものをスキップする（例えば、図４に示す量子化部１１４への供給を行わない）。即ち、この簡易直交変換では、コーディングユニットに対して簡易直交変換が行われることにより得られる簡易変換係数に、残差データが含まれないことになる。
　または、符号化回路２３は、簡易直交変換として、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットに対する直交変換をスキップし、直交変換が行われていない空間ドメインの残差データを出力する。即ち、この簡易直交変換では、コーディングユニットに対して簡易直交変換が行われることにより得られる簡易変換係数に、空間ドメインの残差データが含まれることになる。
　または、符号化回路２３は、簡易直交変換として、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットに対する直交変換は行うが、残差データとして直流成分のみを生成して、その直流成分を出力する。即ち、この簡易直交変換では、コーディングユニットに対して簡易直交変換が行われることにより得られる簡易変換係数に、残差データとして直流成分のみが含まれることになる。
　このように、符号化回路２３において直交変換または簡易直交変換が行われた結果として、通常の直交変換を行うことで生成される変換係数が得られ、簡易直交変換による簡易変換係数には、空間ドメインの残差データ、または、残差データとしての直流成分が含まれる。なお、簡易直交変換による簡易変換係数として、残差データが含まれなくてもよい。
　さらに、符号化回路２３は、直交変換または簡易直交変換による変換係数または簡易変換係数（空間ドメインの残差データ、または残差データとしての直流成分）を符号化し、直交変換最大サイズ識別情報を含むビットストリームを生成する符号化処理を行うことができる。
　図３を参照して、画像復号装置１３の復号回路３３が行う処理について、さらに説明する。
　例えば、復号回路３３は、図示するようなパース部、復号部、および逆直交変換部として機能するように設計される。
　即ち、復号回路３３は、画像符号化装置１２から伝送されてくるビットストリームから、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報をパースするパース処理を行うことができる。
　また、復号回路３３は、ビットストリームを復号して、符号化回路２３において直交変換または簡易直交変換が行われた結果である変換係数または簡易変換係数を生成する復号処理を行うことができる。
　そして、復号回路３３は、ビットストリームからパースされた直交変換最大サイズ識別情報を参照し、直交変換最大サイズの閾値よりもコーディングユニットのサイズが大きい場合、そのコーディングユニットについては、通常の逆直交変換を行うのに替えて、簡易逆直交変換を行うことができる。
　ここで、符号化回路２３は、簡易逆直交変換として、符号化回路２３において残差データの出力がスキップされる簡易直交変換が行われていた場合、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットについては、逆直交変換をスキップする。従って、この場合、画像符号化装置１２からの簡易変換係数には残差データが含まれておらず、逆直交変換は実質的に行われない。ここで、符号化回路２３は、簡易変換係数に残差データが含まれるかを識別する残差識別情報に対するパースに拘らず、直交変換最大サイズ識別情報を参照することで、直交変換最大サイズの閾値よりもコーディングユニットのサイズが大きい場合には、簡易変換係数に残差データが含まれていないと判断することができる。
　または、符号化回路２３は、簡易逆直交変換として、符号化回路２３において直交変換がスキップされる簡易直交変換が行われていた場合、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットについては逆直交変換をスキップし、直交変換が行われていない空間ドメインの残差データを出力する。従って、この場合、画像復号装置１３は、画像符号化装置１２からの簡易変換係数に含まれている、直交変換が行われていない空間ドメインの残差データをそのまま用いて復号処理を行うことができる。
　または、符号化回路２３は、簡易逆直交変換として、符号化回路２３において残差データとして直流成分のみが出力される簡易直交変換が行われていた場合、直交変換最大サイズの閾値よりも大きなサイズのコーディングユニットについては逆直交変換を行わずに、その直流成分を出力する。従って、この場合、画像復号装置１３は、画像符号化装置１２からの簡易変換係数に含まれている、残差データとしての直流成分をそのまま用いて復号処理を行うことができる。なお、残差データとしての直流成分を用いて復号処理が行われる場合、例えば、残差データを用いずに復号処理が行われる場合と比較して、画質の向上が期待される。
　＜画像符号化装置の構成例＞
　図４は、本技術を適用した画像符号化装置の一実施の形態の構成例を示すブロック図である。
　図４に示される画像符号化装置１２は、動画像の画像データを符号化する装置である。例えば、画像符号化装置１２は、非特許文献１、非特許文献２、または非特許文献３に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。
　なお、図４においては、処理部やデータの流れ等の主なものを示しており、図４に示されるものが全てとは限らない。つまり、画像符号化装置１２において、図４においてブロックとして示されていない処理部が存在したり、図４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図４に示されるように画像符号化装置１２は、制御部１０１、並べ替えバッファ１１１、演算部１１２、直交変換部１１３、量子化部１１４、符号化部１１５、蓄積バッファ１１６、逆量子化部１１７、逆直交変換部１１８、演算部１１９、インループフィルタ部１２０、フレームメモリ１２１、予測部１２２、およびレート制御部１２３を備えて構成される。なお、予測部１２２は、不図示のイントラ予測部およびインター予測部を備えている。画像符号化装置１２は、動画像データを符号化することによって、符号化データ（ビットストリーム）を生成するための装置である。
　　　　＜制御部＞
　制御部１０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ１１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部１０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
　これらの符号化パラメータの詳細については後述する。制御部１０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
　ヘッダ情報Hinfoは、各ブロックに供給される。
　予測モード情報Pinfoは、符号化部１１５と予測部１２２とに供給される。
　変換情報Tinfoは、符号化部１１５、直交変換部１１３、量子化部１１４、逆量子化部１１７、および逆直交変換部１１８に供給される。
　フィルタ情報Finfoは、インループフィルタ部１２０に供給される。
　さらに、制御部１０１は、処理単位を設定する際に、図２を参照して上述したように、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報を設定することができる。そして、制御部１０１は、直交変換最大サイズ識別情報も符号化部１１５に供給する。
　　　　＜並べ替えバッファ＞
　画像符号化装置１２には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ１１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ１１１は、制御部１０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ１１１は、処理後の各入力画像を演算部１１２に供給する。また、並べ替えバッファ１１１は、その各入力画像（元画像）を、予測部１２２やインループフィルタ部１２０にも供給する。
　　　　＜演算部＞
　演算部１１２は、処理単位のブロックに対応する画像I、および予測部１２２より供給される予測画像Pを入力とし、画像Iから予測画像Pを減算して、予測残差Dを導出（D＝Ｉ－Ｐ）し、それを直交変換部１１３に供給する。
　　　　＜直交変換部＞
　直交変換部１１３は、演算部１１２から供給される予測残差Dと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差Dに対して直交変換を行い、変換係数Coeffを導出する。直交変換部１１３は、その得られた変換係数Coeffを量子化部１１４に供給する。
　ここで、直交変換部１１３は、図２を参照して上述したように、直交変換最大サイズの閾値を参照し、コーディングユニットの大きさに基づいて、直交変換または簡易直交変換を行うことができる。そして、直交変換部１１３は、直交変換を行う場合には、その処理によって生成される変換係数Coeffを量子化部１１４に供給する。
　一方、直交変換部１１３は、簡易直交変換を行う場合には、図２を参照して上述したように、残差データの出力をスキップしたり、空間ドメインの残差データを簡易変換係数として量子化部１１４に供給したり、残差データとしての直流成分のみを簡易変換係数として量子化部１１４に供給したりする。
　　　　＜量子化部＞
　量子化部１１４は、直交変換部１１３から供給される変換係数Coeffと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部１２３により制御される。量子化部１１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数レベルlevelを、符号化部１１５および逆量子化部１１７に供給する。
　　　　＜符号化部＞
　符号化部１１５は、量子化部１１４から供給された量子化変換係数レベルlevelと、制御部１０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部１２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部１２２から供給される最適な予測モードに関する情報とを入力とする。符号化部１１５は、量子化変換係数レベルlevelを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。
　また、符号化部１１５は、その量子化変換係数レベルlevelから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。
　さらに、符号化部１１５は、インループフィルタ部１２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部１２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部１１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
　また、符号化部１１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部１１５は、その符号化データを蓄積バッファ１１６に供給する。
　それらに加え、符号化部１１５は、制御部１０１から供給される直交変換最大サイズ識別情報を符号化し、ビット列を生成して、そのビット列を多重化し、符号化データを生成することができる。これにより、図１を参照して上述したように、直交変換最大サイズ識別情報を含む符号化データ（ビットストリーム）が伝送される。
　　　　＜蓄積バッファ＞
　蓄積バッファ１１６は、符号化部１１５において得られた符号化データを、一時的に保持する。蓄積バッファ１１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置１２の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ１１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。
　　　　＜逆量子化部＞
　逆量子化部１１７は、逆量子化に関する処理を行う。例えば、逆量子化部１１７は、量子化部１１４から供給される量子化変換係数レベルlevelと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部１１４において行われる量子化の逆処理である。逆量子化部１１７は、このような逆量子化により得られた変換係数Coeff_IQを、逆直交変換部１１８に供給する。
　　　　＜逆直交変換部＞
　逆直交変換部１１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部１１８は、逆量子化部１１７から供給される変換係数Coeff_IQと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換を行い、予測残差D'を導出する。なお、この逆直交変換は、直交変換部１１３において行われる直交変換の逆処理である。逆直交変換部１１８は、このような逆直交変換により得られた予測残差D'を演算部１１９に供給する。なお、逆直交変換部１１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部１１８については、復号側について行う説明（後述する）を適用することができる。
　　　　＜演算部＞
　演算部１１９は、逆直交変換部１１８から供給される予測残差D’と、予測部１２２から供給される予測画像Pとを入力とする。演算部１１９は、その予測残差D’と、その予測残差D’に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出（Rlocal＝D’＋P）する。演算部１１９は、導出した局所復号画像Rlocalをインループフィルタ部１２０およびフレームメモリ１２１に供給する。
　　　　＜インループフィルタ部＞
　インループフィルタ部１２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部１２０は、演算部１１９から供給される局所復号画像Rlocalと、制御部１０１から供給されるフィルタ情報Finfoと、並べ替えバッファ１１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部１２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部１２０に入力されるようにしてもよい。
　インループフィルタ部１２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部１２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
　例えば、インループフィルタ部１２０は、非特許文献１に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
　もちろん、インループフィルタ部１２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部１２０がウィーナーフィルタ等を適用するようにしてもよい。
　インループフィルタ部１２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ１２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部１２０は、そのフィルタに関する情報を符号化部１１５に供給する。
　　　　＜フレームメモリ＞
　フレームメモリ１２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ１２１は、演算部１１９から供給される局所復号画像Rlocalや、インループフィルタ部１２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ１２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ１２１内のバッファへ格納する）。フレームメモリ１２１は、予測部１２２の要求に応じて、その復号画像R（またはその一部）を予測部１２２に供給する。
　　　　＜予測部＞
　予測部１２２は、予測画像の生成に関する処理を行う。例えば、予測部１２２は、制御部１０１から供給される予測モード情報Pinfoと、並べ替えバッファ１１１から供給される入力画像（元画像）と、フレームメモリ１２１から読み出す復号画像R（またはその一部）を入力とする。予測部１２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部１２２は、生成した予測画像Pを演算部１１２および演算部１１９に供給する。また、予測部１２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部１１５に供給する。
　　　　＜レート制御部＞
　レート制御部１２３は、レート制御に関する処理を行う。例えば、レート制御部１２３は、蓄積バッファ１１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１４の量子化動作のレートを制御する。
　以上のような構成の画像符号化装置１２において、制御部１０１は、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報を設定する。また、直交変換部１１３は、直交変換最大サイズの閾値を参照し、コーディングユニットの大きさに基づいて、直交変換または簡易直交変換を行う。そして、符号化部１１５は、直交変換または簡易直交変換を行って得られる変換係数または簡易変換係数を符号化し、直交変換最大サイズ識別情報を含む符号化データを生成する。従って、画像符号化装置１２は、直交変換最大サイズの閾値が小さくなるように直交変換最大サイズ識別情報を設定することで、例えば、サイズの大きなコーディングユニットについては簡易直交変換を行うことで、符号化処理の処理量を削減することができる。
　なお、図２を参照して上述したような符号化回路２３において設定部、直交変換部、および符号化部として行われる各処理は、図４に示す各ブロックにおいて個々に行われるのではなく、例えば、複数のブロックにより行われるようにしてもよい。
　＜画像復号装置の構成例＞
　図５は、本技術を適用した画像復号装置の一実施の形態の構成例を示すブロック図である。図５に示される画像復号装置１３は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置１３は、非特許文献１、非特許文献２、または非特許文献３に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置１３は、上述の画像符号化装置１２により生成された符号化データ（ビットストリーム）を復号する。
　なお、図５においては、処理部やデータの流れ等の主なものを示しており、図５に示されるものが全てとは限らない。つまり、画像復号装置１３において、図５においてブロックとして示されていない処理部が存在したり、図５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図５において、画像復号装置１３は、蓄積バッファ２１１、復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、インループフィルタ部２１６、並べ替えバッファ２１７、フレームメモリ２１８、および予測部２１９を備えて構成される。なお、予測部２１９は、不図示のイントラ予測部およびインター予測部を備えている。画像復号装置１３は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。
　　　　＜蓄積バッファ＞
　蓄積バッファ２１１は、画像復号装置１３に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ２１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部２１２に供給する。
　　　　＜復号部＞
　復号部２１２は、画像の復号に関する処理を行う。例えば、復号部２１２は、蓄積バッファ２１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
　シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部２１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
　　　　　＜ヘッダ情報Hinfo＞
　ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
　例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
　　コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
　なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
　　　　　＜予測モード情報Pinfo＞
　予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
　イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
　また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。
　コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
　多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
　色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、次に示すような割り当て方となる。
　　chroma_sample_loc_type_idx == 0 : Type2
　　chroma_sample_loc_type_idx == 1 : Type3
　　chroma_sample_loc_type_idx == 2 : Type0
　　chroma_sample_loc_type_idx == 3 : Type1
　なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。
　色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
　動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
　もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　　　　　＜変換情報Tinfo＞
　変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　　処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize（または、２を底とする各TBWSize、TBHSizeの対数値log2TBWSize、log2TBHSizeであってもよい）。
　　変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
　　スキャン識別子（scanIdx）
　　量子化パラメータ（qp）
　　量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））
　　　　　＜残差情報Rinfo＞
　残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。
　　cbf（coded_block_flag）：残差データ有無フラグ
　　last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
　　last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
　　coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
　　sig_coeff_flag：非ゼロ係数有無フラグ
　　gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ（GR1フラグとも呼ぶ）
　　gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
　　sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
　　coeff_abs_level_remaining:非ゼロ係数の残余レベル（非ゼロ係数残余レベルとも呼ぶ）
など。
　もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　　　　　＜フィルタ情報Finfo＞
　フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。
　　デブロッキングフィルタ(DBF)に関する制御情報
　　画素適応オフセット(SAO)に関する制御情報
　　適応ループフィルタ(ALF)に関する制御情報
　　その他の線形・非線形フィルタに関する制御情報
　より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
　復号部２１２の説明に戻り、復号部２１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。復号部２１２は、その量子化変換係数レベルlevelを、逆量子化部２１３に供給する。
　また、復号部２１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
　　ヘッダ情報Hinfoは、逆量子化部２１３、逆直交変換部２１４、予測部２１９、インループフィルタ部２１６に供給される。
　　予測モード情報Pinfoは、逆量子化部２１３および予測部２１９に供給される。
　　変換情報Tinfoは、逆量子化部２１３および逆直交変換部２１４に供給される。
　　フィルタ情報Finfoは、インループフィルタ部２１６に供給される。
　もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
　さらに、復号部２１２は、直交変換最大サイズの閾値を識別する直交変換最大サイズ識別情報がビットストリームに含まれている場合、その直交変換最大サイズ識別情報をパースすることができる。また、復号部２１２は、ビットストリームを復号して、直交変換または簡易直交変換による変換係数または簡易変換係数を生成することができる。
　　　　＜逆量子化部＞
　逆量子化部２１３は、逆量子化に関する処理を行う。例えば、逆量子化部２１３は、復号部２１２から供給される変換情報Tinfoおよび量子化変換係数レベルlevelを入力とし、その変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを導出する。
　なお、この逆量子化は、量子化部１１４による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部１１７による逆量子化と同様の処理である。つまり、逆量子化部１１７は、逆量子化部２１３と同様の処理（逆量子化）を行う。
　逆量子化部２１３は、導出した変換係数Coeff_IQを逆直交変換部２１４に供給する。
　　　　＜逆直交変換部＞
　逆直交変換部２１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部２１４は、逆量子化部２１３から供給される変換係数Coeff_IQ、および、復号部２１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、変換係数Coeff_IQに対して逆直交変換処理を行い、予測残差D'を導出する。
　なお、この逆直交変換は、直交変換部１１３による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部１１８による逆直交変換と同様の処理である。つまり、逆直交変換部１１８は、逆直交変換部２１４と同様の処理（逆直交変換）を行う。
　逆直交変換部２１４は、導出した予測残差D'を演算部２１５に供給する。
　ここで、逆直交変換部２１４は、図３を参照して上述したように、復号部２１２がビットストリームからパースした直交変換最大サイズ識別情報を参照し、コーディングユニットの大きさに基づいて、変換係数または簡易変換係数に対する逆直交変換または簡易逆直交変換を行うことができる。そして、逆直交変換部２１４は、逆直交変換を行う場合には、変換係数Coeff_IQを逆直交変換して生成される予測残差D'を演算部２１５に供給する。
　一方、逆直交変換部２１４は、簡易逆直交変換を行う場合には、簡易直交変換による簡易変換係数に対する逆直交変換を行わずに、残差データの演算部２１５への供給をスキップする。または、逆直交変換部２１４は、簡易直交変換による簡易変換係数に対する逆直交変換をスキップして、簡易変換係数に含まれている空間ドメインの残差データをそのまま演算部２１５へ供給する。または、逆直交変換部２１４は、簡易直交変換による簡易変換係数に対する逆直交変換をスキップして、簡易変換係数に含まれている残差データとしての直流成分のみを演算部２１５へ供給する。
　　　　＜演算部＞
　演算部２１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部２１５は、逆直交変換部２１４から供給される予測残差D'と、予測部２１９から供給される予測画像Pとを入力とする。演算部２１５は、予測残差D'とその予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出（Rlocal＝D'＋P）する。
　演算部２１５は、導出した局所復号画像Rlocalを、インループフィルタ部２１６およびフレームメモリ２１８に供給する。
　　　　＜インループフィルタ部＞
　インループフィルタ部２１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部２１６は、演算部２１５から供給される局所復号画像Rlocalと、復号部２１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部２１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
　インループフィルタ部２１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。
　例えば、インループフィルタ部２１６は、非特許文献１に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
　インループフィルタ部２１６は、符号化側（例えば、図４の画像符号化装置１２のインループフィルタ部１２０）により行われたフィルタ処理に対応するフィルタ処理を行う。
　もちろん、インループフィルタ部２１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部２１６がウィーナーフィルタ等を適用するようにしてもよい。
　インループフィルタ部２１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ２１７およびフレームメモリ２１８に供給する。
　　　　＜並べ替えバッファ＞
　並べ替えバッファ２１７は、インループフィルタ部２１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ２１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ２１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ２１７は、並べ替えた復号画像R群を動画像データとして画像復号装置１３の外部に出力する。
　　　　＜フレームメモリ＞
　フレームメモリ２１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ２１８は、演算部２１５より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ２１８内のバッファへ格納する。
　また、フレームメモリ２１８は、インループフィルタ部２１６から供給される、インループフィルタ処理された局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ２１８内のバッファへ格納する。フレームメモリ２１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部２１９に供給する。
　なお、フレームメモリ２１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
　　　　＜予測部＞
　予測部２１９は、予測画像の生成に関する処理を行う。例えば、予測部２１９は、復号部２１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部２１９は、その予測モード情報Pinfoによって指定される、フレームメモリ２１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部２１９は、導出した予測画像Pを、演算部２１５に供給する。
　以上のような構成の画像復号装置１３において、復号部２１２は、ビットストリームから直交変換最大サイズ識別情報をパースするパース処理を行い、ビットストリームを復号して変換係数また簡易変換係数を生成する。また、逆直交変換部２１４は、直交変換最大サイズ識別情報を参照し、コーディングユニットの大きさに基づいて、変換係数または簡易変換係数に対する逆直交変換または逆簡易直交変換を行う。従って、画像復号装置１３は、直交変換最大サイズの閾値が小さくなるように直交変換最大サイズ識別情報が設定されている場合には、例えば、サイズの大きなコーディングユニットについては簡易逆直交変換を行うことで、復号処理の処理量を削減することができる。
　なお、図３を参照して上述したような復号回路３３においてパース部、復号部、および逆直交変換部として行われる各処理は、図５に示す各ブロックにおいて個々に行われるのではなく、例えば、複数のブロックにより行われるようにしてもよい。
　＜画像符号化処理および画像復号処理＞
　図６乃至図１３のフローチャートを参照して、画像符号化装置１２が実行する画像符号化処理、および、画像復号装置１３が実行する画像復号処理について説明する。
　図６は、画像符号化装置１２が実行する画像符号化処理を説明するフローチャートである。
　画像符号化処理が開始されると、ステップＳ１１において、並べ替えバッファ１１１は、制御部１０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
　ステップＳ１２において、制御部１０１は、並べ替えバッファ１１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。ここで処理単位を設定する際に、直交変換最大サイズ識別情報を設定する処理も行われる。
　ステップＳ１３において、制御部１０１は、並べ替えバッファ１１１が保持する入力画像についての符号化パラメータを決定（設定）する。
　ステップＳ１４において、予測部１２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部１２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
　ステップＳ１５において、演算部１１２は、入力画像と、ステップＳ１４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部１１２は、入力画像と予測画像との予測残差Dを生成する。このようにして求められた予測残差Dは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
　ステップＳ１６において、直交変換部１１３は、ステップＳ１５の処理により生成された予測残差Dに対して直交変換処理を行い、変換係数Coeffを導出する。このとき、直交変換部１１３は、図７乃至図９を参照して後述するように、直交変換最大サイズの閾値を参照し、コーディングユニットのサイズに基づいて、直交変換処理を行うのに替えて、簡易直交変換処理を行うことができる。
　ステップＳ１７において、量子化部１１４は、制御部１０１により算出された量子化パラメータを用いる等して、ステップＳ１６の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。
　ステップＳ１８において、逆量子化部１１７は、ステップＳ１７の処理により生成された量子化変換係数レベルlevelを、そのステップＳ１７の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
　ステップＳ１９において、逆直交変換部１１８は、ステップＳ１８の処理により得られた変換係数Coeff_IQを、ステップＳ１６の直交変換処理に対応する方法で逆直交変換し、予測残差D'を導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理（後述する）と同様であるので、このステップＳ１９の逆直交変換処理については、復号側について行う説明（後述する）を適用することができる。
　ステップＳ２０において、演算部１１９は、ステップＳ１９の処理により導出された予測残差D'に、ステップＳ１４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
　ステップＳ２１において、インループフィルタ部１２０は、ステップＳ２０の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
　ステップＳ２２において、フレームメモリ１２１は、ステップＳ２０の処理により導出された、局所的に復号された復号画像や、ステップＳ２１においてフィルタ処理された、局所的に復号された復号画像を記憶する。
　ステップＳ２３において、符号化部１１５は、ステップＳ１７の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部１１５は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部１１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部１１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
　ステップＳ２４において、蓄積バッファ１１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置１２の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部１２３は、必要に応じてレート制御を行う。
　ステップＳ２４の処理が終了すると、画像符号化処理が終了する。
　以上のような流れの画像符号化処理において、ステップＳ１２およびステップＳ１６の処理として、上述した本技術を適用した処理が行われる。従って、この画像符号化処理を実行することにより、コーディングユニットのサイズが大きい場合には簡易直交変換処理を行うことによって、画像符号化処理の処理量を削減することができる。
　図７は、図６のステップＳ１６において簡易直交変換が行われる場合における処理の第１の処理例を説明するフローチャートである。
　ステップＳ３１において、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ３１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ３２に進む。ステップＳ３２において、直交変換部１１３は、予測残差Dに対して直交変換を行い、その処理によって生成される変換係数Coeffを量子化部１１４に供給した後、処理は終了される。
　一方、ステップＳ３１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ３３に進む。ステップＳ３３において、直交変換部１１３は、直交変換を行わずに、残差データの量子化部１１４への供給をスキップした後、処理は終了される。
　以上のように、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットに対する直交変換を行わずに、残差データの出力をスキップすることができる。
　図８は、図６のステップＳ１６において簡易直交変換が行われる場合における処理の第２の処理例を説明するフローチャートである。
　ステップＳ４１において、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ４１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ４２に進む。ステップＳ４２において、直交変換部１１３は、予測残差Dに対して直交変換を行い、その処理によって生成される変換係数Coeffを量子化部１１４に供給した後、処理は終了される。
　一方、ステップＳ４１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ４３に進む。ステップＳ４３において、直交変換部１１３は、直交変換をスキップして、直交変換されていない空間ドメインの残差データを量子化部１１４に供給した後、処理は終了される。
　以上のように、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットに対する直交変換をスキップし、空間ドメインの残差データを出力することができる。
　図９は、図６のステップＳ１６において簡易直交変換が行われる場合における処理の第３の処理例を説明するフローチャートである。
　ステップＳ５１において、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ５１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ５２に進む。ステップＳ５２において、直交変換部１１３は、予測残差Dに対して直交変換を行い、その処理によって生成される変換係数Coeffを量子化部１１４に供給した後、処理は終了される。
　一方、ステップＳ５１において、直交変換部１１３が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ５３に進む。ステップＳ５３において、直交変換部１１３は、逆直交変換を行って残差データとして直流成分のみを生成し、その直流成分を量子化部１１４に供給した後、処理は終了される。
　以上のように、直交変換部１１３は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットに対する直交変換の残差データとして直流成分のみを出力することができる。
　図１０は、画像復号装置１３が実行する画像復号処理を説明するフローチャートである。
　画像復号処理が開始されると、蓄積バッファ２１１は、ステップＳ６１において、画像復号装置１３の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
　ステップＳ６２において、復号部２１２は、その符号化データ（ビットストリーム）を復号し、量子化変換係数レベルlevelを得る。また、復号部２１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。ここで復号処理を行う際に、図３を参照して上述したように、ビットストリームから直交変換最大サイズ識別情報をパースする処理も行われる。また、復号により得られる各種符号化パラメータには、直交変換または簡易直交変換が行われた結果としての変換係数または簡易変換係数が含まれる。
　ステップＳ６３において、逆量子化部２１３は、ステップＳ６２の処理により得られた量子化変換係数レベルlevelに対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数Coeff_IQを得る。
　ステップＳ６４において、逆直交変換部２１４は、ステップＳ６３の処理により得られた変換係数Coeff_IQに対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差D'を得る。このとき、逆直交変換部２１４は、図１１乃至図１３を参照して後述するように、直交変換最大サイズ識別情報を参照し、コーディングユニットのサイズに基づいて、逆直交変換処理を行うのに替えて、簡易逆直交変換処理を行うことができる。
　ステップＳ６５において、予測部２１９は、ステップＳ６２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ２１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
　ステップＳ６６において、演算部２１５は、ステップＳ６４の処理により得られた予測残差D'と、ステップＳ６５の処理により得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
　ステップＳ６７において、インループフィルタ部２１６は、ステップＳ６６の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
　ステップＳ６８において、並べ替えバッファ２１７は、ステップＳ６７の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置１３の外部に出力される。
　また、ステップＳ６９において、フレームメモリ２１８は、ステップＳ６６の処理により得られた局所復号画像Rlocal、および、ステップＳ６７の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
　ステップＳ６９の処理が終了すると、画像復号処理が終了する。
　以上のような流れの画像復号処理において、ステップＳ６２およびステップＳ６４の処理として、上述した本技術を適用した処理が行われる。従って、この画像復号処理を実行することにより、コーディングユニットのサイズが大きい場合には簡易逆直交変換処理を行うことによって、画像復号処理の処理量を削減することができる。
　図１１は、図１０のステップＳ６４において簡易逆直交変換が行われる場合における処理の第１の処理例を説明するフローチャートである。
　ステップＳ７１において、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ７１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ７２に進む。ステップＳ７２において、逆直交変換部２１４は、変換係数Coeff_IQに対して逆直交変換処理を行って得られる予測残差D'を演算部２１５に供給した後、処理は終了される。
　一方、ステップＳ７１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ７３に進む。ステップＳ７３において、逆直交変換部２１４は、簡易変換係数に残差データが含まれるかを識別する残差識別情報に対するパースに拘らず、簡易変換係数には残差データが含まれていないと判断する。そして、逆直交変換が行われずに、処理は終了される。
　以上のように、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットに対する逆直交変換をスキップすることができる。
　ステップＳ７１において、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ７１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ７２に進む。ステップＳ７２において、逆直交変換部２１４は、変換係数Coeff_IQに対して逆直交変換処理を行って得られる予測残差D'を演算部２１５に供給した後、処理は終了される。
　一方、ステップＳ７１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ７３に進む。ステップＳ７３において、逆直交変換部２１４は、簡易変換係数に残差データが含まれるかを識別する残差識別情報に対するパースに拘らず、簡易変換係数に残差データが含まれていないと判断する。従って、逆直交変換部２１４は逆直交変換を行わず、逆直交変換部２１４から演算部２１５へ残差データの供給はスキップされて、処理は終了される。即ち、この場合、演算部２１５は、予測残差を予測画像に加算することなく、画像を再構成する。
　以上のように、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットについての逆直交変換をスキップすることができる。
　図１２は、図１０のステップＳ６４において簡易逆直交変換が行われる場合における処理の第２の処理例を説明するフローチャートである。
　ステップＳ８１において、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ８１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ８２に進む。ステップＳ８２において、逆直交変換部２１４は、変換係数Coeff_IQに対して逆直交変換処理を行って得られる予測残差D'を演算部２１５に供給した後、処理は終了される。
　一方、ステップＳ８１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ８３に進む。ステップＳ８３において、逆直交変換部２１４は、逆直交変換をスキップして、簡易変換係数に含まれている空間ドメインの残差データをそのまま演算部２１５に供給した後、処理は終了される。即ち、この場合、演算部２１５は、この残差データを予測画像に加算するだけで、画像を再構成することができる。
　以上のように、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットについての逆直交変換をスキップすることができる。
　図１３は、図１０のステップＳ６４において簡易逆直交変換が行われる場合における処理の第３の処理例を説明するフローチャートである。
　ステップＳ９１において、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズの閾値以下であるか否かを判定する。
　ステップＳ９１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下であると判定した場合、処理はステップＳ９２に進む。ステップＳ９２において、逆直交変換部２１４は、変換係数Coeff_IQに対して逆直交変換処理を行って得られる予測残差D'を演算部２１５に供給した後、処理は終了される。
　一方、ステップＳ９１において、逆直交変換部２１４が、コーディングユニットのサイズは直交変換最大サイズの閾値以下でない（直交変換最大サイズより大きい）と判定した場合、処理はステップＳ９３に進む。ステップＳ９３において、逆直交変換部２１４は、逆直交変換を行わずに、簡易変換係数に含まれている残差データとしての直流成分を演算部２１５に供給した後、処理は終了される。即ち、この場合、演算部２１５は、この直流成分を予測画像に加算するだけで、画像を再構成することができる。
　以上のように、逆直交変換部２１４は、コーディングユニットのサイズは直交変換最大サイズが直交変換最大サイズよりも大きい場合、そのコーディングユニットについての逆直交変換を行わずに、残差データとしての直流成分を出力することができる。
　＜コンピュータの構成例＞
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク３０５やROM３０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ３０９によって駆動されるリムーバブル記録媒体３１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体３１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体３１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体３１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク３０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)３０２を内蔵しており、CPU３０２には、バス３０１を介して、入出力インタフェース３１０が接続されている。
　CPU３０２は、入出力インタフェース３１０を介して、ユーザによって、入力部３０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)３０３に格納されているプログラムを実行する。あるいは、CPU３０２は、ハードディスク３０５に格納されたプログラムを、RAM(Random Access Memory)３０４にロードして実行する。
　これにより、CPU３０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU３０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース３１０を介して、出力部３０６から出力、あるいは、通信部３０８から送信、さらには、ハードディスク３０５に記録等させる。
　なお、入力部３０７は、キーボードや、マウス、マイク等で構成される。また、出力部３０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜本技術の適用対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
　また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
　さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
　実施形態に係る画像符号化装置や画像復号装置は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定する設定部と、
　前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行う直交変換部と、
　前記直交変換部により前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成する符号化部と
　を備える画像符号化装置。
（２）
　前記設定部は、前記画像の符号化または前記ビットストリームの復号を実行するアプリケーションにおいて要求される処理量が所定の設定値以下である場合、前記直交変換最大サイズの閾値が小さくなるように前記識別情報を設定する
　上記（１）に記載の画像符号化装置。
（３）
　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する残差データの出力をスキップする
　上記（１）または（２）に記載の画像符号化装置。
（４）
　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する直交変換をスキップする
　上記（１）または（２）に記載の画像符号化装置。
（５）
　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する前記簡易変換係数として直流成分のみの残差データを生成する
　上記（１）または（２）に記載の画像符号化装置。
（６）
　画像を符号化する符号化装置が、
　前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定することと、
　前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行うことと、
　前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成することと
　を含む画像符号化方法。
（７）
　画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースするパース部と、
　前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成する復号部と、
　前記パース部によりパースされた前記識別情報を参照し、前記コーディングユニットの大きさに従って、前記簡易変換係数に対する簡易逆直交変換を行う逆直交変換部と
　を備える画像復号装置。
（８）
　前記逆直交変換部は、前記簡易逆直交変換として、前記簡易変換係数に残差データが含まれるかを識別する残差識別情報に対するパースに拘らず、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットの前記簡易変換係数には残差データが含まれていないと判断する
　上記（７）に記載の画像復号装置。
（９）
　前記逆直交変換部は、前記簡易逆直交変換として、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットに対して直交変換が行われずに出力された前記簡易変換係数に対する逆直交変換をスキップする
　上記（７）に記載の画像復号装置。
（１０）
　前記逆直交変換部は、前記簡易逆直交変換として、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットの前記簡易変換係数に含まれる残差データとしての直流成分を出力する
　上記（７）に記載の画像復号装置。
（１１）
　画像を復号する復号装置が、
　前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースすることと、
　前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成することと、
　パースされた前記識別情報を参照し、前記コーディングユニットの大きさに従って、前記簡易変換係数に対する簡易逆直交変換を行うことと
　を含む画像復号方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　画像処理システム，　１２　画像符号化装置，　１３　画像復号装置，　２１　画像処理チップ，　２２　外部メモリ，　２３　符号化回路，　２４　キャッシュメモリ　３１　画像処理チップ，　３２　外部メモリ，　３３　復号回路，　３４　キャッシュメモリ，　１０１　制御部，　１２２　予測部，　１１３　直交変換部，　１１５　符号化部，　１１８　逆直交変換部，　１２０　インループフィルタ部，　２１２　復号部，　２１４　逆直交変換部，　２１６　インループフィルタ部，　２１９　予測部

Claims (11)

  1. 　画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定する設定部と、
    　前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行う直交変換部と、
    　前記直交変換部により前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成する符号化部と
    　を備える画像符号化装置。
  2. 　前記設定部は、前記画像の符号化または前記ビットストリームの復号を実行するアプリケーションにおいて要求される処理量が所定の設定値以下である場合、前記直交変換最大サイズの閾値が小さくなるように前記識別情報を設定する
    　請求項１に記載の画像符号化装置。
  3. 　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する残差データの出力をスキップする
    　請求項１に記載の画像符号化装置。
  4. 　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する直交変換をスキップする
    　請求項１に記載の画像符号化装置。
  5. 　前記直交変換部は、前記簡易直交変換として、前記直交変換最大サイズの閾値よりも大きなサイズの前記コーディングユニットに対する前記簡易変換係数として直流成分のみの残差データを生成する
    　請求項１に記載の画像符号化装置。
  6. 　画像を符号化する符号化装置が、
    　前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を設定することと、
    　前記画像を符号化する際の処理単位であるコーディングユニットが前記直交変換最大サイズの閾値よりも大きい場合、そのコーディングユニットに対して簡易直交変換を行うことと、
    　前記簡易直交変換が行われた結果である簡易変換係数を符号化し、前記識別情報を含むビットストリームを生成することと
    　を含む画像符号化方法。
  7. 　画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースするパース部と、
    　前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成する復号部と、
    　前記パース部によりパースされた前記識別情報を参照し、前記コーディングユニットの大きさに従った簡易逆直交変換を行う逆直交変換部と
    　を備える画像復号装置。
  8. 　前記逆直交変換部は、前記簡易逆直交変換として、前記簡易変換係数に残差データが含まれるかを識別する残差識別情報に対するパースに拘らず、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットの前記簡易変換係数には残差データが含まれていないと判断する
    　請求項７に記載の画像復号装置。
  9. 　前記逆直交変換部は、前記簡易逆直交変換として、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットに対して直交変換が行われずに出力された前記簡易変換係数に対する逆直交変換をスキップする
    　請求項７に記載の画像復号装置。
  10. 　前記逆直交変換部は、前記簡易逆直交変換として、前記直交変換最大サイズの閾値よりも前記コーディングユニットのサイズが大きい場合、そのコーディングユニットの前記簡易変換係数に含まれる残差データとしての直流成分を出力する
    　請求項７に記載の画像復号装置。
  11. 　画像を復号する復号装置が、
    　前記画像を直交変換する際の処理単位の最大サイズである直交変換最大サイズの閾値を識別する識別情報を含むビットストリームから、前記識別情報をパースすることと、
    　前記ビットストリームを復号して、前記画像を符号化する際の処理単位であるコーディングユニットに対して簡易直交変換が行われた結果である簡易変換係数を生成することと、
    　パースされた前記識別情報を参照し、前記コーディングユニットの大きさに従った簡易逆直交変換を行うことと
    　を含む画像復号方法。
PCT/JP2019/011047 2018-03-30 2019-03-18 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法 WO2019188465A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980021591.1A CN111903125A (zh) 2018-03-30 2019-03-18 图像编码装置、图像编码方法、图像解码装置和图像解码方法
US17/040,763 US20210006836A1 (en) 2018-03-30 2019-03-18 Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018068856 2018-03-30
JP2018-068856 2018-03-30

Publications (1)

Publication Number Publication Date
WO2019188465A1 true WO2019188465A1 (ja) 2019-10-03

Family

ID=68061609

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/011047 WO2019188465A1 (ja) 2018-03-30 2019-03-18 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法

Country Status (3)

Country Link
US (1) US20210006836A1 (ja)
CN (1) CN111903125A (ja)
WO (1) WO2019188465A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933433A (zh) * 2019-10-15 2020-03-27 苏州斯普锐智能系统有限公司 工业解码模块及基于该工业解码模块的应用市场

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021061501A (ja) * 2019-10-04 2021-04-15 シャープ株式会社 動画像変換装置及び方法
TWI772043B (zh) * 2021-05-31 2022-07-21 敦泰電子股份有限公司 任意倍率的影像縮放方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147290A (ja) * 2011-01-13 2012-08-02 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2015045301A1 (ja) * 2013-09-27 2015-04-02 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2015076666A (ja) * 2013-10-07 2015-04-20 日本電気株式会社 ブロック構造決定回路および情報圧縮回路

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0406507B1 (pt) * 2003-02-21 2018-10-16 Matsushita Electric Ind Co Ltd método de codificação de imagem e método de decodificação de imagem

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012147290A (ja) * 2011-01-13 2012-08-02 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2015045301A1 (ja) * 2013-09-27 2015-04-02 日本電気株式会社 映像符号化装置、映像符号化方法および映像符号化プログラム
JP2015076666A (ja) * 2013-10-07 2015-04-20 日本電気株式会社 ブロック構造決定回路および情報圧縮回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITU-T: "High efficiency video coding- ITU-T H.265 (12/2016)", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS-INFRASTRUCTURE OF AUDIOVISUAL SERVICES-CODING OF MOVING VIDEO,, December 2016 (2016-12-01), pages 78, XP055635777 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933433A (zh) * 2019-10-15 2020-03-27 苏州斯普锐智能系统有限公司 工业解码模块及基于该工业解码模块的应用市场

Also Published As

Publication number Publication date
CN111903125A (zh) 2020-11-06
US20210006836A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
US11343538B2 (en) Image processing apparatus and method
WO2021125309A1 (ja) 画像処理装置および方法
US20210144376A1 (en) Image processing apparatus and method
US11445218B2 (en) Image processing apparatus and method
JP7235030B2 (ja) 画像処理装置および方法
WO2019188465A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2019188464A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
JP7235031B2 (ja) 画像処理装置および方法
US20210385456A1 (en) Image processing apparatus and method
WO2022255395A1 (ja) 画像処理装置および方法
WO2021100588A1 (ja) 画像処理装置および方法
WO2022044845A1 (ja) 画像処理装置および方法
WO2021117500A1 (ja) 画像処理装置、ビットストリーム生成方法、係数データ生成方法、および量子化係数生成方法
WO2020008714A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2020066641A1 (ja) 画像処理装置および方法
JP7494858B2 (ja) 画像処理装置および方法
WO2020129636A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2021117866A1 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
JP7484923B2 (ja) 画像処理装置および方法
WO2023053957A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775000

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19775000

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP