WO2018037737A1 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
WO2018037737A1
WO2018037737A1 PCT/JP2017/025021 JP2017025021W WO2018037737A1 WO 2018037737 A1 WO2018037737 A1 WO 2018037737A1 JP 2017025021 W JP2017025021 W JP 2017025021W WO 2018037737 A1 WO2018037737 A1 WO 2018037737A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
processing
conversion
scaling list
data
Prior art date
Application number
PCT/JP2017/025021
Other languages
English (en)
French (fr)
Inventor
央二 中神
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17843224.1A priority Critical patent/EP3506634A4/en
Priority to KR1020197002681A priority patent/KR102424062B1/ko
Priority to KR1020227024982A priority patent/KR102498725B1/ko
Priority to JP2018535510A priority patent/JP6962325B2/ja
Priority to CN201780048136.1A priority patent/CN109644269B/zh
Priority to US16/323,183 priority patent/US11722698B2/en
Priority to CN202210049534.8A priority patent/CN114449289A/zh
Publication of WO2018037737A1 publication Critical patent/WO2018037737A1/ja
Priority to JP2021168817A priority patent/JP7211467B2/ja
Priority to US18/345,788 priority patent/US20230353786A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • a secondary transform different from the primary transform is applied to a transform coefficient after the primary transform in order to increase the degree of concentration of coefficient energy (concentrate transform coefficients in a low frequency range).
  • Non-Patent Document 1 since the transform coefficient after a plurality of transforms is applied can be transformed into a region different from the frequency region for the original image characteristics, the frequency domain scaling list (quantization matrix) ) Affects bandwidth control.
  • an image processing apparatus including a processing control unit that controls scaling list processing based on conversion information related to conversion applied to a processing target block.
  • an image processing method including a processor controlling scaling list processing based on conversion information regarding conversion applied to a processing target block.
  • FIG. 11 is a block diagram illustrating an example of a detailed configuration of a processing unit 14-2 according to the second embodiment of the present disclosure.
  • FIG. It is a flowchart which shows an example of the flow of the process at the time of the encoding which concerns on the embodiment. It is a block diagram showing an example of a detailed configuration of a reverse processing unit 63-2 according to the same embodiment. It is a flowchart which shows an example of the flow of the process at the time of the decoding which concerns on the same embodiment.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer. It is a block diagram which shows an example of a schematic structure of a television apparatus. It is a block diagram which shows an example of a schematic structure of a mobile telephone.
  • Non-Patent Document 1 in order to increase the degree of concentration of coefficient energy (concentrate the conversion coefficient in a low frequency range), secondary conversion is applied to the conversion coefficient after applying the primary conversion for conversion to the frequency domain. Is disclosed. However, since the transform coefficient after applying multiple transforms can be transformed to a different region from the frequency region for the original image characteristics, this affects band control (scaling list processing) using a scaling list for the frequency region. give.
  • FIG. 1 is an explanatory diagram schematically showing the flow of existing processing related to scaling list processing when secondary conversion is applied to conversion coefficients after primary conversion.
  • the secondary transformation (S12) is applied to the transformation coefficient after the primary transformation (S11) is applied. Subsequently, a quantization process and a scaling list process (S13) are performed on the transform coefficient after the secondary transform.
  • the above is the process at the time of encoding.
  • an inverse quantization process and a scaling list process (S14) are performed, then an inverse secondary transform (S15) is performed, and an inverse primary transform (S16) is applied.
  • Non-Patent Document 1 As described above, in the method described in Non-Patent Document 1, (inverse) quantization processing and scaling list processing are performed simultaneously or sequentially. For example, in HEVC (High Efficiency Video Coding), inverse quantization processing and scaling list processing are performed simultaneously.
  • HEVC High Efficiency Video Coding
  • scaling list processing at the time of decoding in HEVC will be described.
  • a transform coefficient value d [x] [y] after inverse quantization at a position (x, y) in a processing block is a scaling that is a value of an element corresponding to the position (x, y) in the scaling list.
  • TransCoeffLevel [xTbY] [yTbY] [cIdx] [x] [y] represents a quantization level value (quantized data) at a position (x, y) in the processing block.
  • levelScale [qP% 6] ⁇ (qP / 6) and (1 ⁇ (bdShift-1))) >> bdShift) are quantization processes using the quantization parameter qP. It is a value concerning.
  • Clip3 (coeffMin, coeffMax, X) means a value obtained by rounding the numerical value X to a value not less than the minimum value coeffMin and not more than the maximum value coeffMax.
  • scaling list processing is performed by applying a scaling factor m [x] [y] related to the scaling list during inverse quantization processing.
  • quantization and scaling list processing are performed simultaneously.
  • the conversion coefficient after applying the rotation matrix which is the secondary conversion described in Non-Patent Document 1 is converted into a region different from the frequency region for the original image characteristics. Therefore, when the scaling list process is performed in the (inverse) quantization process using the frequency domain scaling list, it is difficult to perform appropriate band control.
  • the image encoding device or the image decoding device enables band control by scaling list processing by controlling conversion processing or scaling list processing based on conversion information.
  • FIG. 3 is an explanatory diagram schematically showing a flow of processing according to the present embodiment.
  • scaling list processing S22
  • S23 secondary transformation
  • S24 quantization processing
  • an inverse quantization process (S25) is performed, and then an inverse secondary transform (S26) is applied. Further, after the scaling list process (S27) is performed, the inverse primary conversion (S28) is applied.
  • the scaling list process is performed on the data existing in the frequency domain for the original image characteristics by performing the scaling list process immediately after the primary conversion. Control becomes possible.
  • the number of conversions according to the present embodiment is not limited to two, ie, primary conversion and secondary conversion, and may be more (three or more).
  • the encoding and decoding processes shown in FIG. 1 are generalized to a larger number of conversion processes, they can be expressed as the following equations (2) and (3), respectively.
  • C is quantized data
  • Q is quantization processing
  • SL scaling list processing at the time of encoding
  • F1 is primary transformation (DCT or DST, etc.)
  • F2 is secondary transformation
  • Fn is nth transformation
  • * is convolution.
  • R means a residual image.
  • F'a means inverse transformation of Fa
  • the bandwidth control by the scaling list can be performed by performing the scaling list processing immediately after the primary conversion as in the above formulas (4) and (5). It becomes possible.
  • the transform coefficient value dn after inverse quantization is expressed as the following equation (6).
  • the transform coefficient value dn is the transform coefficient value for the nth inverse transform.
  • the scaling factor m [x] [y] is not used in the inverse quantum processing, and the processing using the quantization parameter qP is performed.
  • the transform coefficient value d0 for inverse primary transform obtained by the scaling list processing at the time of decoding is expressed as the following equation (7).
  • d1 [xTbY] [yTbY] [cIdx] [x] [y] means a coefficient value after inverse secondary conversion.
  • the transformation coefficient value d0 [x] [y] obtained by the equations (6) and (7) is the transformation coefficient value d obtained by the equation (1).
  • the result is basically the same as [x] [y].
  • the quantization level value (quantized data) TransCoeffLevel [xTbY] [yTbY] [cIdx] [x] [y] does not fall within the range of coeffMin to coeffMax, the results of the two may be different.
  • the outline of the present embodiment has been described above. Subsequently, a configuration and a processing flow according to the present embodiment will be described. In the following, for the sake of simplicity, an example in which the number of applied transforms is 2 at the maximum will be described. However, as described above, the number of transforms according to the present embodiment is not limited to this example, and may be 3 or more. Good.
  • FIG. 4 is a block diagram illustrating an example of the configuration of the image encoding device 10 that is an aspect of the image processing device according to the present embodiment.
  • the image encoding device 10 includes a rearrangement buffer 11, a control unit 12, a subtraction unit 13, a processing unit 14, a lossless encoding unit 16, an accumulation buffer 17, an inverse processing unit 21, an addition unit 23, a decoding unit.
  • a block filter 24, an SAO filter 25, a frame memory 26, a switch 27, a mode setting unit 28, an intra prediction unit 30, and an inter prediction unit 40 are provided.
  • the rearrangement buffer 11 rearranges the image data of a series of images constituting the video to be encoded in accordance with the GOP (Group of Pictures) structure related to the encoding process.
  • the rearrangement buffer 11 outputs the rearranged image data to the control unit 12, the subtraction unit 13, the intra prediction unit 30, and the inter prediction unit 40.
  • the control unit 12 determines the encoding parameter supplied to each unit based on, for example, RDO (Rate-Distortion Optimization). The determined encoding parameter is supplied to each block.
  • RDO Rate-Distortion Optimization
  • the encoding parameter may include conversion information related to conversion applied to the conversion block to be processed.
  • the transformation information may include information indicating whether secondary transformation is applied to the transformation block to be processed (see, for example, JVET-B1001, 2.5.22.5Secondary Transforms).
  • the conversion information may include information indicating the number of conversions applied to the conversion block to be processed.
  • the conversion information may include information indicating the type of conversion applied to the conversion block to be processed.
  • the encoding parameter may include scaling list information (for example, JCTVC-W1005, 7.3.4 Scaling list data syntax) indicating a scaling list used for scaling list processing.
  • the encoding parameter may include a quantization parameter (qP) used for (inverse) quantization.
  • the encoding parameter determined by the control unit 12 is arbitrary, and is not limited to the information described above, and may include various information.
  • the encoding parameters are block information indicating how to set HEVC CTU (Coding Tree Unit), CU (Coding Unit), TU (Transform Unit) and PU (Prediction Unit) in the image, information about intra prediction, and Information about inter prediction may be included.
  • the subtraction unit 13 calculates prediction error data that is a difference between the image data input from the rearrangement buffer 11 and the predicted image data, and outputs the calculated prediction error data to the processing unit 14.
  • the processing unit 14 performs orthogonal transformation processing, scaling list processing, and quantization processing based on the transformation information, scaling list information, quantization parameters, and the like input from the control unit 12.
  • the processing unit 14 outputs the quantized data (hereinafter referred to as quantized data) to the lossless encoding unit 16 and the inverse processing unit 21. A more detailed configuration of the processing unit 14 will be further described later.
  • the lossless encoding unit 16 generates an encoded stream by encoding the quantized data input from the processing unit 14.
  • the lossless encoding unit 16 encodes the encoding parameter determined by the control unit 12 and inserts the encoded parameter into the header area of the encoded stream.
  • the lossless encoding unit 16 outputs the generated encoded stream to the accumulation buffer 17.
  • the accumulation buffer 17 temporarily accumulates the encoded stream input from the lossless encoding unit 16 using a storage medium such as a semiconductor memory. Then, the accumulation buffer 17 outputs the accumulated encoded stream to a transmission unit (not shown) (for example, a communication interface or a connection interface with a peripheral device) at a rate corresponding to the bandwidth of the transmission path.
  • a transmission unit for example, a communication interface or a connection interface with a peripheral device
  • the reverse processing unit 21 and the adding unit 23 constitute a local decoder.
  • the local decoder has a role of reconstructing (reconstructing) the original image from the encoded data.
  • the reverse processing unit 21 performs reverse processing of the processing executed by the processing unit 14. For example, the inverse processing unit 21 performs prediction by performing inverse quantization processing, scaling list processing, and inverse orthogonal transformation processing based on transform information, scaling list information, quantization parameters, and the like input from the control unit 12. Restore error data. Then, the inverse processing unit 21 outputs the restored prediction error data to the adding unit 23. Note that the inverse processing (inverse quantization processing, scaling list processing, and inverse orthogonal transform processing) performed by the inverse processing unit 21 is the same processing as the inverse processing performed in the image decoding apparatus described later. Therefore, the reverse process will be described later with reference to FIG. 9 in the description of the image decoding apparatus.
  • the addition unit 23 adds decoded image data (reconstructed image) by adding the restored prediction error data input from the inverse processing unit 21 and the prediction image data input from the intra prediction unit 30 or the inter prediction unit 40. ) Is generated. Then, the addition unit 23 outputs the generated decoded image data to the deblock filter 24 and the frame memory 26.
  • the deblock filter 24 and the SAO filter 25 are each an in-loop filter for the purpose of improving the image quality of the reconstructed image.
  • the deblocking filter 24 removes block distortion by filtering the decoded image data input from the adding unit 23, and outputs the decoded image data after filtering to the SAO filter 25.
  • the SAO filter 25 removes noise by applying edge offset processing or band offset processing to the decoded image data input from the deblocking filter 24, and outputs the processed decoded image data to the frame memory 26.
  • the frame memory 26 stores the decoded image data before filtering input from the adder 23 and the decoded image data after application of the in-loop filter input from the SAO filter 25 using a storage medium.
  • the switch 27 reads decoded image data before filtering used for intra prediction from the frame memory 26, and supplies the read decoded image data to the intra prediction unit 30 as reference image data. Further, the switch 27 reads out the decoded image data after filtering used for inter prediction from the frame memory 26 and supplies the read out decoded image data to the inter prediction unit 40 as reference image data.
  • the mode setting unit 28 sets the prediction encoding mode for each block based on the comparison of the costs input from the intra prediction unit 30 and the inter prediction unit 40. For the block for which the intra prediction mode is set, the mode setting unit 28 outputs the prediction image data generated by the intra prediction unit 30 to the subtraction unit 13 and outputs information related to intra prediction to the lossless encoding unit 16. Further, the mode setting unit 28 outputs the prediction image data generated by the inter prediction unit 40 to the subtraction unit 13 and outputs information related to the inter prediction to the lossless encoding unit 16 for the block for which the inter prediction mode is set. To do.
  • the intra prediction unit 30 executes an intra prediction process for each HEVC PU (Prediction Unit) based on the original image data and the decoded image data. For example, the intra prediction unit 30 evaluates the cost based on the prediction error and the generated code amount for each prediction mode candidate included in the search range. Next, the intra prediction unit 30 selects the prediction mode with the lowest cost as the optimal prediction mode. Further, the intra prediction unit 30 generates predicted image data according to the selected optimal prediction mode. Then, the intra prediction unit 30 outputs information related to intra prediction including prediction mode information indicating the optimal prediction mode, the corresponding cost, and predicted image data to the mode setting unit 28.
  • HEVC PU Prediction Unit
  • the inter prediction unit 40 executes inter prediction processing (motion compensation) for each of the PUs of HEVC based on the original image data and the decoded image data. Inter prediction processing (motion detection and motion compensation) is executed. For example, the inter prediction unit 40 evaluates the cost based on the prediction error and the generated code amount for each prediction mode candidate included in the search range specified by HEVC. Next, the inter prediction unit 40 selects the prediction mode with the lowest cost, that is, the prediction mode with the highest compression rate, as the optimal prediction mode. Further, the inter prediction unit 40 generates predicted image data according to the selected optimal prediction mode. Then, the inter prediction unit 40 outputs information related to inter prediction, the corresponding cost, and predicted image data to the mode setting unit 28.
  • inter prediction processing motion detection and motion compensation
  • FIG. 5 is a block diagram illustrating an example of a detailed configuration of the processing unit 14 illustrated in FIG.
  • the processing unit 14 includes a primary conversion unit 141, a scaling list processing unit 142, a processing control unit 143, a secondary conversion unit 144, and a quantization unit 145.
  • the primary conversion unit 141 performs a primary conversion process on the prediction error data input from the subtraction unit 13.
  • the primary conversion by the primary conversion unit 141 may be an orthogonal conversion process such as discrete cosine conversion or discrete sine conversion. More specifically, the primary conversion unit 141 converts the prediction error data input from the subtraction unit 13 from a spatial domain image signal to frequency domain conversion coefficient data for each TU. Then, the primary conversion unit 141 outputs the conversion coefficient data to the scaling list processing unit 142.
  • the scaling list processing unit 142 performs scaling list processing on the conversion coefficient data input from the primary conversion unit 141.
  • the scaling list processing unit 142 may perform the scaling list processing by dividing (dividing) the conversion coefficient data by the scaling list included in the scaling list information determined by the control unit 12.
  • the scaling list processing unit 142 outputs the coefficient data after the scaling list processing (hereinafter referred to as scaling list coefficient data) to the processing control unit 143.
  • the process control unit 143 controls the conversion process by the secondary conversion unit 144 (to be described later) and the quantization process by the quantization unit 145 based on the conversion information regarding the conversion of the processing target block input from the control unit 12.
  • the processing control unit 143 may determine whether or not to perform secondary conversion on the processing target block based on the conversion information.
  • the conversion information may include information (for example, a flag) indicating whether or not secondary conversion is performed on the processing target block.
  • Information indicating the number and type of conversion for the block to be processed may be included.
  • the process control unit 143 outputs the scaling list coefficient data input from the scaling list processing unit 142 to the secondary conversion unit 144 when it is determined that the secondary conversion is performed on the block to be processed. In such a case, the transform coefficient data after the transform process by the secondary transform unit 144 is input to the quantization unit 145 as described later.
  • the processing control unit 143 determines that the secondary conversion is not performed on the processing target block, the processing control unit 143 outputs the scaling list coefficient data input from the scaling list processing unit 142 to the quantization unit 145. In such a case, the data input to the secondary conversion unit 144 is skipped, and the conversion process by the secondary conversion unit 144 is not performed, so the scaling list coefficient data is input to the quantization unit 145.
  • the process control unit 143 can control the input to the conversion process by the secondary conversion unit 144 and the quantization process by the quantization unit 145 based on the conversion information.
  • the secondary conversion unit 144 When the scaling list coefficient data is input from the processing control unit 143, the secondary conversion unit 144 performs a conversion process (secondary conversion process) related to another conversion (secondary conversion) different from the primary conversion.
  • the secondary conversion process which concerns on this embodiment is not specifically limited, For example, the conversion process converted into area
  • the secondary conversion process performed by the secondary conversion unit 144 may be specified from a plurality of conversion processes prepared in advance based on conversion information determined by the control unit 12.
  • the secondary conversion unit 144 outputs the conversion coefficient data after the secondary conversion process to the quantization unit 145.
  • the quantization unit 145 performs a quantization process based on the quantization parameter qP determined by the control unit 12.
  • the quantization unit 145 performs quantization processing using the conversion coefficient data or the scaling list coefficient data after the conversion processing by the secondary conversion unit 144 as input data under the control of the processing control unit 143.
  • the quantization unit 145 outputs the quantized data after the quantization process to the lossless encoding unit 16 and the inverse processing unit 21.
  • the scaling list process can be performed immediately after the conversion process to the frequency domain by the primary conversion unit 141. Therefore, band control by scaling list processing is possible regardless of the number and type of transformations applied to the processing target block.
  • FIG. 6 is a flowchart showing an example of the flow of processing at the time of encoding according to the existing method when the number of transforms is 1.
  • a conversion process is performed (S32), followed by a quantization and a scaling list process (S34). Subsequently, an encoding process is performed (S36).
  • FIG. 7 is a flowchart illustrating an example of a flow of processing at the time of encoding according to the new method according to the above-described embodiment.
  • the primary conversion unit 141 performs primary conversion processing on the prediction error data input from the subtraction unit 13 (S102). Subsequently, the scaling list processing unit 142 performs scaling list processing on the conversion coefficient data input from the primary conversion unit 141 (S104). Subsequently, the process control unit 143 determines whether or not to perform secondary conversion based on the conversion information (S106).
  • the scaling list coefficient data is output to the secondary conversion unit 144, and the secondary conversion unit 144 performs secondary conversion (S108).
  • the quantization unit 145 performs a quantization process on the transform coefficient data after the transform process by the secondary transform unit 144 (S110).
  • the scaling list coefficient data is output to the quantization unit 145, and the quantization unit 145 performs a quantization process on the scaling list coefficient data ( S112).
  • the lossless encoding unit 16 encodes the quantized data obtained by the process of step S110 or step S112. At this time, the lossless encoding unit 16 encodes various encoding parameters including conversion information and the like.
  • processing unit of each process mentioned above is arbitrary, and does not need to be mutually the same. Therefore, the processing of each step can be executed in parallel with the processing of other steps, or the processing order can be changed as appropriate.
  • the image encoding device 10 By executing each process as described above, the image encoding device 10 performs the scaling list process immediately after the conversion process to the frequency domain, regardless of the number and type of conversions applied to the processing target block. Can be done. Therefore, band control by scaling list processing is possible regardless of the number and type of transformations applied to the processing target block.
  • FIG. 8 is a block diagram illustrating an example of a configuration of an image decoding device 60 that is an aspect of the image processing device according to the present embodiment.
  • a storage buffer 61 a lossless decoding unit 62, an inverse processing unit 63, an adding unit 65, a deblocking filter 66, a SAO filter 67, a rearrangement buffer 68, a D / A (Digital to Analogue) conversion unit 69,
  • a frame memory 70, selectors 71a and 71b, an intra prediction unit 80, and an inter prediction unit 90 are provided.
  • the accumulation buffer 61 temporarily accumulates an encoded stream received from the image encoding device 10 via a transmission unit (not shown) (for example, a communication interface or a connection interface with peripheral devices) using a storage medium.
  • a transmission unit for example, a communication interface or a connection interface with peripheral devices
  • the lossless decoding unit 62 decodes the quantized data from the encoded stream input from the accumulation buffer 61 according to the encoding method used at the time of encoding. In addition, the lossless decoding unit 62 decodes the encoding parameter inserted in the header area of the encoded stream.
  • the encoding parameter decoded by the lossless decoding unit 62 may include, for example, the above-described conversion information, scaling list information, quantization parameter, information on intra prediction, information on inter prediction, and the like.
  • the lossless decoding unit 62 outputs the quantized data, conversion information, scaling list information, and quantization parameter to the inverse processing unit 63. Further, the lossless decoding unit 62 outputs information related to intra prediction to the intra prediction unit 80. In addition, the lossless decoding unit 62 outputs information related to inter prediction to the inter prediction unit 90.
  • the inverse processing unit 63 performs inverse processing of the processing performed by the processing unit 14 (FIGS. 4 and 5) at the time of encoding on the quantized data input from the lossless decoding unit 62, and obtains prediction error data. Generate.
  • the inverse processing unit 63 outputs the generated prediction error data to the adding unit 65. A more detailed configuration of the inverse processing unit 63 will be further described later.
  • the adding unit 65 generates decoded image data by adding the prediction error data input from the inverse processing unit 63 and the predicted image data input from the selector 71b. Then, the adding unit 65 outputs the generated decoded image data to the deblock filter 66 and the frame memory 70.
  • the deblock filter 66 removes block distortion by filtering the decoded image data input from the adding unit 65 and outputs the decoded image data after filtering to the SAO filter 67.
  • the SAO filter 67 removes noise by applying edge offset processing or band offset processing to the decoded image data input from the deblocking filter 66, and the decoded image data after processing is sent to the rearrangement buffer 68 and the frame memory 70. Output.
  • the rearrangement buffer 68 generates a series of time-series image data by rearranging the images input from the SAO filter 67. Then, the rearrangement buffer 68 outputs the generated image data to the D / A conversion unit 69.
  • the D / A converter 69 converts the digital image data input from the rearrangement buffer 68 into an analog image signal. Then, the D / A conversion unit 69 displays the decoded video by outputting an analog image signal to a display (not shown) connected to the image decoding device 60, for example.
  • the frame memory 70 stores the decoded image data before filtering input from the adding unit 65 and the decoded image data after filtering input from the SAO filter 67 using a storage medium.
  • the selector 71a switches the output destination of the image data from the frame memory 70 between the intra prediction unit 80 and the inter prediction unit 90 for each block in the image according to the mode information acquired by the lossless decoding unit 62. .
  • the selector 71a outputs the decoded image data before filtering supplied from the frame memory 70 to the intra prediction unit 80 as reference image data.
  • the selector 71a outputs the filtered decoded image data to the inter prediction unit 90 as reference image data.
  • the selector 71b switches the output source of the predicted image data to be supplied to the adding unit 65 between the intra prediction unit 80 and the inter prediction unit 90 according to the mode information acquired by the lossless decoding unit 62. For example, the selector 71b supplies the prediction image data output from the intra prediction unit 80 to the addition unit 65 when the intra prediction mode is designated. Further, when the inter prediction mode is designated, the selector 71b supplies the predicted image data output from the inter prediction unit 90 to the adding unit 65.
  • the intra prediction unit 80 performs intra prediction processing based on the information related to intra prediction and the reference image data from the frame memory 70, and generates predicted image data. Then, the intra prediction unit 80 outputs the generated predicted image data to the selector 71b.
  • the inter prediction unit 90 performs inter prediction processing based on the information related to inter prediction input from the lossless decoding unit 62 and the reference image data from the frame memory 70, and generates predicted image data. Then, the inter prediction unit 90 outputs the generated predicted image data to the selector 71b.
  • FIG. 9 is a block diagram showing an example of a detailed configuration of the inverse processing unit 63 shown in FIG.
  • the inverse processing unit 63 includes an inverse quantization unit 631, a processing control unit 632, an inverse secondary conversion unit 633, a scaling list processing unit 634, and an inverse primary conversion unit 635.
  • the inverse quantization unit 631 inversely quantizes the quantized data input from the lossless decoding unit 62 with the same quantization parameter qP used for encoding, and restores coefficient data.
  • the inverse quantization unit 631 may perform an inverse quantization process as described with reference to Expression (6).
  • the inverse quantization unit 631 outputs the restored coefficient data to the processing control unit 632.
  • the coefficient data restored by the inverse quantization unit 631 can be either transform coefficient data by the secondary transform process or scaling list coefficient data depending on whether or not the secondary transform has been performed at the time of encoding. .
  • the process control unit 632 controls reverse conversion processing by the reverse secondary conversion unit 633, which will be described later, and scaling list processing by the scaling list processing unit 634, based on conversion information regarding conversion of the processing target block. For example, the process control unit 632 according to the present embodiment may determine whether to perform inverse secondary conversion on the processing target block based on the conversion information.
  • the conversion information includes information (for example, a flag) indicating whether secondary conversion has been performed on the block to be processed at the time of encoding.
  • information indicating the number and type of conversions for the block to be processed may be included.
  • the process control unit 632 determines that the inverse secondary conversion is performed if the secondary conversion is performed at the time of encoding, and performs the inverse secondary conversion if the secondary conversion is not performed at the time of the encoding. It may be determined not to be performed.
  • the process control unit 632 outputs the coefficient data input from the inverse quantization unit 631 to the inverse secondary transform unit 633 when it is determined that the inverse secondary transform is performed on the processing target block.
  • the coefficient data after the inverse secondary conversion process by the inverse secondary conversion unit 633 is input to the scaling list processing unit 634 as described later.
  • the process control unit 632 determines not to perform inverse secondary transform on the processing target block, the process control unit 632 outputs the coefficient data input from the inverse quantization unit 631 to the scaling list processing unit 634. In such a case, data input to the inverse secondary transform unit 633 is skipped, and the inverse transform process by the inverse secondary transform unit 633 is not performed, and thus the coefficient data after inverse quantization is input to the scaling list processing unit 634.
  • the processing control unit 632 can control the input to the inverse conversion process by the inverse secondary conversion unit 633 and the scaling list process by the scaling list processing unit 634 according to the determination based on the conversion information.
  • the inverse secondary conversion unit 633 When the coefficient data is input from the process control unit 632, the inverse secondary conversion unit 633 performs the reverse conversion process (inverse secondary conversion process) of the secondary conversion performed at the time of encoding.
  • the inverse secondary conversion unit 633 outputs the coefficient data after the secondary conversion process to the scaling list processing unit 634.
  • the scaling list processing unit 634 performs scaling list processing based on the scaling list information input from the lossless decoding unit 62.
  • the scaling list processing unit 634 uses the coefficient data after the conversion processing by the inverse secondary conversion unit 633 or the coefficient data after the inverse quantization processing by the inverse quantization unit 631 as input data according to the control of the processing control unit 632, as a scaling list. Process.
  • the scaling list processing unit 634 may perform the scaling list processing as described with reference to Expression (7).
  • the scaling list processing unit 634 outputs the conversion coefficient data after the scaling list processing to the inverse primary conversion unit 635.
  • the inverse primary transform unit 635 generates prediction error data by performing inverse primary transform on the transform coefficient data input from the scaling list processing unit 634 according to the transform method of the primary transform process used at the time of encoding. .
  • the inverse primary conversion unit 635 outputs the generated prediction error data to the addition unit 65.
  • decoding according to bandwidth control by scaling list processing is possible regardless of the number and type of transformations applied to the processing target block.
  • FIG. 10 is a flowchart showing an example of the flow of processing at the time of decoding according to the existing method when the number of transforms is 1.
  • FIG. 10 shows the flow of processing focusing on the processing from decoding processing to prediction error data generation processing in the processing flow at the time of decoding.
  • the decryption process is first performed (S52). Subsequently, inverse quantization and scaling list processing are performed (S54), and then inverse transformation processing is performed to generate prediction error data (S56).
  • FIG. 11 is a flowchart illustrating an example of the flow of processing at the time of decoding according to the new method according to the above-described embodiment.
  • FIG. 11 shows the flow of processing focusing on the processing from decoding processing to prediction error data generation processing among the processing flow at the time of decoding.
  • the lossless decoding unit 62 performs a decoding process, and obtains (decodes) quantized data and encoding parameters (S202).
  • the acquired encoding parameter may include conversion information, scaling list information, quantization parameter qP, and the like.
  • the inverse quantization unit 631 inversely quantizes the quantized data input from the lossless decoding unit 62 with the same quantization parameter qP used for encoding (S204). Subsequently, the process control unit 632 determines whether to perform inverse secondary conversion based on the conversion information (S206).
  • the coefficient data after the inverse quantization process is output to the inverse secondary conversion unit 633, and the inverse secondary conversion unit 633 performs the inverse secondary conversion (S208). Subsequently, the scaling list processing unit 634 performs scaling list processing on the coefficient data after the conversion processing by the inverse secondary conversion unit 633 (S210).
  • the coefficient data after the inverse quantization process is output to the scaling list processing unit 634, and the scaling list processing unit 634 performs the process after the inverse quantization process.
  • a scaling list process is performed on the coefficient data (S212).
  • the inverse primary transform unit 635 performs inverse primary transform on the transform coefficient data obtained by the process of step S210 or step S212, and generates prediction error data (S214).
  • processing unit of each process mentioned above is arbitrary, and does not need to be mutually the same. Therefore, the processing of each step can be executed in parallel with the processing of other steps, or the processing order can be changed as appropriate.
  • the image decoding device 60 can perform decoding according to bandwidth control by scaling list processing regardless of the number and type of transforms applied to the processing target block. it can.
  • Second embodiment> [2-1. Overview] The first embodiment of the present disclosure has been described above. Subsequently, as a second embodiment of the present disclosure, a case where a plurality of transforms are expressed by one transform by a convolution operation will be described.
  • n convolutions Fn *. . . Assuming that F2 * F1 is Fx, the encoding and decoding processes according to the present embodiment can be expressed as the following equations (8) and (9), respectively.
  • SL x is expressed by the following equation (10) using the scaling list SL conv determined by the control unit 12 described in the first embodiment.
  • SL conv and the secondary transformation F2 are respectively expressed by the following formulas (11) and (12)
  • SL x is scaled as in the following formula (13), for example. It is obtained by the inner product operation of the list SL conv and the secondary transformation F2.
  • the specific coefficient of the secondary conversion F2 can be determined based on the conversion information from among a plurality of conversions, for example.
  • the image encoding device 10 according to the present embodiment differs from the image encoding device 10 according to the first embodiment only in the functional configurations of the processing unit and the inverse processing unit. Therefore, hereinafter, the configuration of the processing unit 14-2 included in the image encoding device 10 according to the present embodiment will be described. Note that the functional configuration of the inverse processing unit included in the image encoding device 10 according to the present embodiment is the same as that of the inverse processing unit included in the image decoding device 60 according to the present embodiment, which will be described later, and thus description thereof is omitted here. To do.
  • FIG. 12 is a block diagram illustrating an example of a detailed configuration of the processing unit 14-2 included in the image encoding device 10 according to the present embodiment.
  • the processing unit 14-2 includes a processing control unit 146, a conversion unit 147, and a quantization / scaling list processing unit 148.
  • the processing control unit 146 based on the conversion information regarding the conversion of the processing target block input from the control unit 12, a conversion process by the conversion unit 147 described later, a quantization process by the quantization / scaling list processing unit 148, and Control scaling list processing.
  • the processing control unit 146 determines whether or not to perform secondary conversion on the processing target block based on the conversion information, similarly to the processing control unit 143 described with reference to FIG. May be.
  • the process control unit 146 identifies the conversion F applied by the conversion unit 147 based on the conversion information.
  • the conversion F may be the primary conversion F1.
  • the process control unit 146 provides information of the identified conversion F to the conversion unit 147.
  • the processing control unit 146 specifies the scaling list SL used for the scaling list processing performed by the quantization / scaling list processing unit 148 based on the conversion information.
  • the specified scaling list SL may be the scaling list SL x obtained by using the scaling list SL conv determined by the control unit 12 and the secondary conversion F2 as shown in Expression (13). Good.
  • the specified scaling list SL may be the scaling list SL conv specified by the control unit 12.
  • the process control unit 146 provides the information of the specified scaling list SL to the quantization / scaling list processing unit 148.
  • the conversion unit 147 performs conversion processing on the prediction error data input from the subtraction unit 13 based on the information of the conversion F provided from the processing control unit 146.
  • the conversion unit 147 outputs the conversion coefficient data after the conversion processing to the quantization / scaling list processing unit 148.
  • the quantization / scaling list processing unit 148 performs quantization processing and scaling list processing based on the information of the scaling list SL provided from the processing control unit 146. Note that the quantization / scaling list processing unit 148 may perform the scaling list processing and the quantization processing at the same time or sequentially using the quantization parameter qP and the scaling list SL. The quantization / scaling list processing unit 148 outputs the quantized data after the quantization processing to the lossless encoding unit 16 and the inverse processing unit 21.
  • the processing unit 14-2 it is possible to perform bandwidth control by scaling list processing regardless of the number and type of conversions applied to the processing target block.
  • the processing amount can be reduced.
  • FIG. 13 is a flowchart showing an example of the flow of processing at the time of encoding according to the present embodiment described above.
  • the processing control unit 146 determines whether or not to perform secondary conversion on the block to be processed (S302). When it is determined that secondary conversion is to be performed (YES in S302), the conversion unit 147 performs conversion processing by convolution calculation of primary conversion and secondary conversion (S304). Subsequently, the processing control unit 146 calculates the scaling list SL x (S306), and the quantization / scaling list processing unit 148 performs quantization processing and scaling list processing using the calculated scaling list SL x (S308). ).
  • the conversion unit 147 performs primary conversion (S310), and the quantization / scaling list processing unit 148 determines the scaling list determined by the control unit 12 Quantization processing and scaling list processing are performed using SL conv (S312).
  • the lossless encoding unit 16 encodes the quantized data obtained by the process of step S308 or step S312. At this time, the lossless encoding unit 16 encodes various encoding parameters including conversion information and the like.
  • processing unit of each process mentioned above is arbitrary, and does not need to be mutually the same. Therefore, the processing of each step can be executed in parallel with the processing of other steps, or the processing order can be changed as appropriate.
  • the image encoding device 10 can perform bandwidth control by scaling list processing regardless of the number and type of transforms applied to the processing target block.
  • the processing amount can be reduced.
  • the image decoding device 60 according to the present embodiment is different from the image decoding device 60 according to the first embodiment only in the functional configuration of the inverse processing unit. Therefore, hereinafter, the configuration of the inverse processing unit 63-2 included in the image decoding device 60 according to the present embodiment will be described.
  • FIG. 14 is a block diagram illustrating an example of a detailed configuration of the inverse processing unit 63-2 included in the image decoding device 60 according to the present embodiment.
  • the inverse processing unit 63-2 includes a processing control unit 636, an inverse quantization / scaling list processing unit 637, and an inverse transform unit 638.
  • the processing control unit 636 performs quantization processing and scaling list processing by an inverse quantization / scaling list processing unit 637, which will be described later, and inverse conversion processing by an inverse conversion unit 638, based on conversion information related to conversion of the processing target block. Control.
  • the processing control unit 636 determines whether to perform inverse secondary conversion on the processing target block based on the conversion information, similarly to the processing control unit 632 described with reference to FIG. You may judge.
  • the processing control unit 636 specifies the scaling list SL used for the scaling list processing performed by the inverse quantization / scaling list processing unit 637 based on the conversion information. For example, when performing the inverse secondary transformation, the specified scaling list SL is calculated by the inner product operation of the scaling list SL conv and the secondary transformation F2 included in the scaling list information decoded by the lossless decoding unit 62 as shown in Expression (13). The obtained scaling list SL x may be used. On the other hand, when inverse secondary conversion is not performed, the specified scaling list SL may be the scaling list SL conv included in the scaling list information decoded by the lossless decoding unit 62. The processing control unit 636 provides the information of the specified scaling list SL to the inverse quantization / scaling list processing unit 637.
  • the processing control unit 636 specifies the inverse transform F ′ applied by the inverse transform unit 638 based on the transform information.
  • the inverse conversion F may be an inverse primary conversion F′1, which is an inverse conversion of the primary conversion F1.
  • the process control unit 146 provides the information of the identified inverse transform F ′ to the inverse transform unit 638.
  • the inverse quantization / scaling list processing unit 637 performs inverse quantization processing and scaling list processing based on the information of the scaling list SL provided from the processing control unit 636. Note that the inverse quantization / scaling list processing unit 637 may perform the inverse quantization process and the scaling list process simultaneously or sequentially using the quantization parameter qP and the scaling list SL. The inverse quantization / scaling list processing unit 637 outputs the transform coefficient data after the inverse quantization process to the inverse transform unit 638.
  • the inverse transform unit 638 performs prediction by performing inverse transform processing on transform coefficient data input from the inverse quantization / scaling list processing unit 637 based on the information of the inverse transform F ′ provided from the processing control unit 636. Generate error data.
  • the inverse conversion unit 638 outputs the generated prediction error data to the addition unit 65.
  • the inverse processing unit 63-2 According to the configuration of the inverse processing unit 63-2 described above, decoding according to bandwidth control by scaling list processing is possible regardless of the number and type of transformations applied to the processing target block. In addition, since a plurality of transformations are expressed as one transformation by the convolution operation, the processing amount can be reduced.
  • FIG. 15 is a flowchart showing an example of the processing flow at the time of decoding according to the above-described embodiment.
  • FIG. 15 shows the flow of processing focusing on the processing from the decoding processing to the prediction error data generation processing in the processing flow at the time of decoding.
  • the lossless decoding unit 62 performs a decoding process, and obtains (decodes) quantized data and encoding parameters (S402).
  • the acquired encoding parameter may include conversion information, scaling list information, quantization parameter qP, and the like.
  • the processing control unit 636 determines whether to perform inverse secondary conversion on the processing target block based on the conversion information (S404).
  • the scaling list SL x is calculated by the process control unit 636 (S406). Subsequently, the inverse quantization / scaling list processing unit 637 performs inverse quantization processing and scaling list processing using the calculated scaling list SL x (S408). Subsequently, the inverse transformation unit 638 performs the inverse transformation process of the transformation process by the convolution operation of the primary transformation and the secondary transformation to generate prediction error data (S412).
  • the inverse quantization / scaling list processing unit 637 performs inverse using the scaling list SL conv included in the scaling list information decoded in step S402. Quantization processing and scaling list processing are performed (S414).
  • the inverse transform unit 638 performs inverse primary transform processing to generate prediction error data (S416).
  • processing unit of each process mentioned above is arbitrary, and does not need to be mutually the same. Therefore, the processing of each step can be executed in parallel with the processing of other steps, or the processing order can be changed as appropriate.
  • the image decoding device 60 can perform decoding according to bandwidth control by scaling list processing regardless of the number and type of transforms applied to the processing target block. it can. In addition, since a plurality of transformations are expressed as one transformation by the convolution operation, the processing amount can be reduced.
  • Hardware configuration example> The series of processes described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 16 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 810 is also connected to the bus 804.
  • An input unit 811, an output unit 812, a storage unit 813, a communication unit 814, and a drive 815 are connected to the input / output interface 810.
  • the input unit 811 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 812 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 813 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 814 includes a network interface, for example.
  • the drive 815 drives a removable medium 821 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 801 loads the program stored in the storage unit 813 into the RAM 803 via the input / output interface 810 and the bus 804 and executes the program, for example. Is performed.
  • the RAM 803 also appropriately stores data necessary for the CPU 801 to execute various processes.
  • the program executed by the computer (CPU 801) can be recorded and applied to, for example, a removable medium 821 as a package medium or the like.
  • the program can be installed in the storage unit 813 via the input / output interface 810 by attaching the removable medium 821 to the drive 815.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting. In that case, the program can be received by the communication unit 814 and installed in the storage unit 813.
  • a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 814 and installed in the storage unit 813.
  • this program can be installed in advance in the ROM 802 or the storage unit 813.
  • the image encoding device 10 and the image decoding device 60 are a transmitter or a receiver in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication,
  • the present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory, or a playback device that reproduces an image from these storage media.
  • FIG. 17 shows an example of a schematic configuration of a television device to which the above-described embodiment is applied.
  • the television device 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface (I / F) 909, and a control unit 910.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission unit in the television device 900 that receives an encoded stream in which an image is encoded.
  • the demultiplexer 903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs each separated stream to the decoder 904. Further, the demultiplexer 903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. Note that the demultiplexer 903 may perform descrambling when the encoded bit stream is scrambled.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. In addition, the decoder 904 outputs audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display the video.
  • the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via a network.
  • the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting.
  • the video signal processing unit 905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.
  • GUI Graphic User Interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays an image on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OELD (Organic Electro Electronum Display) (organic EL display)). Or an image is displayed.
  • a display device for example, a liquid crystal display, a plasma display, or an OELD (Organic Electro Electronum Display) (organic EL display)). Or an image is displayed.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 904, and outputs audio from the speaker 908.
  • the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television apparatus 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also has a role as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the control unit 910 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU when the television apparatus 900 is activated.
  • the CPU controls the operation of the television device 900 according to an operation signal input from the user interface unit 911 by executing the program.
  • the user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes, for example, buttons and switches for the user to operate the television device 900, a remote control signal receiving unit, and the like.
  • the user interface unit 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910 to each other.
  • the decoder 904 may have the function of the image decoding apparatus 60 described above. That is, the decoder 904 may decode the encoded data by the method described in each of the above embodiments. In this way, the television device 900 can perform decoding according to bandwidth control by scaling list processing.
  • the video signal processing unit 905 encodes the image data supplied from the decoder 904, for example, and the obtained encoded data is transmitted to the television via the external interface 909. It may be possible to output to the outside of the John apparatus 900.
  • the video signal processing unit 905 may have the function of the image encoding device 10 described above. That is, the video signal processing unit 905 may encode the image data supplied from the decoder 904 by the method described in the above embodiments. In this way, the television apparatus 900 can perform band control by scaling list processing.
  • FIG. 18 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • a cellular phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, an operation A portion 932 and a bus 933.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931 to each other.
  • the mobile phone 920 has various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode, and is used for sending and receiving voice signals, sending and receiving e-mail or image data, taking images, and recording data. Perform the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the compressed audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates the audio data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting the e-mail in response to an operation by the user via the operation unit 932.
  • the control unit 931 causes the display unit 930 to display characters.
  • the control unit 931 generates e-mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated e-mail data to the communication unit 922.
  • the communication unit 922 encodes and modulates email data and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the email data, and outputs the restored email data to the control unit 931.
  • the control unit 931 displays the content of the electronic mail on the display unit 930, supplies the electronic mail data to the recording / reproducing unit 929, and writes the data in the storage medium.
  • the recording / reproducing unit 929 has an arbitrary readable / writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted type such as a hard disk, magnetic disk, magneto-optical disk, optical disk, USB (Universal Serial Bus) memory, or memory card. It may be a storage medium.
  • the camera unit 926 images a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926, supplies the encoded stream to the recording / reproducing unit 929, and writes the encoded stream in the storage medium.
  • the recording / reproducing unit 929 reads out the encoded stream recorded in the storage medium and outputs the encoded stream to the image processing unit 927.
  • the image processing unit 927 decodes the encoded stream input from the recording / reproducing unit 929, supplies the image data to the display unit 930, and displays the image.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the multiplexed stream is the communication unit 922. Output to.
  • the communication unit 922 encodes and modulates the stream and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • These transmission signal and reception signal may include an encoded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 may have the function of the image encoding device 10 described above. That is, the image processing unit 927 may encode the image data by the method described in each of the above embodiments. In this way, the cellular phone 920 can perform band control by scaling list processing.
  • the image processing unit 927 may have the function of the image decoding device 60 described above. That is, the image processing unit 927 may decode the encoded data by the method described in each of the above embodiments. In this way, the mobile phone 920 can perform decoding according to bandwidth control by scaling list processing.
  • FIG. 19 shows an example of a schematic configuration of a recording / reproducing device to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium.
  • the recording / reproducing device 940 may encode audio data and video data acquired from another device and record them on a recording medium, for example.
  • the recording / reproducing device 940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. 950.
  • Tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, the tuner 941 outputs the encoded bit stream obtained by the demodulation to the selector 946. That is, the tuner 941 has a role as a transmission unit in the recording / reproducing apparatus 940.
  • the external interface 942 is an interface for connecting the recording / reproducing apparatus 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 serves as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio is compressed, various programs, and other data on an internal hard disk. Also, the HDD 944 reads out these data from the hard disk when playing back video and audio.
  • the disk drive 945 performs recording and reading of data to and from the mounted recording medium.
  • the recording medium loaded in the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk. .
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the decoder 947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. The decoder 904 outputs the generated audio data to an external speaker.
  • the OSD 948 reproduces the video data input from the decoder 947 and displays the video. Further, the OSD 948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.
  • a GUI image such as a menu, a button, or a cursor
  • the control unit 949 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 940 is activated, for example.
  • the CPU controls the operation of the recording / reproducing device 940 according to an operation signal input from the user interface 950, for example, by executing the program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 940, a remote control signal receiving unit, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image encoding apparatus 10 according to the above-described embodiment.
  • the decoder 947 has the function of the image decoding device 60 according to the above-described embodiment. Accordingly, when the recording / reproducing apparatus 940 performs encoding or decoding by applying a plurality of (inverse) transformations, band control by scaling list processing becomes possible.
  • FIG. 20 illustrates an example of a schematic configuration of an imaging device to which the above-described embodiment is applied.
  • the imaging device 960 images a subject to generate an image, encodes the image data, and records it on a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970 to each other.
  • the optical block 961 includes a focus lens and a diaphragm mechanism.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD 969 on an image output to the display unit 965.
  • the OSD 969 generates a GUI image such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • the external interface 966 is configured as a USB input / output terminal, for example.
  • the external interface 966 connects the imaging device 960 and a printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Further, a recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • a non-portable storage unit such as an internal hard disk drive or an SSD (Solid State Drive) may be configured.
  • the control unit 970 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the imaging device 960 is activated, for example.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from the user interface 971, for example, by executing the program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device 10 and the image decoding device 60 according to the above-described embodiment. Thereby, when the imaging device 960 performs encoding or decoding by applying a plurality of (inverse) transformations, band control by scaling list processing becomes possible.
  • the present technology can be applied to any configuration installed in an arbitrary device or a device constituting the system, such as a processor as a system LSI (Large Scale Integration), a plurality of processors, and the like. It is also possible to implement as a module using a plurality of modules, a unit using a plurality of modules, etc., a set in which other functions are further added to the unit, or the like (that is, a partial configuration of the apparatus).
  • FIG. 21 illustrates an example of a schematic configuration of a video set to which the present technology is applied.
  • the video set 1300 shown in FIG. 21 has such a multi-functional configuration, and a device having a function relating to image encoding and decoding (either or both of them) can be used for the function. It is a combination of devices having other related functions.
  • the video set 1300 includes a module group such as a video module 1311, an external memory 1312, a power management module 1313, and a front end module 1314, and an associated module 1321, a camera 1322, a sensor 1323, and the like. And a device having a function.
  • a module is a component that has several functions that are related to each other and that has a coherent function.
  • the specific physical configuration is arbitrary. For example, a plurality of processors each having a function, electronic circuit elements such as resistors and capacitors, and other devices arranged on a wiring board or the like can be considered. . It is also possible to combine the module with another module, a processor, or the like to form a new module.
  • the video module 1311 is a combination of configurations having functions related to image processing, and includes an application processor, a video processor, a broadband modem 1333, and an RF module 1334.
  • a processor is a configuration in which a configuration having a predetermined function is integrated on a semiconductor chip by a SoC (System On a Chip), and for example, there is a system LSI (Large Scale Integration).
  • the configuration having the predetermined function may be a logic circuit (hardware configuration), a CPU, a ROM, a RAM, and the like, and a program (software configuration) executed using them. , Or a combination of both.
  • a processor has a logic circuit and a CPU, ROM, RAM, etc., a part of the function is realized by a logic circuit (hardware configuration), and other functions are executed by the CPU (software configuration) It may be realized by.
  • the 21 is a processor that executes an application related to image processing.
  • the application executed in the application processor 1331 not only performs arithmetic processing to realize a predetermined function, but also can control the internal and external configurations of the video module 1311 such as the video processor 1332 as necessary. .
  • the video processor 1332 is a processor having a function related to image encoding / decoding (one or both of them).
  • the broadband modem 1333 converts the data (digital signal) transmitted by wired or wireless (or both) broadband communication via a broadband line such as the Internet or a public telephone line network into an analog signal by digitally modulating the data.
  • the analog signal received by the broadband communication is demodulated and converted into data (digital signal).
  • the broadband modem 1333 processes arbitrary information such as image data processed by the video processor 1332, a stream obtained by encoding the image data, an application program, setting data, and the like.
  • the RF module 1334 is a module that performs frequency conversion, modulation / demodulation, amplification, filter processing, and the like on an RF (Radio Frequency) signal transmitted / received via an antenna. For example, the RF module 1334 generates an RF signal by performing frequency conversion or the like on the baseband signal generated by the broadband modem 1333. Further, for example, the RF module 1334 generates a baseband signal by performing frequency conversion or the like on the RF signal received via the front end module 1314.
  • RF Radio Frequency
  • the application processor 1331 and the video processor 1332 may be integrated and configured as one processor.
  • the external memory 1312 is a module that is provided outside the video module 1311 and has a storage device used by the video module 1311.
  • the storage device of the external memory 1312 may be realized by any physical configuration, but is generally used for storing a large amount of data such as image data in units of frames. For example, it is desirable to realize it with a relatively inexpensive and large-capacity semiconductor memory such as DRAM (Dynamic Random Access Memory).
  • the power management module 1313 manages and controls power supply to the video module 1311 (each component in the video module 1311).
  • the front-end module 1314 is a module that provides the RF module 1334 with a front-end function (circuit on the transmitting / receiving end on the antenna side). As shown in FIG. 21, the front end module 1314 includes, for example, an antenna unit 1351, a filter 1352, and an amplification unit 1353.
  • the antenna unit 1351 has an antenna for transmitting and receiving a radio signal and its peripheral configuration.
  • the antenna unit 1351 transmits the signal supplied from the amplification unit 1353 as a radio signal, and supplies the received radio signal to the filter 1352 as an electric signal (RF signal).
  • the filter 1352 performs a filtering process on the RF signal received via the antenna unit 1351 and supplies the processed RF signal to the RF module 1334.
  • the amplifying unit 1353 amplifies the RF signal supplied from the RF module 1334 and supplies the amplified RF signal to the antenna unit 1351.
  • Connectivity 1321 is a module having a function related to connection with the outside.
  • the physical configuration of the connectivity 1321 is arbitrary.
  • the connectivity 1321 has a configuration having a communication function other than the communication standard supported by the broadband modem 1333, an external input / output terminal, and the like.
  • the connectivity 1321 is compliant with wireless communication standards such as Bluetooth (registered trademark), IEEE 802.11 (for example, Wi-Fi (Wireless Fidelity, registered trademark)), NFC (Near Field Communication), IrDA (InfraRed Data Association), etc. You may make it have a module which has a function, an antenna etc. which transmit / receive the signal based on the standard.
  • the connectivity 1321 is a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia).
  • a module having a communication function conforming to a wired communication standard such as Interface) or a terminal conforming to the standard may be included.
  • the connectivity 1321 may have other data (signal) transmission functions such as analog input / output terminals.
  • the connectivity 1321 may include a data (signal) transmission destination device.
  • the drive 1321 reads and writes data to and from a recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory (not only a removable medium drive, but also a hard disk, SSD (Solid State Drive) NAS (including Network Attached Storage) and the like.
  • the connectivity 1321 may include an image or audio output device (a monitor, a speaker, or the like).
  • the camera 1322 is a module having a function of capturing a subject and obtaining image data of the subject.
  • Image data obtained by imaging by the camera 1322 is supplied to, for example, a video processor 1332 and encoded.
  • the sensor 1323 includes, for example, a voice sensor, an ultrasonic sensor, an optical sensor, an illuminance sensor, an infrared sensor, an image sensor, a rotation sensor, an angle sensor, an angular velocity sensor, a velocity sensor, an acceleration sensor, an inclination sensor, a magnetic identification sensor, an impact sensor, It is a module having an arbitrary sensor function such as a temperature sensor.
  • the data detected by the sensor 1323 is supplied to the application processor 1331 and used by an application or the like.
  • the configuration described as a module in the above may be realized as a processor, or conversely, the configuration described as a processor may be realized as a module.
  • the present technology can be applied to the video processor 1332 as described later. Therefore, the video set 1300 can be implemented as a set to which the present technology is applied.
  • FIG. 22 illustrates an example of a schematic configuration of a video processor 1332 (FIG. 21) to which the present technology is applied.
  • the video processor 1332 receives the video signal and the audio signal, encodes them in a predetermined method, decodes the encoded video data and audio data, A function of reproducing and outputting an audio signal.
  • the video processor 1332 includes a video input processing unit 1401, a first image scaling unit 1402, a second image scaling unit 1403, a video output processing unit 1404, a frame memory 1405, and a memory control unit 1406.
  • the video processor 1332 includes an encoding / decoding engine 1407, video ES (ElementaryElementStream) buffers 1408A and 1408B, and audio ES buffers 1409A and 1409B.
  • the video processor 1332 includes an audio encoder 1410, an audio decoder 1411, a multiplexing unit (MUX (Multiplexer)) 1412, a demultiplexing unit (DMUX (Demultiplexer)) 1413, and a stream buffer 1414.
  • MUX Multiplexing unit
  • DMUX demultiplexing unit
  • the video input processing unit 1401 obtains a video signal input from, for example, the connectivity 1321 (FIG. 21) and converts it into digital image data.
  • the first image enlargement / reduction unit 1402 performs format conversion, image enlargement / reduction processing, and the like on the image data.
  • the second image enlargement / reduction unit 1403 performs image enlargement / reduction processing on the image data in accordance with the format of the output destination via the video output processing unit 1404, or is the same as the first image enlargement / reduction unit 1402. Format conversion and image enlargement / reduction processing.
  • the video output processing unit 1404 performs format conversion, conversion to an analog signal, and the like on the image data and outputs the reproduced video signal to, for example, the connectivity 1321 or the like.
  • the frame memory 1405 is a memory for image data shared by the video input processing unit 1401, the first image scaling unit 1402, the second image scaling unit 1403, the video output processing unit 1404, and the encoding / decoding engine 1407. .
  • the frame memory 1405 is realized as a semiconductor memory such as a DRAM, for example.
  • the memory control unit 1406 receives the synchronization signal from the encoding / decoding engine 1407, and controls the write / read access to the frame memory 1405 according to the access schedule to the frame memory 1405 written in the access management table 1406A.
  • the access management table 1406A is updated by the memory control unit 1406 in accordance with processing executed by the encoding / decoding engine 1407, the first image enlargement / reduction unit 1402, the second image enlargement / reduction unit 1403, and the like.
  • the encoding / decoding engine 1407 performs encoding processing of image data and decoding processing of a video stream that is data obtained by encoding the image data. For example, the encoding / decoding engine 1407 encodes the image data read from the frame memory 1405 and sequentially writes the data as a video stream in the video ES buffer 1408A. Further, for example, the video stream is sequentially read from the video ES buffer 1408B, decoded, and sequentially written in the frame memory 1405 as image data.
  • the encoding / decoding engine 1407 uses the frame memory 1405 as a work area in the encoding and decoding. Also, the encoding / decoding engine 1407 outputs a synchronization signal to the memory control unit 1406, for example, at a timing at which processing for each macroblock is started.
  • the video ES buffer 1408A buffers the video stream generated by the encoding / decoding engine 1407 and supplies the buffered video stream to the multiplexing unit (MUX) 1412.
  • the video ES buffer 1408B buffers the video stream supplied from the demultiplexer (DMUX) 1413 and supplies the buffered video stream to the encoding / decoding engine 1407.
  • the audio ES buffer 1409A buffers the audio stream generated by the audio encoder 1410 and supplies the buffered audio stream to the multiplexing unit (MUX) 1412.
  • the audio ES buffer 1409B buffers the audio stream supplied from the demultiplexer (DMUX) 1413 and supplies the buffered audio stream to the audio decoder 1411.
  • the audio encoder 1410 converts, for example, an audio signal input from the connectivity 1321, for example, into a digital signal, for example, an MPEG audio system or an AC3 (AudioCode number 3) Encode by a predetermined method such as a method.
  • the audio encoder 1410 sequentially writes an audio stream, which is data obtained by encoding an audio signal, in the audio ES buffer 1409A.
  • the audio decoder 1411 decodes the audio stream supplied from the audio ES buffer 1409B, performs conversion to an analog signal, for example, and supplies the reproduced audio signal to, for example, the connectivity 1321 or the like.
  • the multiplexing unit (MUX) 1412 multiplexes the video stream and the audio stream.
  • the multiplexing method (that is, the format of the bit stream generated by multiplexing) is arbitrary.
  • the multiplexing unit (MUX) 1412 can also add predetermined header information or the like to the bit stream. That is, the multiplexing unit (MUX) 1412 can convert the stream format by multiplexing. For example, the multiplexing unit (MUX) 1412 multiplexes the video stream and the audio stream to convert it into a transport stream that is a bit stream in a transfer format. Further, for example, the multiplexing unit (MUX) 1412 multiplexes the video stream and the audio stream, thereby converting the data into file format data (file data) for recording.
  • the demultiplexing unit (DMUX) 1413 demultiplexes the bit stream in which the video stream and the audio stream are multiplexed by a method corresponding to the multiplexing by the multiplexing unit (MUX) 1412. That is, the demultiplexer (DMUX) 1413 extracts the video stream and the audio stream from the bit stream read from the stream buffer 1414 (separates the video stream and the audio stream). That is, the demultiplexer (DMUX) 1413 can convert the stream format by demultiplexing (inverse conversion of the conversion by the multiplexer (MUX) 1412).
  • the demultiplexing unit (DMUX) 1413 obtains a transport stream supplied from, for example, the connectivity 1321 or the broadband modem 1333 via the stream buffer 1414 and demultiplexes the video stream and the audio stream. And can be converted to Further, for example, the demultiplexer (DMUX) 1413 obtains the file data read from various recording media by the connectivity 1321, for example, via the stream buffer 1414, and demultiplexes the video stream and the audio. Can be converted to a stream.
  • Stream buffer 1414 buffers the bit stream.
  • the stream buffer 1414 buffers the transport stream supplied from the multiplexing unit (MUX) 1412 and, for example, in the connectivity 1321 or the broadband modem 1333 at a predetermined timing or based on an external request or the like. Supply.
  • MUX multiplexing unit
  • the stream buffer 1414 buffers the file data supplied from the multiplexing unit (MUX) 1412 and supplies it to the connectivity 1321 at a predetermined timing or based on an external request, for example. It is recorded on various recording media.
  • MUX multiplexing unit
  • the stream buffer 1414 buffers a transport stream acquired through, for example, the connectivity 1321 or the broadband modem 1333, and performs a demultiplexing unit (DMUX) at a predetermined timing or based on a request from the outside. 1413.
  • DMUX demultiplexing unit
  • the stream buffer 1414 buffers file data read from various recording media in, for example, the connectivity 1321, and the demultiplexer (DMUX) 1413 at a predetermined timing or based on an external request or the like. To supply.
  • DMUX demultiplexer
  • a video signal input to the video processor 1332 from the connectivity 1321 or the like is converted into digital image data of a predetermined format such as 4: 2: 2Y / Cb / Cr format by the video input processing unit 1401 and stored in the frame memory 1405.
  • This digital image data is read by the first image enlargement / reduction unit 1402 or the second image enlargement / reduction unit 1403, and format conversion to a predetermined method such as 4: 2: 0Y / Cb / Cr method and enlargement / reduction processing are performed. Is written again in the frame memory 1405.
  • This image data is encoded by the encoding / decoding engine 1407 and written as a video stream in the video ES buffer 1408A.
  • an audio signal input from the connectivity 1321 or the like to the video processor 1332 is encoded by the audio encoder 1410 and written as an audio stream in the audio ES buffer 1409A.
  • the video stream of the video ES buffer 1408A and the audio stream of the audio ES buffer 1409A are read and multiplexed by the multiplexing unit (MUX) 1412 and converted into a transport stream, file data, or the like.
  • the transport stream generated by the multiplexing unit (MUX) 1412 is buffered in the stream buffer 1414 and then output to the external network via, for example, the connectivity 1321 or the broadband modem 1333.
  • the file data generated by the multiplexing unit (MUX) 1412 is buffered in the stream buffer 1414, and then output to, for example, the connectivity 1321 and recorded on various recording media.
  • a transport stream input from an external network to the video processor 1332 via the connectivity 1321 or the broadband modem 1333 is buffered in the stream buffer 1414 and then demultiplexed by the demultiplexer (DMUX) 1413.
  • DMUX demultiplexer
  • file data read from various recording media by the connectivity 1321 and input to the video processor 1332 is buffered by the stream buffer 1414 and then demultiplexed by the demultiplexer (DMUX) 1413. That is, the transport stream or file data input to the video processor 1332 is separated into a video stream and an audio stream by the demultiplexer (DMUX) 1413.
  • the audio stream is supplied to the audio decoder 1411 via the audio ES buffer 1409B and decoded to reproduce the audio signal.
  • the video stream is written to the video ES buffer 1408B, and then sequentially read and decoded by the encoding / decoding engine 1407, and written to the frame memory 1405.
  • the decoded image data is enlarged / reduced by the second image enlargement / reduction unit 1403 and written to the frame memory 1405.
  • the decoded image data is read out to the video output processing unit 1404, format-converted to a predetermined system such as 4: 2: 2Y / Cb / Cr system, and further converted into an analog signal to be converted into a video signal. Is played out.
  • the present technology when the present technology is applied to the video processor 1332 configured as described above, the present technology according to each embodiment described above may be applied to the encoding / decoding engine 1407. That is, for example, the encoding / decoding engine 1407 may have the function of the image encoding device 10 and / or the function of the image decoding device 60 described above. In this way, the video processor 1332 can obtain the same effects as those of the embodiments described above with reference to FIGS.
  • the present technology (that is, the function of the image encoding device 10 and / or the function of the image decoding device 60) may be realized by hardware such as a logic circuit, It may be realized by software such as an embedded program, or may be realized by both of them.
  • FIG. 23 illustrates another example of a schematic configuration of a video processor 1332 to which the present technology is applied.
  • the video processor 1332 has a function of encoding / decoding video data by a predetermined method.
  • the video processor 1332 includes a control unit 1511, a display interface 1512, a display engine 1513, an image processing engine 1514, and an internal memory 1515.
  • the video processor 1332 includes a codec engine 1516, a memory interface 1517, a multiplexing / demultiplexing unit (MUX DMUX) 1518, a network interface 1519, and a video interface 1520.
  • MUX DMUX multiplexing / demultiplexing unit
  • the control unit 1511 controls the operation of each processing unit in the video processor 1332 such as the display interface 1512, the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the control unit 1511 includes, for example, a main CPU 1531, a sub CPU 1532, and a system controller 1533.
  • the main CPU 1531 executes a program and the like for controlling the operation of each processing unit in the video processor 1332.
  • the main CPU 1531 generates a control signal according to the program and supplies it to each processing unit (that is, controls the operation of each processing unit).
  • the sub CPU 1532 plays an auxiliary role of the main CPU 1531.
  • the sub CPU 1532 executes a child process such as a program executed by the main CPU 1531, a subroutine, or the like.
  • the system controller 1533 controls operations of the main CPU 1531 and the sub CPU 1532 such as designating a program to be executed by the main CPU 1531 and the sub CPU 1532.
  • the display interface 1512 outputs the image data to, for example, the connectivity 1321 under the control of the control unit 1511.
  • the display interface 1512 converts image data of digital data into an analog signal, and outputs it to a monitor device or the like of the connectivity 1321 as a reproduced video signal or as image data of the digital data.
  • the display engine 1513 Under the control of the control unit 1511, the display engine 1513 performs various conversion processes such as format conversion, size conversion, color gamut conversion, and the like so as to match the image data with hardware specifications such as a monitor device that displays the image. I do.
  • the image processing engine 1514 performs predetermined image processing such as filter processing for improving image quality on the image data under the control of the control unit 1511.
  • the internal memory 1515 is a memory provided in the video processor 1332 that is shared by the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the internal memory 1515 is used, for example, for data exchange performed between the display engine 1513, the image processing engine 1514, and the codec engine 1516.
  • the internal memory 1515 stores data supplied from the display engine 1513, the image processing engine 1514, or the codec engine 1516, and stores the data as needed (eg, upon request). This is supplied to the image processing engine 1514 or the codec engine 1516.
  • the internal memory 1515 may be realized by any storage device, but is generally used for storing a small amount of data such as image data or parameters in units of blocks. It is desirable to realize a semiconductor memory having a relatively small capacity but a high response speed (for example, as compared with the external memory 1312) such as “Static Random Access Memory”.
  • the codec engine 1516 performs processing related to encoding and decoding of image data.
  • the encoding / decoding scheme supported by the codec engine 1516 is arbitrary, and the number thereof may be one or plural.
  • the codec engine 1516 may be provided with codec functions of a plurality of encoding / decoding schemes, and may be configured to perform encoding of image data or decoding of encoded data using one selected from them.
  • the codec engine 1516 includes, for example, MPEG-2 video 1541, AVC / H.2641542, HEVC / H.2651543, HEVC / H.265 (Scalable) 1544, as function blocks for processing related to the codec.
  • HEVC / H.265 (Multi-view) 1545 and MPEG-DASH 1551 are included.
  • MPEG-2 Video 1541 is a functional block that encodes and decodes image data in the MPEG-2 format.
  • AVC / H.2641542 is a functional block that encodes and decodes image data using the AVC method.
  • HEVC / H.2651543 is a functional block that encodes and decodes image data using the HEVC method.
  • HEVC / H.265 (Scalable) 1544 is a functional block that performs scalable encoding and scalable decoding of image data using the HEVC method.
  • HEVC / H.265 (Multi-view) 1545 is a functional block that multi-view encodes or multi-view decodes image data using the HEVC method.
  • MPEG-DASH 1551 is an MPEG-DASH (MPEG-Dynamic Adaptive Streaming) over HTTP) is a functional block for sending and receiving.
  • MPEG-DASH is a technology for streaming video using HTTP (HyperText Transfer Protocol), and selects and transmits appropriate data from multiple encoded data with different resolutions prepared in segments. This is one of the features.
  • MPEG-DASH 1551 generates a stream conforming to the standard, controls transmission of the stream, and the like.
  • MPEG-2 Video 1541 to HEVC / H.265 (Multi-view) 1545 described above are used. Is used.
  • the memory interface 1517 is an interface for the external memory 1312. Data supplied from the image processing engine 1514 or the codec engine 1516 is supplied to the external memory 1312 via the memory interface 1517. The data read from the external memory 1312 is supplied to the video processor 1332 (the image processing engine 1514 or the codec engine 1516) via the memory interface 1517.
  • a multiplexing / demultiplexing unit (MUX DMUX) 1518 performs multiplexing and demultiplexing of various data related to images such as a bit stream of encoded data, image data, and a video signal.
  • This multiplexing / demultiplexing method is arbitrary.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 can not only combine a plurality of data into one but also add predetermined header information or the like to the data.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 not only divides one data into a plurality of data but also adds predetermined header information or the like to each divided data. it can.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 can convert the data format by multiplexing / demultiplexing.
  • the multiplexing / demultiplexing unit (MUX DMUX) 1518 multiplexes the bitstream, thereby transporting the transport stream, which is a bit stream in a transfer format, or data in a file format for recording (file data).
  • the transport stream which is a bit stream in a transfer format, or data in a file format for recording (file data).
  • file data file format for recording
  • the network interface 1519 is an interface for a broadband modem 1333, connectivity 1321, etc., for example.
  • the video interface 1520 is an interface for the connectivity 1321, the camera 1322, and the like, for example.
  • the transport stream is supplied to the multiplexing / demultiplexing unit (MUX DMUX) 1518 via the network interface 1519.
  • MUX DMUX multiplexing / demultiplexing unit
  • codec engine 1516 the image data obtained by decoding by the codec engine 1516 is subjected to predetermined image processing by the image processing engine 1514, subjected to predetermined conversion by the display engine 1513, and is connected to, for example, the connectivity 1321 through the display interface 1512. And the image is displayed on the monitor.
  • image data obtained by decoding by the codec engine 1516 is re-encoded by the codec engine 1516, multiplexed by a multiplexing / demultiplexing unit (MUX DMUX) 1518, converted into file data, and video
  • MUX DMUX multiplexing / demultiplexing unit
  • encoded data file data obtained by encoding image data read from a recording medium (not shown) by the connectivity 1321 or the like is transmitted through a video interface 1520 via a multiplexing / demultiplexing unit (MUX DMUX). ) 1518 to be demultiplexed and decoded by the codec engine 1516.
  • Image data obtained by decoding by the codec engine 1516 is subjected to predetermined image processing by the image processing engine 1514, subjected to predetermined conversion by the display engine 1513, and supplied to, for example, the connectivity 1321 through the display interface 1512. The image is displayed on the monitor.
  • image data obtained by decoding by the codec engine 1516 is re-encoded by the codec engine 1516, multiplexed by the multiplexing / demultiplexing unit (MUX DMUX) 1518, and converted into a transport stream,
  • the data is supplied to, for example, the connectivity 1321 and the broadband modem 1333 via the network interface 1519 and transmitted to another device (not shown).
  • image data and other data are exchanged between the processing units in the video processor 1332 using, for example, the internal memory 1515 or the external memory 1312.
  • the power management module 1313 controls power supply to the control unit 1511, for example.
  • the present technology when the present technology is applied to the video processor 1332 configured as described above, the present technology according to each embodiment described above may be applied to the codec engine 1516. That is, for example, the codec engine 1516 may have the function of the image encoding device 10 and / or the function of the image decoding device 60 described above. In this way, the video processor 1332 can obtain the same effects as those of the embodiments described above with reference to FIGS.
  • the present technology (that is, the function of the image encoding device 10) may be realized by hardware such as a logic circuit, or may be realized by software such as an embedded program. Alternatively, it may be realized by both of them.
  • the configuration of the video processor 1332 is arbitrary and may be other than the two examples described above.
  • the video processor 1332 may be configured as one semiconductor chip, but may be configured as a plurality of semiconductor chips. For example, a three-dimensional stacked LSI in which a plurality of semiconductors are stacked may be used. Further, it may be realized by a plurality of LSIs.
  • Video set 1300 can be incorporated into various devices that process image data.
  • the video set 1300 can be incorporated in the television device 900 (FIG. 17), the mobile phone 920 (FIG. 18), the recording / reproducing device 940 (FIG. 19), the imaging device 960 (FIG. 20), or the like.
  • the apparatus can obtain the same effects as those of the embodiments described above with reference to FIGS.
  • the video processor 1332 can implement as a structure to which this technique is applied.
  • the video processor 1332 can be implemented as a video processor to which the present technology is applied.
  • the processor or the video module 1311 indicated by the dotted line 1341 can be implemented as a processor or a module to which the present technology is applied.
  • the video module 1311, the external memory 1312, the power management module 1313, and the front end module 1314 can be combined and implemented as a video unit 1361 to which the present technology is applied. Regardless of the configuration, the same effects as those of the embodiments described above with reference to FIGS. 1 to 15 can be obtained.
  • any configuration including the video processor 1332 can be incorporated into various devices that process image data, as in the case of the video set 1300.
  • a video processor 1332 a processor indicated by a dotted line 1341, a video module 1311, or a video unit 1361, a television device 900 (FIG. 17), a mobile phone 920 (FIG. 18), a recording / playback device 940 (FIG. 19), The imaging device 960 (FIG. 20) can be incorporated.
  • the apparatus obtains the same effects as those of the embodiments described above with reference to FIGS. 1 to 15 as in the case of the video set 1300. be able to.
  • FIG. 24 illustrates an example of a schematic configuration of a network system to which the present technology is applied.
  • a network system 1600 shown in FIG. 24 is a system in which devices exchange information about images (moving images) via a network.
  • the cloud service 1601 of the network system 1600 is connected to terminals such as a computer 1611, an AV (Audio Visual) device 1612, a portable information processing terminal 1613, and an IoT (Internet of Things) device 1614 that are communicably connected to the network system 1600.
  • This is a system for providing services related to images (moving images).
  • the cloud service 1601 provides a terminal with a content supply service for images (moving images) such as so-called moving image distribution (on-demand or live distribution).
  • the cloud service 1601 provides a backup service that receives and stores image (moving image) content from a terminal.
  • the cloud service 1601 provides a service that mediates transfer of content of images (moving images) between terminals.
  • the physical configuration of the cloud service 1601 is arbitrary.
  • the cloud service 1601 includes various servers such as a server that stores and manages moving images, a server that distributes moving images to terminals, a server that acquires moving images from terminals, a user (terminal) and a server that manages charging, Any network such as the Internet or a LAN may be provided.
  • the computer 1611 is configured by an information processing apparatus such as a personal computer, a server, a workstation, or the like.
  • the AV device 1612 is configured by an image processing device such as a television receiver, a hard disk recorder, a game device, a camera, or the like.
  • the portable information processing terminal 1613 is configured by a portable information processing device such as a notebook personal computer, a tablet terminal, a mobile phone, a smartphone, or the like.
  • the IoT device 1614 is configured by an arbitrary object that performs processing related to an image, such as a machine, a household appliance, furniture, other objects, an IC tag, a card type device, and the like.
  • Each of these terminals has a communication function, can connect to the cloud service 1601 (establish a session), and exchange information with the cloud service 1601 (that is, perform communication). Each terminal can also communicate with other terminals. Communication between terminals may be performed via the cloud service 1601 or may be performed without using the cloud service 1601.
  • the present technology when the present technology is applied to the network system 1600 as described above, when image (moving image) data is exchanged between terminals or between the terminal and the cloud service 1601, the image data is used in each embodiment.
  • encoding / decoding may be performed. That is, the terminals (computer 1611 to IoT device 1614) and cloud service 1601 may have the functions of the image encoding device 10 and the image decoding device 60 described above, respectively. In this way, when encoding or decoding is performed by applying a plurality of (inverse) transforms, band control by scaling list processing becomes possible.
  • band control using a scaling list is possible even when a plurality of conversions are applied.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the encoding side to the decoding side.
  • control information for controlling whether to apply (or prohibit) application of the present technology described above may be transmitted.
  • control information designating an upper limit or a lower limit of the block size permitted (or prohibited) to apply the present technology described above, or both may be transmitted.
  • the present technology can be applied to arbitrary image encoding / decoding that performs primary conversion, secondary conversion, and encoding (decoding, inverse secondary conversion, and inverse primary conversion). That is, specifications such as transformation (inverse transformation), quantization (inverse quantization), encoding (decoding), and prediction are arbitrary and are not limited to the above-described example. For example, in conversion (inverse conversion), (inverse) conversion other than (inverse) primary conversion and (inverse) secondary conversion (that is, three or more (inverse) conversion) may be performed.
  • the encoding (decoding) may be a reversible method or an irreversible method. Further, quantization (inverse quantization), prediction, and the like may be omitted. Further, processing not described above such as filter processing may be performed.
  • An image processing apparatus comprising: a processing control unit that controls scaling list processing based on conversion information related to conversion applied to a processing target block.
  • a processing control unit controls scaling list processing based on conversion information related to conversion applied to a processing target block.
  • the processing control unit further controls an inverse transformation process related to an inverse transformation of the transformation applied to the processing target block based on the transformation information.
  • the processing control unit controls input to the inverse conversion process based on the conversion information.
  • the process control unit determines whether to perform an inverse transform process related to an inverse transform of another transform different from the transform for the prediction error data that is a difference between the image data and the predicted image data based on the transform information
  • the image processing apparatus according to any one of (1) to (3), wherein: (5) The image processing apparatus according to (4), wherein the processing control unit controls input to the scaling list processing according to the determination. (6) When it is determined that the inverse transformation process is performed, the processing control unit controls input to the scaling list process so that coefficient data after the inverse transformation process becomes input data to the scaling list process.
  • the image processing apparatus according to (5).
  • the process control unit controls input to the scaling list process so that coefficient data of inverse quantization becomes input data to the scaling list process when it is determined not to perform the inverse transform process.
  • the image processing apparatus according to (5) or (6).
  • the process control unit determines to perform the inverse transform process, specifies a scaling list used for the scaling list process by an inner product operation of a predetermined scaling list and the other transform. ).
  • the image processing apparatus wherein the conversion information includes information indicating whether a predetermined conversion is applied to the processing target block.
  • the conversion information includes information indicating a number of conversions applied to the processing target block.
  • An image processing method comprising: a processor controlling scaling list processing based on conversion information related to conversion applied to a processing target block to be processed.
  • On the computer A program for realizing a function for controlling scaling list processing based on conversion information regarding conversion applied to a processing target block.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

画像符号化において、係数エネルギーの集中度を高める（低域に変換係数を集中させる）ために、プライマリ変換後の変換係数に対し、プライマリ変換とは異なるセカンダリ変換を適用することが検討されている。複数の変換が適用された後の変換係数は、元の画像特性に対する周波数領域とは異なる領域に変換され得るため、周波数領域用のスケーリングリスト（量子化行列） を用いた帯域制御に影響を与える。したがって、複数の変換が適用される場合においても、スケーリングリストを用いた帯域制御を可能とする仕組みを提供することが課題となっている。　本発明では、上記課題を解決するため、処理対象ブロックに適用された変換に関する変換情報（所定の変換が適用されたか否かを示す情報、変換の数を示す情報など）に基づいて、スケーリングリスト処理を制御する処理制御部を備える、画像処理装置、画像処理方法、及びプログラムを提供する。

Description

画像処理装置、画像処理方法、及びプログラム
　本開示は、画像処理装置、画像処理方法、及びプログラムに関する。
　画像符号化において、係数エネルギーの集中度を高める（低域に変換係数を集中させる）ために、プライマリ変換後の変換係数に対し、プライマリ変換とは異なるセカンダリ変換を適用することが開示されている（例えば、非特許文献１参照）。
Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer Ohm, JillBoyce, "Algorithm Description of Joint Exploration Test Model 3",JVET-C1001_v3, Joint Video Exploration Team (JVET) of ITU－T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 3rd Meeting:Geneva, CH,26 May － 1 June 2016
　しかし、非特許文献１のように、複数の変換が適用された後の変換係数は、元の画像特性に対する周波数領域とは異なる領域に変換され得るため、周波数領域用のスケーリングリスト（量子化行列）を用いた帯域制御に影響を与える。
　したがって、複数の変換が適用される場合においても、スケーリングリストを用いた帯域制御を可能とする仕組みが提供されることが望ましい。
　本開示によれば、処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する処理制御部、を備える、画像処理装置が提供される。
　また、本開示によれば、プロセッサが、処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御すること、を含む、画像処理方法が提供される。
　また、本開示によれば、コンピュータに、処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する機能を実現させるための、プログラムが提供される。
　以上説明したように本開示によれば、複数の変換が適用される場合においても、スケーリングリストを用いた帯域制御が可能となる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
スケーリングリスト処理に係る既存の処理の流れを概略的に示す説明図である。 Y=Clip3(coeffMin,coeffMax,X)のグラフである。 本開示の第一の実施形態に係る処理の流れを概略的に示す説明図である。 同実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。 同実施形態に係る処理部１４の詳細な構成の一例を示すブロック図である。 変換の数が１の場合の既存の手法に従った符号化時の処理の流れの一例を示すフローチャート図である。 同実施形態に係る新たな手法に従った符号化時の処理の流れの一例を示すフローチャートである。 同実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。 同実施形態に係る逆処理部６３の詳細な構成の一例を示すブロック図である。 変換の数が１の場合の既存の手法に従った復号時の処理の流れの一例を示すフローチャート図である。 同実施形態に係る新たな手法に従った復号時の処理の流れの一例を示すフローチャートである。 本開示の第二の実施形態に係る処理部１４－２の詳細な構成の一例を示すブロック図である。 同実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。 同実施形態に係る逆処理部６３－２の詳細な構成の一例を示すブロック図である。 同実施形態に係る復号化時の処理の流れの一例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　　１．第一の実施形態
　　２．第二の実施形態
　　３．ハードウェア構成例
　　４．応用例
　　５．まとめ
　＜１．第一の実施形態＞
　　［１－１．概要］
　例えば、非特許文献１には、係数エネルギーの集中度を高める（低域に変換係数を集中させる）ために、周波数領域に変換するプライマリ変換を適用した後の変換係数に対し、セカンダリ変換を適用することが開示されている。しかし、複数の変換が適用された後の変換係数は、元の画像特性に対する周波数領域とは異なる領域に変換され得るため、周波数領域用のスケーリングリストを用いた帯域制御（スケーリングリスト処理）に影響を与える。
　図１は、プライマリ変換後の変換係数に対し、セカンダリ変換を適用する場合のスケーリングリスト処理に係る既存の処理の流れを概略的に示す説明図である。
　図１に示すように、プライマリ変換（Ｓ１１）が適用された後の変換係数に対し、セカンダリ変換（Ｓ１２）が適用される。続いて、セカンダリ変換後の変換係数に対し、量子化処理とスケーリングリスト処理（Ｓ１３）が行われる。以上が符号化時の処理である。
　続いて、復号時には、逆量子化処理とスケーリングリスト処理（Ｓ１４）が行われ、続いて逆セカンダリ変換（Ｓ１５）が行われ、さらに、逆プライマリ変換（Ｓ１６）が適用される。
　上述したように、非特許文献１に記載の方法では、（逆）量子化処理とスケーリングリスト処理が同時に、または連続して行われる。例えば、ＨＥＶＣ（High Efficiency Video Coding）では、逆量子化処理とスケーリングリスト処理が同時に行われる。以下、ＨＥＶＣにおける復号時のスケーリングリスト処理について説明する。
　ＨＥＶＣでは、処理ブロック中の位置（ｘ，ｙ）における、逆量子化後の変換係数値ｄ[x][y]は、スケーリングリストにおける位置（ｘ，ｙ）に対応する要素の値であるスケーリングファクタｍ[x][y]を用いて、次式（１）のように算出されている。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、TransCoeffLevel[xTbY][yTbY][cIdx][x][y]は、処理ブロック中の位置（ｘ，ｙ）における量子化レベル値（量子化データ）を表している。また、式（１）において、levelScale[qP%6]<<(qP/6)、及び(1<<(bdShift-1)))>>bdShift)は、量子化パラメータqPを用いた量子化処理に係る値である。また、Clip3(coeffMin,coeffMax,X)は、数値Xを係数の最小値coeffMin以上、係数の最大値coeffMax以下に丸めた値を意味する。
　図２は、Y=Clip3(coeffMin,coeffMax,X)のグラフである。図２に示すように、Clip3(coeffMin,coeffMax,X)の値は、coeffMin以上、かつcoeffMax以下となる。
　式（１）に示すように、ＨＥＶＣでは、逆量子化処理の際に、スケーリングリストに係るスケーリングファクタｍ[x][y]をかけることでスケーリングリスト処理が行われていた。また、同様に、ＨＥＶＣでは、量子化とスケーリングリスト処理が同時に行われていた。
　しかし、例えば非特許文献１に記載のセカンダリ変換である回転行列を適用した後の変換係数は、元の画像特性に対する周波数領域とは異なる領域に変換されてしまう。したがって、周波数領域用のスケーリングリストを用いて、（逆）量子化処理の中でスケーリングリスト処理を行った場合、適切な帯域制御を行うことが困難である。
　そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本実施形態による画像符号化装置、または画像復号装置は、変換情報に基づいて変換処理、またはスケーリングリスト処理を制御することで、スケーリングリスト処理による帯域制御を可能とする。
　図３は、本実施形態に係る処理の流れを概略的に示す説明図である。図３に示すように、本実施形態では、プライマリ変換（Ｓ２１）が適用された後の変換係数に対し、スケーリングリスト処理（Ｓ２２）が行われる。続いて、スケーリングリスト処理後の係数に対して、セカンダリ変換（Ｓ２３）が適用された後に、量子化パラメータｑＰを用いた量子化処理（Ｓ２４）が行われる。以上が符号化時の処理である。
　続いて、復号時には、まず逆量子化処理（Ｓ２５）が行われ、続いて逆セカンダリ変換（Ｓ２６）が適用される。さらに、スケーリングリスト処理（Ｓ２７）が行われた後に、逆プライマリ変換（Ｓ２８）が適用される。
　図３に示すように、本実施形態ではプライマリ変換の直後にスケーリングリスト処理を行うことにより、元の画像特性に対する周波数領域に存在するデータに対してスケーリングリスト処理が行われるため、スケーリングリストによる帯域制御が可能となる。
　なお、本実施形態に係る変換の数は、プライマリ変換とセカンダリ変換の２つに限定されず、より多数（３以上）であってもよい。例えば、図１に示した符号化時、及び復号時の処理を、より多数の変換処理に一般化すると、それぞれ以下の式（２）、（３）のように表すことが可能である。
　Ｃ＝Ｑ（ＳＬ（Ｆｎ＊．．．Ｆ２＊Ｆ１（Ｒ）））…（２）
　Ｒ＝（Ｆ’１＊Ｆ’２＊．．．Ｆ’ｎ＊ＳＬ’（ＤＱ（Ｃ）））…（３）
　なお、Ｃは量子化データ、Ｑは量子化処理、ＳＬは符号化時のスケーリングリスト処理、Ｆ１はプライマリ変換（ＤＣＴまたはＤＳＴ等）、Ｆ２はセカンダリ変換、Ｆｎはｎ番目の変換、＊は畳み込み演算、Ｒは残差画像を意味する。また、Ｆ’ａはＦａの逆変換を、ＳＬ’は復号時のスケーリングリスト処理を意味する。
　また、図３に示した本実施形態による符号化時、及び復号時の処理を、より多数の変換処理に一般化すると、それぞれ以下の式（４）、（５）のように表すことが可能である。
　Ｃ＝Ｑ＊Ｆｎ＊．．．Ｆ２＊ＳＬ（Ｆ１（Ｒ））…（４）
　Ｒ＝（Ｆ’１＊ＳＬ’（Ｆ’２＊．．．Ｆ’ｎ＊ＤＱ（Ｃ）））…（５）
　本実施形態によれば、変換の数が３以上であっても、上式（４）、（５）のように、プライマリ変換の直後にスケーリングリスト処理を行うことで、スケーリングリストによる帯域制御が可能となる。
　なお、本実施形態において、逆量子化後の変換係数値dnは、次式（６）のように表される。ここで、変換係数値dnは、ｎ番目の逆変換用の変換係数値である。
Figure JPOXMLDOC01-appb-M000002
　上式（６）のように、本実施形態では逆量子処理において、スケーリングファクタｍ[x][y]が用いられず、量子化パラメータｑＰを用いた処理が行われる。
　また、本実施形態において、復号時のスケーリングリスト処理により得られる逆プライマリ変換用の変換係数値d0は、次式（７）のように表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、d1[xTbY][yTbY][cIdx][x][y]は、逆セカンダリ変換後の係数値を意味する。なお、変換の数が１（プライマリ変換のみ）である場合、式（６）、（７）により得られる変換係数値d0[x][y]は、式（１）により得られる変換係数値ｄ[x][y]と基本的に同一の結果が得られる。ただし、量子化レベル値（量子化データ）TransCoeffLevel[xTbY][yTbY][cIdx][x][y]がcoeffMin以上coeffMax以下の範囲に収まらない場合には、両者の結果は異なり得る。
　以上、本実施形態の概要を説明した。続いて、本実施形態に係る構成、及び処理の流れについて説明する。なお、以下では簡単のため、適用される変換の数が最大でも２である例を説明するが、上述したように、本実施形態に係る変換の数は係る例に限定されず、３以上でもよい。
　　［１－２．画像符号化装置の構成］
　　　（１）全体的な構成
　図４は、本実施形態に係る画像処理装置の一態様である画像符号化装置１０の構成の一例を示すブロック図である。図４を参照すると、画像符号化装置１０は、並び替えバッファ１１、制御部１２、減算部１３、処理部１４、可逆符号化部１６、蓄積バッファ１７、逆処理部２１、加算部２３、デブロックフィルタ２４、ＳＡＯフィルタ２５、フレームメモリ２６、スイッチ２７、モード設定部２８、イントラ予測部３０及びインター予測部４０を備える。
　並び替えバッファ１１は、符号化すべき映像を構成する一連の画像の画像データを、符号化処理に係るＧＯＰ（Group　of　Pictures）構造に応じて並び替える。並び替えバッファ１１は、並び替え後の画像データを制御部１２、減算部１３、イントラ予測部３０、及びインター予測部４０へ出力する。
　制御部１２は、各部へ供給される符号化パラメータを、例えば、RDO（Rate-Distortion Optimization）に基づいて決定する。決定された符号化パラメータは、各ブロックへ供給される。
　例えば、符号化パラメータは、処理対象の変換ブロックに適用される変換に係る変換情報を含んでもよい。例えば、変換情報は、処理対象の変換ブロックにセカンダリ変換が適用されるか否かを示す情報（例えば、JVET-B1001、2.5.2 Secondary Transformsを参照）を含んでもよい。また、変換情報は、処理対象の変換ブロックに適用される変換の数を示す情報を含んでもよい。また、変換情報は、処理対象の変換ブロックに適用される変換の種類を示す情報を含んでもよい。
　また、符号化パラメータは、スケーリングリスト処理に用いられるスケーリングリストを示すスケーリングリスト情報（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax）を含んでもよい。また、符号化パラメータは、（逆）量子化に用いられる量子化パラメータ（ｑＰ）を含んでもよい。
　なお、制御部１２が決定する符号化パラメータは任意であり、上述した情報に限定されず多様な情報を含み得る。符号化パラメータは画像にＨＥＶＣのＣＴＵ（Coding　Tree　Unit）、ＣＵ（Coding　Unit）、ＴＵ（Transform　Unit）及びＰＵ（Prediction　Unit）をどのように設定すべきかを示すブロック情報、イントラ予測に関する情報、及びインター予測に関する情報を含み得る。
　減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを処理部１４へ出力する。
　処理部１４は、制御部１２から入力される変換情報、スケーリングリスト情報、量子化パラメータ等に基づいて、直交変換処理、スケーリングリスト処理、及び量子化処理を行う。処理部１４は、量子化後のデータ（以下、量子化データという）を可逆符号化部１６及び逆処理部２１へ出力する。なお、処理部１４のより詳細な構成について、後にさらに説明する。
　可逆符号化部１６は、処理部１４から入力される量子化データを符号化することにより、符号化ストリームを生成する。また、可逆符号化部１６は、制御部１２により決定された符号化パラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
　蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
　逆処理部２１、及び加算部２３は、ローカルデコーダを構成する。ローカルデコーダは、符号化されたデータから原画像を再構築（リコンストラクト）する役割を有する。
　逆処理部２１は、処理部１４により実行された処理の逆処理を行う。例えば、逆処理部２１は、制御部１２から入力される変換情報、スケーリングリスト情報、量子化パラメータ等に基づいて、逆量子化処理、スケーリングリスト処理、及び逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆処理部２１は、復元した予測誤差データを加算部２３へ出力する。なお、逆処理部２１により行われる逆処理（逆量子化処理、スケーリングリスト処理、及び逆直交変換処理）は、後述する画像復号装置において行われる逆処理と同様の処理である。したがって、当該逆処理については、画像復号装置に関する説明において、図９を参照して後述する。
　加算部２３は、逆処理部２１から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部４０から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２６へ出力する。
　デブロックフィルタ２４及びＳＡＯフィルタ２５は、それぞれ、リコンストラクト画像の画質の向上を目的とするインループフィルタである。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ２５へ出力する。ＳＡＯフィルタ２５は、デブロックフィルタ２４から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データをフレームメモリ２６へ出力する。
　フレームメモリ２６は、加算部２３から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ２５から入力されるインループフィルタの適用後の復号画像データを記憶媒体を用いて記憶する。
　スイッチ２７は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、スイッチ２７は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２６から読み出し、読み出した復号画像データを参照画像データとしてインター予測部４０に供給する。
　モード設定部２８は、イントラ予測部３０及びインター予測部４０から入力されるコストの比較に基づいて、ブロックごとに予測符号化モードを設定する。モード設定部２８は、イントラ予測モードを設定したブロックについては、イントラ予測部３０により生成される予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、モード設定部２８は、インター予測モードを設定したブロックについては、インター予測部４０により生成される予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。
　イントラ予測部３０は、原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（Prediction　Unit）の各々についてイントラ予測処理を実行する。例えば、イントラ予測部３０は、探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、イントラ予測部３０は、コストが最小となる予測モードを最適な予測モードとして選択する。また、イントラ予測部３０は、選択した最適な予測モードに従って予測画像データを生成する。そして、イントラ予測部３０は、最適な予測モードを示す予測モード情報を含むイントラ予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
　インター予測部４０は、原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵの各々についてインター予測処理（動き補償）を実行する。インター予測処理（動き検出及び動き補償）を実行する。例えば、インター予測部４０は、ＨＥＶＣにより仕様化されている探索範囲に含まれる予測モード候補の各々について、予測誤差及び発生する符号量に基づくコストを評価する。次に、インター予測部４０は、コストが最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部４０は、選択した最適な予測モードに従って予測画像データを生成する。そして、インター予測部４０は、インター予測に関する情報、対応するコスト、及び予測画像データを、モード設定部２８へ出力する。
　　　（２）処理部
　図５は、図４に示した処理部１４の詳細な構成の一例を示すブロック図である。図５を参照すると、処理部１４は、プライマリ変換部１４１、スケーリングリスト処理部１４２、処理制御部１４３、セカンダリ変換部１４４、及び量子化部１４５を有する。
　プライマリ変換部１４１は、減算部１３から入力される予測誤差データに対して、プライマリ変換処理を実行する。プライマリ変換部１４１によるプライマリ変換は、例えば離散コサイン変換又は離散サイン変換などの直行変換処理であってよい。より具体的には、プライマリ変換部１４１は、減算部１３から入力される予測誤差データを、ＴＵごとに、空間領域の画像信号から周波数領域の変換係数データに変換する。そしてプライマリ変換部１４１は、変換係数データをスケーリングリスト処理部１４２へ出力する。
　スケーリングリスト処理部１４２は、プライマリ変換部１４１から入力された変換係数データに対してスケーリングリスト処理を行う。例えば、スケーリングリスト処理部１４２は制御部１２が決定したスケーリングリスト情報に含まれるスケーリングリストで変換係数データを割る（除算する）ことで、スケーリングリスト処理を行ってもよい。スケーリングリスト処理部１４２は、スケーリングリスト処理後の係数データ（以下、スケーリングリスト係数データという）を、処理制御部１４３へ出力する。
　処理制御部１４３は、制御部１２から入力される、処理対象ブロックの変換に関する変換情報に基づいて、後述するセカンダリ変換部１４４による変換処理、及び量子化部１４５による量子化処理を制御する。例えば、本実施形態に係る処理制御部１４３は、変換情報に基づき、処理対象のブロックに対してセカンダリ変換を行うか否かを判定してもよい。
　なお、処理制御部１４３が上記の判定を行うためには、例えば変換情報に処理対象のブロックに対してセカンダリ変換を行うか否かを示す情報（例えばフラグ）が含まれていてもよいし、処理対象のブロックに対する変換の数や種類を示す情報が含まれていてもよい。
　処理制御部１４３は、処理対象のブロックに対してセカンダリ変換を行うと判定した場合、スケーリングリスト処理部１４２から入力されたスケーリングリスト係数データを、セカンダリ変換部１４４へ出力する。係る場合、後述するように量子化部１４５にはセカンダリ変換部１４４による変換処理後の変換係数データが入力される。
　また、処理制御部１４３は、処理対象のブロックに対してセカンダリ変換を行わないと判定した場合、スケーリングリスト処理部１４２から入力されたスケーリングリスト係数データを、量子化部１４５へ出力する。係る場合、セカンダリ変換部１４４へのデータ入力はスキップされ、セカンダリ変換部１４４による変換処理は行わないため、量子化部１４５にはスケーリングリスト係数データが入力される。
　すなわち、処理制御部１４３は、変換情報に基づいて、セカンダリ変換部１４４による変換処理、及び量子化部１４５による量子化処理への入力を制御し得る。
　セカンダリ変換部１４４は、処理制御部１４３から、スケーリングリスト係数データが入力された場合に、プライマリ変換とは異なる他の変換（セカンダリ変換）に係る変換処理（セカンダリ変換処理）を行う。本実施形態に係るセカンダリ変換処理は特に限定されないが、例えば非特許文献１に記載されるセカンダリ変換処理のような、周波数領域以外の領域へ変換する変換処理であってもよい。また、セカンダリ変換部１４４が行うセカンダリ変換処理は、制御部１２により決定される変換情報に基づいて、予め用意された複数の変換処理の中から特定されてもよい。セカンダリ変換部１４４は、セカンダリ変換処理後の変換係数データを量子化部１４５へ出力する。
　量子化部１４５は、制御部１２により決定される量子化パラメータｑＰに基づく量子化処理を行う。量子化部１４５は、処理制御部１４３の制御に従い、セカンダリ変換部１４４による変換処理後の変換係数データ、またはスケーリングリスト係数データを入力データとして、量子化処理を行う。量子化部１４５は、量子化処理後の量子化データを可逆符号化部１６及び逆処理部２１へ出力する。
　上述した処理部１４の構成によれば、プライマリ変換部１４１による周波数領域への変換処理の直後にスケーリングリスト処理が行われ得る。したがって、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御が可能となる。
　　［１－３．符号化時の処理の流れ］
　　　（１）既存の手法
　図６は、変換の数が１の場合の既存の手法に従った符号化時の処理の流れの一例を示すフローチャート図である。
　図６を参照すると、まず変換処理が行われ（Ｓ３２）、続いて量子化とスケーリングリスト処理が行われる（Ｓ３４）。続いて、符号化処理が行われる（Ｓ３６）。
　　　（２）新たな手法
　図７は、上述した本実施形態に係る新たな手法に従った符号化時の処理の流れの一例を示すフローチャートである。
　図７を参照すると、まずプライマリ変換部１４１は、減算部１３から入力される予測誤差データに対して、プライマリ変換処理を実行する（Ｓ１０２）。続いて、スケーリングリスト処理部１４２がプライマリ変換部１４１から入力された変換係数データに対してスケーリングリスト処理を行う（Ｓ１０４）。続いて、処理制御部１４３が、変換情報に基づいてセカンダリ変換を行うか否かを判定する（Ｓ１０６）。
　セカンダリ変換を行うと判定された場合（Ｓ１０６においてＹＥＳ）、セカンダリ変換部１４４へスケーリングリスト係数データが出力され、セカンダリ変換部１４４がセカンダリ変換を行う（Ｓ１０８）。続いて、量子化部１４５は、セカンダリ変換部１４４による変換処理後の変換係数データに対して量子化処理を行う（Ｓ１１０）。
　一方、セカンダリ変換を行わないと判定された場合（Ｓ１０６においてＮＯ）、量子化部１４５へスケーリングリスト係数データが出力され、量子化部１４５は、スケーリングリスト係数データに対して量子化処理を行う（Ｓ１１２）。
　最後に、可逆符号化部１６がステップＳ１１０またはステップＳ１１２の処理により得られた量子化データを符号化する。また、この時、可逆符号化部１６は、変換情報等を含む各種符号化パラメータを符号化する。
　なお、上述した各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
　以上のように各処理を実行することにより、画像符号化装置１０は、処理対象ブロックに対して適用される変換の数、種類によらず、周波数領域への変換処理の直後にスケーリングリスト処理を行うことが出来る。したがって、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御が可能となる。
　　［１－４．画像復号装置の構成］
　　　（１）全体的な構成
　続いて、以上のように符号化された符号化データの復号について説明する。図８は、本実施形態に係る画像処理装置の一態様である画像復号装置６０の構成の一例を示すブロック図である。図８を参照すると、蓄積バッファ６１、可逆復号部６２、逆処理部６３、加算部６５、デブロックフィルタ６６、ＳＡＯフィルタ６７、並び替えバッファ６８、Ｄ／Ａ（Digital　to　Analogue）変換部６９、フレームメモリ７０、セレクタ７１ａ及び７１ｂ、イントラ予測部８０並びにインター予測部９０を備える。
　蓄積バッファ６１は、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）を介して画像符号化装置１０から受信される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
　可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている符号化パラメータを復号する。可逆復号部６２により復号される符号化パラメータは、例えば、上述した変換情報、スケーリングリスト情報、量子化パラメータ、イントラ予測に関する情報、インター予測に関する情報等を含み得る。
　可逆復号部６２は、量子化データ、変換情報、スケーリングリスト情報、及び量子化パラメータを逆処理部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部９０へ出力する。
　逆処理部６３は、可逆復号部６２から入力される量子化データに対し、符号化の際に処理部１４（図４，５）により行われた処理の逆処理を実行し、予測誤差データを生成する。逆処理部６３は、生成した予測誤差データを加算部６５へ出力する。なお、逆処理部６３のより詳細な構成について、後にさらに説明する。
　加算部６５は、逆処理部６３から入力される予測誤差データと、セレクタ７１ｂから入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ７０へ出力する。
　デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをＳＡＯフィルタ６７へ出力する。
　ＳＡＯフィルタ６７は、デブロックフィルタ６６から入力される復号画像データにエッジオフセット処理又はバンドオフセット処理を適用することによりノイズを除去し、処理後の復号画像データを並び替えバッファ６８及びフレームメモリ７０へ出力する。
　並び替えバッファ６８は、ＳＡＯフィルタ６７から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６８は、生成した画像データをＤ／Ａ変換部６９へ出力する。
　Ｄ／Ａ変換部６９は、並び替えバッファ６８から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６９は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、復号された映像を表示させる。
　フレームメモリ７０は、加算部６５から入力されるフィルタリング前の復号画像データ、及びＳＡＯフィルタ６７から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ７１ａは、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ７０からの画像データの出力先をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ａは、イントラ予測モードが指定された場合には、フレームメモリ７０から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７１ａは、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部９０へ出力する。
　セレクタ７１ｂは、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部９０との間で切り替える。例えば、セレクタ７１ｂは、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１ｂは、インター予測モードが指定された場合には、インター予測部９０から出力される予測画像データを加算部６５へ供給する。
　イントラ予測部８０は、イントラ予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１ｂへ出力する。
　インター予測部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ７０からの参照画像データとに基づいてインター予測処理を行い、予測画像データを生成する。そして、インター予測部９０は、生成した予測画像データをセレクタ７１ｂへ出力する。
　　　（２）逆処理部
　図９は、図８に示した逆処理部６３の詳細な構成の一例を示すブロック図である。図９を参照すると、逆処理部６３は、逆量子化部６３１、処理制御部６３２、逆セカンダリ変換部６３３、スケーリングリスト処理部６３４、及び逆プライマリ変換部６３５を有する。
　逆量子化部６３１は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化パラメータｑＰで逆量子化し、係数データを復元する。例えば、逆量子化部６３１は、式（６）を参照して説明したように、逆量子化処理を行ってもよい。逆量子化部６３１は、復元した係数データを処理制御部６３２へ出力する。なお、逆量子化部６３１により復元される係数データは、符号化の際に、セカンダリ変換が行われたか否かによって、セカンダリ変換処理による変換係数データ、またはスケーリングリスト係数データのいずれかでありうる。
　処理制御部６３２は、処理対象ブロックの変換に関する変換情報に基づいて、後述する逆セカンダリ変換部６３３による逆変換処理、及びスケーリングリスト処理部６３４によるスケーリングリスト処理を制御する。例えば、本実施形態に係る処理制御部６３２は、変換情報に基づき、処理対象のブロックに対して逆セカンダリ変換を行うか否かを判定してもよい。
　なお、処理制御部６３２が上記の判定を行うためには、例えば変換情報に処理対象のブロックに対して、符号化の際にセカンダリ変換が行われたか否かを示す情報（例えばフラグ）が含まれていてもよいし、処理対象のブロックに対する変換の数や種類を示す情報が含まれていてもよい。例えば、処理制御部６３２は、符号化の際にセカンダリ変換が行われていれば、逆セカンダリ変換を行う、と判定し、符号化の際にセカンダリ変換が行われていなければ、逆セカンダリ変換を行わない、と判定してもよい。
　処理制御部６３２は、処理対象のブロックに対して逆セカンダリ変換を行うと判定した場合、逆量子化部６３１から入力された係数データを、逆セカンダリ変換部６３３へ出力する。係る場合、後述するようにスケーリングリスト処理部６３４には逆セカンダリ変換部６３３による逆セカンダリ変換処理後の係数データが入力される。
　また、処理制御部６３２は、処理対象のブロックに対して逆セカンダリ変換を行わないと判定した場合、逆量子化部６３１から入力された係数データを、スケーリングリスト処理部６３４へ出力する。係る場合、逆セカンダリ変換部６３３へのデータ入力はスキップされ、逆セカンダリ変換部６３３による逆変換処理は行われないため、スケーリングリスト処理部６３４には逆量子化後の係数データが入力される。
　すなわち、処理制御部６３２は、変換情報に基づく上記判定に応じて、逆セカンダリ変換部６３３による逆変換処理、及びスケーリングリスト処理部６３４によるスケーリングリスト処理への入力を制御し得る。
　逆セカンダリ変換部６３３は、処理制御部６３２から、係数データが入力された場合に、符号化時に行われたセカンダリ変換の逆変換処理（逆セカンダリ変換処理）を行う。逆セカンダリ変換部６３３は、セカンダリ変換処理後の係数データをスケーリングリスト処理部６３４へ出力する。
　スケーリングリスト処理部６３４は、可逆復号部６２から入力されるスケーリングリスト情報に基づいて、スケーリングリスト処理を行う。スケーリングリスト処理部６３４は、処理制御部６３２の制御に従い、逆セカンダリ変換部６３３による変換処理後の係数データ、または逆量子化部６３１による逆量子化処理後の係数データを入力データとして、スケーリングリスト処理を行う。
　例えば、スケーリングリスト処理部６３４は式（７）を参照して説明したように、スケーリングリスト処理を行ってもよい。スケーリングリスト処理部６３４は、スケーリングリスト処理後の変換係数データを、逆プライマリ変換部６３５へ出力する。
　逆プライマリ変換部６３５は、符号化の際に使用されたプライマリ変換処理の変換方式に従い、スケーリングリスト処理部６３４から入力された変換係数データについて逆プライマリ変換を行うことにより、予測誤差データを生成する。逆プライマリ変換部６３５は、生成した予測誤差データを加算部６５へ出力する。
　上述した逆処理部６３の構成によれば、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御に応じた復号が可能となる。
　　［１－５．復号時の処理の流れ］
　　　（１）既存の手法
　図１０は、変換の数が１の場合の既存の手法に従った復号時の処理の流れの一例を示すフローチャート図である。なお、図１０は、復号時の処理の流れのうち、復号処理から予測誤差データの生成処理までの処理に注目した処理の流れを示している。
　図１０を参照すると、まず復号処理が行われる（Ｓ５２）。続いて逆量子化とスケーリングリスト処理が行われ（Ｓ５４）、その後に逆変換処理が行われて予測誤差データが生成される（Ｓ５６）。
　　　（２）新たな手法
　図１１は、上述した本実施形態に係る新たな手法に従った復号時の処理の流れの一例を示すフローチャートである。なお、図１１は、復号時の処理の流れのうち、復号処理から予測誤差データの生成処理までの処理に注目した処理の流れを示している。
　図１１を参照すると、まず可逆復号部６２が復号処理を行い、量子化データと符号化パラメータが取得（復号）される（Ｓ２０２）。ここで、取得される符号化パラメータには、変換情報、スケーリングリスト情報、量子化パラメータｑＰ等が含まれ得る。
　続いて、逆量子化部６３１が可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化パラメータｑＰで逆量子化する（Ｓ２０４）。続いて、処理制御部６３２が、変換情報に基づいて逆セカンダリ変換を行うか否かを判定する（Ｓ２０６）。
　逆セカンダリ変換を行うと判定された場合（Ｓ２０６においてＹＥＳ）、逆セカンダリ変換部６３３へ逆量子化処理後の係数データが出力され、逆セカンダリ変換部６３３が逆セカンダリ変換を行う（Ｓ２０８）。続いて、スケーリングリスト処理部６３４は、逆セカンダリ変換部６３３による変換処理後の係数データに対してスケーリングリスト処理を行う（Ｓ２１０）。
　一方、逆セカンダリ変換を行わないと判定された場合（Ｓ２０６においてＮＯ）、スケーリングリスト処理部６３４へ逆量子化処理後の係数データが出力され、スケーリングリスト処理部６３４は、逆量子化処理後の係数データに対してスケーリングリスト処理を行う（Ｓ２１２）。
　そして、逆プライマリ変換部６３５が、ステップＳ２１０またはステップＳ２１２の処理により得られた変換係数データに対して逆プライマリ変換を行い、予測誤差データを生成する（Ｓ２１４）。
　なお、上述した各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
　以上のように各処理を実行することにより、画像復号装置６０は、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御に応じた復号を行うことができる。
　　＜２．第二の実施形態＞
　　［２－１．概要］
　以上、本開示の第一の実施形態について説明した、続いて、以下では、本開示の第二の実施形態として、複数の変換が畳み込み演算による１つの変換で表現された場合について説明する。
　例えば、ｎ個の変換の畳み込みＦｎ＊．．．Ｆ２＊Ｆ１をＦｘとすると、本実施形態による符号化時、及び復号時の処理は、それぞれ以下の式（８）、（９）のように表すことが可能である。
　Ｃ＝Ｑ（ＳＬｘ（Ｆｘ（Ｒ））…（８）
　Ｒ＝（Ｆ’ｘ＊ＳＬｘ’（ＤＱ（Ｃ）））…（９）
　なお、ここで、ＳＬｘは第一の実施形態で説明した制御部１２により決定されるスケーリングリストＳＬｃｏｎｖを用いて、次式（１０）で表される。
　ＳＬｘ＝Ｆｘ（ＳＬｃｏｎｖ）…（１０）
　例えば、変換の数が２であり、スケーリングリストＳＬｃｏｎｖとセカンダリ変換Ｆ２がそれぞれ以下の式（１１）、（１２）で表される場合、ＳＬｘは例えば以下の式（１３）のようにスケーリングリストＳＬｃｏｎｖとセカンダリ変換Ｆ２の内積演算により得られる。なお、セカンダリ変換Ｆ２の具体的な係数は、例えば複数の変換の中から、変換情報に基づいて決定され得る。
Figure JPOXMLDOC01-appb-M000004
　以上、本実施形態の概要を説明した。続いて、本実施形態に係る構成、及び処理の流れについて説明する。なお、以下では簡単のため、適用される変換の数が最大でも２である例を説明するが、上述したように、本実施形態に係る変換の数は係る例に限定されず、３以上でもよい。
　　［２－２．画像符号化装置の構成］
　本実施形態に係る画像符号化装置１０は、第一の実施形態に係る画像符号化装置１０と比較して、処理部、及び逆処理部の機能構成のみが異なる。そこで、以下では、本実施形態に係る画像符号化装置１０が備える処理部１４－２の構成について説明する。なお、本実施形態に係る画像符号化装置１０の備える逆処理部の機能構成は、後述する本実施形態に係る画像復号装置６０が備える逆処理部と同様であるため、ここでの説明は省略する。
　図１２は、本実施形態に係る画像符号化装置１０が備える処理部１４－２の詳細な構成の一例を示すブロック図である。図１２を参照すると、処理部１４－２は、処理制御部１４６、変換部１４７、及び量子化・スケーリングリスト処理部１４８を有する。
　処理制御部１４６は、制御部１２から入力される、処理対象ブロックの変換に関する変換情報に基づいて、後述する変換部１４７による変換処理、及び量子化・スケーリングリスト処理部１４８による量子化処理、及びスケーリングリスト処理を制御する。
　例えば、本実施形態に係る処理制御部１４６は、図５を参照して説明した処理制御部１４３と同様に、変換情報に基づき、処理対象のブロックに対してセカンダリ変換を行うか否かを判定してもよい。
　また、本実施形態に係る処理制御部１４６は、変換情報に基づき、変換部１４７により適用される変換Ｆを特定する。例えばセカンダリ変換を行う場合、変換Ｆは、プライマリ変換Ｆ１とセカンダリ変換Ｆ２の畳み込み演算による変換Ｆｘ＝Ｆ２＊Ｆ１であってもよい。一方、セカンダリ変換を行わない場合、変換Ｆは、プライマリ変換Ｆ１であってもよい。処理制御部１４６は、特定した変換Ｆの情報を変換部１４７へ提供する。
　また、本実施形態に係る処理制御部１４６は、変換情報に基づき、量子化・スケーリングリスト処理部１４８で行われるスケーリングリスト処理に用いられるスケーリングリストＳＬを特定する。例えばセカンダリ変換を行う場合、特定されるスケーリングリストＳＬは、制御部１２により決定されるスケーリングリストＳＬｃｏｎｖとセカンダリ変換Ｆ２を用いて式（１３）のように得られるスケーリングリストＳＬｘであってもよい。一方、セカンダリ変換を行わない場合、特定されるスケーリングリストＳＬは、制御部１２で特定されるスケーリングリストＳＬｃｏｎｖであってもよい。処理制御部１４６は、特定したスケーリングリストＳＬの情報を量子化・スケーリングリスト処理部１４８へ提供する。
　変換部１４７は、処理制御部１４６から提供される変換Ｆの情報に基づき、減算部１３から入力される予測誤差データに対して変換処理を行う。変換部１４７は、変換処理後の変換係数データを、量子化・スケーリングリスト処理部１４８へ出力する。
　量子化・スケーリングリスト処理部１４８は、処理制御部１４６から提供されるスケーリングリストＳＬの情報に基づき、量子化処理、及びスケーリングリスト処理を行う。なお、量子化・スケーリングリスト処理部１４８は、量子化パラメータｑＰとスケーリングリストＳＬを用いて、スケーリングリスト処理と量子化処理とを同時に行ってもよいし、順次に行ってもよい。量子化・スケーリングリスト処理部１４８は、量子化処理後の量子化データを可逆符号化部１６及び逆処理部２１へ出力する。
　上述した処理部１４－２の構成によれば、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御が可能となる。また、畳み込み演算により複数の変換が１の変換で表現されるため、処理量が削減され得る。
　　［２－３．符号化時の処理の流れ］
　図１３は、上述した本実施形態に係る符号化時の処理の流れの一例を示すフローチャートである。
　図１３を参照すると、まず処理制御部１４６は、処理対象のブロックに対してセカンダリ変換を行うか否かを判定する（Ｓ３０２）。セカンダリ変換を行うと判定された場合（Ｓ３０２においてＹＥＳ）、変換部１４７は、プライマリ変換とセカンダリ変換の畳み込み演算による変換処理を行う（Ｓ３０４）。続いて、処理制御部１４６によりスケーリングリストＳＬｘが算出され（Ｓ３０６）、量子化・スケーリングリスト処理部１４８が、算出されたスケーリングリストＳＬｘを用いて量子化処理とスケーリングリスト処理を行う（Ｓ３０８）。
　一方、セカンダリ変換を行わないと判定された場合（Ｓ３０２においてＮＯ）、変換部１４７は、プライマリ変換を行い（Ｓ３１０）、量子化・スケーリングリスト処理部１４８は、制御部１２により決定されるスケーリングリストＳＬｃｏｎｖを用いて量子化処理とスケーリングリスト処理を行う（Ｓ３１２）。
　最後に、可逆符号化部１６がステップＳ３０８またはステップＳ３１２の処理により得られた量子化データを符号化する。また、この時、可逆符号化部１６は、変換情報等を含む各種符号化パラメータを符号化する。
　なお、上述した各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
　以上のように各処理を実行することにより、画像符号化装置１０は、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御が可能となる。また、畳み込み演算により複数の変換が１の変換で表現されるため、処理量が削減され得る。
　　［２－４．画像復号装置の構成］
　続いて、以上のように符号化された符号化データの復号について説明する。本実施形態に係る画像復号装置６０は、第一の実施形態に係る画像復号装置６０と比較して、逆処理部の機能構成のみが異なる。そこで、以下では、本実施形態に係る画像復号装置６０が備える逆処理部６３－２の構成について説明する。
　図１４は、本実施形態に係る画像復号装置６０が備える逆処理部６３－２の詳細な構成の一例を示すブロック図である。図１４を参照すると、逆処理部６３－２は、処理制御部６３６、逆量子化・スケーリングリスト処理部６３７、及び逆変換部６３８を有する。
　処理制御部６３６は、処理対象ブロックの変換に関する変換情報に基づいて、後述する逆量子化・スケーリングリスト処理部６３７による量子化処理、及びスケーリングリスト処理と、逆変換部６３８による逆変換処理とを制御する。
　例えば、本実施形態に係る処理制御部６３６は、図９を参照して説明した処理制御部６３２と同様に、変換情報に基づき、処理対象のブロックに対して逆セカンダリ変換を行うか否かを判定してもよい。
　また、本実施形態に係る処理制御部６３６は、変換情報に基づき、逆量子化・スケーリングリスト処理部６３７で行われるスケーリングリスト処理に用いられるスケーリングリストＳＬを特定する。例えば逆セカンダリ変換を行う場合、特定されるスケーリングリストＳＬは、式（１３）のように、可逆復号部６２により復号されるスケーリングリスト情報に含まれるスケーリングリストＳＬｃｏｎｖとセカンダリ変換Ｆ２の内積演算により得られるスケーリングリストＳＬｘであってもよい。一方、逆セカンダリ変換を行わない場合、特定されるスケーリングリストＳＬは、可逆復号部６２により復号されるスケーリングリスト情報に含まれるスケーリングリストＳＬｃｏｎｖであってもよい。処理制御部６３６は、特定したスケーリングリストＳＬの情報を逆量子化・スケーリングリスト処理部６３７へ提供する。
　また、本実施形態に係る処理制御部６３６は、変換情報に基づき、逆変換部６３８により適用される逆変換Ｆ’を特定する。例えば逆セカンダリ変換を行う場合、逆変換Ｆ’は、プライマリ変換Ｆ１とセカンダリ変換Ｆ２の畳み込み演算による変換Ｆｘ＝Ｆ２＊Ｆ１の逆変換Ｆ’ｘであってもよい。一方、逆セカンダリ変換を行わない場合、逆変換Ｆは、プライマリ変換Ｆ１の逆変換である逆プライマリ変換Ｆ’１であってもよい。処理制御部１４６は、特定した逆変換Ｆ’の情報を逆変換部６３８へ提供する。
　逆量子化・スケーリングリスト処理部６３７は、処理制御部６３６から提供されるスケーリングリストＳＬの情報に基づき、逆量子化処理、及びスケーリングリスト処理を行う。なお、逆量子化・スケーリングリスト処理部６３７は、量子化パラメータｑＰとスケーリングリストＳＬを用いて、逆量子化処理とスケーリングリスト処理とを同時に行ってもよいし、順次に行ってもよい。逆量子化・スケーリングリスト処理部６３７は、逆量子化処理後の変換係数データを逆変換部６３８へ出力する。
　逆変換部６３８は、処理制御部６３６から提供される逆変換Ｆ’の情報に基づき、逆量子化・スケーリングリスト処理部６３７から入力される変換係数データに対して逆変換処理を行うことにより予測誤差データを生成する。逆変換部６３８は、生成した予測誤差データを加算部６５へ出力する。
　上述した逆処理部６３－２の構成によれば、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御に応じた復号が可能となる。また、畳み込み演算により複数の変換が１の変換で表現されるため、処理量が削減され得る。
　　［２－５．復号時の処理の流れ］
　図１５は、上述した本実施形態に係る復号時の処理の流れの一例を示すフローチャートである。なお、図１５は、復号時の処理の流れのうち、復号処理から予測誤差データの生成処理までの処理に注目した処理の流れを示している。
　図１５を参照すると、まず可逆復号部６２が復号処理を行い、量子化データと符号化パラメータが取得（復号）される（Ｓ４０２）。ここで、取得される符号化パラメータには、変換情報、スケーリングリスト情報、量子化パラメータｑＰ等が含まれ得る。
　続いて、処理制御部６３６は、変換情報に基づいて、処理対象のブロックに対して逆セカンダリ変換を行うか否かを判定する（Ｓ４０４）。
　逆セカンダリ変換を行うと判定された場合（Ｓ４０４においてＹＥＳ）、処理制御部６３６によりスケーリングリストＳＬｘが算出される（Ｓ４０６）。続いて、逆量子化・スケーリングリスト処理部６３７が、算出されたスケーリングリストＳＬｘを用いて逆量子化処理とスケーリングリスト処理を行う（Ｓ４０８）。続いて、逆変換部６３８が、プライマリ変換とセカンダリ変換の畳み込み演算による変換処理の逆変換処理を行って予測誤差データを生成する（Ｓ４１２）。
　一方、逆セカンダリ変換を行わないと判定された場合（Ｓ４０４においてＮＯ）、逆量子化・スケーリングリスト処理部６３７が、ステップＳ４０２で復号されたスケーリングリスト情報に含まれるスケーリングリストＳＬｃｏｎｖを用いて逆量子化処理とスケーリングリスト処理を行う（Ｓ４１４）
　続いて、逆変換部６３８が、逆プライマリ変換処理を行って予測誤差データを生成する（Ｓ４１６）。
　なお、上述した各処理の処理単位は任意であり、互いに同一でなくてもよい。したがって、各ステップの処理は、適宜、他のステップの処理等と並行して、または、処理順を入れ替えて実行することもできる。
　以上のように各処理を実行することにより、画像復号装置６０は、処理対象ブロックに対して適用される変換の数、種類によらず、スケーリングリスト処理による帯域制御に応じた復号を行うことができる。また、畳み込み演算により複数の変換が１の変換で表現されるため、処理量が削減され得る。
　＜３．ハードウェア構成例＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１６に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
　バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
　入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
　以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
　その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
　＜４．応用例＞
　上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。
　　　（１）第１の応用例：テレビジョン受像機
　図１７は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）９０９、制御部９１０、ユーザインタフェース（I/F）９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
　制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置６０の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、スケーリングリスト処理による帯域制御に応じた復号が可能となる。
　また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置１０の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、スケーリングリスト処理による帯域制御が可能となる。
　　　（２）第２の応用例：携帯電話機
　図１８は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
　さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置１０の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、スケーリングリスト処理による帯域制御が可能となる。
　また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置６０の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、スケーリングリスト処理による帯域制御に応じた復号が可能となる。
　　　（３）第３の応用例：記録再生装置
　図１９は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０が複数の（逆）変換を適用して符号化し又は復号する際に、スケーリングリスト処理による帯域制御が可能となる。
　　　（４）第４の応用例：撮像装置
　図２０は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０が複数の（逆）変換を適用して符号化し又は復号する際に、スケーリングリスト処理による帯域制御が可能となる。
　　　（５）第５の応用例：ビデオセット
　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図２１は、本技術を適用したビデオセットの概略的な構成の一例を示している。
　近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
　図２１に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
　図２１に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
　モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
　図２１の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
　プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
　図２１のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
　ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。
　ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
　RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
　なお、図２１において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
　外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
　パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
　フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図２１に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
　アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
　コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
　例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia
Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
　なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
　カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
　センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
　以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
　以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
　　　（ビデオプロセッサの構成例）
　図２２は、本技術を適用したビデオプロセッサ１３３２（図２１）の概略的な構成の一例を示している。
　図２２の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
　図２２に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
　ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図２１）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
　フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
　メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
　エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
　ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
　オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
　オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode
number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
　多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
　逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
　ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
　また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
　さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
　また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
　次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
　また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
　ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
　また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
　オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
　このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１～図１５を参照して上述した各実施の形態と同様の効果を得ることができる。
　なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
　　　（ビデオプロセッサの他の構成例）
　　図２３は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図２３の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
　より具体的には、図２３に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
　制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
　図２３に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
　ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
　ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
　画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
　内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
　コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。
　図２３に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
　MPEG-2
Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
　MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming
over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
　メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。
　多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
　ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
　次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
　さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
　なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
　このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置１０の機能若しくは画像復号装置６０の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１～図１５を参照して上述した各実施の形態と同様の効果を得ることができる。
　なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置１０の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
　以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
　　　（装置への適用例）
　ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図１７）、携帯電話機９２０（図１８）、記録再生装置９４０（図１９）、撮像装置９６０（図２０）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１～図１５を参照して上述した各実施の形態と同様の効果を得ることができる。
　なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１～図１５を参照して上述した各実施の形態と同様の効果を得ることができる。
　つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図１７）、携帯電話機９２０（図１８）、記録再生装置９４０（図１９）、撮像装置９６０（図２０）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１～図１５を参照して上述した各実施の形態と同様の効果を得ることができる。
　　　＜第６の応用例：ネットワークシステム＞
　また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図２４は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
　図２４に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
　クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
　コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
　以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置１０や画像復号装置６０の機能を有するようにしてもよい。このようにすることにより、複数の（逆）変換を適用して符号化し又は復号する際に、スケーリングリスト処理による帯域制御が可能となる。
　＜５．まとめ＞
　以上、説明したように本開示の実施形態によれば、複数の変換が適用される場合においても、スケーリングリストを用いた帯域制御が可能である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）するブロックサイズの上限若しくは下限、またはその両方を指定する制御情報を伝送するようにしてもよい。
　本技術は、プライマリ変換、セカンダリ変換、および符号化（復号、逆セカンダリ変換、および逆プライマリ変換）を行う任意の画像符号化・復号に適用することができる。つまり、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等の仕様は任意であり、上述した例に限定されない。例えば、変換（逆変換）において、（逆）プライマリ変換および（逆）セカンダリ変換以外の（逆）変換（すなわち３以上の（逆）変換）が行われるようにしてもよい。また、符号化（復号）は、可逆な方式であってもよいし、非可逆な方式であってもよい。さらに、量子化（逆量子化）や予測等は省略するようにしてもよい。また、フィルタ処理等の上述していない処理が行われるようにしてもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する処理制御部、を備える、画像処理装置。
（２）
　前記処理制御部は、前記変換情報に基づいて、処理対象ブロックに適用された変換の逆変換に係る逆変換処理をさらに制御する、前記（１）に記載の画像処理装置。
（３）
　前記処理制御部は、前記変換情報に基づいて、前記逆変換処理への入力を制御する、前記（２）に記載の画像処理装置。
（４）
　前記処理制御部は、前記変換情報に基づいて、画像データと予測画像データとの差分である予測誤差データに対する変換とは異なる他の変換の逆変換に係る逆変換処理を行うか否かの判定を行う、前記（１）～（３）のいずれか一項に記載の画像処理装置。
（５）
　前記処理制御部は、前記判定に応じて、前記スケーリングリスト処理への入力を制御する、前記（４）に記載の画像処理装置。
（６）
　前記処理制御部は、前記逆変換処理を行うと判定した場合に、当該逆変換処理後の係数データが前記スケーリングリスト処理への入力データとなるように、前記スケーリングリスト処理への入力を制御する、前記（５）に記載の画像処理装置。
（７）
　前記処理制御部は、前記逆変換処理を行わないと判定した場合に、逆量子化の係数データが前記スケーリングリスト処理への入力データとなるように、前記スケーリングリスト処理への入力を制御する、前記（５）または（６）に記載の画像処理装置。
（８）
　前記処理制御部は、前記判定に応じて、前記スケーリングリスト処理に用いられるスケーリングリストを特定する、前記（４）に記載の画像処理装置。
（９）
　前記処理制御部は、前記逆変換処理を行うと判定した場合に、所定のスケーリングリストと、前記他の変換との内積演算により、前記スケーリングリスト処理に用いられるスケーリングリストを特定する、前記（８）に記載の画像処理装置。
（１０）
　前記逆変換処理は、畳み込み演算に基づいて行われる、前記（８）または（９）に記載の画像処理装置。
（１１）
　前記変換情報は、前記処理対象ブロックに所定の変換が適用されたか否かを示す情報を含む、前記（１）に記載の画像処理装置。
（１２）
　前記変換情報は、前記処理対象ブロックに適用された変換の数を示す情報を含む、前記（１）に記載の画像処理装置。
（１３）
　プロセッサが、処理対象の処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御すること、を含む、画像処理方法。
（１４）
　コンピュータに、
　処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する機能を実現させるための、プログラム。
　１０　画像符号化装置
　１２　制御部
　１３　減算部
　１４　処理部
　１６　時可逆符号化部
　１７　蓄積バッファ
　２１　逆処理部
　２３　加算部
　３０　イントラ予測部
　４０　インター予測部
　６０　画像復号装置
　６１　蓄積バッファ
　６２　可逆復号部
　６３　逆処理部
　６５　加算部
　７０　フレームメモリ
　８０　イントラ予測部
　９０　インター予測部
　１４１　プライマリ変換部
　１４２　スケーリングリスト処理部
　１４３　処理制御部
　１４４　セカンダリ変換部
　１４５　量子化部
　１４６　処理制御部
　１４７　変換部
　１４８　量子化・スケーリングリスト処理部
　６３１　逆量子化部
　６３２　処理制御部
　６３３　逆セカンダリ変換部
　６３４　スケーリングリスト処理部
　６３５　逆プライマリ変換部
　６３６　処理制御部
　６３７　逆量子化・スケーリングリスト処理部
　６３８　逆変換部

Claims (14)

  1. 　処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する処理制御部、を備える、画像処理装置。
  2. 　前記処理制御部は、前記変換情報に基づいて、処理対象ブロックに適用された変換の逆変換に係る逆変換処理をさらに制御する、請求項１に記載の画像処理装置。
  3. 　前記処理制御部は、前記変換情報に基づいて、前記逆変換処理への入力を制御する、請求項２に記載の画像処理装置。
  4. 　前記処理制御部は、前記変換情報に基づいて、画像データとの予測画像データとの差分である予測誤差データに対する変換とは異なる他の変換の逆変換に係る逆変換処理を行うか否かの判定を行う、請求項１に記載の画像処理装置。
  5. 　前記処理制御部は、前記判定に応じて、前記スケーリングリスト処理への入力を制御する、請求項４に記載の画像処理装置。
  6. 　前記処理制御部は、前記逆変換処理を行うと判定した場合に、当該逆変換処理後の係数データが前記スケーリングリスト処理への入力データとなるように、前記スケーリングリスト処理への入力を制御する、請求項５に記載の画像処理装置。
  7. 　前記処理制御部は、前記逆変換処理を行わないと判定した場合に、逆量子化の係数データが前記スケーリングリスト処理への入力データとなるように、前記スケーリングリスト処理への入力を制御する、請求項５に記載の画像処理装置。
  8. 　前記処理制御部は、前記判定に応じて、前記スケーリングリスト処理に用いられるスケーリングリストを特定する、請求項４に記載の画像処理装置。
  9. 　前記処理制御部は、前記逆変換処理を行うと判定した場合に、所定のスケーリングリストと、前記他の変換との内積演算により、前記スケーリングリスト処理に用いられるスケーリングリストを特定する、請求項８に記載の画像処理装置。
  10. 　前記逆変換処理は、畳み込み演算に基づいて行われる、請求項８に記載の画像処理装置。
  11. 　前記変換情報は、前記処理対象ブロックに所定の変換が適用されたか否かを示す情報を含む、請求項１に記載の画像処理装置。
  12. 　前記変換情報は、前記処理対象ブロックに適用された変換の数を示す情報を含む、請求項１に記載の画像処理装置。
  13. 　プロセッサが、処理対象の処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御すること、を含む、画像処理方法。
  14. 　コンピュータに、
    　処理対象ブロックに適用された変換に関する変換情報に基づいて、スケーリングリスト処理を制御する機能を実現させるための、プログラム。
PCT/JP2017/025021 2016-08-24 2017-07-07 画像処理装置、画像処理方法、及びプログラム WO2018037737A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
EP17843224.1A EP3506634A4 (en) 2016-08-24 2017-07-07 IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
KR1020197002681A KR102424062B1 (ko) 2016-08-24 2017-07-07 화상 처리 장치, 화상 처리 방법 및 프로그램
KR1020227024982A KR102498725B1 (ko) 2016-08-24 2017-07-07 화상 부호화 장치, 화상 부호화 방법 및 기록 매체
JP2018535510A JP6962325B2 (ja) 2016-08-24 2017-07-07 画像処理装置、画像処理方法、及びプログラム
CN201780048136.1A CN109644269B (zh) 2016-08-24 2017-07-07 图像处理设备、图像处理方法和存储介质
US16/323,183 US11722698B2 (en) 2016-08-24 2017-07-07 Image processing apparatus and image processing method
CN202210049534.8A CN114449289A (zh) 2016-08-24 2017-07-07 图像编码设备和图像编码方法
JP2021168817A JP7211467B2 (ja) 2016-08-24 2021-10-14 画像符号化装置、画像符号化方法、及びプログラム
US18/345,788 US20230353786A1 (en) 2016-08-24 2023-06-30 Image processing apparatus and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016163718 2016-08-24
JP2016-163718 2016-08-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/323,183 A-371-Of-International US11722698B2 (en) 2016-08-24 2017-07-07 Image processing apparatus and image processing method
US18/345,788 Continuation US20230353786A1 (en) 2016-08-24 2023-06-30 Image processing apparatus and image processing method

Publications (1)

Publication Number Publication Date
WO2018037737A1 true WO2018037737A1 (ja) 2018-03-01

Family

ID=61245896

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/025021 WO2018037737A1 (ja) 2016-08-24 2017-07-07 画像処理装置、画像処理方法、及びプログラム

Country Status (6)

Country Link
US (2) US11722698B2 (ja)
EP (1) EP3506634A4 (ja)
JP (2) JP6962325B2 (ja)
KR (2) KR102498725B1 (ja)
CN (2) CN109644269B (ja)
WO (1) WO2018037737A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216296A1 (en) * 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Clipping operation in secondary transform based video processing
JP2020202417A (ja) * 2019-06-06 2020-12-17 シャープ株式会社 画像復号装置及び画像符号化装置
JP2022538160A (ja) * 2019-06-25 2022-08-31 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
JP2023509747A (ja) * 2020-01-10 2023-03-09 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
JP2023510338A (ja) * 2020-01-10 2023-03-13 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
CN116805971A (zh) * 2023-04-11 2023-09-26 腾讯科技（深圳）有限公司 图像编解码方法、装置、设备

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111200732B (zh) * 2018-11-20 2023-04-07 深圳市中兴微电子技术有限公司 一种反量化反变换方法及装置
JP7267461B2 (ja) 2019-05-10 2023-05-01 北京字節跳動網絡技術有限公司 ビデオ・データ処理方法、装置、記憶媒体及び記憶方法
CN117354521A (zh) * 2019-06-07 2024-01-05 北京字节跳动网络技术有限公司 视频比特流中的简化二次变换的有条件信令
CN114208183A (zh) 2019-08-03 2022-03-18 北京字节跳动网络技术有限公司 视频的缩减二次变换中基于位置的模式导出
WO2021032045A1 (en) 2019-08-17 2021-02-25 Beijing Bytedance Network Technology Co., Ltd. Context modeling of side information for reduced secondary transforms in video
CN117336482A (zh) * 2019-08-20 2024-01-02 北京字节跳动网络技术有限公司 变换跳过模式的信令通知
CN117319645A (zh) * 2019-08-23 2023-12-29 北京字节跳动网络技术有限公司 用于处理视频数据的方法、装置以及计算机可读存储介质
JP7394985B2 (ja) 2019-10-23 2023-12-08 北京字節跳動網絡技術有限公司 ビデオ・データを処理する方法、装置及び記憶方法
WO2021078178A1 (en) 2019-10-23 2021-04-29 Beijing Bytedance Network Technology Co., Ltd. Calculation for multiple coding tools
CN115066899A (zh) * 2019-12-02 2022-09-16 抖音视界有限公司 编解码视频的可分二次变换处理

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
WO2011108240A1 (ja) * 2010-03-01 2011-09-09 パナソニック株式会社 画像符号化方法および画像復号方法
WO2012153578A1 (ja) * 2011-05-09 2012-11-15 ソニー株式会社 画像処理装置及び画像処理方法
JP2013038769A (ja) * 2011-07-12 2013-02-21 Namiki Precision Jewel Co Ltd 多機能型振動アクチュエータに於ける振動特性の調整方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040125204A1 (en) 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
WO2008132890A1 (ja) 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
JPWO2011016247A1 (ja) 2009-08-06 2013-01-10 パナソニック株式会社 符号化方法、復号方法、符号化装置及び復号装置
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
GB2492333B (en) 2011-06-27 2018-12-12 British Broadcasting Corp Video encoding and decoding using transforms
CN102883249A (zh) 2011-07-12 2013-01-16 并木精密宝石株式会社 多功能型振动促动器中的振动特性的调节方法
JP2013038768A (ja) 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
RU2719375C2 (ru) * 2011-10-18 2020-04-17 Кт Корпорейшен Способ декодирования видеосигнала
US9866839B2 (en) * 2012-01-20 2018-01-09 Electronics And Telecommunications Research Institute Method for encoding and decoding quantized matrix and apparatus using same
CN104662901B (zh) * 2012-09-28 2018-06-22 索尼公司 图像处理装置及方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204550A (ja) * 2002-01-07 2003-07-18 Mitsubishi Electric Corp 動画像符号化装置および動画像復号装置
WO2011108240A1 (ja) * 2010-03-01 2011-09-09 パナソニック株式会社 画像符号化方法および画像復号方法
WO2012153578A1 (ja) * 2011-05-09 2012-11-15 ソニー株式会社 画像処理装置及び画像処理方法
JP2013038769A (ja) * 2011-07-12 2013-02-21 Namiki Precision Jewel Co Ltd 多機能型振動アクチュエータに於ける振動特性の調整方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN ET AL.: "Algorithm Description of Joint Exploration Test Model 3 , Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3", JVET-C1001_V3, Geneva , CH, pages i - iii, 1-34, XP030150223 *
JIANLE CHEN; ELENA ALSHINA; GARY J. SULLIVAN; JENS-RAINER OHM; JILL BOYCE: "Algorithm Description of Joint Exploration Test Model 3", JVET-C1001 V3, JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 3RD MEETING, 26 May 2016 (2016-05-26)
JIE ZHAO ET AL.: "De-quantization and scaling for next generation containers", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, February 2016 (2016-02-01), San Diego, USA, pages 1 - 5, XP030150059 *
TAKESHI TSUKUBA: "Ohji Nakagami and Teruhiko Suzuki, EE 2.7-related: On secondary transform when primary transform is skipped", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, Geneva, CH , 2016.05, pages 1 - 6 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020216296A1 (en) * 2019-04-23 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Clipping operation in secondary transform based video processing
US11546636B2 (en) 2019-04-23 2023-01-03 Beijing Bytedance Network Technology Co., Ltd. Clipping operation in secondary transform based video processing
US11647229B2 (en) 2019-04-23 2023-05-09 Beijing Bytedance Network Technology Co., Ltd Use of secondary transform in coded video
JP2020202417A (ja) * 2019-06-06 2020-12-17 シャープ株式会社 画像復号装置及び画像符号化装置
JP2022538160A (ja) * 2019-06-25 2022-08-31 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
JP7535068B2 (ja) 2019-06-25 2024-08-15 フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ． イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
JP2023509747A (ja) * 2020-01-10 2023-03-09 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
JP2023510338A (ja) * 2020-01-10 2023-03-13 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
JP7451722B2 (ja) 2020-01-10 2024-03-18 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
JP7458489B2 (ja) 2020-01-10 2024-03-29 エルジー エレクトロニクス インコーポレイティド 変換に基づく画像コーディング方法及びその装置
CN116805971A (zh) * 2023-04-11 2023-09-26 腾讯科技（深圳）有限公司 图像编解码方法、装置、设备

Also Published As

Publication number Publication date
KR20220104311A (ko) 2022-07-26
KR20190038545A (ko) 2019-04-08
EP3506634A4 (en) 2019-08-07
US20230353786A1 (en) 2023-11-02
CN109644269A (zh) 2019-04-16
EP3506634A1 (en) 2019-07-03
JP2022028657A (ja) 2022-02-16
JPWO2018037737A1 (ja) 2019-06-20
US11722698B2 (en) 2023-08-08
KR102498725B1 (ko) 2023-02-13
JP7211467B2 (ja) 2023-01-24
JP6962325B2 (ja) 2021-11-05
CN114449289A (zh) 2022-05-06
CN109644269B (zh) 2022-02-11
KR102424062B1 (ko) 2022-07-22
US20210297702A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP7211467B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
US10924735B2 (en) Image processing apparatus and image processing method
US20230224459A1 (en) Image encoding device and method, and image decoding device and method
US20190238839A1 (en) Image processing apparatus and image processing method
US10779009B2 (en) Image decoding device and method
JP6287035B2 (ja) 復号装置および復号方法
US20180310028A1 (en) Image processing device and method
US20190385276A1 (en) Image processing apparatus and image processing method
US20200288123A1 (en) Image processing apparatus and image processing method
WO2015053116A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2018047480A1 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2018150934A1 (ja) 画像処理装置および方法
JP6477930B2 (ja) 符号化装置および符号化方法
WO2016199574A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843224

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018535510

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197002681

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017843224

Country of ref document: EP

Effective date: 20190325