WO2020250693A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2020250693A1
WO2020250693A1 PCT/JP2020/021034 JP2020021034W WO2020250693A1 WO 2020250693 A1 WO2020250693 A1 WO 2020250693A1 JP 2020021034 W JP2020021034 W JP 2020021034W WO 2020250693 A1 WO2020250693 A1 WO 2020250693A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
unit
pixel
intra
Prior art date
Application number
PCT/JP2020/021034
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/616,193 priority Critical patent/US20220321910A1/en
Priority to JP2021525985A priority patent/JP7456441B2/ja
Priority to EP20823298.3A priority patent/EP3975564A4/en
Priority to CN202080041463.6A priority patent/CN113994703A/zh
Priority to KR1020217038321A priority patent/KR20220019232A/ko
Publication of WO2020250693A1 publication Critical patent/WO2020250693A1/ja
Priority to JP2024039571A priority patent/JP2024069447A/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Definitions

  • the present technology relates to an image processing device and an image processing method, and more particularly to, for example, an image processing device and an image processing method that enable improvement in prediction accuracy.
  • JVET Joint Video Experts Team
  • ISO / IEC ISO/ IEC
  • Non-Patent Document 1 the pixels (pixel values) of the reference image are averaged (Averaging), and the matrix operation (Matrix product) using the averaged pixels obtained by the averaging is performed. It has been proposed to generate a predicted image by using the results of matrix operations and performing interpolation processing using the averaged pixels as upper adjacent pixels adjacent to the predicted image of the prediction block. ..
  • CE3 Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7-date 2019-01-17)
  • Non-Patent Document 1 In the generation of the predicted image described in Non-Patent Document 1, interpolation processing is always performed using the averaged pixel as the upper adjacent pixel. Therefore, it may not be possible to improve the prediction accuracy of the prediction image.
  • This technology was made in view of such a situation, and makes it possible to improve the prediction accuracy of the predicted image.
  • the first image processing apparatus of the present technology uses the original pixel of the reference image as the upper adjacent pixel adjacent to the predicted image of the current prediction block to be encoded when performing the intra prediction using the matrix operation.
  • An intra-prediction unit that generates a prediction image of the current prediction block by performing interpolation processing using the above, and a coding that encodes the current prediction block using the prediction image generated by the intra-prediction unit. It is an image processing device including a unit.
  • the original pixel of the reference image is set as the upper adjacent pixel adjacent to the predicted image of the current prediction block to be encoded.
  • An intra-prediction step that generates a prediction image of the current prediction block by performing interpolation processing using the above, and a coding that encodes the current prediction block using the prediction image generated in the intra-prediction step. It is an image processing method including a step.
  • the current prediction block when performing intra-prediction using matrix operation, it is referred to as an upper adjacent pixel adjacent to the predicted image of the current prediction block to be encoded.
  • a predicted image of the current prediction block is generated by performing interpolation processing using the original pixels of the image. Then, the current prediction block is encoded using the prediction image.
  • the second image processing device of the present technology uses the original pixel of the reference image as the upper adjacent pixel adjacent to the predicted image of the current prediction block to be decoded when performing the intra prediction using the matrix operation.
  • An intra prediction unit that generates a prediction image of the current prediction block by performing interpolation processing using the prediction image, and a decoding unit that decodes the current prediction block using the prediction image generated by the intra prediction unit. It is an image processing device provided.
  • the original pixel of the reference image is used as the upper adjacent pixel adjacent to the predicted image of the current prediction block to be decoded.
  • a reference image is used as an upper adjacent pixel adjacent to the predicted image of the current prediction block to be decoded.
  • the predicted image of the current prediction block is generated. Then, the current prediction block is decoded using the prediction image.
  • the image processing device may be an independent device or an internal block constituting one device.
  • the image processing device can be realized by causing a computer to execute a program.
  • the program can be provided by recording on a recording medium or by transmitting through a transmission medium.
  • REF1 Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
  • REF2 Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
  • REF3 Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 5), JVET-N1001-v7 (version 7 --date 2019-05-29)
  • REF4 Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5), JVET- N1002-v1
  • REF5 JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7 --date 2019-01-17)
  • REF6 JVET-M0043-v2: CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2) (version 2-date
  • Adjacent includes not only the case where one pixel (one line) is adjacent to the current pixel of interest, but also the case where a plurality of pixels (multiple lines) are adjacent. Therefore, the adjacent pixel includes a pixel at a position of one pixel directly adjacent to the current pixel and a pixel at a position of a plurality of pixels continuously adjacent to the current pixel.
  • Downsampling means reducing the number of pixels. Therefore, downsampling includes reducing the number of pixels by using operations such as averaging and median, and reducing the number of pixels without calculation.
  • the prediction block means a block (PU (Prediction Unit)) that is a processing unit when performing intra-prediction, and includes sub-blocks in the prediction block.
  • the prediction block, the orthogonal transformation block (TU (Transform Unit)), which is the processing unit for orthogonal transformation, and the coding block (CU (Coding Unit)), which is the processing unit for encoding, are in the same block.
  • the predictive block, the orthogonal transform block, and the coded block mean the same block.
  • the prediction mode of intra prediction is the mode number when performing intra prediction, the block size of the prediction block, the mode number of intra prediction (MIP (Matrix-based Intra Prediction)) using matrix calculation, and when performing matrix calculation. It means information that comprehensively includes various matters related to intra-prediction, such as the type of matrix used and the type of matrix size used when performing matrix operations.
  • MIP Microx-based Intra Prediction
  • identification data that identifies a plurality of patterns can be set as a bitstream syntax obtained by encoding an image.
  • the bitstream can contain identification data that identifies various patterns.
  • the identification data for example, in the generation of the predicted image of the intra prediction, the original pixel (pixel value) of the reference image is used as the adjacent pixel adjacent to the prediction block, or the downsampled pixel (pixel) is used. Data that identifies whether to use (value) can be adopted. Further, as the identification data, for example, the original pixels of the reference image are used as the upper adjacent pixels adjacent to the predicted image of the prediction block and the left adjacent pixels adjacent to the left, or the downsampled pixels. Data can be adopted to identify whether to use.
  • the decoder that decodes the bitstream can perform processing more efficiently by parsing and referencing the identification data.
  • FIG. 1 is a diagram illustrating a method of generating a predicted image of MIP (Matrix-based Intra Prediction) proposed in JVET-N0217 (reference document REF5).
  • JVET-N0217 in MIP, the pixels (pixel values) of the reference image (decoded image) are averaged (Averaging), and the matrix calculation (Matrix-Vector) using the averaged pixels obtained by the averaging.
  • -It has been proposed to generate a predicted image by performing Multiplication) and performing interpolation processing (interpolation) using the result of matrix operation and the averaging pixels.
  • the original pixel of the reference image adjacent to the current prediction block which is the prediction block to be encoded / decoded, is also referred to as an upper original pixel.
  • the original pixel of the reference image adjacent to the left of the current prediction block is also referred to as a left original pixel.
  • the horizontal size (horizontal size) of the block is represented by W
  • the vertical size (vertical size) is represented by H.
  • the original pixel (pixel value) bdry top is averaged on the reference image, and a plurality of averaging pixels (pixel value) bdry red as downsampled pixels are generated. ..
  • the left original pixel bdry left of the reference image is averaged for the current prediction block, and a plurality of averaging pixels bdry red as downsampled pixels are generated.
  • the two adjacent originals of the reference image are used.
  • four averaging pixels bdry red are generated.
  • the matrix A k and the offset b k used for the matrix operation are set according to the prediction mode k of the intra prediction. Then, in the matrix operation, the matrix A k is multiplied by the vector bdry red having the averaging pixel bdry red obtained by averaging as an element. Furthermore, in matrix operations, the offset b k is added to the result of multiplication. As a result, some pixels pred red of the predicted image of the current prediction block are generated.
  • one of the upper adjacent pixels adjacent to the predicted image of the current prediction block, the left adjacent pixel adjacent to the left of the predicted image of the current prediction block, and the predicted image of the current prediction block generated by the matrix operation is performed using the pixel pred red of the part, and the remaining pixels of the predicted image are generated.
  • the averaging pixel bdry top red generated by using the upper original pixel bdry top is used.
  • the left adjacent pixel of the predicted image As the left adjacent pixel of the predicted image, the left original pixel bdry left of the reference image is used.
  • the position of the xth pixel from the left and the yth pixel from the top is expressed as (x-1, y-1), and the pixel at the position (x-1, y-1) is the pixel (x-1). Also described as, y-1).
  • some pixels pred red of the prediction image generated by the matrix operation are x-of the pixels of the prediction image of the current prediction block.
  • 1 and y-1 are pixels (x-1, y-1) at odd-numbered positions (shown with diagonal lines in the figure).
  • four averaging pixels bdry top red are arranged as four upper adjacent pixels with x-1 at odd positions adjacent to the predicted image of the current prediction block.
  • eight left original pixels bdry left are arranged as eight left adjacent pixels adjacent to the left of the predicted image of the current prediction block.
  • the averaged pixel bdry top red as the upper adjacent pixel and the pixel pred red generated by the matrix operation the pixels at which x-1 and y-1 are odd numbers (x-1, y-1).
  • vertical (vertical) interpolation using pixels in the predicted image at positions where x-1 is odd and y-1 is even are generated.
  • the remaining of the predicted image is obtained by horizontal (horizontal) interpolation using the left original pixel b dry left as the left adjacent pixel, the pixel pred red generated by the matrix operation, and the pixel generated by the vertical interpolation. Pixels are generated.
  • a predicted image (pred) of the current prediction block is generated.
  • the averaged pixel bdry top red generated by using the original pixel bdry top on the reference image is used as the upper adjacent pixel adjacent to the predicted image of the current prediction block.
  • the interpolation process is performed using pixels that are not the actual pixels (original pixels) of the reference image itself.
  • the interpolation process is always performed using the averaging pixel bdry top red as the upper adjacent pixel, the pixel of the prediction block and the pixel of the prediction image generated by using the averaging pixel bdry top red
  • the correlation is lowered and the prediction accuracy of the intra-prediction, that is, the prediction accuracy of the predicted image cannot be improved, or the prediction accuracy is lowered.
  • the prediction accuracy of the predicted image is improved by using the upper original pixel bdry top of the reference image as the upper adjacent pixel in the interpolation process.
  • FIG. 2 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system 10 has an image processing device as an encoder 11 and an image processing device as a decoder 51.
  • the encoder 11 encodes the original image to be encoded supplied to the encoder 11 and outputs the encoded bit stream obtained by the encoding.
  • the coded bit stream is supplied to the decoder 51 via a recording medium or a transmission medium (not shown).
  • the decoder 51 decodes the coded bit stream supplied to the decoder 51 and outputs the decoded image obtained by the decoding.
  • FIG. 3 is a block diagram showing a configuration example of the encoder 11 of FIG.
  • the encoder 11 has an A / D conversion unit 21, a sorting buffer 22, a calculation unit 23, an orthogonal conversion unit 24, a quantization unit 25, a reversible coding unit 26, and a storage buffer 27. Further, the encoder 11 includes an inverse quantization unit 28, an inverse orthogonal conversion unit 29, a calculation unit 30, a frame memory 32, a selection unit 33, an intra prediction unit 34, a motion prediction compensation unit 35, a prediction image selection unit 36, and a rate. It has a control unit 37. Further, the encoder 11 has a deblock filter 31a, an adaptive offset filter 41, and an ALF (adaptive loop filter) 42.
  • ALF adaptive loop filter
  • the encoder 11 can be configured without providing the A / D conversion unit 21.
  • the rearrangement buffer 22 rearranges the frames of the original image in the order of coding (decoding) from the display order according to the GOP (Group Of Picture), and the calculation unit 23, the intra prediction unit 34, and the motion prediction compensation unit 35. Supply to.
  • GOP Group Of Picture
  • the calculation unit 23 subtracts the prediction image supplied from the intra prediction unit 34 or the motion prediction compensation unit 35 via the prediction image selection unit 36 from the original image from the sorting buffer 22, and the residual obtained by the subtraction. (Predicted residual) is supplied to the orthogonal conversion unit 24.
  • the orthogonal transform unit 24 performs orthogonal transform such as discrete cosine transform and Karhunen-Loève transform on the residual supplied from the arithmetic unit 23, and supplies the orthogonal transform coefficient obtained by the orthogonal transform to the quantization unit 25. To do.
  • the quantization unit 25 quantizes the orthogonal conversion coefficient supplied from the orthogonal conversion unit 24.
  • the quantization unit 25 sets the quantization parameter based on the target value of the code amount (code amount target value) supplied from the rate control unit 37, and performs the quantization of the orthogonal conversion coefficient.
  • the quantization unit 25 supplies the coded data, which is the quantized orthogonal conversion coefficient, to the reversible coding unit 26.
  • the lossless coding unit 26 encodes the quantized orthogonal conversion coefficient as the coded data from the quantization unit 25 by a predetermined lossless coding method.
  • the reversible coding unit 26 acquires the coding information required for decoding by the decoding device 170 from each block among the coding information related to the predictive coding in the encoder 11.
  • the coding information for example, the prediction mode of intra-prediction or inter-prediction, motion information such as motion vector, code amount target value, quantization parameter, picture type (I, P, B), deblock filter 31a. And the filter parameters of the adaptive offset filter 41 and the like.
  • the prediction mode can be acquired from the intra prediction unit 34 and the motion prediction compensation unit 35.
  • the motion information can be acquired from the motion prediction compensation unit 35.
  • the filter parameters of the deblock filter 31a and the adaptive offset filter 41 can be obtained from the deblock filter 31a and the adaptive offset filter 41, respectively.
  • the reversible coding unit 26 uses variable length coding such as CAVLC (Context-Adaptive Variable Length Coding) or CABAC (Context-Adaptive Binary Arithmetic Coding), arithmetic coding, or other reversible coding method for the coding information.
  • variable length coding such as CAVLC (Context-Adaptive Variable Length Coding) or CABAC (Context-Adaptive Binary Arithmetic Coding), arithmetic coding, or other reversible coding method for the coding information.
  • a coded bit stream containing the coded and coded coded information and the coded data from the quantization unit 25 is generated and supplied to the storage buffer 27.
  • the above calculation unit 23 or the reversible coding unit 26 functions as a coding unit that encodes the image.
  • the storage buffer 27 temporarily stores the coded bit stream supplied from the reversible coding unit 26.
  • the coded bit stream stored in the storage buffer 27 is read out and transmitted at a predetermined timing.
  • the coded data which is the orthogonal conversion coefficient quantized in the quantization unit 25, is supplied to the reversible coding unit 26 and also to the inverse quantization unit 28.
  • the inverse quantization unit 28 dequantizes the quantized orthogonal conversion coefficient by a method corresponding to the quantization by the quantization unit 25, and the orthogonal conversion coefficient obtained by the inverse quantization is transmitted to the inverse orthogonal conversion unit 29. Supply.
  • the inverse orthogonal conversion unit 29 performs inverse orthogonal conversion of the orthogonal conversion coefficient supplied from the inverse quantization unit 28 by a method corresponding to the orthogonal conversion processing by the orthogonal conversion unit 24, and obtains the residual obtained as a result of the inverse orthogonal conversion. , Supply to the arithmetic unit 30.
  • the calculation unit 30 adds the prediction image supplied from the intra prediction unit 34 or the motion prediction compensation unit 35 via the prediction image selection unit 36 to the residual supplied from the inverse orthogonal conversion unit 29, whereby the original image is added. Obtain (a part of) the decoded image obtained by decoding the image and output it.
  • the decoded image output by the calculation unit 30 is supplied to the deblock filter 31a or the frame memory 32.
  • the frame memory 32 temporarily stores the decoded image supplied from the arithmetic unit 30, the deblocking filter 31a supplied from the ALF 42, the adaptive offset filter 41, and the decoded image (filter image) to which the ALF 42 is applied. ..
  • the decoded image stored in the frame memory 32 is supplied to the selection unit 33 as a reference image used for generating the predicted image at a necessary timing.
  • the selection unit 33 selects the supply destination of the reference image supplied from the frame memory 32.
  • the selection unit 33 supplies the reference image supplied from the frame memory 32 to the intra prediction unit 34.
  • the motion prediction compensation unit 35 performs inter-prediction, the selection unit 33 supplies the reference image supplied from the frame memory 32 to the motion prediction compensation unit 35.
  • the intra prediction unit 34 performs intra prediction (in-screen prediction) using the original image supplied from the sorting buffer 22 and the reference image supplied from the frame memory 32 via the selection unit 33.
  • the intra prediction unit 34 selects the optimum intra prediction prediction mode based on a predetermined cost function, and transmits the prediction image generated from the reference image in the optimum intra prediction prediction mode to the prediction image selection unit 36. Supply. Further, the intra prediction unit 34 appropriately supplies the prediction mode of the intra prediction selected based on the cost function to the reversible coding unit 26 and the like.
  • the motion prediction compensation unit 35 performs motion prediction using the original image supplied from the sorting buffer 22 and the reference image supplied from the frame memory 32 via the selection unit 33. Further, the motion prediction compensation unit 35 performs motion compensation according to the motion vector detected by the motion prediction, and generates a prediction image.
  • the motion prediction compensation unit 35 performs inter-prediction in a plurality of inter-prediction prediction modes prepared in advance, and generates a prediction image from the reference image.
  • the motion prediction compensation unit 35 selects the optimum inter-prediction prediction mode from a plurality of inter-prediction prediction modes based on a predetermined cost function. Further, the motion prediction compensation unit 35 supplies the prediction image generated in the prediction mode of the optimum inter-prediction to the prediction image selection unit 36.
  • the motion prediction compensation unit 35 includes an optimum inter-prediction prediction mode selected based on the cost function, a motion vector required for decoding the coded data encoded in the inter-prediction prediction mode, and the like.
  • the motion information and the like of the above are supplied to the reversible coding unit 26.
  • the prediction image selection unit 36 selects the supply source of the prediction image to be supplied to the calculation unit 23 and the calculation unit 30 from the intra prediction unit 34 and the motion prediction compensation unit 35, and is supplied from the selected supply source.
  • the predicted image is supplied to the calculation unit 23 and the calculation unit 30.
  • the rate control unit 37 controls the rate of the quantization operation of the quantization unit 25 based on the code amount of the coded bit stream stored in the storage buffer 27 so that overflow or underflow does not occur. That is, the rate control unit 37 sets a target code amount of the coded bit stream and supplies it to the quantization unit 25 so that overflow and underflow of the storage buffer 27 do not occur.
  • the deblock filter 31a applies the deblock filter to the decoded image from the calculation unit 30 as necessary, and the deblock filter is applied to the decoded image (filter image), or the deblock filter is not applied.
  • the decoded image is supplied to the adaptive offset filter 41.
  • the adaptive offset filter 41 applies the adaptive offset filter to the decoded image from the deblock filter 31a as necessary, and the decoded image (filter image) to which the adaptive offset filter is applied, or the adaptive offset filter is applied. No decoded image is supplied to ALF42.
  • the ALF 42 applies the ALF to the decoded image from the adaptive offset filter 41 as necessary, and supplies the decoded image to which the ALF is applied or the decoded image to which the ALF is not applied to the frame memory 32.
  • FIG. 4 is a flowchart illustrating an example of encoding processing of the encoder 11 of FIG.
  • each step of the coding process shown in FIG. 4 is an order for convenience of explanation, and each step of the actual coding process is appropriately performed in parallel and in a required order. The same applies to the processing described later.
  • step S11 the A / D conversion unit 21 A / D-converts the original image and supplies it to the sorting buffer 22, and the process proceeds to step S12.
  • step S12 the sorting buffer 22 stores the original images from the A / D conversion unit 21, sorts them in the coding order, and outputs them, and the process proceeds to step S13.
  • step S13 the intra prediction unit 34 makes an intra prediction, and the process proceeds to step S14.
  • step S14 the motion prediction compensation unit 35 performs inter-prediction for motion prediction and motion compensation, and the process proceeds to step S15.
  • step S15 the prediction image selection unit 36 determines the optimum prediction mode based on each cost function obtained by the intra prediction unit 34 and the motion prediction compensation unit 35. Then, the prediction image selection unit 36 selects and outputs a prediction image of the optimum prediction mode from the prediction image generated by the intra prediction unit 34 and the prediction image generated by the motion prediction compensation unit 35, and outputs the prediction image. The process proceeds from step S15 to step S16.
  • step S16 the calculation unit 23 calculates the residual between the target image to be encoded, which is the original image output by the sorting buffer 22, and the prediction image output by the prediction image selection unit 36, and the orthogonal conversion unit 24 calculates the residual.
  • the process proceeds to step S17.
  • step S17 the orthogonal conversion unit 24 orthogonally converts the residual from the calculation unit 23, supplies the orthogonal conversion coefficient obtained as a result to the quantization unit 25, and the process proceeds to step S18.
  • step S18 the quantization unit 25 quantizes the orthogonal conversion coefficient from the orthogonal conversion unit 24, and supplies the quantization coefficient obtained by the quantization to the reversible coding unit 26 and the inverse quantization unit 28.
  • the process proceeds to step S19.
  • step S19 the inverse quantization unit 28 dequantizes the quantization coefficient from the quantization unit 25, supplies the orthogonal conversion coefficient obtained as a result to the inverse orthogonal conversion unit 29, and the process proceeds to step S20. move on.
  • step S20 the inverse orthogonal conversion unit 29 performs inverse orthogonal conversion of the orthogonal conversion coefficient from the inverse quantization unit 28, supplies the residual obtained as a result to the calculation unit 30, and the process proceeds to step S21. ..
  • step S21 the calculation unit 30 adds the residual from the inverse orthogonal conversion unit 29 and the prediction image output by the prediction image selection unit 36, and the calculation unit 23 is the target of the calculation of the residual. Generate a decoded image corresponding to the image.
  • the calculation unit 30 supplies the decoded image to the deblock filter 31a, and the process proceeds from step S21 to step S22.
  • step S22 the deblock filter 31a applies the deblock filter to the decoded image from the calculation unit 30, supplies the filter image obtained as a result to the adaptive offset filter 41, and the process proceeds to step S23. ..
  • step S23 the adaptive offset filter 41 applies the adaptive offset filter to the filter image from the deblock filter 31a, supplies the filter image obtained as a result to the ALF 42, and the process proceeds to step S24.
  • step S24 ALF 42 applies ALF to the filter image from the adaptive offset filter 41, supplies the filter image obtained as a result to the frame memory 32, and the process proceeds to step S25.
  • step S25 the frame memory 32 stores the filter image supplied from the ALF 42, and the process proceeds to step S26.
  • the filter image stored in the frame memory 32 is used as a reference image from which the predicted image is generated in steps S13 and S14.
  • the reversible coding unit 26 encodes the coded data which is the quantization coefficient from the quantization unit 25, and generates a coded bit stream including the coded data. Further, the reversible coding unit 26 includes the quantization parameters used for the quantization in the quantization unit 25, the prediction mode obtained by the intra prediction in the intra prediction unit 34, and the inter prediction in the motion prediction compensation unit 35. Coded information such as the prediction mode and motion information obtained in the above, the filter parameters of the deblocking filter 31a and the adaptive offset filter 41 are encoded as necessary and included in the encoded bit stream.
  • the reversible coding unit 26 supplies the coded bit stream to the storage buffer 27, and the process proceeds from step S26 to step S27.
  • step S27 the storage buffer 27 stores the coded bit stream from the reversible coding unit 26, and the process proceeds to step S28.
  • the coded bit stream stored in the storage buffer 27 is appropriately read out and transmitted.
  • step S28 the rate control unit 37 determines the quantum of the quantization unit 25 so that overflow or underflow does not occur based on the code amount (generated code amount) of the coded bit stream stored in the storage buffer 27.
  • the rate of the conversion operation is controlled, and the coding process ends.
  • FIG. 5 is a block diagram showing a detailed configuration example of the decoder 51 of FIG.
  • the decoder 51 includes a storage buffer 61, a reversible decoding unit 62, an inverse quantization unit 63, an inverse orthogonal conversion unit 64, a calculation unit 65, a sorting buffer 67, and a D / A conversion unit 68. Further, the decoder 51 includes a frame memory 69, a selection unit 70, an intra prediction unit 71, a motion prediction compensation unit 72, and a selection unit 73. Further, the decoder 51 has a deblock filter 31b, an adaptive offset filter 81, and an ALF 82.
  • the storage buffer 61 temporarily stores the coded bit stream transmitted from the encoder 11 and supplies the coded bit stream to the reversible decoding unit 62 at a predetermined timing.
  • the reversible decoding unit 62 receives the coded bit stream from the storage buffer 61 and decodes it by a method corresponding to the coding method of the reversible coding unit 26 of FIG.
  • the reversible decoding unit 62 supplies the quantization coefficient as the coding data included in the decoding result of the coded bit stream to the inverse quantization unit 63.
  • the reversible decoding unit 62 has a function of performing parsing.
  • the reversible decoding unit 62 parses the necessary coding information included in the decoding result of the coded bit stream, and supplies the coding information to the intra prediction unit 71, the motion prediction compensation unit 72, the deblock filter 31b, and the adaptive offset filter. 81 Supply to other necessary blocks.
  • the inverse quantization unit 63 dequantizes the quantization coefficient as the coded data from the reversible decoding unit 62 by a method corresponding to the quantization method of the quantization unit 25 in FIG. 3, and is obtained by the inverse quantization.
  • the orthogonal conversion coefficient is supplied to the inverse orthogonal conversion unit 64.
  • the inverse orthogonal conversion unit 64 performs inverse orthogonal conversion of the orthogonal conversion coefficient supplied from the inverse quantization unit 63 by a method corresponding to the orthogonal conversion method of the orthogonal conversion unit 24 of FIG. 3, and obtains a residual obtained as a result. It is supplied to the arithmetic unit 65.
  • the calculation unit 65 is supplied with the residual from the inverse orthogonal conversion unit 64, and the prediction image is supplied from the intra prediction unit 71 or the motion prediction compensation unit 72 via the selection unit 73.
  • the calculation unit 65 adds the residual from the inverse orthogonal conversion unit 64 and the predicted image from the selection unit 73 to generate a decoded image and supplies it to the deblock filter 31b.
  • the above-mentioned reversible decoding unit 62 or calculation unit 65 constitutes a decoding unit that decodes the image.
  • the sorting buffer 67 temporarily stores the decoded images supplied from the ALF 82, sorts the frames (pictures) of the decoded images in the order of encoding (decoding) order, and supplies them to the D / A conversion unit 68. ..
  • the decoder 51 can be configured without providing the D / A conversion unit 68.
  • the frame memory 69 temporarily stores the decoded image supplied from the ALF 82. Further, the frame memory 69 uses the decoded image as a reference image to be used for generating the predicted image at a predetermined timing or based on an external request such as the intra prediction unit 71 or the motion prediction compensation unit 72, and the selection unit 70. Supply to.
  • the selection unit 70 selects the supply destination of the reference image supplied from the frame memory 69.
  • the selection unit 70 supplies the reference image supplied from the frame memory 69 to the intra prediction unit 71. Further, when decoding the image encoded by the inter-prediction, the selection unit 70 supplies the reference image supplied from the frame memory 69 to the motion prediction compensation unit 72.
  • the intra prediction unit 71 follows a prediction mode included in the coding information supplied from the reversible decoding unit 62, and similarly to the intra prediction unit 34 of FIG. 3, the reference image supplied from the frame memory 69 via the selection unit 70. Is used to make an intra prediction. Then, the intra prediction unit 71 supplies the prediction image obtained by the intra prediction to the selection unit 73.
  • the motion prediction compensation unit 72 is supplied from the frame memory 69 via the selection unit 70 in the same manner as the motion prediction compensation unit 35 in FIG. 3 according to the prediction mode included in the coding information supplied from the reversible decoding unit 62. Inter-prediction is performed using the reference image. Inter-prediction is performed by using motion information and the like included in the coding information supplied from the reversible decoding unit 62 as needed.
  • the motion prediction compensation unit 72 supplies the prediction image obtained by the inter-prediction to the selection unit 73.
  • the selection unit 73 selects the prediction image supplied from the intra prediction unit 71 or the prediction image supplied from the motion prediction compensation unit 72, and supplies the prediction image to the calculation unit 65.
  • the deblock filter 31b applies the deblock filter to the decoded image from the calculation unit 65 according to the filter parameters included in the coding information supplied from the reversible decoding unit 62.
  • the deblock filter 31b supplies the decoded image (filter image) to which the deblock filter is applied or the decoded image to which the deblock filter is not applied to the adaptive offset filter 81.
  • the adaptive offset filter 81 applies the adaptive offset filter to the decoded image from the deblock filter 31b as necessary according to the filter parameters included in the coding information supplied from the reversible decoding unit 62.
  • the adaptive offset filter 81 supplies the decoded image (filter image) to which the adaptive offset filter is applied or the decoded image to which the adaptive offset filter is not applied to the ALF 82.
  • the ALF 82 applies ALF to the decoded image from the adaptive offset filter 81 as necessary, and applies the decoded image to which ALF is applied or the decoded image to which ALF is not applied to the sorting buffer 67 and the frame memory 69. Supply to.
  • FIG. 6 is a flowchart illustrating an example of decoding processing of the decoder 51 of FIG.
  • step S51 the storage buffer 61 temporarily stores the coded bit stream transmitted from the encoder 11 and supplies it to the reversible decoding unit 62 as appropriate, and the process proceeds to step S52.
  • step S52 the reversible decoding unit 62 receives and decodes the coded bit stream supplied from the storage buffer 61, and dequantizes the quantization coefficient as the coded data included in the decoding result of the coded bit stream. It is supplied to the unit 63.
  • the reversible decoding unit 62 parses the coding information included in the decoding result of the coded bit stream. Then, the reversible decoding unit 62 supplies the necessary coding information to the intra prediction unit 71, the motion prediction compensation unit 72, the deblock filter 31b, the adaptive offset filter 81, and other necessary blocks.
  • step S52 the process proceeds from step S52 to step S53, and the intra prediction unit 71 or the motion prediction compensation unit 72 is supplied from the frame memory 69 via the selection unit 70 and the reversible decoding unit 62. Intra-prediction or inter-prediction to generate a prediction image is performed according to the coding information. Then, the intra prediction unit 71 or the motion prediction compensation unit 72 supplies the prediction image obtained by the intra prediction or the inter prediction to the selection unit 73, and the process proceeds from step S53 to step S54.
  • step S54 the selection unit 73 selects the prediction image supplied from the intra prediction unit 71 or the motion prediction compensation unit 72, supplies it to the calculation unit 65, and the process proceeds to step S55.
  • step S55 the inverse quantization unit 63 inversely quantizes the quantization coefficient from the reversible decoding unit 62, supplies the orthogonal conversion coefficient obtained as a result to the inverse orthogonal conversion unit 64, and the process proceeds to step S56. move on.
  • step S56 the inverse orthogonal conversion unit 64 performs inverse orthogonal conversion of the orthogonal conversion coefficient from the inverse quantization unit 63, supplies the residual obtained as a result to the calculation unit 65, and the process proceeds to step S57. ..
  • step S57 the calculation unit 65 generates a decoded image by adding the residual from the inverse orthogonal conversion unit 64 and the predicted image from the selection unit 73. Then, the calculation unit 65 supplies the decoded image to the deblock filter 31b, and the process proceeds from step S57 to step S58.
  • step S58 the deblock filter 31b applies the deblock filter to the decoded image from the arithmetic unit 65 according to the filter parameters included in the coding information supplied from the reversible decoding unit 62.
  • the deblock filter 31b supplies the filter image obtained as a result of applying the deblock filter to the adaptive offset filter 81, and the process proceeds from step S58 to step S59.
  • step S59 the adaptive offset filter 81 applies the adaptive offset filter to the filter image from the deblock filter 31b according to the filter parameters included in the coding information supplied from the reversible decoding unit 62.
  • the adaptive offset filter 81 supplies the filter image obtained as a result of applying the adaptive offset filter to the ALF 82, and the process proceeds from step S59 to step S60.
  • ALF 82 applies ALF to the filter image from the adaptive offset filter 81, supplies the filter image obtained as a result to the sorting buffer 67 and the frame memory 69, and the process proceeds to step S61.
  • step S61 the frame memory 69 temporarily stores the filter image supplied from ALF82, and the process proceeds to step S62.
  • the filter image (decoded image) stored in the frame memory 69 is used as a reference image from which the predicted image is generated in the intra prediction or the inter prediction in step S53.
  • step S62 the sorting buffer 67 sorts the filter images supplied from the ALF 82 in the display order and supplies them to the D / A conversion unit 68, and the process proceeds to step S63.
  • step S63 the D / A conversion unit 68 D / A-converts the filter image from the sorting buffer 67, and the processing ends the decoding process.
  • the filter image (decoded image) after D / A conversion is output and displayed on a display (not shown).
  • FIG. 7 is a block diagram showing a configuration example of the intra prediction unit 34.
  • the intra prediction unit 71 also has a prediction image generation unit similar to the prediction image generation unit 110.
  • the prediction image generation unit 110 includes an averaging unit 111, a matrix vector multiplication unit 112, and an interpolation unit 113.
  • a reference image (decoded image as) is supplied from the selection unit 33 to the averaging unit 111 for the current prediction block.
  • the averaging unit 111 averages the original pixels (pixel values) on the reference image of the current prediction block, and generates a plurality of averaging pixels (pixel values) as downsampled pixels.
  • the averaging unit 111 averages the left original pixel of the reference image for the current prediction block, and generates a plurality of averaging pixels as downsampled pixels.
  • the averaging unit 111 supplies the averaging pixels to the matrix vector multiplication unit 112.
  • the matrix vector multiplication unit 112 is supplied with the prediction mode k for intra prediction.
  • the matrix vector multiplication unit 112 sets the matrix A k used for the matrix operation and the offset b k which is a vector according to the prediction mode k.
  • the matrix-vector multiplication unit 112, a matrix operation, a matrix A k, the multiplication of the vector to the averaging pixel averaging unit 111 element performs. Further, the matrix vector multiplication unit 112 adds an offset b k to the result of the multiplication as a matrix operation, thereby generating some pixels of the prediction image of the current prediction block and supplying them to the interpolation unit 113. ..
  • a reference image is supplied to the interpolation unit 113.
  • the interpolation unit 113 includes upper adjacent pixels adjacent to the predicted image of the current prediction block, left adjacent pixels adjacent to the left of the predicted image of the current prediction block, and a predicted image of the current prediction block from the matrix vector multiplication unit 112. Interpolation processing is performed using some of the pixels of.
  • the interpolation unit 113 generates the remaining pixels of the predicted image of the current prediction block by the interpolation process, and generates the predicted image of the current prediction block together with some pixels of the predicted image from the matrix vector multiplication unit 112. (Finalize).
  • the interpolation unit 113 uses the upper original pixel of the reference image as the upper adjacent pixel of the predicted image and the left original pixel of the reference image as the left adjacent pixel of the predicted image.
  • FIG. 8 is a flowchart illustrating an example of processing for generating a predicted image of MIP performed by the predicted image generation unit 110.
  • step S111 the averaging unit 111 averages the original pixels on the reference image and averages the left original pixels of the reference image to generate the averaging pixels.
  • the averaging unit 111 supplies the averaging pixels to the matrix vector multiplication unit 112, and the process proceeds from step S111 to step S112.
  • step S112 the matrix vector multiplication unit 112 sets the matrix A k and the offset b k used for the matrix operation according to the prediction mode k. Further, the matrix vector multiplication unit 112 uses the matrix A k and the offset b k to perform a matrix operation on the vector whose elements are the averaging pixels from the averaging unit 111.
  • the matrix vector multiplication unit 112 performs a matrix operation by multiplying the matrix A k with a vector whose elements are the averaging pixels of the averaging unit 111. Further, the matrix vector multiplication unit 112 adds an offset b k to the result of the multiplication as a matrix operation.
  • the matrix vector multiplication unit 112 generates a part of the pixels of the predicted image of the current prediction block by the above matrix operation and supplies them to the interpolation unit 113, and the process proceeds from step S112 to step S113.
  • step S113 the interpolation unit 113 uses the upper original pixel of the reference image as the upper adjacent pixel and the left original pixel of the reference image as the left adjacent pixel, and these upper adjacent pixel and left adjacent pixel, and Interpolation processing is performed using some pixels of the predicted image of the current prediction block from the matrix vector multiplication unit 112.
  • the interpolation unit 113 generates the remaining pixels of the predicted image of the current prediction block by the interpolation process, and generates the predicted image of the current prediction block together with some pixels of the predicted image from the matrix vector multiplication unit 112. ..
  • FIG. 9 is a diagram illustrating a method of generating a predicted image of the MIP of the predicted image generation unit 110.
  • the averaging unit 111 averages the original pixel bdry top on the reference image for the current prediction block, and generates a plurality of averaging pixels bdry red as downsampled pixels.
  • the averaging unit 111 averages the left original pixel bdry left of the reference image for the current prediction block in the same manner as the JVET-N0217, and generates a plurality of averaging pixels bdry red as downsampled pixels.
  • the downsampled pixel the averaging pixel obtained by averaging the original pixel is adopted, but the downsampled pixel is limited to the averaging pixel. is not. That is, the downsampling can be performed by taking the average of a plurality of pixels, performing an operation other than the average of a median or the like, or simply thinning out the pixels.
  • the matrix vector multiplication unit 112 uses the matrix A k and the offset b k set according to the prediction mode k of the intra prediction, and targets the vector bdry red having the averaged pixel bdry red as an element.
  • the formula pred red A k ⁇ bdry red + b k as a matrix operation is calculated.
  • matrix-vector multiplication unit 112 a matrix operation, performs a multiplication A k ⁇ bdry red with vectors Bdry red for averaging pixel Bdry red and matrix A k as an element. Further, matrix-vector multiplication unit 112, the result A k ⁇ bdry red multiplication, adding an offset b k. As a result, the matrix vector multiplication unit 112 generates a part of the pixel pred red of the predicted image of the current prediction block.
  • the interpolation unit 113 is generated by an upper adjacent pixel adjacent to the predicted image of the current prediction block, a left adjacent pixel adjacent to the left of the predicted image of the current prediction block, and a matrix operation. Interpolation processing is performed using some pixels pred red of the predicted image of the current prediction block.
  • the interpolation unit 113 generates the remaining pixels of the predicted image (white pixels in the figure) by the interpolation process, and combines the pixels pred red generated by the matrix operation with the predicted image of the current prediction block (the predicted image (white pixels in the figure)). Generate pred).
  • the bdry top red pixel is used.
  • the prediction image generation unit 110 uses the upper original pixel bdry top of the reference image as the upper adjacent pixel, the averaging pixel (pixel) required when the averaging pixel is used as the upper adjacent pixel. Value) bdry top It is not necessary to keep red . Further, when the upper original pixel bdry top of the reference image is used as the upper adjacent pixel, it can be expected that the prediction accuracy of the intra prediction is improved as compared with the case of using the averaging pixel bdry top red .
  • FIG. 10 is a block diagram showing another configuration example of the intra prediction unit 34.
  • the intra prediction unit 71 also has a prediction image generation unit similar to the prediction image generation unit 120.
  • the prediction image generation unit 120 has an averaging unit 111, a matrix vector multiplication unit 112, and an interpolation unit 123.
  • the prediction image generation unit 120 shares the prediction image generation unit 110 of FIG. 7 in that it has an averaging unit 111 and a matrix vector multiplication unit 112. However, the prediction image generation unit 120 differs from the prediction image generation unit 110 in that it has an interpolation unit 123 instead of the interpolation unit 113.
  • the reference image and some pixels of the prediction image of the current prediction block generated by the matrix vector multiplication unit 112 are supplied to the interpolation unit 123, and the prediction mode k and The averaging pixels generated by the averaging unit 111 are supplied.
  • the interpolation unit 123 performs interpolation processing using the upper adjacent pixels and the left adjacent pixels of the prediction image and some pixels of the prediction image of the current prediction block from the matrix vector multiplication unit 112. , The remaining pixels of the predicted image generated by the interpolation process and some pixels of the predicted image from the matrix vector multiplication unit 112 are combined to generate a predicted image.
  • the interpolation unit 123 can select whether to use the upper original pixel of the reference image or the averaging pixel as the downsampled pixel as the upper adjacent pixel according to the prediction mode k. .. Further, the interpolation unit 123 can select whether to use the left original pixel of the reference image as the left adjacent pixel or the averaging pixel as the downsampled pixel according to the prediction mode k. ..
  • FIG. 11 is a diagram illustrating a method of generating a predicted image of the MIP of the predicted image generation unit 120.
  • the averaging pixel bdry red obtained by averaging the upper original pixel bdry top of the reference image and the left original pixel bdry An averaged pixel bdry red, which is the average of the left , is generated.
  • the formula pred red A as a matrix operation for the vector bdry red having the averaging pixel bdry red as an element. k ⁇ bdry red + b k is calculated, and some pixels pred red of the predicted image of the current prediction block are generated.
  • the prediction image generation unit 120 in the interpolation unit 123, similarly to the prediction image generation unit 110, the upper adjacent pixel adjacent to the prediction image of the current prediction block and the left adjacent to the left of the prediction image of the current prediction block.
  • Interpolation processing is performed using adjacent pixels and some pixels pred red of the predicted image of the current predicted block generated by the matrix calculation, whereby the predicted image (pred) of the current predicted block is generated.
  • the interpolation unit 123 depending on the prediction mode k, whether the original pixel bdry top of the reference image is used as the upper adjacent pixel or the averaging pixel bdry top red is used as the downsampled pixel is used. You can choose. Further, in the interpolation unit 123, depending on the prediction mode k, whether to use the left original pixel bdry left of the reference image as the left adjacent pixel or the averaging pixel bdry left red as the downsampled pixel is used. You can choose.
  • Averaging pixel bdry top red is one of averaged pixel bdry red, (by taking the average of the upper original pixel bdry top) with upper original pixel Bdry top is averaged pixels generated.
  • the averaging pixel bdry left red is an averaging pixel generated by using the left original pixel bdry left .
  • the interpolation unit 123 has selectors 131 and 132.
  • the upper original pixel bdry top and the averaging pixel bdry top red are supplied to the selector 131.
  • the selector 131 selects and outputs the upper original pixel bdry top or the averaging pixel bdry top red according to the prediction mode k.
  • the interpolation processing is performed by using the pixel output by the selector 131 from the upper original pixel bdry top and the averaging pixel bdry top red as the upper adjacent pixel.
  • the selector 132 is supplied with the left original pixel bdry left and the averaging pixel bdry left red .
  • the selector 132 selects and outputs the left original pixel bdry left or the averaging pixel bdry left red according to the prediction mode k.
  • the interpolation processing is performed by using the pixel output by the selector 132 from the left original pixel bdry left and the averaging pixel bdry left red as the left adjacent pixel.
  • the prediction image generation unit 120 it is possible to select whether to use the upper original pixel of the reference image or the averaged pixel as the upper adjacent pixel, and / or refer to it as the left adjacent pixel. If it is possible to select whether to use the left original pixel of the image or the averaging pixel, it can be expected that the prediction accuracy of the intra prediction will be further improved.
  • FIG. 12 is a diagram showing an example of pixels selected as upper adjacent pixels and left adjacent pixels according to the prediction mode k.
  • the upper adjacent pixel, the left adjacent pixel, or both are also referred to as adjacent pixels.
  • the upper original pixel, the left original pixel, or both are also referred to as an original pixel.
  • the prediction mode k when the prediction mode k includes information representing (mode number) the MIP mode and the size identifier MipSizeId, it is set as adjacent pixels (upper adjacent pixel, left adjacent pixel) according to the MIP mode and the size identifier MipSizeId. The pixels to be selected are shown.
  • “Original” represents an original pixel (upper original pixel, left original pixel), and “Averaged” represents an averaged pixel.
  • the left original pixel (Original) is selected as the left adjacent pixel, and the average pixel (Averaged) is selected as the upper adjacent pixel. Will be done.
  • Size identifier MipSizeId is an identifier representing the size of the matrix A k used in the MIP, is set according to the block size of the current prediction block. Therefore, when the prediction mode k includes information representing the size identifier MipSizeId, it can be said that the prediction mode k contains information representing the block size of the current prediction block.
  • the prediction mode k can include information representing the prediction direction of the intra prediction, the directional prediction, and the non-directional prediction (for example, the player prediction and the DC prediction).
  • the prediction direction of the intra prediction includes the reference direction of the direction prediction.
  • the original pixel or the averaging pixel can be selected as the adjacent pixel.
  • the prediction mode k includes information representing the direction prediction
  • the original pixel or the averaged pixel can be selected as the adjacent pixel according to the reference direction of the direction prediction.
  • the upper original pixel is selected as the upper adjacent pixel.
  • the left original pixel can be selected as the left adjacent pixel. In this case, the prediction accuracy can be improved.
  • averaging pixels can be selected as upper adjacent pixels and left adjacent pixels.
  • the selection of pixels to be adjacent pixels adjacent to the predicted image is performed according to the prediction mode k, and whether or not the in-loop filter is applied to the decoded image (local decoded image) as the reference image in the encoder 11. That is, it can be performed depending on whether or not a part or all of the deblock filter 31a, the adaptive offset filter 41, and the ALF 42 is applied. For example, it is possible to perform a simulation and select pixels to be adjacent pixels so that the cost is reduced depending on whether or not the in-loop filter is applied.
  • the intra prediction unit 34 identifies whether to use the original pixel of the reference image or the averaged pixel as the downsampled pixel as the adjacent pixel adjacent to the predicted image in the generation of the predicted image of the intra prediction. It can function as a setting unit for setting identification data.
  • the identification data set by the intra prediction unit 34 can be included in the coded bit stream, for example, as a part of the coded information.
  • the identification data can include data that identifies whether the upper original pixel of the reference image is used as the upper adjacent pixel or the averaged pixel is used as the downsampled pixel.
  • the identification data can include data that identifies whether to use the left original pixel of the reference image as the left adjacent pixel or the averaged pixel as the downsampled pixel.
  • the series of processing of the encoder 11 and the decoder 51 described above can be performed by hardware or software.
  • the programs constituting the software are installed on a general-purpose computer or the like.
  • FIG. 13 is a block diagram showing a configuration example of an embodiment of a computer in which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 905 or ROM 903 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 911 driven by the drive 909.
  • a removable recording medium 911 can be provided as so-called package software.
  • examples of the removable recording medium 911 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, and a semiconductor memory.
  • the program can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 905. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 902, and the input / output interface 910 is connected to the CPU 902 via the bus 901.
  • CPU Central Processing Unit
  • the CPU 902 executes a program stored in the ROM (Read Only Memory) 903 accordingly. .. Alternatively, the CPU 902 loads the program stored in the hard disk 905 into the RAM (Random Access Memory) 904 and executes it.
  • ROM Read Only Memory
  • the CPU 902 performs processing according to the above-mentioned flowchart or processing performed according to the above-mentioned block diagram configuration. Then, the CPU 902 outputs the processing result from the output unit 906 or transmits it from the communication unit 908, and further records it on the hard disk 905, if necessary, via the input / output interface 910.
  • the input unit 907 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 906 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or shared by a plurality of devices.
  • one step includes a plurality of processes
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本技術は、予測精度を高めることができるようにする画像処理装置及び画像処理方法に関する。 行列演算を用いたイントラ予測を行う際に、符号化／復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、カレント予測ブロックの予測画像が生成される。そして、予測画像を用いて、前記カレント予測ブロックの符号化／復号が行われる。本技術は、例えば、画像の符号化及び復号を行う場合に適用することができる。

Description

画像処理装置及び画像処理方法
　本技術は、画像処理装置及び画像処理方法に関し、特に、例えば、予測精度を高めることができるようにする画像処理装置及び画像処理方法に関する。
　ITU-TとISO/IECとの共同の標準化団体であるJVET（Joint　Video　Experts　Team）では、H.265/HEVCよりも符号化効率をさらに向上することを目的として、次世代の画像符号化方式であるVVC（Versatile　Video　Coding）の標準化作業が進められている。
　VVCの標準化作業では、非特許文献１において、参照画像の画素（の画素値）を平均化(Averaging)すること、平均化により得られる平均化画素を用いた行列演算（Matrix積）を行うこと、及び、行列演算の結果を用いるとともに、平均化画素を、予測ブロックの予測画像の上に隣接する上隣接画素として用いて補間処理を行うことにより、予測画像を生成することが提案されている。
JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7 - date 2019-01-17)
　非特許文献１に記載の予測画像の生成では、常時、平均化画素を上隣接画素として用いて補間処理が行われる。このため、予測画像の予測精度を高めることができないことがある。
　本技術は、このような状況に鑑みてなされたものであり、予測画像の予測精度を高めることができるようにするものである。
　本技術の第１の画像処理装置は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化部とを備える画像処理装置である。
　本技術の第１の画像処理方法は、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化工程とを含む画像処理方法である。
　本技術の第１の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが符号化される。
　本技術の第２の画像処理装置は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部とを備える画像処理装置である。
　本技術の第２の画像処理方法は、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号工程とを含む画像処理方法である。
　本技術の第２の画像処理装置及び画像処理方法においては、行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像が生成される。そして、前記予測画像を用いて、前記カレント予測ブロックが復号される。
　なお、画像処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　また、画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、記録媒体に記録して、又は、伝送媒体を介して伝送することにより、提供することができる。
JVET-N0217で提案されているMIP(Matrix-based Intra Prediction)の予測画像の生成方法を説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 エンコーダ１１の構成例を示すブロック図である。 エンコーダ１１の符号化処理の例を説明するフローチャートである。 デコーダ５１の構成例を示すブロック図である。 デコーダ５１の復号処理の例を説明するフローチャートである。 イントラ予測部３４の構成例を示すブロック図である。 予測画像生成部１１０が行うMIPの予測画像の生成の処理の例を説明するフローチャートである。 予測画像生成部１１０のMIPの予測画像の生成方法を説明する図である。 イントラ予測部３４の他の構成例を示すブロック図である。 予測画像生成部１２０のMIPの予測画像の生成方法を説明する図である。 予測モードkに応じて上隣接画素及び左隣接画素として選択される画素の例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜参照文献＞
　本明細書で開示される範囲は、実施の形態の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1-REF6の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1-REF6に記載されている内容もサポート要件について判断する際の根拠となる。例えば、Quad-Tree Block Structure、QTBT(Quad Tree Plus Binary Tree) Block Structure、MTT(Multi-type Tree) Block Structureが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース(Parsing)、シンタクス(Syntax)、セマンティクス(Semantics)等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
　REF1: Recommendation ITU-T H.264 (04/2017) “Advanced video  coding  for  generic audiovisual services”, April 2017
  REF2: Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
　REF3: Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 5), JVET-N1001-v7 (version 7 - date 2019-05-29)
　REF4: Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5), JVET- N1002-v1
　REF5: JVET-N0217-v3: CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2) (version 7 - date 2019-01-17)
　REF6: JVET-M0043-v2: CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2) (version 2 - date 2019-01-09)
　＜定義＞
　隣接するとは、注目するカレント画素に対して１画素分（１ライン分）隣接する場合だけでなく、複数画素分（複数ライン分）隣接する場合を含む。したがって、隣接する画素とは、カレント画素に直接隣接する１画素分の位置の画素の他、カレント画素に連続的に隣接する複数画素分の位置の画素を含む。
　ダウンサンプルとは、画素数を少なくすることを意味する。したがって、ダウンサンプルには、平均やメディアン等の演算を用いて画素数を少なくすることや、演算なしで画素数を少なくすることが含まれる。
　予測ブロックとは、イントラ予測を行う際の処理単位となるブロック(PU(Prediction Unit))を意味し、予測ブロック内のサブブロックも含む。予測ブロック、直交変換を行う際の処理単位となる直交変換ブロック(TU(Transform Unit))、符号化を行う際の処理単位となる符号化ブロック(CU(Coding Unit))が、同一のブロックに統一化されている場合、予測ブロック、直交変換ブロック、及び、符号化ブロックは、同一のブロックを意味する。
　イントラ予測の予測モードとは、イントラ予測を行う際のモード番号、予測ブロックのブロックサイズ、行列演算を用いたイントラ予測(MIP(Matrix-based Intra Prediction))のモード番号、行列演算を行う際に用いる行列の種類、行列演算を行う際に用いる行列のサイズの種類等の、イントラ予測に関連する様々な事項を包括的に含む情報を意味する。
　本技術では、複数のパターンを識別する識別データを、画像を符号化して得られるビットストリームのシンタクスとして設定することができる。ビットストリームには、様々なパターンを識別する識別データを含めることができる。
　識別データとしては、例えば、イントラ予測の予測画像の生成において、予測ブロックに隣接する隣接画素として、参照画像のオリジナルの画素（の画素値）を用いるか、又は、ダウンサンプルされた画素（の画素値）を用いるかを識別するデータを採用することができる。また、識別データとしては、例えば、予測ブロックの予測画像の上に隣接する上隣接画素及び左に隣接する左隣接画素それぞれとして、参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータを採用することができる。
　ビットストリームに識別データを含める場合、そのビットストリームを復号するデコーダでは、識別データをパースして参照することにより、より効率的に処理を行うことが可能となる。
　＜JVET-N0217で提案されている予測画像の生成方法＞
　図１は、JVET-N0217（参照文献REF5）で提案されているMIP(Matrix-based Intra Prediction)の予測画像の生成方法を説明する図である。
　JVET-N0217では、MIPにおいて、参照画像（となった復号画像）の画素（の画素値）を平均化(Averaging)すること、平均化により得られる平均化画素を用いた行列演算(Matrix-Vector- Multiplication)を行うこと、及び、行列演算の結果と平均化画素とを用いて補間処理(interpolation)を行うことにより、予測画像を生成することが提案されている。
　ここで、符号化／復号の対象の予測ブロックであるカレント予測ブロックの上に隣接する参照画像のオリジナルの画素を、上オリジナル画素ともいう。また、カレント予測ブロックの左に隣接する参照画像のオリジナルの画素を、左オリジナル画素ともいう。
　さらに、ブロックの横方向のサイズ（横サイズ）を、Wで表すとともに、縦方向のサイズ（縦サイズ）を、Hで表すこととする。
　図１では、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。
　平均化では、カレント予測ブロックについて、参照画像の上オリジナル画素（の画素値）bdrytopが平均化され、ダウンサンプルされた画素としての複数の平均化画素（の画素値）bdryredが生成される。
　さらに、平均化では、カレント予測ブロックについて、参照画像の左オリジナル画素bdryleftが平均化され、ダウンサンプルされた画素としての複数の平均化画素bdryredが生成される。
　カレント予測ブロックが、W×H＝8×8画素のブロックである場合、上オリジナル画素bdrytopの平均化、及び、左オリジナル画素bdryleftの平均化では、参照画像の隣接する2個のオリジナルの画素の平均をとることにより、4個ずつの平均化画素bdryredが生成される。
　行列演算では、イントラ予測の予測モードkに応じて、行列演算に用いる行列Ak及びオフセットbkが設定される。そして、行列演算では、行列Akと、平均化で得られた平均化画素bdryredを要素とするベクトルbdryredとの乗算が行われる。さらに、行列演算では、乗算の結果に、オフセットbkが加算される。これにより、カレント予測ブロックの予測画像の一部の画素predredが生成される。
　補間処理では、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いて補間が行われ、予測画像の残りの画素が生成される。
　予測画像の上隣接画素としては、参照画像の平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
　予測画像の左隣接画素としては、参照画像の左オリジナル画素bdryleftが用いられる。
　ここで、左からx番目で、上からy番目の画素の位置を、(x-1,y-1)と表し、位置(x-1,y-1)の画素を、画素(x-1,y-1)とも記載する。
　カレント予測ブロックが、W×H＝8×8画素のブロックである場合、行列演算で生成される予測画像の一部の画素predredは、カレント予測ブロックの予測画像の画素のうちの、x-1及びy-1が奇数の位置の画素(x-1,y-1)（図中、斜線を付して示す）である。
　補間処理では、カレント予測ブロックの予測画像の上に隣接するx-1が奇数の位置の4個の上隣接画素として、4個の平均化画素bdrytop redが配置される。さらに、カレント予測ブロックの予測画像の左に隣接する8個の左隣接画素として、8個の左オリジナル画素bdryleftが配置される。
　そして、上隣接画素としての平均化画素bdrytop red、及び、行列演算で生成された画素predredである、x-1及びy-1が奇数の位置の画素(x-1,y-1)を用いた縦（垂直）方向の補間により、予測画像の、x-1が奇数で、y-1が偶数の位置の画素が生成される。
　さらに、左隣接画素としての左オリジナル画素bdryleft、行列演算で生成された画素predred、及び、縦方向の補間により生成された画素を用いた横（水平方向）の補間により、予測画像の残りの画素が生成される。
　そして、補間処理により生成された画素と、行列演算により生成された画素とを合わせることで、カレント予測ブロックの予測画像(pred)が生成される。
　JVET-N0217では、補間処理において、カレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像の上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
　すなわち、補間処理が、参照画像の実際の画素（オリジナルの画素）そのものではない画素を用いて行われる。
　このため、行列演算後、補間処理を行う際に用いられる平均化画素bdrytop redを保持しておく必要があり、その保持のための記憶領域（メモリ）が必要となる。
　さらに、補間処理が、常に、平均化画素bdrytop redを、上隣接画素として用いて行われるため、予測ブロックの画素と、平均化画素bdrytop redを用いて生成される予測画像の画素との相関が低下し、イントラ予測の予測精度、すなわち、予測画像の予測精度を高めることができないこと、又は、予測精度が低下するおそれがある。
　そこで、本技術では、補間処理において、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いることにより、予測画像の予測精度を高める。
　＜本技術を適用した画像処理システム＞
　図２は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　画像処理システム１０は、エンコーダ１１としての画像処理装置、及び、デコーダ５１としての画像処理装置を有する。
　エンコーダ１１は、そこに供給される符号化対象の元画像を符号化し、その符号化により得られる符号化ビットストリームを出力する。符号化ビットストリームは、図示せぬ記録媒体又は伝送媒体を介して、デコーダ５１に供給される。
　デコーダ５１は、そこに供給される符号化ビットストリームを復号し、その復号により得られる復号画像を出力する。
　＜エンコーダ１１の構成例＞
　図３は、図２のエンコーダ１１の構成例を示すブロック図である。
　なお、以下説明するブロック図については、図が煩雑になるのを避けるため、各ブロックの処理で必要となる情報（データ）を供給する線の記載を、適宜省略する。
　図３において、エンコーダ１１は、A/D変換部２１、並べ替えバッファ２２、演算部２３、直交変換部２４、量子化部２５、可逆符号化部２６、及び、蓄積バッファ２７を有する。さらに、エンコーダ１１は、逆量子化部２８、逆直交変換部２９、演算部３０、フレームメモリ３２、選択部３３、イントラ予測部３４、動き予測補償部３５、予測画像選択部３６、及び、レート制御部３７を有する。また、エンコーダ１１は、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF(adaptive loop filter)４２を有する。
　A/D変換部２１は、アナログ信号の元画像（符号化対象）を、ディジタル信号の元画像にA/D変換し、並べ替えバッファ２２に供給して記憶させる。なお、エンコーダ１１にディジタル信号の元画像が供給される場合には、エンコーダ１１は、A/D変換部２１を設けずに構成することができる。
　並べ替えバッファ２２は、元画像のフレームを、GOP（Group Of Picture）に応じて、表示順から符号化（復号）順に並べ替え、演算部２３、イントラ予測部３４、及び、動き予測補償部３５に供給する。
　演算部２３は、並べ替えバッファ２２からの元画像から、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を減算し、その減算により得られる残差（予測残差）を、直交変換部２４に供給する。
　直交変換部２４は、演算部２３から供給される残差に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施し、その直交変換により得られる直交変換係数を量子化部２５に供給する。
　量子化部２５は、直交変換部２４から供給される直交変換係数を量子化する。量子化部２５は、レート制御部３７から供給される符号量の目標値（符号量目標値）に基づいて量子化パラメータを設定し、直交変換係数の量子化を行う。量子化部２５は、量子化された直交変換係数である符号化データを、可逆符号化部２６に供給する。
　可逆符号化部２６は、量子化部２５からの符号化データとしての量子化された直交変換係数を所定の可逆符号化方式で符号化する。
　また、可逆符号化部２６は、エンコーダ１１での予測符号化に関する符号化情報のうちの、復号装置１７０での復号に必要な符号化情報を、各ブロックから取得する。
　ここで、符号化情報としては、例えば、イントラ予測やインター予測の予測モード、動きベクトル等の動き情報、符号量目標値、量子化パラメータ、ピクチャタイプ(I,P,B)、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等がある。
　予測モードは、イントラ予測部３４や動き予測補償部３５から取得することができる。動き情報は、動き予測補償部３５から取得することができる。デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータは、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１からそれぞれ取得することができる。
　可逆符号化部２６は、符号化情報を、例えば、CAVLC（Context-Adaptive Variable Length Coding）やCABAC（Context-Adaptive Binary Arithmetic Coding）等の可変長符号化又は算術符号化その他の可逆符号化方式で符号化し、符号化後の符号化情報、及び、量子化部２５からの符号化データを含む（多重化した）符号化ビットストリームを生成して、蓄積バッファ２７に供給する。
　ここで、以上の演算部２３ないし可逆符号化部２６が、画像を符号化する符号化部として機能する。
　蓄積バッファ２７は、可逆符号化部２６から供給される符号化ビットストリームを、一時的に蓄積する。蓄積バッファ２７に蓄積された符号化ビットストリームは、所定のタイミングで読み出されて伝送される。
　量子化部２５において量子化された直交変換係数である符号化データは、可逆符号化部２６に供給される他、逆量子化部２８にも供給される。逆量子化部２８は、量子化された直交変換係数を、量子化部２５による量子化に対応する方法で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部２９に供給する。
　逆直交変換部２９は、逆量子化部２８から供給される直交変換係数を、直交変換部２４による直交変換処理に対応する方法で逆直交変換し、その逆直交変換の結果得られる残差を、演算部３０に供給する。
　演算部３０は、逆直交変換部２９から供給される残差に、予測画像選択部３６を介してイントラ予測部３４又は動き予測補償部３５から供給される予測画像を加算し、これにより、元画像を復号した復号画像（の一部）を得て出力する。
　演算部３０が出力する復号画像は、デブロックフィルタ３１ａ又はフレームメモリ３２に供給される。
　フレームメモリ３２は、演算部３０から供給される復号画像、及び、ALF４２から供給される、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF４２が適用された復号画像（フィルタ画像）を一時記憶する。フレームメモリ３２に記憶された復号画像は、必要なタイミングで、予測画像の生成に用いられる参照画像として、選択部３３に供給される。
　選択部３３は、フレームメモリ３２から供給される参照画像の供給先を選択する。イントラ予測部３４においてイントラ予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、イントラ予測部３４に供給する。動き予測補償部３５においてインター予測が行われる場合、選択部３３は、フレームメモリ３２から供給される参照画像を、動き予測補償部３５に供給する。
　イントラ予測部３４は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、イントラ予測（画面内予測）を行う。イントラ予測部３４は、所定のコスト関数に基づいて、最適なイントラ予測の予測モードを選択し、その最適なイントラ予測の予測モードで参照画像から生成された予測画像を、予測画像選択部３６に供給する。また、イントラ予測部３４は、コスト関数に基づいて選択されたイントラ予測の予測モードを、可逆符号化部２６等に適宜供給する。
　動き予測補償部３５は、並べ替えバッファ２２から供給される元画像と、選択部３３を介してフレームメモリ３２から供給される参照画像とを用い、動き予測を行う。さらに、動き予測補償部３５は、動き予測により検出される動きベクトルに応じて動き補償を行い、予測画像を生成する。動き予測補償部３５は、あらかじめ用意された複数のインター予測の予測モードで、インター予測を行い、参照画像から予測画像を生成する。
　動き予測補償部３５は、所定のコスト関数に基づいて、複数のインター予測の予測モードから、最適なインター予測の予測モードを選択する。さらに、動き予測補償部３５は、最適なインター予測の予測モードで生成された予測画像を、予測画像選択部３６に供給する。
　また、動き予測補償部３５は、コスト関数に基づいて選択された最適なインター予測の予測モードや、そのインター予測の予測モードで符号化された符号化データを復号する際に必要な動きベクトル等の動き情報等を、可逆符号化部２６に供給する。
　予測画像選択部３６は、演算部２３及び演算部３０に供給する予測画像の供給元を、イントラ予測部３４及び動き予測補償部３５の中から選択し、その選択した方の供給元から供給される予測画像を、演算部２３及び演算部３０に供給する。
　レート制御部３７は、蓄積バッファ２７に蓄積された符号化ビットストリームの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御する。すなわち、レート制御部３７は、蓄積バッファ２７のオーバーフロー及びアンダーフローが生じないように、符号化ビットストリームの目標符号量を設定し、量子化部２５に供給する。
　デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを必要に応じて適用し、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ４１に供給する。
　適応オフセットフィルタ４１は、デブロックフィルタ３１ａからの復号画像に、適応オフセットフィルタを必要に応じて適用し、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF４２に供給する。
　ALF４２は、適応オフセットフィルタ４１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、フレームメモリ３２に供給する。
　＜符号化処理＞
　図４は、図３のエンコーダ１１の符号化処理の例を説明するフローチャートである。
　なお、図４に示す符号化処理の各ステップの順番は、説明の便宜上の順番であり、実際の符号化処理の各ステップは、適宜、並列的に、必要な順番で行われる。後述する処理についても、同様である。
　エンコーダ１１では、ステップＳ１１において、A/D変換部２１は、元画像をA/D変換し、並べ替えバッファ２２に供給して、処理は、ステップＳ１２に進む。
　ステップＳ１２において、並べ替えバッファ２２は、A/D変換部２１からの元画像を記憶し、符号化順に並べ替えて出力し、処理は、ステップＳ１３に進む。
　ステップＳ１３では、イントラ予測部３４は、イントラ予測を行い、処理は、ステップＳ１４に進む。ステップＳ１４において、動き予測補償部３５は、動き予測や動き補償を行うインター予測を行い、処理は、ステップＳ１５に進む。
　イントラ予測部３４のイントラ予測、及び、動き予測補償部３５のインター予測では、各種の予測モードのコスト関数が演算されるとともに、予測画像が生成される。
　ステップＳ１５では、予測画像選択部３６は、イントラ予測部３４及び動き予測補償部３５で得られる各コスト関数に基づいて、最適な予測モードを決定する。そして、予測画像選択部３６は、イントラ予測部３４により生成された予測画像、及び、動き予測補償部３５により生成された予測画像の中から最適な予測モードの予測画像を選択して出力し、処理は、ステップＳ１５からステップＳ１６に進む。
　ステップＳ１６では、演算部２３は、並べ替えバッファ２２が出力する元画像である符号化対象の対象画像と、予測画像選択部３６が出力する予測画像との残差を演算し、直交変換部２４に供給して、処理は、ステップＳ１７に進む。
　ステップＳ１７では、直交変換部２４は、演算部２３からの残差を直交変換し、その結果得られる直交変換係数を、量子化部２５に供給して、処理は、ステップＳ１８に進む。
　ステップＳ１８では、量子化部２５は、直交変換部２４からの直交変換係数を量子化し、その量子化により得られる量子化係数を、可逆符号化部２６及び逆量子化部２８に供給して、処理は、ステップＳ１９に進む。
　ステップＳ１９では、逆量子化部２８は、量子化部２５からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部２９に供給して、処理は、ステップＳ２０に進む。ステップＳ２０では、逆直交変換部２９は、逆量子化部２８からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部３０に供給して、処理は、ステップＳ２１に進む。
　ステップＳ２１では、演算部３０は、逆直交変換部２９からの残差と、予測画像選択部３６が出力する予測画像とを加算し、演算部２３での残差の演算の対象となった元画像に対応する復号画像を生成する。演算部３０は、復号画像を、デブロックフィルタ３１ａに供給し、処理は、ステップＳ２１からステップＳ２２に進む。
　ステップＳ２２では、デブロックフィルタ３１ａは、演算部３０からの復号画像に、デブロックフィルタを適用し、その結果得られるフィルタ画像を、適応オフセットフィルタ４１に供給して、処理は、ステップＳ２３に進む。
　ステップＳ２３では、適応オフセットフィルタ４１は、デブロックフィルタ３１ａからのフィルタ画像に、適応オフセットフィルタを適用し、その結果得られるフィルタ画像を、ALF４２に供給して、処理は、ステップＳ２４に進む。
　ステップＳ２４では、ALF４２は、適応オフセットフィルタ４１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、フレームメモリ３２に供給して、処理は、ステップＳ２５に進む。
　ステップＳ２５では、フレームメモリ３２は、ALF４２から供給されるフィルタ画像を記憶し、処理は、ステップＳ２６に進む。フレームメモリ３２に記憶されたフィルタ画像は、ステップＳ１３やＳ１４で、予測画像を生成する元となる参照画像として使用される。
　ステップＳ２６では、可逆符号化部２６は、量子化部２５からの量子化係数である符号化データを符号化し、その符号化データを含む符号化ビットストリームを生成する。さらに、可逆符号化部２６は、量子化部２５での量子化に用いられた量子化パラメータや、イントラ予測部３４でのイントラ予測で得られた予測モード、動き予測補償部３５でのインター予測で得られた予測モードや動き情報、デブロックフィルタ３１ａ及び適応オフセットフィルタ４１のフィルタパラメータ等の符号化情報を必要に応じて符号化し、符号化ビットストリームに含める。
　そして、可逆符号化部２６は、符号化ビットストリームを、蓄積バッファ２７に供給し、処理は、ステップＳ２６からステップＳ２７に進む。
　ステップＳ２７において、蓄積バッファ２７は、可逆符号化部２６からの符号化ビットストリームを蓄積し、処理は、ステップＳ２８に進む。蓄積バッファ２７に蓄積された符号化ビットストリームは、適宜読み出されて伝送される。
　ステップＳ２８では、レート制御部３７は、蓄積バッファ２７に蓄積されている符号化ビットストリームの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２５の量子化動作のレートを制御し、符号化処理は終了する。
　＜デコーダ５１の構成例＞
　図５は、図２のデコーダ５１の詳細な構成例を示すブロック図である。
　図５において、デコーダ５１は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、演算部６５、並べ替えバッファ６７、及び、D/A変換部６８を有する。さらに、デコーダ５１は、フレームメモリ６９、選択部７０、イントラ予測部７１、動き予測補償部７２、及び、選択部７３を有する。また、デコーダ５１は、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１、及び、ALF８２を有する。
　蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、所定のタイミングにおいて、その符号化ビットストリームを、可逆復号部６２に供給する。
　可逆復号部６２は、蓄積バッファ６１からの符号化ビットストリームを受信し、図３の可逆符号化部２６の符号化方式に対応する方式で復号する。
　そして、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
　また、可逆復号部６２は、パースを行う機能を有する。可逆復号部６２は、符号化ビットストリームの復号結果に含まれる必要な符号化情報をパースし、符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
　逆量子化部６３は、可逆復号部６２からの符号化データとしての量子化係数を、図３の量子化部２５の量子化方式に対応する方式で逆量子化し、その逆量子化により得られる直交変換係数を、逆直交変換部６４に供給する。
　逆直交変換部６４は、逆量子化部６３から供給される直交変換係数を、図３の直交変換部２４の直交変換方式に対応する方式で逆直交変換し、その結果得られる残差を、演算部６５に供給する。
　演算部６５には、逆直交変換部６４から残差が供給される他、選択部７３を介して、イントラ予測部７１又は動き予測補償部７２から予測画像が供給される。
　演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像とを加算し、復号画像を生成して、デブロックフィルタ３１ｂに供給する。
　ここで、以上の可逆復号部６２ないし演算部６５が、画像を復号する復号部を構成する。
　並べ替えバッファ６７は、ALF８２から供給される復号画像を一時記憶し、復号画像のフレーム（ピクチャ）の並びを、符号化（復号）順から表示順に並べ替え、D/A変換部６８に供給する。
　D/A変換部６８は、並べ替えバッファ６７から供給される復号画像をD/A変換し、図示せぬディスプレイに出力して表示させる。なお、デコーダ５１に接続される機器がディジタル信号の画像を受け付ける場合には、デコーダ５１は、D/A変換部６８を設けずに構成することができる。
　フレームメモリ６９は、ALF８２から供給される復号画像を一時記憶する。さらに、フレームメモリ６９は、所定のタイミングにおいて、又は、イントラ予測部７１や動き予測補償部７２等の外部の要求に基づいて、復号画像を、予測画像の生成に用いる参照画像として、選択部７０に供給する。
　選択部７０は、フレームメモリ６９から供給される参照画像の供給先を選択する。選択部７０は、イントラ予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像をイントラ予測部７１に供給する。また、選択部７０は、インター予測で符号化された画像を復号する場合、フレームメモリ６９から供給される参照画像を動き予測補償部７２に供給する。
　イントラ予測部７１は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図３のイントラ予測部３４と同様に、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてイントラ予測を行う。そして、イントラ予測部７１は、イントラ予測により得られる予測画像を、選択部７３に供給する。
　動き予測補償部７２は、可逆復号部６２から供給される符号化情報に含まれる予測モードに従い、図３の動き予測補償部３５と同様に、フレームメモリ６９から選択部７０を介して供給される参照画像を用いてインター予測を行う。インター予測は、可逆復号部６２から供給される符号化情報に含まれる動き情報等を必要に応じて用いて行われる。
　動き予測補償部７２は、インター予測により得られる予測画像を、選択部７３に供給する。
　選択部７３は、イントラ予測部７１から供給される予測画像、又は、動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給する。
　デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１ｂは、デブロックフィルタが適用された復号画像（フィルタ画像）、又は、デブロックフィルタが適用されていない復号画像を、適応オフセットフィルタ８１に供給する。
　適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからの復号画像に、適応オフセットフィルタを必要に応じて適用する。適応オフセットフィルタ８１は、適応オフセットフィルタが適用された復号画像（フィルタ画像）、又は、適応オフセットフィルタが適用されていない復号画像を、ALF８２に供給する。
　ALF８２は、適応オフセットフィルタ８１からの復号画像に、ALFを必要に応じて適用し、ALFが適用された復号画像、又は、ALFが適用されていない復号画像を、並べ替えバッファ６７及びフレームメモリ６９に供給する。
　＜復号処理＞
　図６は、図５のデコーダ５１の復号処理の例を説明するフローチャートである。
　復号処理では、ステップＳ５１において、蓄積バッファ６１は、エンコーダ１１から伝送されてくる符号化ビットストリームを一時蓄積し、適宜、可逆復号部６２に供給して、処理は、ステップＳ５２に進む。
　ステップＳ５２では、可逆復号部６２は、蓄積バッファ６１から供給される符号化ビットストリームを受け取って復号し、符号化ビットストリームの復号結果に含まれる符号化データとしての量子化係数を、逆量子化部６３に供給する。
　また、可逆復号部６２は、符号化ビットストリームの復号結果に含まれる符号化情報をパースする。そして、可逆復号部６２は、必要な符号化情報を、イントラ予測部７１や、動き予測補償部７２、デブロックフィルタ３１ｂ、適応オフセットフィルタ８１その他の必要なブロックに供給する。
　そして、処理は、ステップＳ５２からステップＳ５３に進み、イントラ予測部７１又は動き予測補償部７２が、フレームメモリ６９から選択部７０を介して供給される参照画像、及び、可逆復号部６２から供給される符号化情報に従い、予測画像を生成するイントラ予測又はインター予測を行う。そして、イントラ予測部７１又は動き予測補償部７２は、イントラ予測又はインター予測により得られる予測画像を、選択部７３に供給し、処理は、ステップＳ５３からステップＳ５４に進む。
　ステップＳ５４では、選択部７３は、イントラ予測部７１又は動き予測補償部７２から供給される予測画像を選択し、演算部６５に供給して、処理は、ステップＳ５５に進む。
　ステップＳ５５では、逆量子化部６３は、可逆復号部６２からの量子化係数を逆量子化し、その結果得られる直交変換係数を、逆直交変換部６４に供給して、処理は、ステップＳ５６に進む。
　ステップＳ５６では、逆直交変換部６４は、逆量子化部６３からの直交変換係数を逆直交変換し、その結果得られる残差を、演算部６５に供給して、処理は、ステップＳ５７に進む。
　ステップＳ５７では、演算部６５は、逆直交変換部６４からの残差と、選択部７３からの予測画像を加算することにより、復号画像を生成する。そして、演算部６５は、復号画像を、デブロックフィルタ３１ｂに供給して、処理は、ステップＳ５７からステップＳ５８に進む。
　ステップＳ５８では、デブロックフィルタ３１ｂは、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、演算部６５からの復号画像に、デブロックフィルタを適用する。デブロックフィルタ３１ｂは、デブロックフィルタの適用の結果得られるフィルタ画像を、適応オフセットフィルタ８１に供給して、処理は、ステップＳ５８からステップＳ５９に進む。
　ステップＳ５９では、適応オフセットフィルタ８１は、可逆復号部６２から供給される符号化情報に含まれるフィルタパラメータに従い、デブロックフィルタ３１ｂからのフィルタ画像に、適応オフセットフィルタを適用する。適応オフセットフィルタ８１は、適応オフセットフィルタの適用の結果得られるフィルタ画像を、ALF８２に供給して、処理は、ステップＳ５９からステップＳ６０に進む。
　ALF８２は、適応オフセットフィルタ８１からのフィルタ画像に、ALFを適用し、その結果得られるフィルタ画像を、並べ替えバッファ６７及びフレームメモリ６９に供給して、処理は、ステップＳ６１に進む。
　ステップＳ６１では、フレームメモリ６９は、ALF８２から供給されるフィルタ画像を一時記憶し、処理は、ステップＳ６２に進む。フレームメモリ６９に記憶されたフィルタ画像（復号画像）は、ステップＳ５３のイントラ予測又はインター予測で、予測画像を生成する元となる参照画像として使用される。
　ステップＳ６２では、並べ替えバッファ６７は、ALF８２から供給されるフィルタ画像を、表示順に並べ替えて、D/A変換部６８に供給し、処理は、ステップＳ６３に進む。
　ステップＳ６３では、D/A変換部６８は、並べ替えバッファ６７からのフィルタ画像をD/A変換し、処理は、復号処理は終了する。D/A変換後のフィルタ画像（復号画像）は、図示せぬディスプレイに出力されて表示される。
　＜イントラ予測部３４の構成例＞
　図７は、イントラ予測部３４の構成例を示すブロック図である。
　なお、図７では、イントラ予測部３４のうちの、MIPの予測画像を生成する部分である予測画像生成部１１０だけを図示してある。イントラ予測部７１も、予測画像生成部１１０と同様の予測画像生成部を有する。
　予測画像生成部１１０は、平均化部１１１、行列ベクトル乗算部１１２、及び、補間部１１３を有する。
　平均化部１１１には、カレント予測ブロックについて、選択部３３から参照画像（としての復号画像）が供給される。
　平均化部１１１は、カレント予測ブロックについての参照画像の上オリジナル画素（の画素値）を平均化し、ダウンサンプルされた画素としての複数の平均化画素（の画素値）を生成する。
　また、平均化部１１１は、カレント予測ブロックについての参照画像の左オリジナル画素を平均化し、ダウンサンプルされた画素としての複数の平均化画素を生成する。
　平均化部１１１は、平均化画素を、行列ベクトル乗算部１１２に供給する。
　行列ベクトル乗算部１１２には、イントラ予測の予測モードkが供給される。
　行列ベクトル乗算部１１２は、予測モードkに応じて、行列演算に用いる行列Ak及びベクトルであるオフセットbkを設定する。そして、行列ベクトル乗算部１１２は、行列演算として、行列Akと、平均化部１１１の平均化画素を要素とするベクトルとの乗算を行う。さらに、行列ベクトル乗算部１１２は、行列演算として、乗算の結果に、オフセットbkの加算を行い、これにより、カレント予測ブロックの予測画像の一部の画素を生成し、補間部１１３に供給する。
　補間部１１３には、参照画像が供給される。
　補間部１１３は、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行う。
　補間部１１３は、補間処理により、カレント予測ブロックの予測画像の残りの画素を生成し、行列ベクトル乗算部１１２からの予測画像の一部の画素と合わせて、カレント予測ブロックの予測画像を生成する（完成させる）。
　補間部１１３は、予測画像の上隣接画素として、参照画像の上オリジナル画素を用いるとともに、予測画像の左隣接画素として、参照画像の左オリジナル画素を用いる。
　図８は、予測画像生成部１１０が行うMIPの予測画像の生成の処理の例を説明するフローチャートである。
　ステップＳ１１１において、平均化部１１１は、参照画像の上オリジナル画素を平均化するとともに、参照画像の左オリジナル画素を平均化し、平均化画素を生成する。平均化部１１１は、平均化画素を、行列ベクトル乗算部１１２に供給して、処理は、ステップＳ１１１からステップＳ１１２に進む。
　ステップＳ１１２では、行列ベクトル乗算部１１２は、予測モードkに応じて、行列演算に用いる行列Ak及びオフセットbkを設定する。さらに、行列ベクトル乗算部１１２は、行列Ak及びオフセットbkを用い、平均化部１１１からの平均化画素を要素とするベクトルを対象として、行列演算を行う。
　すなわち、行列ベクトル乗算部１１２は、行列演算として、行列Akと、平均化部１１１の平均化画素を要素とするベクトルとの乗算を行う。さらに、行列ベクトル乗算部１１２は、行列演算として、乗算の結果に、オフセットbkの加算を行う。行列ベクトル乗算部１１２は、以上の行列演算により、カレント予測ブロックの予測画像の一部の画素を生成し、補間部１１３に供給して、処理は、ステップＳ１１２からステップＳ１１３に進む。
　ステップＳ１１３では、補間部１１３は、上隣接画素として、参照画像の上オリジナル画素を用いるとともに、左隣接画素として、参照画像の左オリジナル画素を用い、これらの上隣接画素及び左隣接画素、並びに、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行う。
　補間部１１３は、補間処理により、カレント予測ブロックの予測画像の残りの画素を生成し、行列ベクトル乗算部１１２からの予測画像の一部の画素と合わせて、カレント予測ブロックの予測画像を生成する。
　図９は、予測画像生成部１１０のMIPの予測画像の生成方法を説明する図である。
　図９では、図１と同様に、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。但し、予測ブロックは、W×H＝8×8画素のブロックに限定されるものではない。
　平均化部１１１は、JVET-N0217と同様に、カレント予測ブロックについて、参照画像の上オリジナル画素bdrytopを平均化し、ダウンサンプルされた画素としての複数の平均化画素bdryredを生成する。
　さらに、平均化部１１１は、JVET-N0217と同様に、カレント予測ブロックについて、参照画像の左オリジナル画素bdryleftを平均化し、ダウンサンプルされた画素としての複数の平均化画素bdryredを生成する。
　カレント予測ブロックが、W×H＝8×8画素のブロックである場合、上オリジナル画素bdrytopの平均化は、参照画像の横方向に隣接する2個の上オリジナル画素bdrytopの平均をとることにより行われ、これにより、4個の平均化画素bdryredが生成される。同様に、左オリジナル画素bdryleftの平均化は、参照画像の縦方向に隣接する2個の左オリジナル画素bdryleftの平均をとることにより行われ、これにより、4個の平均化画素bdryredが生成される。
　ここで、本実施の形態では、ダウンサンプルされた画素として、オリジナルの画素の平均をとることにより得られる平均化画素を採用するが、ダウンサンプルされた画素は、平均化画素に限定されるものではない。すなわち、ダウンサンプルは、複数の画素の平均をとる他、メディアン等の平均以外の演算を行うことや、単に、画素を間引くことによって行うことができる。
　行列ベクトル乗算部１１２は、JVET-N0217と同様に、イントラ予測の予測モードkに応じて設定される行列Ak及びオフセットbkを用い、平均化画素bdryredを要素とするベクトルbdryredを対象とする行列演算としての式predred＝Ak・bdryred＋bkを演算する。
　すなわち、行列ベクトル乗算部１１２は、行列演算として、行列Akと平均化画素bdryredを要素とするベクトルbdryredとの乗算Ak・bdryredを行う。さらに、行列ベクトル乗算部１１２は、乗算の結果Ak・bdryredに、オフセットbkを加算する。これにより、行列ベクトル乗算部１１２は、カレント予測ブロックの予測画像の一部の画素predredを生成する。
　補間部１１３は、JVET-N0217と同様に、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いた補間処理を行う。
　補間部１１３は、補間処理により、予測画像の残りの画素（図中、白抜きの画素）を生成し、行列演算により生成された画素predredとを合わせることで、カレント予測ブロックの予測画像(pred)を生成する。
　但し、JVET-N0217の補間処理では、図１で説明したように、予測画像の上隣接画素として、参照画像の平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて生成された平均化画素bdrytop redが用いられる。
　これに対して、補間部１１３の補間処理では、予測画像の上隣接画素として、平均化画素bdrytop redではなく、参照画像の上オリジナル画素bdrytopそのものが用いられる。
　以上のように、予測画像生成部１１０では、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いるので、上隣接画素として、平均化画素を用いる場合に必要となる平均化画素（の画素値）bdrytop redの保持を行わずに済む。さらに、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いる場合には、平均化画素bdrytop redを用いる場合に比較して、イントラ予測の予測精度が高まることを期待することができる。
　＜イントラ予測部３４の他の構成例＞
　図１０は、イントラ予測部３４の他の構成例を示すブロック図である。
　なお、図１０では、図７と同様に、イントラ予測部３４のうちの、MIPの予測画像を生成する部分である予測画像生成部１２０だけを図示してある。イントラ予測部７１も、予測画像生成部１２０と同様の予測画像生成部を有する。
　また、図中、図７の予測画像生成部１１０と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
　予測画像生成部１２０は、平均化部１１１、行列ベクトル乗算部１１２、及び、補間部１２３を有する。
　したがって、予測画像生成部１２０は、平均化部１１１及び行列ベクトル乗算部１１２を有する点で、図７の予測画像生成部１１０を共通する。但し、予測画像生成部１２０は、補間部１１３に代えて、補間部１２３を有する点で、予測画像生成部１１０と相違する。
　予測画像生成部１２０では、補間部１２３に対して、参照画像と、行列ベクトル乗算部１１２で生成されたカレント予測ブロックの予測画像の一部の画素とが供給されるとともに、予測モードkと、平均化部１１１で生成された平均化画素とが供給される。
　補間部１２３は、補間部１１３と同様に、予測画像の上隣接画素及び左隣接画素、並びに、行列ベクトル乗算部１１２からのカレント予測ブロックの予測画像の一部の画素を用いて補間処理を行い、その補間処理により生成される予測画像の残りの画素と、行列ベクトル乗算部１１２からの予測画像の一部の画素とを合わせて、予測画像を生成する。
　但し、補間部１２３は、予測モードkに応じて、上隣接画素として、参照画像の上オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを選択することができる。また、補間部１２３は、予測モードkに応じて、左隣接画素として、参照画像の左オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを選択することができる。
　図１１は、予測画像生成部１２０のMIPの予測画像の生成方法を説明する図である。
　図１１では、図９と同様に、カレント予測ブロックとして、W×H＝8×8画素のブロックが採用されている。但し、予測ブロックは、W×H＝8×8画素のブロックに限定されるものではない。
　予測画像生成部１２０では、平均化部１１１において、予測画像生成部１１０と同様に、カレント予測ブロックについて、参照画像の上オリジナル画素bdrytopを平均化した平均化画素bdryredと、左オリジナル画素bdryleftを平均化した平均化画素bdryredとが生成される。
　さらに、予測画像生成部１２０では、行列ベクトル乗算部１１２において、予測画像生成部１１０と同様に、平均化画素bdryredを要素とするベクトルbdryredを対象とする行列演算としての式predred＝Ak・bdryred＋bkが演算され、カレント予測ブロックの予測画像の一部の画素predredが生成される。
　そして、予測画像生成部１２０では、補間部１２３において、予測画像生成部１１０と同様に、カレント予測ブロックの予測画像の上に隣接する上隣接画素、カレント予測ブロックの予測画像の左に隣接する左隣接画素、及び、行列演算で生成されたカレント予測ブロックの予測画像の一部の画素predredを用いた補間処理が行われ、これにより、カレント予測ブロックの予測画像(pred)が生成される。
　但し、補間部１２３では、予測モードkに応じて、上隣接画素として、参照画像の上オリジナル画素bdrytopを用いるか、又は、ダウンサンプルされた画素としての平均化画素bdrytop redを用いるかを選択することができる。また、補間部１２３では、予測モードkに応じて、左隣接画素として、参照画像の左オリジナル画素bdryleftを用いるか、又は、ダウンサンプルされた画素としての平均化画素bdryleft redを用いるかを選択することができる。
　平均化画素bdrytop redは、平均化画素bdryredのうちの、上オリジナル画素bdrytopを用いて（上オリジナル画素bdrytopの平均をとることにより）生成された平均化画素である。平均化画素bdryleft redは、左オリジナル画素bdryleftを用いて生成された平均化画素である。
　補間部１２３は、セレクタ１３１及び１３２を有する。
　セレクタ１３１には、上オリジナル画素bdrytop及び平均化画素bdrytop redが供給される。セレクタ１３１は、予測モードkに応じて、上オリジナル画素bdrytop又は平均化画素bdrytop redを選択して出力する。補間部１２３では、上オリジナル画素bdrytop及び平均化画素bdrytop redのうちの、セレクタ１３１が出力する方の画素を、上隣接画素として用いて、補間処理が行われる。
　セレクタ１３２には、左オリジナル画素bdryleft及び平均化画素bdryleft redが供給される。セレクタ１３２は、予測モードkに応じて、左オリジナル画素bdryleft又は平均化画素bdryleft redを選択して出力する。補間部１２３では、左オリジナル画素bdryleft及び平均化画素bdryleft redのうちの、セレクタ１３２が出力する方の画素を、左隣接画素として用いて、補間処理が行われる。
　以上のように、予測画像生成部１２０において、上隣接画素として、参照画像の上オリジナル画素を用いるか、若しくは、平均化画素を用いるかを選択すること、及び／又は、左隣接画素として、参照画像の左オリジナル画素を用いるか、平均化画素を用いるかを選択することができる場合には、イントラ予測の予測精度がさらに高まることを期待することができる。
　図１２は、予測モードkに応じて上隣接画素及び左隣接画素として選択される画素の例を示す図である。
　ここで、上隣接画素若しくは左隣接画素又は両方を、隣接画素ともいう。また、上オリジナル画素若しくは左オリジナル画素又は両方を、オリジナル画素ともいう。
　図１２では、予測モードkが、MIPモード（のモード番号）及びサイズ識別子MipSizeIdを表す情報を含む場合に、そのMIPモード及びサイズ識別子MipSizeIdに応じて隣接画素（上隣接画素、左隣接画素）として選択される画素が示されている。
　図１２において、"Original"は、オリジナル画素（上オリジナル画素、左オリジナル画素）を表し、"Averaged"は、平均化画素を表す。図１２によれば、例えば、MIPモードが１で、サイズ識別子MipSizeIdが０である場合、左隣接画素として左オリジナル画素(Original)が選択され、上隣接画素として、平均的画素(Averaged)が選択される。
　サイズ識別子MipSizeIdは、MIPで用いられる行列Akのサイズを表す識別子であり、カレント予測ブロックのブロックサイズに応じて設定される。したがって、予測モードkがサイズ識別子MipSizeIdを表す情報を含む場合、予測モードkは、カレント予測ブロックのブロックサイズを表す情報を含むということができる。
　予測モードkは、イントラ予測の予測方向や、方向性予測、非方向性予測（例えば、プレーヤ予測やDC予測）を表す情報を含むことができる。イントラ予測の予測方向は、方向性予測の参照方向を含む。
　予測モードkが、方向性予測を表す情報を含む場合、隣接画素として、オリジナル画素又は平均化画素を選択することができる。例えば、予測モードkが、方向性予測を表す情報を含む場合、その方向性予測の参照方向に応じて、隣接画素として、オリジナル画素又は平均化画素を選択することができる。
　具体的には、例えば、カレント予測ブロックに、縦方向のエッジ等の模様が存在し、方向性予測の参照方向が縦方向に近い場合には、上隣接画素として、上オリジナル画素を選択することができる。また、例えば、カレント予測ブロックに、横方向のエッジ等の模様が存在し、方向性予測の参照方向が横方向に近い場合には、左隣接画素として、左オリジナル画素を選択することができる。この場合、予測精度を高めることができる。
　予測モードkが、非方向性予測を表す情報を含む場合、例えば、イントラ予測として、DC予測が行われる場合、上隣接画素及び左隣接画素として、平均化画素を選択することができる。
　その他、予測画像に隣接する隣接画素とする画素の選択は、予測モードkに応じて行う他、エンコーダ１１において、参照画像となる復号画像（ローカルデコード画像）に対する、インループフィルタの適用の有無、すなわち、デブロックフィルタ３１ａ、適応オフセットフィルタ４１、及び、ALF４２の一部又は全部が適用されたか否かに応じて行うことができる。例えば、シミュレーションを行い、インループフィルタの適用の有無に応じて、コストが小さくなるように、隣接画素とする画素の選択を行うことができる。
　イントラ予測部３４は、イントラ予測の予測画像の生成において、予測画像に隣接する隣接画素として、参照画像のオリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別する識別データを設定する設定部として機能させることができる。イントラ予測部３４で設定された識別データは、例えば、符号化情報の一部として、符号化ビットストリームに含めることができる。
　識別データには、上隣接画素として、参照画像の上オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別するデータを含めることができる。また、識別データには、左隣接画素として、参照画像の左オリジナル画素を用いるか、又は、ダウンサンプルされた画素としての平均化画素を用いるかを識別するデータを含めることができる。
　なお、隣接画素として、参照画像のオリジナル画素又はダウンサンプルされた画素としての平均化画素を用いるかは、予測モード等に応じて選択するのではなく、別個の予測モードとして扱い、コストが小さくなる方を選択することができる。
　＜本技術を適用したコンピュータの説明＞
　次に、上述したエンコーダ１１及びデコーダ５１の一連の処理は、ハードウエアにより行うこともできるし、ソフトウエアにより行うこともできる。一連の処理をソフトウエアによって行う場合には、そのソフトウエアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１３は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
　CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
　これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
　なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０　画像処理システム，　１１　エンコーダ，　２１　A/D変換部，　２２　並べ替えバッファ２２，　２３　演算部，　２４　直交変換部，　２５　量子化部，　２６　可逆符号化部，　２７　蓄積バッファ，　２８　逆量子化部，　２９　逆直交変換部，　３０　演算部，　３１ａ，３１ｂ　デブロックフィルタ，　３２　フレームメモリ，　３３　選択部，　３４　イントラ予測部，　３５　動き予測補償部，　３６　予測画像選択部，　３７　レート制御部，　４１　適応オフセットフィルタ，　４２　ALF，　５１　デコーダ，　６１　蓄積バッファ，　６２　可逆復号部，　６３　逆量子化部，　６４　逆直交変換部，　６５　演算部，　６７　並べ替えバッファ，　６８　D/A変換部，　６９　フレームメモリ，　７０　選択部，　７１　イントラ予測部，　７２　動き予測補償部，　７３　選択部，　８１　適応オフセットフィルタ，　８２　ALF，　１１０　予測画像生成部，　１１１　平均化部，　１１２　行列ベクトル乗算部，　１１３　補間部，　１２０　予測画像生成部，　１２３　補間部，　９０１　バス，　９０２　CPU，　９０３　ROM，　９０４　RAM，　９０５　ハードディスク，　９０６　出力部，　９０７　入力部，　９０８　通信部，　９０９　ドライブ，　９１０　入出力インタフェース，　９１１　リムーバブル記録媒体

Claims (20)

  1. 　行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、
    　前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化部と
    　を備える画像処理装置。
  2. 　前記イントラ予測部は、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記予測画像を生成する
    　請求項１に記載の画像処理装置。
  3. 　前記イントラ予測部は、前記補間処理において、イントラ予測の予測モードに応じて、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    　請求項１に記載の画像処理装置。
  4. 　前記イントラ予測部は、前記補間処理において、前記イントラ予測の予測モードに応じて、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    　請求項３に記載の画像処理装置。
  5. 　前記イントラ予測の予測モードは、前記イントラ予測の予測方向を表す情報を含む
    　請求項４に記載の画像処理装置。
  6. 　前記イントラ予測の予測モードは、前記カレント予測ブロックのブロックサイズを表す情報を含む
    　請求項５に記載の画像処理装置。
  7. 　前記ダウンサンプルされた画素は、前記オリジナルの画素の平均をとった画素である
    　請求項４に記載の画像処理装置。
  8. 　前記イントラ予測部は、前記イントラ予測の予測モードが方向性予測を表す情報を含む場合に、前記カレント予測ブロックの予測画像に隣接する隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    　請求項４に記載の画像処理装置。
  9. 　前記イントラ予測部は、前記方向性予測の参照方向が縦方向に近い場合に、前記上隣接画素として、前記オリジナルの画素を用いる
    　請求項８に記載の画像処理装置。
  10. 　前記イントラ予測部は、前記方向性予測の参照方向が横方向に近い場合に、前記左隣接画素として、前記オリジナルの画素を用いる
    　請求項８に記載の画像処理装置。
  11. 　前記イントラ予測部は、前記イントラ予測の予測モードが非方向性予測を表す情報を含む場合に、前記上隣接画素として、前記参照画像のダウンサンプルされた画素を用いる
    　請求項４に記載の画像処理装置。
  12. 　前記イントラ予測部は、前記イントラ予測の予測モードが非方向性予測を表す情報を含む場合に、前記左隣接画素として、前記参照画像のダウンサンプルされた画素を用いる
    　請求項１１に記載の画像処理装置。
  13. 　前記イントラ予測部は、前記参照画像となるローカルデコード画像にインループフィルタが適用されたか否かに応じて、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    　請求項３に記載の画像処理装置。
  14. 　前記イントラ予測部は、前記ローカルデコード画像に前記インループフィルタが適用されたか否かに応じて、前記カレント予測ブロックの予測画像の左に隣接する左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを選択する
    　請求項１３に記載の画像処理装置。
  15. 　前記カレント予測ブロックの予測画像に隣接する隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別する識別データを設定する設定部をさらに備える
    　請求項４に記載の画像処理装置。
  16. 　前記識別データは、前記上隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータである
    　請求項１５に記載の画像処理装置。
  17. 　前記識別データは、前記左隣接画素として、前記参照画像のオリジナルの画素を用いるか、又は、ダウンサンプルされた画素を用いるかを識別するデータである
    　請求項１５に記載の画像処理装置。
  18. 　行列演算を用いたイントラ予測を行う際に、符号化の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、
    　前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを符号化する符号化工程と
    　を含む画像処理方法。
  19. 　行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測部と、
    　前記イントラ予測部により生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号部と
    　を備える画像処理装置。
  20. 　行列演算を用いたイントラ予測を行う際に、復号の対象のカレント予測ブロックの予測画像の上に隣接する上隣接画素として、参照画像のオリジナルの画素を用いて補間処理を行うことにより、前記カレント予測ブロックの予測画像を生成するイントラ予測工程と、
    　前記イントラ予測工程において生成された前記予測画像を用いて、前記カレント予測ブロックを復号する復号工程と
    　を含む画像処理方法。
PCT/JP2020/021034 2019-06-11 2020-05-28 画像処理装置及び画像処理方法 WO2020250693A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/616,193 US20220321910A1 (en) 2019-06-11 2020-05-28 Image processing device and image processing method
JP2021525985A JP7456441B2 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法
EP20823298.3A EP3975564A4 (en) 2019-06-11 2020-05-28 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN202080041463.6A CN113994703A (zh) 2019-06-11 2020-05-28 图像处理装置和图像处理方法
KR1020217038321A KR20220019232A (ko) 2019-06-11 2020-05-28 화상 처리 장치 및 화상 처리 방법
JP2024039571A JP2024069447A (ja) 2019-06-11 2024-03-14 画像処理装置及び画像処理方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962859838P 2019-06-11 2019-06-11
US62/859,838 2019-06-11

Publications (1)

Publication Number Publication Date
WO2020250693A1 true WO2020250693A1 (ja) 2020-12-17

Family

ID=73781973

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021034 WO2020250693A1 (ja) 2019-06-11 2020-05-28 画像処理装置及び画像処理方法

Country Status (6)

Country Link
US (1) US20220321910A1 (ja)
EP (1) EP3975564A4 (ja)
JP (2) JP7456441B2 (ja)
KR (1) KR20220019232A (ja)
CN (1) CN113994703A (ja)
WO (1) WO2020250693A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2588406B (en) * 2019-10-22 2022-12-07 British Broadcasting Corp Video encoding and video decoding
WO2024076134A1 (ko) * 2022-10-05 2024-04-11 세종대학교산학협력단 동영상 인코딩 및 디코딩 장치와 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020127811A2 (en) * 2018-12-20 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intra predictions using linear or affine transforms with neighbouring sample reduction

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US6665344B1 (en) * 1998-06-29 2003-12-16 Zenith Electronics Corporation Downconverting decoder for interlaced pictures
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP2011151682A (ja) * 2010-01-22 2011-08-04 Sony Corp 画像処理装置および方法
TWI456991B (zh) * 2011-12-02 2014-10-11 Ind Tech Res Inst 壞點偵測方法與電腦程式產品
CN104604229A (zh) * 2012-09-25 2015-05-06 日本电信电话株式会社 视频编码方法及装置、视频解码方法及装置以及它们的程序
CN104702962B (zh) * 2015-03-03 2019-04-16 华为技术有限公司 帧内编解码方法、编码器和解码器
EP3306925B1 (en) * 2015-06-05 2019-09-18 Sony Corporation Image processing device and image processing method
CN112954331B (zh) * 2019-03-11 2022-07-29 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
EP3941047A4 (en) * 2019-03-12 2022-12-28 LG Electronics Inc. METHOD AND DEVICE FOR ENCODING/DECODING VIDEO AND METHOD FOR TRANSMISSION OF BITSTREAM
US11616966B2 (en) * 2019-04-03 2023-03-28 Mediatek Inc. Interaction between core transform and secondary transform
JP2022535726A (ja) * 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020127811A2 (en) * 2018-12-20 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intra predictions using linear or affine transforms with neighbouring sample reduction

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", RECOMMENDATION ITU-T H.264, April 2017 (2017-04-01)
"Affine linear weighted intra prediction (CE3-4.1, CE3-4.2", JVET-N0217-V3: CE3, 17 January 2019 (2019-01-17)
"CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2", JVET-N0217-V3, 17 January 2019 (2019-01-17)
"CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2", JVET-M0043-V2, 9 January 2019 (2019-01-09)
"High efficiency video coding", RECOMMENDATION ITU-T H.265, February 2018 (2018-02-01)
BENJAMIN BROSSJIANLE CHENSHAN LIU: "Versatile Video Coding (Draft 5", JVET-N1001-V7, 29 May 2019 (2019-05-29)
JIANLE CHENYAN YESEUNG HWAN KIM: "Algorithm description for Versatile Video Coding and Test Model 5 (VTM 5", JVET-N1002-VL
JONATHAN PFAFF ET AL.: "CE3: Affine linear weighted intra prediction (CE3-4.1, CE3-4.2", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-N0217_VL, 14TH MEETING, March 2019 (2019-03-01), Geneva, CH, pages 1 - 17, XP030202699 *
JONATHAN PFAFF ET AL.: "CE3: Affine linear weighted intra prediction (test 1.2.1, test 1.2.2", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-M0043_VL, 13TH MEETING, January 2019 (2019-01-01), Marrakech, MA, pages 1 - 11, XP030197764 *
See also references of EP3975564A4

Also Published As

Publication number Publication date
US20220321910A1 (en) 2022-10-06
JP7456441B2 (ja) 2024-03-27
JPWO2020250693A1 (ja) 2020-12-17
EP3975564A1 (en) 2022-03-30
EP3975564A4 (en) 2022-08-03
JP2024069447A (ja) 2024-05-21
CN113994703A (zh) 2022-01-28
TW202106025A (zh) 2021-02-01
KR20220019232A (ko) 2022-02-16

Similar Documents

Publication Publication Date Title
KR102635983B1 (ko) 스킵 모드를 이용한 영상 복호화 방법 및 이러한 방법을 사용하는 장치
JP7343573B2 (ja) 逆量子化のための装置及び方法
JP2022087158A (ja) イントラ予測方法とそれを利用した符号化器及び復号化器
KR20220116339A (ko) 루마 및 크로마 성분에 대한 ibc 전용 버퍼 및 디폴트 값 리프레싱을 사용하는 인코더, 디코더 및 대응하는 방법들
JP6315911B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP7431803B2 (ja) クロマブロック予測方法およびデバイス
JP2009513056A (ja) 適応型走査を用いる動画の符号化／復号化装置及びその方法
JP2005070938A (ja) 信号処理装置及びそれを用いた電子機器
TWI776071B (zh) 用以編碼及解碼視訊取樣之轉換區塊的方法、設備和系統
JP2024069447A (ja) 画像処理装置及び画像処理方法
KR20210126771A (ko) 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들
JP2022535859A (ja) Ｍｐｍリストを構成する方法、クロマブロックのイントラ予測モードを取得する方法、および装置
US20150312569A1 (en) Image processing apparatus, image processing method, and program
KR20210075201A (ko) 인트라 예측을 위한 방법 및 장치
JP2024113152A (ja) 画像処理装置及び画像処理方法
US20220116620A1 (en) Method and Apparatus of Still Picture and Video Coding with Shape-Adaptive Resampling of Residual Blocks
KR20220059549A (ko) 향상된 보간 필터로써 하나의 블록 행의 처리 동안 페치되는 참조 라인의 수를 감소시키는 아핀 모션 모델 제약
JP6469277B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US11870977B2 (en) Method and apparatus for division-free intra-prediction
WO2021125317A1 (ja) 画像処理装置及び画像処理方法
US11973945B2 (en) Encoder, a decoder and corresponding methods restricting size of sub-partitions from intra sub-partition coding mode tool
JP2021093575A (ja) 符号化装置、復号装置、及びプログラム
EP4189956A1 (en) Method and apparatus for hadamard transform domain filtering of the video signal with various bit depth
JP2021093634A (ja) 符号化装置、復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20823298

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021525985

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020823298

Country of ref document: EP

Effective date: 20211221