WO2021060262A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2021060262A1
WO2021060262A1 PCT/JP2020/035763 JP2020035763W WO2021060262A1 WO 2021060262 A1 WO2021060262 A1 WO 2021060262A1 JP 2020035763 W JP2020035763 W JP 2020035763W WO 2021060262 A1 WO2021060262 A1 WO 2021060262A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
prediction
color difference
image
processing
Prior art date
Application number
PCT/JP2020/035763
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/634,238 priority Critical patent/US20220337865A1/en
Publication of WO2021060262A1 publication Critical patent/WO2021060262A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method capable of suppressing deterioration of image quality and deterioration of coding efficiency.
  • VVC Very Video Coding
  • Non-Patent Document 1 discloses a technique for applying motion compensation to a luminance component using an optical flow.
  • the present disclosure has been made in view of such a situation, and makes it possible to suppress deterioration of image quality and deterioration of coding efficiency.
  • the image processing apparatus of the first aspect of the present disclosure performs motion compensation processing to which optical flow processing is applied for the color difference component of the current prediction block to be encoded processing as color difference optical flow processing. It includes an inter-prediction unit that generates a prediction pixel in the current prediction block, and a coding unit that encodes the current pixel in the current prediction block using the prediction pixel.
  • the image processing apparatus performs a motion compensation process to which an optical flow process is applied for a color difference component of a current prediction block to be encoded, and a color difference optical flow process. This includes generating a predicted pixel in the current predicted block and encoding the current pixel in the current predicted block using the predicted pixel.
  • the motion compensation processing to which the optical flow processing is applied is performed as the color difference optical flow processing for the color difference component of the current prediction block to be the coding process, so that the current prediction is performed.
  • Predicted pixels in the block are generated, and the predicted pixels are used to encode the current pixels in the current predicted block.
  • the image processing apparatus of the second aspect of the present disclosure performs motion compensation processing to which optical flow processing is applied on the color difference component of the current prediction block to be encoded processing as color difference optical flow processing. It includes an inter-prediction unit that generates a prediction pixel in the current prediction block, and a decoding unit that decodes the current pixel in the current prediction block using the prediction pixel.
  • the image processing apparatus performs a motion compensation process to which an optical flow process is applied for a color difference component of a current prediction block to be encoded, and a color difference optical flow process. This includes generating a predicted pixel in the current predicted block and decoding the current pixel in the current predicted block using the predicted pixel.
  • the motion compensation processing to which the optical flow processing is applied is performed as the color difference optical flow processing for the color difference component of the current prediction block to be the object of the coding processing, so that the current prediction is performed.
  • Predicted pixels in the block are generated, and the predicted pixels in the current predicted block are decoded using the predicted pixels.
  • references REF1 to REF5 which are known at the time of filing, are also incorporated herein by reference.
  • the contents described in the following references REF1 to REF5 are also the basis for judging the support requirements.
  • the references referenced in references REF1 to REF5 are also the basis for determining support requirements.
  • REF1 Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
  • REF2 Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
  • REF3 Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 6), JVET-O2001-v14 (version 14 --date 2019-07-31)
  • REF4 Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6), JVET-O2002-v1 (version 1 --date 2019-08-15)
  • REF5 Jiancong (Daniel) Luo, Yuwen He
  • CE4 Prediction refinement with optical flow for affine mode (Test 2.1), JVET-O0070, (version 5 --date 2019-07-10)
  • a "block” (not a block indicating a processing unit) used as a partial area or a processing unit of an image (picture) indicates an arbitrary partial area in the picture, and its size, shape, and processing.
  • the characteristics are not limited.
  • "block” includes TB (Transform Block), TU (Transform Unit), PB (Prediction Block), PU (Prediction Unit), SCU (Smallest Coding Unit), CU (Coding Unit), LCU (Largest Coding Unit). ), CTB (Coding TreeBlock), CTU (Coding Tree Unit), conversion block, subblock, macroblock, tile, slice, etc., any partial area (processing unit) shall be included.
  • the block size may be specified using the identification information that identifies the size.
  • the block size may be specified by the ratio or difference with the size of the reference block (for example, LCU, SCU, etc.).
  • the designation of the block size also includes the designation of the range of the block size (for example, the designation of the range of the allowable block size).
  • the data unit in which various information is set and the data unit targeted by various processes are arbitrary and are not limited to the above-mentioned examples.
  • these information and processes are TU (Transform Unit), TB (Transform Block), PU (Prediction Unit), PB (Prediction Block), CU (Coding Unit), LCU (Largest Coding Unit), and subblock, respectively.
  • Blocks, tiles, slices, pictures, sequences, or components, or data in those data units may be targeted.
  • this data unit can be set for each information or process, and it is not necessary that the data unit of all the information or process is unified.
  • the storage location of these information is arbitrary, and may be stored in the header, parameter set, or the like of the above-mentioned data unit. Further, it may be stored in a plurality of places.
  • control information related to the present technology may be transmitted from the coding side to the decoding side.
  • control information for example, enabled_flag
  • control information indicating an object to which the present technology is applied (or an object to which the present technology is not applied) may be transmitted.
  • control information may be transmitted that specifies the block size (upper limit, / lower limit, or both) to which the present technology is applied (or permission or prohibition of application), a frame, a component, a layer, or the like.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • association metadata various information (metadata, etc.) regarding the coded data (bit stream) may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate” means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). Good.
  • this "association" may be a part of the data, not the entire data. For example, an image and information corresponding to the image may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part within the frame.
  • the coding includes not only the whole process of converting an image into a bit stream but also a part of the process.
  • decoding includes not only the entire process of converting a bitstream into an image, but also some processes.
  • decoding includes not only the entire process of converting a bitstream into an image, but also some processes.
  • it not only includes processing that includes inverse arithmetic decoding, inverse quantization, inverse orthogonal transformation, prediction processing, etc., but also processing that includes inverse arithmetic decoding and inverse quantization, inverse arithmetic decoding, inverse quantization, and prediction processing.
  • the prediction block means a block that is a processing unit when performing inter-prediction, and includes sub-blocks in the prediction block. If the processing unit is unified with the orthogonal conversion block, which is the processing unit when performing orthogonal conversion, or the coding block, which is the processing unit when performing coding processing, and the orthogonal conversion block, It means the same flock as the coded block.
  • Inter-prediction is a general term for processing that involves prediction between frames (prediction blocks), such as derivation of motion vectors by motion detection (MotionPrediction / MotionEstimation) and motion compensation using motion vectors (MotionCompensation). , Some processing (for example, motion compensation processing only) or all processing (for example, motion detection processing + motion compensation processing) used when generating a predicted image is included.
  • the inter-prediction mode is referred to when deriving the inter-prediction mode, such as the mode number when performing inter-prediction, the index of the mode number, the block size of the prediction block, and the size of the sub-block that is the processing unit in the prediction block. It means a comprehensive set of variables (parameters).
  • identification data that identifies a plurality of patterns can be set as a bitstream syntax.
  • the decoder can perform processing more efficiently by parsing + referencing the identification data.
  • the method (data) for identifying the block size is not only to quantify (bite) the block size itself, but also to identify the difference value with respect to the reference block size (maximum block size, minimum block size, etc.) ( Data) is also included.
  • motion compensation processing using affine transformation is performed by further dividing the motion compensation block into 4 ⁇ 4 samples called subblocks.
  • the luminance component Y is subjected to motion compensation processing in 8 ⁇ 8 blocks, and the color difference components Cb and Cr are subjected to motion compensation processing in 4 ⁇ 4 blocks. That is, the sizes of the 8 ⁇ 8 block of the luminance component Y and the 4 ⁇ 4 block of the color difference components Cb and Cr match.
  • the size of the subblock is 4 ⁇ 4, so that the 8 ⁇ 8 block of the luminance component Y is divided into four subblocks.
  • FIG. 3 is a block diagram showing a configuration example of an embodiment of an image processing system to which the present technology is applied.
  • the image processing system 11 includes an image coding device 12 and an image decoding device 13.
  • the image input to the image coding device 12 is encoded, the bit stream obtained by the coding is transmitted to the image decoding device 13, and the image decoding device 13 decodes the bit stream from the bit stream.
  • the decoded image is output.
  • the image coding device 12 has an inter-prediction unit 21, a coding unit 22, and a setting unit 23, and the image decoding device 13 has an inter-prediction unit 31 and a decoding unit 32.
  • the inter-prediction unit 21 performs motion compensation processing by applying an interpolation filter to the current prediction block to be coded, and performs inter-prediction to generate prediction pixels in the current prediction block.
  • the inter-prediction unit 21 is configured to perform motion compensation processing (hereinafter, referred to as color difference optical flow processing) to which optical flow processing is applied to the color difference component of the current prediction block to be coded. Will be done. That is, the inter-prediction unit 21 performs the color difference optical flow processing on the color difference component as well as the luminance component.
  • the coding unit 22 encodes the current pixel in the current prediction block using the prediction pixel generated by the inter prediction unit 21 to generate a bit stream.
  • the setting unit 23 sets identification data for identifying whether to apply the color difference optical flow processing, block size identification data for identifying the block size of the predicted block to which the color difference optical flow processing is applied, and the like. Then, the coding unit 22 generates a bit stream including the identification data set by the setting unit 23.
  • the inter-prediction unit 31 Similar to the inter-prediction unit 21, the inter-prediction unit 31 also performs color-difference optical flow processing on the color-difference component of the current prediction block to be decoded, and generates prediction pixels in the current prediction block.
  • the inter-prediction unit 31 refers to the identification data contained in the bitstream to identify whether or not to apply the cross-component inter-prediction, and to identify the block size of the prediction block to which the cross-component inter-prediction is applied. can do.
  • the decoding unit 32 decodes the current pixel in the current prediction block by using the prediction pixel generated by the inter prediction unit 31.
  • the inter-prediction unit 21 and the inter-prediction unit 31 have pixel-level motion vectors ⁇ V Cb (i, j) and ⁇ V Cr (i, j) of the color difference components Cb and Cr. Is derived from the motion vector ⁇ V (i, j) used for the calculated luminance component Y. Then, in the image processing system 11, by applying the color difference optical flow processing to the color difference components Cb and Cr, it is possible to suppress subjective deterioration of image quality and deterioration of coding efficiency.
  • FIG. 4 is a diagram illustrating a first method of obtaining a motion vector for the color difference components Cb and Cr from the motion vector for the luminance component Y.
  • the pixel-level motion vector ⁇ V Cb of the color difference component Cb and the pixel-level motion vector ⁇ V Cr of the color difference component Cr are calculated from the average of the motion vector ⁇ V used for the brightness component Y. How to do it.
  • one pixel of the color difference components Cb and Cr corresponds to four pixels of the brightness component Y, and the four motion vectors ⁇ V (i, j) used in the optical flow processing for the four pixels.
  • the average is calculated and used as the motion vectors ⁇ V Cb (i, j) and ⁇ V Cr (i, j) of the color difference components Cb and Cr.
  • X component ⁇ V Cbx (i, j) of the motion vector of the color difference component Cb is, the x component [Delta] V lx upper left of the motion vector of the luminance component Y (i, j), x component [Delta] V lx at the top right of the motion vector of the luminance component Y (I + 1, j) , using the x component ⁇ V lix (i, j + 1) of the lower left motion vector of the luminance component Y and the x component ⁇ V lix (i + 1, j + 1) of the lower right motion vector of the luminance component Y, It is calculated according to the following equation (1).
  • the y component ⁇ V Cby (i, j) of the motion vector of the color difference component Cb is the y component ⁇ V ly (i, j) of the motion vector on the upper left of the brightness component Y, and the y component y of the motion vector on the upper right of the brightness component Y.
  • the x component ⁇ V Crx (i, j) and the y component ⁇ V Cry (i, j) of the motion vector of the color difference component Cr can be obtained.
  • Chrominance components Cb (i, j) of the amount of change .DELTA.Cb (i, j) is, x direction of the gradient g Cbx (i, j) of the color difference components Cb and y direction of the gradient g Cby (i, j), and the formula It is obtained according to the following equation (2) using the x component ⁇ V Cbx (i, j) and the y component ⁇ V Cby (i, j) of the motion vector ⁇ V Cb (i, j) obtained from (1).
  • the position (i, j) the color difference components Cb (i, j) color corrected by applying the color difference optical flow processing to difference components Cb '(i, j) of was determined by the equation (2)
  • the amount of change ⁇ Cb (i, j) to the color difference component Cb (i, j) as a correction value it can be obtained according to the following equation (3).
  • the color difference component Cr (i, j) at the position (i, j) is also corrected by applying the color difference optical flow processing using the equations (2) and (3). Cr' (i, j) can be obtained.
  • FIG. 5 is a diagram illustrating a second method of obtaining a motion vector for the color difference components Cb and Cr from the motion vector for the luminance component Y.
  • one of the motion vectors ⁇ V (i, j) used for the luminance component Y is used as the pixel-level motion vectors ⁇ V Cb (i, j) and ⁇ V Cr ( for the color difference components Cb and Cr). This is the method used as i, j).
  • one pixel of the color difference components Cb and Cr corresponds to four pixels of the brightness component Y, and the four motion vectors ⁇ V (i, j) used in the optical flow processing for the four pixels.
  • the motion vector of the upper left pixel is defined as the motion vectors ⁇ V Cb (i, j) and ⁇ V Cr (i, j) of the color difference components Cb and Cr. Use.
  • the x component ⁇ V Cbx (i, j) and the y component ⁇ V Cby (i, j) of the motion vector of the color difference component Cb are the x component of the motion vector on the upper left of the luminance component Y, as shown in the following equation (4). It becomes ⁇ V lp (i, j) and y component ⁇ V ly (i, j).
  • the image processing system 11 can improve the accuracy of motion compensation by performing motion compensation for the color difference components Cb and Cr at the sub-block level and then performing color difference optical flow processing. Then, the luminance component Y is subjected to the optical flow treatment, and the color difference components Cb and Cr are subjected to the color difference optical flow treatment to reduce the deviation between the corrected luminance component Y and the color difference components Cb and Cr. , Deterioration of image quality and deterioration of coding efficiency can be suppressed.
  • the reference POC distance or Temporal ID is used as a threshold value, and whether or not the present technology is applied is determined based on whether or not the correction of the affine transformation is expected to be large. Can be done. For example, it is conceivable to use this technique in the refine conversion of a reference with a large POC distance. Further, when hierarchical coding is used, the same effect can be obtained with Temporal ID. That is, under the condition that the Temporal ID is smaller or larger than the predetermined threshold value, a large movement is compensated, and this technique can be an effective condition.
  • L0 and L1 are references in the same time direction as shown by the solid arrow.
  • the direction of L0 and L1 prediction is the past and the future as shown by the broken line arrow. Therefore, when the past and future can be used as a reference like POC4, motion compensation with a certain degree of accuracy can be performed without correction by optical flow.
  • the optical flow processing is applied to the luminance signal Y and the color difference optical flow processing is applied to the chroma signal Cb and the chroma signal Cr, but the present invention is limited to this. It will not be done.
  • the optical flow processing can be applied to the luminance signal Y, and the color difference optical flow processing can be applied to the difference signal U and the difference signal V.
  • FIG. 7 is a block diagram showing a configuration example of an embodiment of a computer-based system to which the present technology is applied.
  • FIG. 7 is a block diagram showing a configuration example of a network system in which one or more computers, servers, and the like are connected via a network.
  • the hardware and software environment shown in the embodiment of FIG. 7 is shown as an example of being able to provide a platform for implementing the software and / or method according to the present disclosure.
  • the network system 101 includes a computer 102, a network 103, a remote computer 104, a web server 105, a cloud storage server 106, and a computer server 107.
  • a plurality of instances are executed by one or more of the functional blocks shown in FIG. 7.
  • FIG. 7 a detailed configuration of the computer 102 is illustrated.
  • the functional block shown in the computer 102 is shown for establishing an exemplary function, and is not limited to such a configuration.
  • the detailed configurations of the remote computer 104, the web server 105, the cloud storage server 106, and the computer server 107 are not shown, they include the same configurations as the functional blocks shown in the computer 102. ing.
  • the computer 102 may be a personal computer, desktop computer, laptop computer, tablet computer, netbook computer, personal digital assistant, smartphone, or other programmable electronic device capable of communicating with other devices on the network. Can be done.
  • the computer 102 includes a bus 111, a processor 112, a memory 113, a non-volatile storage 114, a network interface 115, a peripheral device interface 116, and a display interface 117.
  • a bus 111 bus 111
  • a processor 112 a memory 113
  • a non-volatile storage 114 non-volatile storage 114
  • a network interface 115 network interface 115
  • a peripheral device interface 116 a display interface 117.
  • Each of these features is implemented in an individual electronic subsystem (integrated circuit chip or a combination of chips and associated devices) in some embodiments, or in some embodiments, some of the features are combined. It may be mounted on a single chip (system on chip or SoC (System on Chip)).
  • Bus 111 can adopt various proprietary or industry standard high-speed parallel or serial peripheral interconnection buses.
  • Processor 112 may employ one designed and / or manufactured as one or more single or multi-chip microprocessors.
  • the memory 113 and the non-volatile storage 114 are storage media that can be read by the computer 102.
  • the memory 113 can employ any suitable volatile storage device such as DRAM (Dynamic Random Access Memory) or SRAM (Static RAM).
  • the non-volatile storage 114 includes a flexible disk, a hard disk, an SSD (Solid State Drive), a ROM (Read Only Memory), an EPROM (Erasable and Programmable Read Only Memory), a flash memory, a compact disk (CD or CD-ROM), and a DVD (CD or CD-ROM). At least one or more of Digital Versatile Disc), card type memory, or stick type memory can be adopted.
  • the program 121 is stored in the non-volatile storage 114.
  • Program 121 is, for example, a collection of machine-readable instructions and / or data used to create, manage, and control specific software features. In a configuration in which the memory 113 is much faster than the non-volatile storage 114, the program 121 can be transferred from the non-volatile storage 114 to the memory 113 before being executed by the processor 112.
  • the computer 102 can communicate and interact with other computers via the network 103 via the network interface 115.
  • the network 103 can adopt, for example, a LAN (Local Area Network), a WAN (Wide Area Network) such as the Internet, or a combination of LAN and WAN, including a wired, wireless, or optical fiber connection. ..
  • network 103 consists of any combination of connections and protocols that support communication between two or more computers and related devices.
  • the peripheral device interface 116 can input and output data to and from other devices that can be locally connected to the computer 102.
  • the peripheral interface 116 provides a connection to the external device 131.
  • the external device 131 includes a keyboard, mouse, keypad, touch screen, and / or other suitable input device.
  • the external device 131 may also include, for example, a thumb drive, a portable optical or magnetic disk, and a portable computer readable storage medium such as a memory card.
  • software and data used to implement program 121 may be stored on such a portable computer readable storage medium.
  • the software may be loaded directly into the non-volatile storage 114 or into the memory 113 via the peripheral interface 116.
  • Peripheral device interface 116 may use an industry standard such as RS-232 or USB (Universal Serial Bus) for connection with the external device 131.
  • the display interface 117 can connect the computer 102 to the display 132, and the display 132 can be used to present a command line or graphical user interface to the user of the computer 102.
  • industry standards such as VGA (Video Graphics Array), DVI (Digital Visual Interface), DisplayPort, and HDMI (High-Definition Multimedia Interface) (registered trademark) can be adopted for the display interface 117.
  • FIG. 8 shows the configuration of an embodiment of an image coding device as an image processing device to which the present disclosure is applied.
  • the image coding device 201 shown in FIG. 8 encodes the image data by using the prediction process.
  • the coding method for example, a VVC (Versatile Video Coding) method, a HEVC (High Efficiency Video Coding) method, or the like is used.
  • the image coding device 201 of FIG. 8 has an A / D conversion unit 202, a screen rearrangement buffer 203, a calculation unit 204, an orthogonal conversion unit 205, a quantization unit 206, a lossless coding unit 207, and a storage buffer 208. Further, the image coding device 201 includes an inverse quantization unit 209, an inverse orthogonal conversion unit 210, an arithmetic unit 211, a deblocking filter 212, an adaptive offset filter 213, an adaptive loop filter 214, a frame memory 215, a selection unit 216, and an intra prediction. It has a unit 217, a motion prediction / compensation unit 218, a prediction image selection unit 219, and a rate control unit 220.
  • the A / D conversion unit 202 A / D-converts the input image data (Picture (s)) and supplies it to the screen sorting buffer 203.
  • the digital data image may be input without providing the A / D conversion unit 202.
  • the screen rearrangement buffer 203 stores the image data supplied from the A / D conversion unit 202, and encodes the images of the frames in the stored display order according to the GOP (Group of Picture) structure. Sort by frame order.
  • the screen rearrangement buffer 203 outputs the images in which the frame order is rearranged to the calculation unit 204, the intra prediction unit 217, and the motion prediction / compensation unit 218.
  • the calculation unit 204 subtracts the prediction image supplied from the intra prediction unit 217 or the motion prediction / compensation unit 218 via the prediction image selection unit 219 from the image output from the screen rearrangement buffer 203, and obtains the difference information. Output to the orthogonal conversion unit 205.
  • the calculation unit 204 subtracts the prediction image supplied from the intra prediction unit 217 from the image output from the screen rearrangement buffer 203. Further, for example, in the case of an image to be intercoded, the calculation unit 204 subtracts the prediction image supplied from the motion prediction / compensation unit 218 from the image output from the screen rearrangement buffer 203.
  • the orthogonal transform unit 205 performs orthogonal transforms such as discrete cosine transform and Karhunen-Loève transform on the difference information supplied from the arithmetic unit 204, and supplies the conversion coefficients to the quantization unit 206.
  • the quantization unit 206 quantizes the conversion coefficient output by the orthogonal conversion unit 205.
  • the quantized unit 206 supplies the quantized conversion coefficient to the lossless coding unit 207.
  • the lossless coding unit 207 applies lossless coding such as variable length coding and arithmetic coding to the quantized conversion coefficient.
  • the lossless coding unit 207 acquires parameters such as information indicating the intra prediction mode from the intra prediction unit 217, and acquires parameters such as information indicating the inter prediction mode and motion vector information from the motion prediction / compensation unit 218.
  • the lossless coding unit 207 encodes the quantized conversion coefficient and encodes each acquired parameter (syntax element) to be a part (multiplex) of the header information of the coded data.
  • the lossless coding unit 207 supplies the coded data obtained by coding to the storage buffer 208 and stores it.
  • lossless coding processing such as variable length coding or arithmetic coding is performed.
  • variable-length coding include CAVLC (Context-Adaptive Variable Length Coding).
  • arithmetic coding include CABAC (Context-Adaptive Binary Arithmetic Coding).
  • the storage buffer 208 temporarily holds the coded stream (Encoded Data) supplied from the reversible coding unit 207, and at a predetermined timing, as a coded image, for example, not shown in the subsequent stage. Output to a recording device or transmission line. That is, the storage buffer 208 is also a transmission unit that transmits a coded stream.
  • the coded stream Encoded Data
  • the conversion coefficient quantized in the quantization unit 206 is also supplied to the inverse quantization unit 209.
  • the dequantization unit 209 dequantizes the quantized conversion coefficient by a method corresponding to the quantization by the quantization unit 206.
  • the inverse quantization unit 209 supplies the obtained conversion coefficient to the inverse orthogonal conversion unit 210.
  • the inverse orthogonal conversion unit 210 performs inverse orthogonal conversion of the supplied conversion coefficient by a method corresponding to the orthogonal conversion processing by the orthogonal conversion unit 205.
  • the inverse orthogonally converted output (restored difference information) is supplied to the calculation unit 211.
  • the calculation unit 211 supplies the inverse orthogonal conversion result supplied from the inverse orthogonal conversion unit 210, that is, the restored difference information from the intra prediction unit 217 or the motion prediction / compensation unit 218 via the prediction image selection unit 219.
  • the predicted images are added to obtain a locally decoded image (decoded image).
  • the calculation unit 211 adds the prediction image supplied from the intra prediction unit 217 to the difference information. Further, for example, when the difference information corresponds to an image to be inter-encoded, the calculation unit 211 adds the predicted image supplied from the motion prediction / compensation unit 218 to the difference information.
  • the decoded image that is the addition result is supplied to the deblocking filter 212 and the frame memory 215.
  • the deblocking filter 212 suppresses the block distortion of the decoded image by appropriately performing the deblocking filter processing on the image from the calculation unit 211, and supplies the filter processing result to the adaptive offset filter 213.
  • the deblocking filter 212 has parameters ⁇ and Tc obtained based on the quantization parameter QP.
  • the parameters ⁇ and Tc are threshold values (parameters) used for determining the deblocking filter.
  • the parameters ⁇ and Tc of the deblocking filter 212 are extended from ⁇ and Tc specified by the HEVC method.
  • Each offset of the parameters ⁇ and Tc is encoded by the lossless coding unit 207 as a parameter of the deblocking filter and transmitted to the image decoding device 301 of FIG. 10 described later.
  • the adaptive offset filter 213 mainly performs an offset filter (SAO: Sample adaptive offset) process that suppresses ringing on the image after filtering by the deblocking filter 212.
  • SAO Sample adaptive offset
  • the adaptive offset filter 213 uses a quad-tree structure in which the type of offset filter is determined for each divided area and an offset value for each divided area to filter the image after filtering by the deblocking filter 212. Apply processing.
  • the adaptive offset filter 213 supplies the filtered image to the adaptive loop filter 214.
  • the quad-tree structure and the offset value for each divided region are calculated and used by the adaptive offset filter 213.
  • the calculated quad-tree structure and the offset value for each divided region are encoded by the lossless coding unit 207 as adaptive offset parameters and transmitted to the image decoding device 301 of FIG. 10 to be described later.
  • the adaptive loop filter 214 performs adaptive loop filter (ALF: Adaptive Loop Filter) processing for each processing unit on the image after filtering by the adaptive offset filter 213, using the filter coefficient.
  • ALF Adaptive Loop Filter
  • a two-dimensional Wiener filter is used as the filter.
  • a filter other than the Wiener filter may be used.
  • the adaptive loop filter 214 supplies the filter processing result to the frame memory 215.
  • the filter coefficient is an adaptive loop filter 214 for each processing unit so as to minimize the residual with the original image from the screen rearrangement buffer 203. It is calculated and used by.
  • the calculated filter coefficient is encoded by the lossless coding unit 207 as an adaptive loop filter parameter and transmitted to the image decoding device 301 of FIG. 10 described later.
  • the frame memory 215 outputs the stored reference image to the intra prediction unit 217 or the motion prediction / compensation unit 218 via the selection unit 216 at a predetermined timing.
  • the frame memory 215 supplies the reference image to the intra-prediction unit 217 via the selection unit 216. Further, for example, when intercoding is performed, the frame memory 215 supplies the reference image to the motion prediction / compensation unit 218 via the selection unit 216.
  • the selection unit 216 supplies the reference image to the intra prediction unit 217. Further, when the reference image supplied from the frame memory 215 is an image to be intercoded, the selection unit 216 supplies the reference image to the motion prediction / compensation unit 218.
  • the intra prediction unit 217 performs intra prediction (in-screen prediction) that generates a prediction image using the pixel values in the screen.
  • the intra prediction unit 217 performs intra prediction in a plurality of modes (intra prediction mode).
  • the intra prediction unit 217 generates prediction images in all intra prediction modes, evaluates each prediction image, and selects the optimum mode. When the optimum intra prediction mode is selected, the intra prediction unit 217 supplies the prediction image generated in the optimum mode to the calculation unit 204 and the calculation unit 211 via the prediction image selection unit 219.
  • the intra prediction unit 217 appropriately supplies parameters such as intra prediction mode information indicating the adopted intra prediction mode to the lossless coding unit 207.
  • the motion prediction / compensation unit 218 uses the input image supplied from the screen rearrangement buffer 203 and the reference image supplied from the frame memory 215 via the selection unit 216 for the image to be intercoded. Predict movement. Further, the motion prediction / compensation unit 218 performs motion compensation processing according to the motion vector detected by the motion prediction, and generates a prediction image (inter-prediction image information).
  • the motion prediction / compensation unit 218 performs inter-prediction processing in all candidate inter-prediction modes and generates a prediction image.
  • the motion prediction / compensation unit 218 supplies the generated predicted image to the calculation unit 204 and the calculation unit 211 via the prediction image selection unit 219. Further, the motion prediction / compensation unit 218 supplies parameters such as inter-prediction mode information indicating the adopted inter-prediction mode and motion vector information indicating the calculated motion vector to the reversible coding unit 207.
  • the prediction image selection unit 219 supplies the output of the intra prediction unit 217 to the calculation unit 204 and the calculation unit 211 in the case of an image to be intra-encoded, and in the case of an image to be inter-encoded, the motion prediction / compensation unit 218 of the prediction image selection unit 219.
  • the output is supplied to the calculation unit 204 and the calculation unit 211.
  • the rate control unit 220 controls the rate of the quantization operation of the quantization unit 206 based on the compressed image stored in the storage buffer 208 so that overflow or underflow does not occur.
  • the image coding device 201 is configured in this way, the lossless coding unit 207 corresponds to the coding unit 22 of FIG. 3, and the motion prediction / compensation unit 218 corresponds to the inter prediction unit 21 of FIG. .. Therefore, as described above, the image coding device 201 can suppress more subjective deterioration of image quality and deterioration of coding efficiency.
  • step S101 the A / D conversion unit 202 A / D-converts the input image.
  • step S102 the screen rearrangement buffer 203 stores the A / D-converted images by the A / D conversion unit 202, and rearranges the images from the display order of each picture to the coding order.
  • the referenced decoded image is read from the frame memory 215 and is read from the frame memory 215 and is passed through the selection unit 216 to the intra prediction unit. It is supplied to 217.
  • the intra-prediction unit 217 intra-predicts the pixels of the block to be processed in all the candidate intra-prediction modes.
  • a pixel not filtered by the deblocking filter 212 is used as the decoded pixel to be referred to.
  • intra-prediction is performed in all candidate intra-prediction modes, and cost function values are calculated for all candidate intra-prediction modes. Then, the optimum intra prediction mode is selected based on the calculated cost function value, and the prediction image generated by the intra prediction of the optimum intra prediction mode and the cost function value thereof are supplied to the prediction image selection unit 219.
  • the referenced image is read from the frame memory 215 and supplied to the motion prediction / compensation unit 218 via the selection unit 216. Will be done. Based on these images, in step S104, the motion prediction / compensation unit 218 performs motion prediction / compensation processing.
  • motion prediction processing is performed in all candidate inter-prediction modes, cost function values are calculated for all candidate inter-prediction modes, and optimal inter-prediction is calculated based on the calculated cost function values.
  • the mode is determined. Then, the predicted image generated by the optimum inter prediction mode and the cost function value thereof are supplied to the predicted image selection unit 219.
  • step S105 the prediction image selection unit 219 optimizes one of the optimum intra prediction mode and the optimum inter prediction mode based on each cost function value output from the intra prediction unit 217 and the motion prediction / compensation unit 218. Determine to predict mode. Then, the prediction image selection unit 219 selects the determined prediction image of the optimum prediction mode and supplies it to the calculation units 204 and 211. This predicted image is used for the calculation of steps S106 and S111 described later.
  • the selection information of this prediction image is supplied to the intra prediction unit 217 or the motion prediction / compensation unit 218.
  • the intra prediction unit 217 supplies information indicating the optimum intra prediction mode (that is, parameters related to the intra prediction) to the lossless coding unit 207.
  • the motion prediction / compensation unit 218 reversibly encodes the information indicating the optimum inter prediction mode and the information corresponding to the optimum inter prediction mode (that is, the parameters related to the motion prediction). Output to unit 207.
  • the information according to the optimum inter-prediction mode include motion vector information and reference frame information.
  • step S106 the calculation unit 204 calculates the difference between the images sorted in step S102 and the predicted image selected in step S105.
  • the predicted image is supplied to the calculation unit 204 from the motion prediction / compensation unit 218 in the case of inter-prediction and from the intra-prediction unit 217 in the case of intra-prediction via the prediction image selection unit 219.
  • the amount of difference data is smaller than that of the original image data. Therefore, the amount of data can be compressed as compared with the case where the image is encoded as it is.
  • step S107 the orthogonal conversion unit 205 orthogonally converts the difference information supplied from the calculation unit 204. Specifically, orthogonal transforms such as the discrete cosine transform and the Karhunen-Loève transform are performed, and the transform coefficients are output.
  • orthogonal transforms such as the discrete cosine transform and the Karhunen-Loève transform are performed, and the transform coefficients are output.
  • step S108 the quantization unit 206 quantizes the conversion coefficient.
  • the rate is controlled as described in the process of step S118 described later.
  • step S109 the inverse quantization unit 209 dequantizes the conversion coefficient quantized by the quantization unit 206 with a characteristic corresponding to the characteristic of the quantization unit 206.
  • step S110 the inverse orthogonal conversion unit 210 performs inverse orthogonal conversion of the conversion coefficient inversely quantized by the inverse quantization unit 209 with a characteristic corresponding to the characteristic of the orthogonal conversion unit 205.
  • step S111 the calculation unit 211 adds the predicted image input via the predicted image selection unit 219 to the locally decoded difference information, and locally decodes (that is, locally decoded) the image. (Image corresponding to the input to the calculation unit 204) is generated.
  • step S112 the deblocking filter 212 performs a deblocking filter process on the image output from the calculation unit 211.
  • the threshold value for the determination regarding the deblocking filter the parameters ⁇ and Tc extended from ⁇ and Tc defined by the HEVC method are used.
  • the filtered image from the deblocking filter 212 is output to the adaptive offset filter 213.
  • each offset of the parameters ⁇ and Tc used in the deblocking filter 212 which is input by the user by operating the operation unit or the like, is supplied to the reversible coding unit 207 as a parameter of the deblocking filter.
  • step S113 the adaptive offset filter 213 performs adaptive offset filter processing.
  • the filter processing is performed on the image after filtering by the deblocking filter 212 by using the quad-tree structure in which the type of the offset filter is determined for each divided area and the offset value for each divided area. Be given.
  • the filtered image is fed to the adaptive loop filter 214.
  • the determined quad-tree structure and the offset value for each divided region are supplied to the lossless coding unit 207 as an adaptive offset parameter.
  • step S114 the adaptive loop filter 214 performs adaptive loop filter processing on the image after filtering by the adaptive offset filter 213.
  • the image after filtering by the adaptive offset filter 213 is filtered for each processing unit by using the filter coefficient, and the filter processing result is supplied to the frame memory 215.
  • step S115 the frame memory 215 stores the filtered image. Images that have not been filtered by the deblocking filter 212, the adaptive offset filter 213, and the adaptive loop filter 214 are also supplied and stored in the frame memory 215 from the calculation unit 211.
  • the conversion coefficient quantized in step S108 described above is also supplied to the lossless coding unit 207.
  • the lossless coding unit 207 encodes the quantized conversion coefficient output from the quantizing unit 206 and each supplied parameter. That is, the difference image is losslessly coded and compressed by variable length coding, arithmetic coding, and the like.
  • each of the encoded parameters includes a deblocking filter parameter, an adaptive offset filter parameter, an adaptive loop filter parameter, a quantization parameter, motion vector information and reference frame information, prediction mode information, and the like.
  • step S117 the storage buffer 208 stores the coded difference image (that is, the coded stream) as a compressed image.
  • the compressed image stored in the storage buffer 208 is appropriately read out and transmitted to the decoding side via the transmission line.
  • step S118 the rate control unit 220 controls the rate of the quantization operation of the quantization unit 206 based on the compressed image stored in the storage buffer 208 so that overflow or underflow does not occur.
  • step S118 When the process of step S118 is completed, the coding process is completed.
  • step S104 when the motion prediction / compensation unit 218 performs the motion prediction / compensation process in step S104 to generate a prediction image, the color difference optical flow with respect to the color difference components Cb and Cr of the current prediction block. The process is applied.
  • FIG. 10 shows the configuration of an embodiment of an image decoding device as an image processing device to which the present disclosure is applied.
  • the image decoding device 301 shown in FIG. 10 is a decoding device corresponding to the image coding device 201 of FIG.
  • the encoded stream (Encoded Data) encoded by the image coding device 201 is transmitted to the image decoding device 301 corresponding to the image coding device 201 via a predetermined transmission line and decoded. ..
  • the image decoding device 301 includes a storage buffer 302, a reversible decoding unit 303, an inverse quantization unit 304, an inverse orthogonal conversion unit 305, an arithmetic unit 306, a deblocking filter 307, an adaptive offset filter 308, and an adaptive device. It has a loop filter 309, a screen sorting buffer 310, a D / A conversion unit 311, a frame memory 312, a selection unit 313, an intra prediction unit 314, a motion prediction / compensation unit 315, and a selection unit 316.
  • the storage buffer 302 is also a receiving unit that receives the transmitted encoded data.
  • the storage buffer 302 receives the transmitted coded data and stores it. This coded data is encoded by the image coding device 201.
  • the lossless decoding unit 303 decodes the coded data read from the storage buffer 302 at a predetermined timing by a method corresponding to the coding method of the lossless coding unit 207 of FIG.
  • the reversible decoding unit 303 supplies parameters such as information indicating the decoded intra prediction mode to the intra prediction unit 314, and supplies parameters such as information indicating the inter prediction mode and motion vector information to the motion prediction / compensation unit 315. .. Further, the reversible decoding unit 303 supplies the decoded deblocking filter parameters to the deblocking filter 307, and supplies the decoded adaptive offset parameters to the adaptive offset filter 308.
  • the inverse quantization unit 304 dequantizes the coefficient data (quantization coefficient) obtained by decoding by the reversible decoding unit 303 by a method corresponding to the quantization method of the quantization unit 206 of FIG. That is, the inverse quantization unit 304 performs the inverse quantization of the quantization coefficient by the same method as the inverse quantization unit 209 of FIG. 8 using the quantization parameters supplied from the image coding device 201.
  • the inverse quantized unit 304 supplies the inverse quantized coefficient data, that is, the orthogonal conversion coefficient to the inverse orthogonal conversion unit 305.
  • the inverse orthogonal conversion unit 305 is a method corresponding to the orthogonal conversion method of the orthogonal conversion unit 205 of FIG. 8, and the orthogonal conversion coefficient is inversely orthogonally converted to the residual data before the orthogonal conversion by the image coding apparatus 201. Obtain the corresponding decoding residual data.
  • the decoding residual data obtained by the inverse orthogonal conversion is supplied to the calculation unit 306. Further, the calculation unit 306 is supplied with a prediction image from the intra prediction unit 314 or the motion prediction / compensation unit 315 via the selection unit 316.
  • the calculation unit 306 adds the decoded residual data and the predicted image, and obtains the decoded image data corresponding to the image data before the predicted image is subtracted by the calculation unit 204 of the image coding device 201.
  • the calculation unit 306 supplies the decoded image data to the deblocking filter 307.
  • the deblocking filter 307 suppresses the block distortion of the decoded image by appropriately performing the deblocking filter processing on the image from the calculation unit 306, and supplies the filter processing result to the adaptive offset filter 308.
  • the deblocking filter 307 is basically configured in the same manner as the deblocking filter 212 of FIG. That is, the deblocking filter 307 has parameters ⁇ and Tc obtained based on the quantization parameters.
  • the parameters ⁇ and Tc are threshold values used for determining the deblocking filter.
  • the parameters ⁇ and Tc of the deblocking filter 307 are extended from ⁇ and Tc defined by the HEVC method.
  • Each offset of the parameters ⁇ and Tc of the deblocking filter encoded by the image coding device 201 is received by the image decoding device 301 as a parameter of the deblocking filter, decoded by the reversible decoding unit 303, and deblocking. Used by filter 307.
  • the adaptive offset filter 308 mainly performs an offset filter (SAO) process for suppressing ringing on the image after filtering by the deblocking filter 307.
  • SAO offset filter
  • the adaptive offset filter 308 uses a quad-tree structure in which the type of offset filter is determined for each divided region and an offset value for each divided region to filter the image after filtering by the deblocking filter 307. Apply processing.
  • the adaptive offset filter 308 supplies the filtered image to the adaptive loop filter 309.
  • the quad-tree structure and the offset value for each divided region are calculated by the adaptive offset filter 213 of the image coding device 201, encoded as an adaptive offset parameter, and sent. Then, the quad-tree structure encoded by the image coding device 201 and the offset value for each divided region are received by the image decoding device 301 as adaptive offset parameters, decoded by the reversible decoding unit 303, and the adaptive offset. Used by filter 308.
  • the adaptive loop filter 309 filters the image filtered by the adaptive offset filter 308 for each processing unit using the filter coefficient, and supplies the filter processing result to the frame memory 312 and the screen sorting buffer 310. To do.
  • the filter coefficient is calculated for each LUC by the adaptive loop filter 214 of the image coding device 201, and is encoded and sent as an adaptive loop filter parameter. What has been obtained is decoded by the reversible decoding unit 303 and used.
  • the screen sorting buffer 310 sorts the images and supplies them to the D / A conversion unit 311. That is, the order of the frames rearranged for the coding order by the screen rearrangement buffer 203 of FIG. 8 is rearranged in the original display order.
  • the image may be output as digital data without providing the D / A conversion unit 311.
  • the output of the adaptive loop filter 309 is further supplied to the frame memory 312.
  • the frame memory 312, the selection unit 313, the intra prediction unit 314, the motion prediction / compensation unit 315, and the selection unit 316 are the frame memory 215, the selection unit 216, the intra prediction unit 217, and the motion prediction / compensation unit of the image encoding device 201. It corresponds to 218 and the prediction image selection unit 219, respectively.
  • the selection unit 313 reads the interprocessed image and the referenced image from the frame memory 312, and supplies the motion prediction / compensation unit 315. Further, the selection unit 313 reads the image used for the intra prediction from the frame memory 312 and supplies it to the intra prediction unit 314.
  • the intra prediction unit 314 Based on this information, the intra prediction unit 314 generates a prediction image from the reference image acquired from the frame memory 312, and supplies the generated prediction image to the selection unit 316.
  • prediction mode information (prediction mode information, motion vector information, reference frame information, flags, various parameters, etc.) obtained by decoding the header information is supplied to the motion prediction / compensation unit 315 from the reversible decoding unit 303.
  • the motion prediction / compensation unit 315 generates a prediction image from the reference image acquired from the frame memory 312 based on the information supplied from the reversible decoding unit 303, and supplies the generated prediction image to the selection unit 316.
  • the selection unit 316 selects the prediction image generated by the motion prediction / compensation unit 315 or the intra prediction unit 314 and supplies it to the calculation unit 306.
  • the image decoding device 301 is configured in this way, the reversible decoding unit 303 corresponds to the decoding unit 32 of FIG. 3, and the motion prediction / compensation unit 315 corresponds to the inter prediction unit 31 of FIG. Therefore, as described above, the image decoding device 301 can suppress more subjective deterioration of image quality and deterioration of coding efficiency.
  • step S201 the storage buffer 302 receives the transmitted coded stream (data) and stores it.
  • step S202 the reversible decoding unit 303 decodes the coded data supplied from the storage buffer 302.
  • the I picture, P picture, and B picture encoded by the lossless coding unit 207 of FIG. 8 are decoded.
  • parameter information such as motion vector information, reference frame information, and prediction mode information (intra prediction mode or inter prediction mode) is also decoded.
  • the prediction mode information is the intra prediction mode information
  • the prediction mode information is supplied to the intra prediction unit 314.
  • the prediction mode information is inter-prediction mode information
  • the motion vector information corresponding to the prediction mode information is supplied to the motion prediction / compensation unit 315.
  • the parameters of the deblocking filter and the adaptive offset parameter are also decoded and supplied to the deblocking filter 307 and the adaptive offset filter 308, respectively.
  • step S203 the intra prediction unit 314 or the motion prediction / compensation unit 315 each performs a prediction image generation process corresponding to the prediction mode information supplied from the reversible decoding unit 303.
  • the intra prediction unit 314 when the intra prediction mode information is supplied from the reversible decoding unit 303, the intra prediction unit 314 generates an intra prediction image of the intra prediction mode.
  • the motion prediction / compensation unit 315 performs the motion prediction / compensation processing in the inter-prediction mode and generates the inter-prediction image.
  • the prediction image (intra prediction image) generated by the intra prediction unit 314 or the prediction image (inter prediction image) generated by the motion prediction / compensation unit 315 is supplied to the selection unit 316.
  • step S204 the selection unit 316 selects the predicted image. That is, the prediction image generated by the intra prediction unit 314 or the prediction image generated by the motion prediction / compensation unit 315 is supplied. Therefore, the supplied predicted image is selected and supplied to the calculation unit 306, and is added to the output of the inverse orthogonal conversion unit 305 in step S207 described later.
  • step S202 The conversion coefficient decoded by the reversible decoding unit 303 in step S202 described above is also supplied to the inverse quantization unit 304.
  • step S205 the inverse quantization unit 304 dequantizes the conversion coefficient decoded by the reversible decoding unit 303 with a characteristic corresponding to the characteristic of the quantization unit 206 of FIG.
  • step S206 the inverse orthogonal conversion unit 305 performs inverse orthogonal conversion of the conversion coefficient inversely quantized by the inverse quantization unit 304 with a characteristic corresponding to the characteristic of the orthogonal conversion unit 205 of FIG.
  • the difference information corresponding to the input of the orthogonal conversion unit 205 (output of the calculation unit 204) of FIG. 8 is decoded.
  • step S207 the calculation unit 306 adds the predicted image selected in the process of step S204 described above and input via the selection unit 316 to the difference information. This decodes the original image.
  • step S208 the deblocking filter 307 performs a deblocking filter process on the image output from the calculation unit 306.
  • the threshold value for the determination regarding the deblocking filter the parameters ⁇ and Tc extended from ⁇ and Tc defined by the HEVC method are used.
  • the filtered image from the deblocking filter 307 is output to the adaptive offset filter 308.
  • the offsets of the parameters ⁇ and Tc of the deblocking filter supplied from the reversible decoding unit 303 are also used.
  • step S209 the adaptive offset filter 308 performs adaptive offset filter processing.
  • the filter processing is performed on the image after filtering by the deblocking filter 307 using the quad-tree structure in which the type of the offset filter is determined for each divided area and the offset value for each divided area. Be given.
  • the filtered image is fed to the adaptive loop filter 309.
  • step S210 the adaptive loop filter 309 performs adaptive loop filter processing on the image after filtering by the adaptive offset filter 308.
  • the adaptive loop filter 309 performs filter processing for each processing unit on the input image using the filter coefficient calculated for each processing unit, and supplies the filter processing result to the screen sorting buffer 310 and the frame memory 312. To do.
  • step S211 the frame memory 312 stores the filtered image.
  • step S212 the screen rearrangement buffer 310 rearranges the images after the adaptive loop filter 309 and then supplies the screen rearrangement buffer 310 to the D / A conversion unit 311. That is, the order of the frames sorted for coding by the screen sort buffer 203 of the image coding device 201 is rearranged to the original display order.
  • step S213 the D / A conversion unit 311 D / A-converts the images sorted by the screen sorting buffer 310 and outputs them to a display (not shown), and the images are displayed.
  • step S213 When the process of step S213 is completed, the decoding process is completed.
  • the motion prediction / compensation unit 315 performs the motion prediction / compensation process in step S203 to generate a predicted image
  • the color difference optical flow process is performed on the color difference components Cb and Cr of the current prediction block. Is given.
  • FIG. 12 is a block diagram showing a configuration example of an embodiment of a computer on which a program for executing the above-mentioned series of processes is installed.
  • the program can be recorded in advance on the hard disk 1005 or ROM 1003 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable recording medium 1011 driven by the drive 1009.
  • a removable recording medium 1011 can be provided as so-called package software.
  • examples of the removable recording medium 1011 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disk, a DVD (Digital Versatile Disc), a magnetic disk, a semiconductor memory, and the like.
  • the program can be installed on the computer from the removable recording medium 1011 as described above, or can be downloaded to the computer via a communication network or a broadcasting network and installed on the built-in hard disk 1005. That is, for example, the program transfers wirelessly from a download site to a computer via an artificial satellite for digital satellite broadcasting, or transfers to a computer by wire via a network such as LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer has a built-in CPU (Central Processing Unit) 1002, and the input / output interface 1010 is connected to the CPU 1002 via the bus 1001.
  • CPU Central Processing Unit
  • the CPU 1002 executes a program stored in the ROM (Read Only Memory) 1003 accordingly. .. Alternatively, the CPU 1002 loads the program stored in the hard disk 1005 into the RAM (Random Access Memory) 1004 and executes it.
  • ROM Read Only Memory
  • the CPU 1002 performs the processing according to the above-mentioned flowchart or the processing performed according to the above-mentioned block diagram configuration. Then, the CPU 1002 outputs the processing result from the output unit 1006 or transmits it from the communication unit 1008, and further records it on the hard disk 1005, if necessary, via the input / output interface 1010.
  • the input unit 1007 is composed of a keyboard, a mouse, a microphone, and the like. Further, the output unit 1006 is composed of an LCD (Liquid Crystal Display), a speaker, or the like.
  • LCD Liquid Crystal Display
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program also includes processing executed in parallel or individually (for example, parallel processing or processing by an object).
  • the program may be processed by one computer (processor) or may be distributed processed by a plurality of computers. Further, the program may be transferred to a distant computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • this technology can have a cloud computing configuration in which one function is shared and jointly processed by a plurality of devices via a network.
  • the above-mentioned program can be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of the steps for describing the program is executed in chronological order in the order described in this specification, or is called in parallel or in parallel. It may be executed individually at a necessary timing such as time. That is, as long as there is no contradiction, the processing of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for writing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • the present technology can also have the following configurations.
  • Inter-prediction that generates prediction pixels in the current prediction block by performing motion compensation processing to which optical flow processing is applied for the color difference component of the current prediction block that is the target of coding processing as color difference optical flow processing.
  • Department and An image processing device including a coding unit that encodes a current pixel in the current prediction block using the prediction pixel.
  • the inter-prediction unit derives a color difference correction motion vector for the color difference component of the current prediction block by using the brightness correction motion vector used when performing the optical flow processing for the brightness component of the current prediction block as the luminance optical flow processing.
  • the image processing apparatus according to (1) above.
  • the inter-prediction unit uses the average of a plurality of luminance correction motion vectors used when performing optical flow processing for each of the plurality of luminance components of the current prediction block as the luminance optical flow processing, and uses the average of the plurality of luminance correction motion vectors for the color difference component of the current prediction block.
  • the image processing apparatus according to (2) above which derives a color difference correction motion vector.
  • the inter-prediction unit uses the luminance correction motion vector, which is one of the plurality of luminance correction motion vectors used when performing the optical flow processing for each of the plurality of luminance components of the current prediction block as the luminance optical flow processing, as the current.
  • the image processing apparatus according to (2) above which is used as a color difference correction motion vector for the color difference component of the prediction block.
  • the inter-prediction unit generates the first color difference component of the prediction pixel in the current prediction block by performing the color difference optical flow processing on the first color difference component of the current prediction block, and generates the current color difference component. Any of the above (1) to (4) to generate the second color difference component of the predicted pixel in the current prediction block by performing the color difference optical flow processing on the second color difference component of the prediction block.
  • the image processing apparatus according to any one of the above.
  • a setting unit for setting identification data for identifying whether to apply the color difference optical flow processing is provided.
  • the setting unit sets block size identification data for identifying the block size of the predicted block to which the color difference optical flow processing is applied.
  • An image processing method including encoding the current pixel in the current prediction block using the prediction pixel.
  • Department and An image processing device including a decoding unit that decodes the current pixel in the current prediction block by using the prediction pixel.
  • the image processing device By performing motion compensation processing to which the optical flow processing is applied for the color difference component of the current prediction block to be encoded processing as the color difference optical flow processing, the prediction pixels in the current prediction block are generated.
  • An image processing method including decoding the current pixel in the current prediction block using the prediction pixel.
  • 11 image processing system 12 image coding device, 13 image decoding device, 21 inter-prediction unit, 22 coding unit, 23 setting unit, 31 inter-prediction unit, 32 decoding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、画質の劣化および符号化効率の低下を抑制することができるようにする画像処理装置および画像処理方法に関する。 画像処理装置は、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、カレント予測ブロック内の予測画素を生成するインター予測部と、その予測画素を用いて、カレント予測ブロック内のカレント画素を符号化する符号化部とを備える。本技術は、例えば、VVC方式で符号化および復号を行う画像処理システムに適用できる。

Description

画像処理装置および画像処理方法
　本開示は、画像処理装置および画像処理方法に関し、特に、画質の劣化および符号化効率の低下を抑制することができるようにした画像処理装置および画像処理方法に関する。
　近年、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などに対する符号化効率をさらに向上させるために、VVC（Versatile Video Coding）と呼ばれるコーディング方式の標準化が進められている（後述する実施形態のサポートも参照）。
　例えば、非特許文献１には、輝度成分に対してオプティカルフローを用いて動き補償を適用する技術が開示されている。
Jiancong (Daniel) Luo, Yuwen He, CE4: Prediction refinement with optical flow for affine mode (Test 2.1), JVET-O0070, (version 5 - date 2019-07-10)
　ところで、従来、輝度成分に対してのみオプティカルフローを用いた動き補償が適用されており、色差成分に対してオプティカルフローを用いた動き補償は適用されていなかった。そのため、大きなアフィン変換が必要となるような動きが生じている場合には、輝度成分と色差成分とのずれが大きくなってしまい、主観的な画質の劣化および符号化効率の低下が発生すると考えられる。
　本開示は、このような状況に鑑みてなされたものであり、画質の劣化および符号化効率の低下を抑制することができるようにするものである。
　本開示の第１の側面の画像処理装置は、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部とを備える。
　本開示の第１の側面の画像処理方法は、画像処理装置が、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することとを含む。
　本開示の第１の側面においては、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理が、色差オプティカルフロー処理として行われることにより、カレント予測ブロック内の予測画素が生成され、その予測画素を用いて、カレント予測ブロック内のカレント画素が符号化される。
　本開示の第２の側面の画像処理装置は、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部とを備える。
　本開示の第２の側面の画像処理方法は、画像処理装置が、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することとを含む。
　本開示の第２の側面においては、符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理が、色差オプティカルフロー処理として行われることにより、カレント予測ブロック内の予測画素が生成され、その予測画素を用いて、カレント予測ブロック内のカレント画素が復号される。
ブロックおよびサブブロックについて説明する図である。 動きベクトルについて説明する図である。 本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 色差成分用の動きベクトルを求める第１の方法について説明する図である。 色差成分用の動きベクトルを求める第２の方法について説明する図である。 本技術を適用する効果的な状況について説明する図である。 本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。 画像符号化装置の一実施の形態の構成例を示すブロック図である。 符号化処理を説明するフローチャートである。 画像復号装置の一実施の形態の構成例を示すブロック図である。 復号処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
　＜技術内容・技術用語をサポートする文献等＞
　本明細書で開示される範囲は、実施例の内容に限定されるものではなく、出願当時において公知となっている以下の参照文献REF1～REF5の内容も、参照により本明細書に組み込まれる。つまり、以下の参照文献REF1～REF5に記載されている内容もサポート要件について判断する際の根拠となる。さらに、参照文献REF1～REF5において参照している文献もサポート要件を判断する際の根拠となる。
　例えば、Quad-Tre Block Structureや、QTBT（Quad Tree Plus Binary Tree）、Block Structure、MTT（Multi-type Tree） Block Structureなどが発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、発明の詳細な説明において直接的に定義されていない場合でも、本開示の範囲内であり、請求の範囲のサポート要件を満たすものとする。
　REF1：Recommendation ITU-T H.264 (04/2017) “Advanced video coding for generic audiovisual services”, April 2017
　REF2：Recommendation ITU-T H.265 (02/2018) “High efficiency video coding”, February 2018
　REF3：Benjamin Bross, Jianle Chen, Shan Liu, Versatile Video Coding (Draft 6), JVET-O2001-v14 (version 14 - date 2019-07-31)
　REF4：Jianle Chen, Yan Ye, Seung Hwan Kim, Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6), JVET-O2002-v1 (version 1 - date 2019-08-15)
　REF5：Jiancong (Daniel) Luo, Yuwen He, CE4: Prediction refinement with optical flow for affine mode (Test 2.1), JVET-O0070, (version 5 - date 2019-07-10)
　＜用語＞
　本願では、以下の用語を、以下のように定義する。
　　　　＜ブロック＞
　画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、TB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding TreeBlock）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
　　　　＜ブロックサイズの指定＞
　また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
　　　　＜情報・処理の単位＞
　各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
　　　　＜制御情報＞
　本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
　　　　＜フラグ＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　　　　＜メタデータを関連付ける＞
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。また、本明細書において、符号化とは、画像をビットストリームに変換する全体の処理だけではなく、一部の処理も含む。例えば、予測処理、直交変換、量子化、算術符号化等を包括した処理を含むだけではなく、量子化と算術符号化とを総称した処理、予測処理と量子化と算術符号化とを包括した処理、などを含む。同様に、復号とは、ビットストリームを画像に変換する全体の処理だけではなく、一部の処理も含む。例えば、逆算術復号、逆量子化、逆直交変換、予測処理等を包括した処理を含むだけではなく、逆算術復号と逆量子化とを包括した処理、逆算術復号と逆量子化と予測処理とを包括した処理、などを含む。
　予測ブロックとは、インター予測を行う際の処理単位となるブロックを意味し、予測ブロック内のサブブロックも含む。また、直交変換を行う際の処理単位となる直交変換ブロックや符号化処理を行う際の処理単位となる符号化ブロックと処理単位が統一かされている場合には、予測ブロックと直交変換ブロック・符号化ブロックと同じフロックを意味する。
　インター予測とは、動き検出による動きベクトルの導出（Motion Prediction/Motion Estimation）、動きベクトルを用いた動き補償（Motion Coｍpensation）、などの、フレーム（予測ブロック）間の予測を伴う処理の総称であり、予測画像を生成する際に用いる一部の処理（例えば動き補償処理のみ）、又は、全ての処理（例えば動き検出処理＋動き補償処理）を含む。インター予測モードとは、インター予測を行う際のモード番号、モード番号のインデックス、予測ブロックのブロックサイズ、予測ブロック内の処理単位となるサブブロックのサイズなど、インター予測モードを導出する際に参照する変数（パラメータ）を包括して意味する。
　本開示において、複数のパターンを識別する識別データを、ビットストリームのシンタクスとして設定することもできる。この場合、デコーダでは識別データをパース＋参照することにより、より効率的に処理を行うことが可能になる。ブロックサイズを識別する方法（データ）としては、ブロックサイズそのものを数値化（ビット化）するだけではなく、基準となるブロックサイズ（最大ブロックサイズ、最小ブロックサイズなど）に対する差分値を識別する方法（データ）も含む。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜従来の動き補償について＞
　図１および図２を参照して、入力画像の形式がChroma Format：4:2:0である場合のアフィン変換を用いた動き補償（MC：Motion Compensation）の処理について説明する。
　VVCでは、アフィン変換を用いた動き補償処理で、動き補償ブロックをさらにサブブロックと称される４×４サンプルに分割して処理が行われる。
　図１に示すように、輝度成分Ｙは８×８のブロックで動き補償処理が施され、色差成分ＣｂおよびＣｒは４×４のブロックで動き補償処理が施される。つまり、輝度成分Ｙの８×８のブロックと、色差成分ＣｂおよびＣｒの４×４のブロックとのサイズが一致する。このとき、アフィン変換を用いた動き補償では、サブブロックのサイズは４×４とされるため、輝度成分Ｙの８×８のブロックは、４つのサブブロックに分割される。
　そして、JVET-O0070のテクニックにより、輝度成分Ｙの動き補償にオプティカルフローの処理が追加されている。
　図２に示すように、輝度成分Ｙに対して、４×４のサブブロックの動きベクトルＶＳＢを使用して動き補償を行った後、白抜き矢印で示されるピクセル・レベルでの動きベクトルΔＶ（ｉ，ｊ）を使用してオプティカルフロー処理が適用される。一方、色差成分ＣｂおよびＣｒに対してはオプティカルフロー処理が適用されないため、上述したように、主観的な画質の劣化および符号化効率の低下が発生すると考えられる。
　そこで、本技術では、色差成分ＣｂおよびＣｒ（クロマ信号）に対してもオプティカルフロー処理を適用することを提案する。
　＜画像処理システムの構成例＞
　図３は、本技術を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。
　図３に示すように、画像処理システム１１は、画像符号化装置１２および画像復号装置１３を備えて構成される。例えば、画像処理システム１１では、画像符号化装置１２に入力された画像が符号化されて、その符号化により得られるビットストリームが画像復号装置１３に伝送され、画像復号装置１３においてビットストリームから復号された復号画像が出力される。
　画像符号化装置１２は、インター予測部２１、符号化部２２、および設定部２３を有しており、画像復号装置１３は、インター予測部３１および復号部３２を有している。
　インター予測部２１は、符号化処理の対象となるカレント予測ブロックに対して補間フィルタを適用した動き補償処理を施して、カレント予測ブロック内の予測画素を生成するインター予測を行う。このとき、インター予測部２１は、符号化処理の対象となるカレント予測ブロックの色差成分を対象としたオプティカルフロー処理を適用した動き補償処理（以下、色差オプティカルフロー処理と称する）を行うように構成される。つまり、インター予測部２１は、輝度成分と同様に、色差成分に対しても色差オプティカルフロー処理を行う。
　符号化部２２は、インター予測部２１により生成された予測画素を用いて、カレント予測ブロック内のカレント画素を符号化し、ビットストリームを生成する。
　設定部２３は、色差オプティカルフロー処理を適用するかを識別する識別データや、色差オプティカルフロー処理を適用する予測ブロックのブロックサイズを識別するブロックサイズ識別データなどを設定する。そして、符号化部２２は、設定部２３により設定された識別データを含むビットストリームを生成する。
　インター予測部３１は、インター予測部２１と同様に、復号処理の対象となるカレント予測ブロックの色差成分に対しても色差オプティカルフロー処理を行い、カレント予測ブロック内の予測画素を生成する。インター予測部３１は、ビットストリームに含まれている識別データを参照し、クロスコンポーネントインター予測を適用するか否かを識別したり、クロスコンポーネントインター予測を適用する予測ブロックのブロックサイズを識別したりすることができる。
　復号部３２は、インター予測部３１により生成された予測画素を用いて、カレント予測ブロック内のカレント画素を復号する。
　このように構成される画像処理システム１１において、インター予測部２１およびインター予測部３１は、色差成分ＣｂおよびＣｒのピクセル・レベルの動きベクトルΔＶＣｂ（ｉ，ｊ）およびΔＶＣｒ（ｉ，ｊ）を、計算済みである輝度成分Ｙに対して用いた動きベクトルΔＶ（ｉ，ｊ）から導出する。そして、画像処理システム１１では、色差成分ＣｂおよびＣｒに対して色差オプティカルフロー処理を適用することにより、主観的な画質の劣化および符号化効率の低下を抑制することができる。
　図４は、輝度成分Ｙ用の動きベクトルから色差成分ＣｂおよびＣｒ用の動きベクトルを求める第１の方法について説明する図である。
　例えば、第１の方法は、輝度成分Ｙで用いた動きベクトルΔＶの平均から、色差成分Ｃｂのピクセル・レベルの動きベクトルΔＶＣｂ、および、色差成分Ｃｒのピクセル・レベルの動きベクトルΔＶＣｒを算出する方法である。
　つまり、図４に示すように、色差成分ＣｂおよびＣｒの１ピクセルは、輝度成分Ｙの４ピクセルに対応し、その４ピクセルに対するオプティカルフロー処理で用いた４つの動きベクトルΔＶ（ｉ，ｊ）の平均を求めて、色差成分ＣｂおよびＣｒの動きベクトルΔＶＣｂ（ｉ，ｊ）およびΔＶＣｒ（ｉ，ｊ）として用いる。
　色差成分Ｃｂの動きベクトルのｘ成分ΔＶＣｂｘ（ｉ，ｊ）は、輝度成分Ｙの左上の動きベクトルのｘ成分ΔＶｌｘ（ｉ，ｊ）、輝度成分Ｙの右上の動きベクトルのｘ成分ΔＶｌｘ（ｉ＋１，ｊ）、輝度成分Ｙの左下の動きベクトルのｘ成分ΔＶｌｘ（ｉ，ｊ＋１）、および、輝度成分Ｙの右下の動きベクトルのｘ成分ΔＶｌｘ（ｉ＋１，ｊ＋１）を用いて、次の式（１）に従って算出される。同様に、色差成分Ｃｂの動きベクトルのｙ成分ΔＶＣｂｙ（ｉ，ｊ）は、輝度成分Ｙの左上の動きベクトルのｙ成分ΔＶｌｙ（ｉ，ｊ）、輝度成分Ｙの右上の動きベクトルのｙ成分ΔＶｌｙ（ｉ＋１，ｊ）、輝度成分Ｙの左下の動きベクトルのｙ成分ΔＶｌｙ（ｉ，ｊ＋１）、および、輝度成分Ｙの右下の動きベクトルのｙ成分ΔＶｌｙ（ｉ＋１，ｊ＋１）を用いて、次の式（１）に従って算出される。
Figure JPOXMLDOC01-appb-M000001
　同様に、この式（１）を用いて、色差成分Ｃｒの動きベクトルのｘ成分ΔＶＣｒｘ（ｉ，ｊ）およびｙ成分ΔＶＣｒｙ（ｉ，ｊ）を求めることができる。
　色差成分Ｃｂ（ｉ，ｊ）の変化量ΔＣｂ（ｉ，ｊ）は、色差成分Ｃｂのｘ方向の勾配ｇＣｂｘ（ｉ，ｊ）およびｙ方向の勾配ｇＣｂｙ（ｉ，ｊ）、並びに、式（１）から求められる動きベクトルΔＶＣｂ（ｉ，ｊ）のｘ成分ΔＶＣｂｘ（ｉ，ｊ）およびｙ成分ΔＶＣｂｙ（ｉ，ｊ）を用いて、次の式（２）に従って求められる。
Figure JPOXMLDOC01-appb-M000002
　そして、位置（ｉ，ｊ）の色差成分Ｃｂ（ｉ，ｊ）に対して色差オプティカルフロー処理を適用して補正された色差成分Ｃｂ’（ｉ，ｊ）は、この式（２）で求めた変化量ΔＣｂ（ｉ，ｊ）を補正値として色差成分Ｃｂ（ｉ，ｊ）に加算することにより、次の式（３）に従って求められる。
Figure JPOXMLDOC01-appb-M000003
　同様に、位置（ｉ，ｊ）の色差成分Ｃｒ（ｉ，ｊ）に対しても、この式（２）および式（３）を用いて、色差オプティカルフロー処理を適用して補正された色差成分Ｃｒ’（ｉ，ｊ）を求めることができる。
　図５は、輝度成分Ｙ用の動きベクトルから色差成分ＣｂおよびＣｒ用の動きベクトルを求める第２の方法について説明する図である。
　例えば、第２の方法は、輝度成分Ｙで用いた動きベクトルΔＶ（ｉ，ｊ）の１つを、色差成分ＣｂおよびＣｒのピクセル・レベルの動きベクトルΔＶＣｂ（ｉ，ｊ）およびΔＶＣｒ（ｉ，ｊ）として用いる方法である。
　つまり、図５に示すように、色差成分ＣｂおよびＣｒの１ピクセルは、輝度成分Ｙの４ピクセルに対応し、その４ピクセルに対するオプティカルフロー処理で用いた４つの動きベクトルΔＶ（ｉ，ｊ）のうちの、動きが近い１つを（図５に示す例では、左上のピクセルの動きベクトル）を、色差成分ＣｂおよびＣｒの動きベクトルΔＶＣｂ（ｉ，ｊ）およびΔＶＣｒ（ｉ，ｊ）として用いる。
　色差成分Ｃｂの動きベクトルのｘ成分ΔＶＣｂｘ（ｉ，ｊ）およびｙ成分ΔＶＣｂｙ（ｉ，ｊ）は、次の式（４）に示すように、輝度成分Ｙの左上の動きベクトルのｘ成分ΔＶｌｘ（ｉ，ｊ）およびｙ成分ΔＶｌｙ（ｉ，ｊ）となる。
Figure JPOXMLDOC01-appb-M000004
　そして、第１の方法と同様に、上述した式（２）および式（３）を用いて、色差オプティカルフロー処理を適用して補正された色差成分Ｃｂ’（ｉ，ｊ）および色差成分Ｃｒ’（ｉ，ｊ）を求めることができる。なお、第２の方法を採用することにより、第１の方法と比較して、計算量を削減することができる。
　このように、画像処理システム１１は、サブブロック・レベルでの色差成分ＣｂおよびＣｒに対する動き補償を行った後、色差オプティカルフロー処理を施すことにより、動き補償の精度を改善することができる。そして、輝度成分Ｙに対してオプティカルフロー処理を施し、色差成分ＣｂおよびＣｒに対して色差オプティカルフロー処理を施すことにより、補正後の輝度成分Ｙと色差成分ＣｂおよびＣｒとに生じるずれを小さくし、画質の劣化および符号化効率の低下を抑制することができる。
　図６を参照して、本技術を適用する効果的な状況について説明する。
　例えば、本技術を適用する場合には処理量が増大することが懸念され、処理量を抑制することができるような効果的な状況で本技術を適用することが好ましい。つまり、本技術は、アファイン変換の動きが大きな動き補償で適用することが効果的になる。従って、動き補償の参照する時刻が大きくことなる条件は、本技術を用いることで効果が期待できる。
　図６のＡに示すように、参照POC距離またはTemporal IDをしきい値として用いて、アフィン変換の補正が大きいことが予想されるかどうかで、本技術を適用するか否かを判定することができる。例えば、POC距離の大きな参照のアファイン変換で本技術を用いることが考えられる。また、階層的な符号化が用いられる場合、Temporal IDでも同様の効果が得られる。即ち、Temporal ID が所定のしきい値より、小さいまたは大きいといった条件では、大きな動きが補償される条件となり、本技術が効果的な条件になりうる。
　また、図６のＢに示すように、参照方向を用いた判定も有効と考えられる。
　例えば、POC 8は、Bi-predictionであっても、実線の矢印で示すようにL0, L1が同じ時間方向の参照になる。それ以外のPOC 4などは、破線の矢印で示すようにL0, L1予測の方向が過去と将来になる。このため、POC 4のように過去と将来が参照で使える場合、オプティカルフローによる補正がなくとも、ある程度高い精度の動き補償が行える。
　これに対し、POC 8のような過去だけの参照の場合は、オプティカルフローの補正が効果的なことが期待できる。そこで、参照方向が同じ場合に、本技術がより期待できる条件になりうる。
　なお、本実施の形態においては、輝度信号Ｙに対してオプティカルフロー処理を適用し、クロマ信号Ｃｂおよびクロマ信号Ｃｒに対して色差オプティカルフロー処理を適用することについて説明を行ったが、これに限られることはない。例えば、輝度信号Ｙに対してオプティカルフロー処理を適用し、差分信号Ｕおよび差分信号Ｖに対して色差オプティカルフロー処理を適用することができる。
　＜コンピュータベースのシステムの構成例＞
　図７は、本技術を適用したコンピュータベースのシステムの一実施の形態の構成例を示すブロック図である。
　図７は、１または複数のコンピュータやサーバなどがネットワークを介して接続されたネットワークシステムの構成例を示すブロック図である。なお、図７の実施の形態で示されているハードウェアおよびソフトウェア環境は、本開示によるソフトウェアおよび／または方法を実装するためのプラットフォームを提供することができる一例として示されている。
　図７に示すように、ネットワークシステム１０１は、コンピュータ１０２、ネットワーク１０３、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７を備えて構成される。ここで、本実施の形態では、図７に示される機能ブロックのうちの１または複数によって、複数のインスタンスが実行される。
　また、図７では、コンピュータ１０２の詳細な構成が図示されている。なお、コンピュータ１０２内に示されている機能ブロックは、例示的な機能を確立するために図示されており、このような構成に限定されるものではない。また、リモートコンピュータ１０４、ウェブサーバ１０５、クラウドストレージサーバ１０６、およびコンピュータサーバ１０７の詳細な構成は図示されていないが、これらは、コンピュータ１０２内に示されている機能ブロックと同様の構成が含まれている。
　コンピュータ１０２としては、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ネットブックコンピュータ、携帯情報端末、スマートフォン、または、ネットワーク上の他のデバイスと通信可能な他のプログラム可能な電子デバイスを用いることができる。
　そして、コンピュータ１０２は、バス１１１、プロセッサ１１２、メモリ１１３、不揮発性ストレージ１１４、ネットワークインタフェース１１５、周辺機器インタフェース１１６、およびディスプレイインターフェース１１７を備えて構成される。これらの機能の各々は、ある実施の形態では、個々の電子サブシステム（集積回路チップまたはチップと関連デバイスの組み合わせ）に実装され、または、他の実施形態では、機能のいくつかが組み合わせられて単一チップ（システムオンチップまたはSoC（System on Chip））に実装されてもよい。
　バス１１１は、各種の独自仕様または業界標準の高速パラレルまたはシリアル周辺相互接続バスを採用することができる。
　プロセッサ１１２は、１または複数のシングルまたはマルチチップマイクロプロセッサとして設計および／または製造されたものを採用することができる。
　メモリ１１３および不揮発性ストレージ１１４は、コンピュータ１０２による読み込みが可能なストレージ媒体である。例えば、メモリ１１３は、DRAM（Dynamic Random Access Memory）やSRAM（Static RAM）などのような任意の適切な揮発性ストレージデバイスを採用することができる。不揮発性ストレージ１１４は、フレキシブルディスク、ハードディスク、SSD（Solid State Drive）、ROM（Read Only Memory）、EPROM（Erasable and Programmable Read Only Memory）、フラッシュメモリ、コンパクトディスク（CDまたはCD-ROM）、DVD（Digital Versatile Disc）、カード型メモリ、またはスティック型メモリのうち、少なくとも１つ以上を採用することができる。
　また、不揮発性ストレージ１１４には、プログラム１２１が格納されている。プログラム１２１は、例えば、特定のソフトウェア機能を作成、管理、および制御するために使用される機械可読命令および／またはデータの集合である。なお、メモリ１１３が不揮発性ストレージ１１４よりも非常に高速である構成では、プログラム１２１は、プロセッサ１１２により実行される前に、不揮発性ストレージ１１４からメモリ１１３に転送することができる。
　コンピュータ１０２は、ネットワークインタフェース１１５を介して、ネットワーク１０３を介した他のコンピュータとの通信および相互作用をすることができる。ネットワーク１０３は、例えば、LAN（Local Area Network）、インターネットなどのWAN（Wide Area Network）、または、LANおよびWANの組み合わせで、有線、無線、または光ファイバー接続が含まれた構成を採用することができる。一般に、ネットワーク１０３は、２つ以上のコンピュータと関連デバイス間の通信をサポートする接続およびプロトコルの任意の組み合わせからなる。
　周辺機器インタフェース１１６は、コンピュータ１０２にローカルに接続され得る他のデバイスとのデータの入出力を行うことができる。例えば、周辺機器インタフェース１１６は、外部デバイス１３１への接続を提供する。外部デバイス１３１には、キーボード、マウス、キーパッド、タッチスクリーン、および/または、その他の適切な入力デバイスが用いられる。外部デバイス１３１は、例えば、サムドライブ、ポータブル光学ディスクまたは磁気ディスク、およびメモリカードなどのポータブルコンピュータ可読記憶媒体も含み得る。
　本開示の実施の形態では、例えば、プログラム１２１を実施するために使用されるソフトウェアおよびデータは、そのようなポータブルコンピュータ可読記憶媒体に記憶されてもよい。そのような実施形態では、ソフトウェアは、不揮発性ストレージ１１４に、または周辺機器インタフェース１１６を介してメモリ１１３に直接ロードされてもよい。周辺機器インタフェース１１６は、外部デバイス１３１との接続に、例えば、RS-232またはUSB（Universal Serial Bus）などの業界標準を使用してもよい。
　ディスプレイインターフェース１１７は、コンピュータ１０２をディスプレイ１３２に接続することができ、ディスプレイ１３２を使用して、コマンドラインまたはグラフィカルユーザインターフェースを、コンピュータ１０２のユーザに提示することができる。例えば、ディスプレイインターフェース１１７には、VGA（Video Graphics Array）や、DVI（Digital Visual Interface）、DisplayPort、HDMI（High-Definition Multimedia Interface）（登録商標）などの業界標準を採用することができる。
　＜画像符号化装置の構成例＞
　図８は、本開示を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
　図８に示される画像符号化装置２０１は、予測処理を用いて画像データを符号化する。ここで、符号化方式としては、例えば、VVC（Versatile Video Coding）方式やHEVC（High Efficiency Video Coding）方式などが用いられる。
　図８の画像符号化装置２０１は、A/D変換部２０２、画面並べ替えバッファ２０３、演算部２０４、直交変換部２０５、量子化部２０６、可逆符号化部２０７、および蓄積バッファ２０８を有する。また、画像符号化装置２０１は、逆量子化部２０９、逆直交変換部２１０、演算部２１１、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、適応ループフィルタ２１４、フレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、予測画像選択部２１９、およびレート制御部２２０を有する。
　A/D変換部２０２は、入力された画像データ（Picture(s)）をA/D変換して画面並べ替えバッファ２０３に供給する。なお、A/D変換部２０２を設けずに、ディジタルデータの画像が入力される構成としてもよい。
　画面並べ替えバッファ２０３は、A/D変換部２０２から供給された画像データを記憶し、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ２０３は、フレームの順番を並び替えた画像を、演算部２０４、イントラ予測部２１７、および動き予測・補償部２１８に出力する。
　演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を減算し、その差分情報を直交変換部２０５に出力する。
　例えば、イントラ符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、イントラ予測部２１７から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部２０４は、画面並べ替えバッファ２０３から出力された画像から、動き予測・補償部２１８から供給される予測画像を減算する。
　直交変換部２０５は、演算部２０４から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部２０６に供給する。
　量子化部２０６は、直交変換部２０５が出力する変換係数を量子化する。量子化部２０６は、量子化された変換係数を可逆符号化部２０７に供給する。
　可逆符号化部２０７は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
　可逆符号化部２０７は、イントラ予測モードを示す情報などのパラメータをイントラ予測部２１７から取得し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部２１８から取得する。
　可逆符号化部２０７は、量子化された変換係数を符号化するとともに、取得した各パラメータ（シンタックス要素）を符号化し、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部２０７は、符号化して得られた符号化データを蓄積バッファ２０８に供給して蓄積させる。
　例えば、可逆符号化部２０７においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、CAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
　蓄積バッファ２０８は、可逆符号化部２０７から供給された符号化ストリーム（Encoded Data）を、一時的に保持し、所定のタイミングにおいて、符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。すなわち、蓄積バッファ２０８は、符号化ストリームを伝送する伝送部でもある。
　また、量子化部２０６において量子化された変換係数は、逆量子化部２０９にも供給される。逆量子化部２０９は、その量子化された変換係数を、量子化部２０６による量子化に対応する方法で逆量子化する。逆量子化部２０９は、得られた変換係数を、逆直交変換部２１０に供給する。
　逆直交変換部２１０は、供給された変換係数を、直交変換部２０５による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部２１１に供給される。
　演算部２１１は、逆直交変換部２１０より供給された逆直交変換結果、すなわち、復元された差分情報に、予測画像選択部２１９を介してイントラ予測部２１７若しくは動き予測・補償部２１８から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
　例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部２１１は、その差分情報にイントラ予測部２１７から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部２１１は、その差分情報に動き予測・補償部２１８から供給される予測画像を加算する。
　その加算結果である復号画像は、デブロッキングフィルタ２１２およびフレームメモリ２１５に供給される。
　デブロッキングフィルタ２１２は、演算部２１１からの画像に対して、適宜デブロッキングフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ２１３に供給する。デブロッキングフィルタ２１２は、量子化パラメータＱＰを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値（パラメータ）である。
　なお、デブロッキングフィルタ２１２が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。パラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。
　適応オフセットフィルタ２１３は、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO: Sample adaptive offset)処理を行う。
　オフセットフィルタの種類は、バンドオフセット２種類、エッジオフセット６種類、オフセットなしの計９種類がある。適応オフセットフィルタ２１３は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ２１３は、フィルタ処理後の画像を、適応ループフィルタ２１４に供給する。
　なお、画像符号化装置２０１において、quad-tree構造と分割領域毎のオフセット値は、適応オフセットフィルタ２１３により算出されて用いられる。算出されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。
　適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、適応ループフィルタ（ALF : Adaptive Loop Filter）処理を行う。適応ループフィルタ２１４においては、フィルタとして、例えば、２次元のウィナーフィルタ（Wiener Filter）が用いられる。もちろん、ウィナーフィルタ以外のフィルタが用いられてもよい。適応ループフィルタ２１４は、フィルタ処理結果をフレームメモリ２１５に供給する。
　なお、図８の例においては図示しないが、画像符号化装置２０１において、フィルタ係数は、処理単位毎に、画面並べ替えバッファ２０３からの原画像との残差を最小とするよう適応ループフィルタ２１４により算出されて用いられる。算出されたフィルタ係数は、適応ループフィルタパラメータとして、可逆符号化部２０７において符号化され、後述する図１０の画像復号装置３０１に送信される。
　フレームメモリ２１５は、所定のタイミングにおいて、蓄積されている参照画像を、選択部２１６を介してイントラ予測部２１７または動き予測・補償部２１８に出力する。
　例えば、イントラ符号化が行われる画像の場合、フレームメモリ２１５は、参照画像を、選択部２１６を介してイントラ予測部２１７に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ２１５は、参照画像を、選択部２１６を介して動き予測・補償部２１８に供給する。
　選択部２１６は、フレームメモリ２１５から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部２１７に供給する。また、選択部２１６は、フレームメモリ２１５から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部２１８に供給する。
　イントラ予測部２１７は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部２１７は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
　イントラ予測部２１７は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部２１７は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。
　また、上述したように、イントラ予測部２１７は、採用したイントラ予測モードを示すイントラ予測モード情報等のパラメータを、適宜可逆符号化部２０７に供給する。
　動き予測・補償部２１８は、インター符号化が行われる画像について、画面並べ替えバッファ２０３から供給される入力画像と、選択部２１６を介してフレームメモリ２１５から供給される参照画像とを用いて、動き予測を行う。また、動き予測・補償部２１８は、動き予測により検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
　動き予測・補償部２１８は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部２１８は、生成された予測画像を、予測画像選択部２１９を介して演算部２０４や演算部２１１に供給する。また、動き予測・補償部２１８は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報などのパラメータを可逆符号化部２０７に供給する。
　予測画像選択部２１９は、イントラ符号化を行う画像の場合、イントラ予測部２１７の出力を演算部２０４や演算部２１１に供給し、インター符号化を行う画像の場合、動き予測・補償部２１８の出力を演算部２０４や演算部２１１に供給する。
　レート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。
　このように画像符号化装置２０１は構成されており、可逆符号化部２０７は、図３の符号化部２２に対応し、動き予測・補償部２１８は、図３のインター予測部２１に対応する。従って、画像符号化装置２０１は、上述したように、より主観的な画質の劣化および符号化効率の低下を抑制することができる。
＜画像符号化装置の動作＞
　図９を参照して、以上のような画像符号化装置２０１により実行される符号化処理の流れについて説明する。
　ステップＳ１０１において、A/D変換部２０２は、入力された画像をA/D変換する。
　ステップＳ１０２において、画面並べ替えバッファ２０３は、A/D変換部２０２でA/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　画面並べ替えバッファ２０３から供給される処理対象の画像がイントラ処理されるブロックの画像である場合、参照される復号済みの画像がフレームメモリ２１５から読み出され、選択部２１６を介してイントラ予測部２１７に供給される。
　これらの画像に基づいて、ステップＳ１０３において、イントラ予測部２１７は処理対象のブロックの画素を、候補となる全てのイントラ予測モードでイントラ予測する。なお、参照される復号済みの画素としては、デブロッキングフィルタ２１２によりフィルタされていない画素が用いられる。
　この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードが選択され、最適イントラ予測モードのイントラ予測により生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。
　画面並べ替えバッファ２０３から供給される処理対象の画像がインター処理される画像である場合、参照される画像がフレームメモリ２１５から読み出され、選択部２１６を介して動き予測・補償部２１８に供給される。これらの画像に基づいて、ステップＳ１０４において、動き予測・補償部２１８は、動き予測・補償処理を行う。
　この処理により、候補となる全てのインター予測モードで動き予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出され、算出したコスト関数値に基づいて、最適インター予測モードが決定される。そして、最適インター予測モードにより生成された予測画像とそのコスト関数値が予測画像選択部２１９に供給される。
　ステップＳ１０５において、予測画像選択部２１９は、イントラ予測部２１７および動き予測・補償部２１８より出力された各コスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの一方を、最適予測モードに決定する。そして、予測画像選択部２１９は、決定した最適予測モードの予測画像を選択し、演算部２０４，２１１に供給する。この予測画像は、後述するステップＳ１０６，Ｓ１１１の演算に利用される。
　なお、この予測画像の選択情報は、イントラ予測部２１７または動き予測・補償部２１８に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部２１７は、最適イントラ予測モードを示す情報（すなわち、イントラ予測に関するパラメータ）を、可逆符号化部２０７に供給する。
　最適インター予測モードの予測画像が選択された場合、動き予測・補償部２１８は、最適インター予測モードを示す情報と、最適インター予測モードに応じた情報（すなわち、動き予測に関するパラメータ）を可逆符号化部２０７に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報や参照フレーム情報などがあげられる。
　ステップＳ１０６において、演算部２０４は、ステップＳ１０２で並び替えられた画像と、ステップＳ１０５で選択された予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部２１８から、イントラ予測する場合はイントラ予測部２１７から、それぞれ予測画像選択部２１９を介して演算部２０４に供給される。
　差分データは元の画像データに較べてデータ量が小さくなっている。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
　ステップＳ１０７において、直交変換部２０５は演算部２０４から供給された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
　ステップＳ１０８において、量子化部２０６は変換係数を量子化する。この量子化に際しては、後述するステップＳ１１８の処理で説明されるように、レートが制御される。
　以上のようにして量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０９において、逆量子化部２０９は、量子化部２０６により量子化された変換係数を量子化部２０６の特性に対応する特性で逆量子化する。ステップＳ１１０において、逆直交変換部２１０は、逆量子化部２０９により逆量子化された変換係数を直交変換部２０５の特性に対応する特性で逆直交変換する。
　ステップＳ１１１において、演算部２１１は、予測画像選択部２１９を介して入力される予測画像を局部的に復号された差分情報に加算し、局部的に復号された（すなわち、ローカルデコードされた）画像（演算部２０４への入力に対応する画像）を生成する。
　ステップＳ１１２においてデブロッキングフィルタ２１２は、演算部２１１より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ２１２からのフィルタ後の画像は、適応オフセットフィルタ２１３に出力される。
　なお、ユーザにより操作部などを操作することで入力されて、デブロッキングフィルタ２１２で用いられたパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、可逆符号化部２０７に供給される。
　ステップＳ１１３において、適応オフセットフィルタ２１３は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ２１２によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ２１４に供給される。
　なお、決定されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、可逆符号化部２０７に供給される。
　ステップＳ１１４において、適応ループフィルタ２１４は、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。例えば、適応オフセットフィルタ２１３によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎に、画像に対してフィルタ処理が行われ、フィルタ処理結果が、フレームメモリ２１５に供給される。
　ステップＳ１１５においてフレームメモリ２１５は、フィルタリングされた画像を記憶する。なお、フレームメモリ２１５には、デブロッキングフィルタ２１２、適応オフセットフィルタ２１３、および適応ループフィルタ２１４によりフィルタされていない画像も演算部２１１から供給され、記憶される。
　一方、上述したステップＳ１０８において量子化された変換係数は、可逆符号化部２０７にも供給される。ステップＳ１１６において、可逆符号化部２０７は、量子化部２０６より出力された量子化された変換係数と、供給された各パラメータを符号化する。すなわち、差分画像が可変長符号化、算術符号化等の可逆符号化され、圧縮される。ここで、符号化される各パラメータとしては、デブロッキングフィルタのパラメータ、適応オフセットフィルタのパラメータ、適応ループフィルタのパラメータ、量子化パラメータ、動きベクトル情報や参照フレーム情報、予測モード情報などがあげられる。
　ステップＳ１１７において蓄積バッファ２０８は、符号化された差分画像（すなわち、符号化ストリーム）を、圧縮画像として蓄積する。蓄積バッファ２０８に蓄積された圧縮画像が適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳ１１８においてレート制御部２２０は、蓄積バッファ２０８に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部２０６の量子化動作のレートを制御する。
　ステップＳ１１８の処理が終了すると、符号化処理が終了される。
　以上のような符号化処理において、ステップＳ１０４において動き予測・補償部２１８が動き予測・補償処理を行って予測画像を生成する際に、カレント予測ブロックの色差成分ＣｂおよびＣｒに対して色差オプティカルフロー処理が適用される。
＜画像復号装置の構成例＞
　図１０は、本開示を適用した画像処理装置としての画像復号装置の一実施の形態の構成を表している。図１０に示される画像復号装置３０１は、図８の画像符号化装置２０１に対応する復号装置である。
　画像符号化装置２０１より符号化された符号化ストリーム（Encoded Data）は、所定の伝送路を介して、この画像符号化装置２０１に対応する画像復号装置３０１に伝送され、復号されるものとする。
　図１０に示されるように、画像復号装置３０１は、蓄積バッファ３０２、可逆復号部３０３、逆量子化部３０４、逆直交変換部３０５、演算部３０６、デブロッキングフィルタ３０７、適応オフセットフィルタ３０８、適応ループフィルタ３０９、画面並べ替えバッファ３１０、D/A変換部３１１、フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６を有する。
　蓄積バッファ３０２は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ３０２は、伝送されてきた符号化データを受け取って、蓄積する。この符号化データは、画像符号化装置２０１により符号化されたものである。可逆復号部３０３は、蓄積バッファ３０２から所定のタイミングで読み出された符号化データを、図８の可逆符号化部２０７の符号化方式に対応する方式で復号する。
　可逆復号部３０３は、復号されたイントラ予測モードを示す情報などのパラメータをイントラ予測部３１４に供給し、インター予測モードを示す情報や動きベクトル情報などのパラメータを動き予測・補償部３１５に供給する。また、可逆復号部３０３は、復号されたデブロッキングフィルタのパラメータを、デブロッキングフィルタ３０７に供給し、復号された適応オフセットパラメータを、適応オフセットフィルタ３０８に供給する。
　逆量子化部３０４は、可逆復号部３０３により復号されて得られた係数データ（量子化係数）を、図８の量子化部２０６の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部３０４は、画像符号化装置２０１から供給された量子化パラメータを用いて、図８の逆量子化部２０９と同様の方法で量子化係数の逆量子化を行う。
　逆量子化部３０４は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部３０５に供給する。逆直交変換部３０５は、図８の直交変換部２０５の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置２０１において直交変換される前の残差データに対応する復号残差データを得る。
　逆直交変換されて得られた復号残差データは、演算部３０６に供給される。また、演算部３０６には、選択部３１６を介して、イントラ予測部３１４若しくは動き予測・補償部３１５から予測画像が供給される。
　演算部３０６は、その復号残差データと予測画像とを加算し、画像符号化装置２０１の演算部２０４により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部３０６は、その復号画像データをデブロッキングフィルタ３０７に供給する。
　デブロッキングフィルタ３０７は、演算部３０６からの画像に対して、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を抑制し、そのフィルタ処理結果を適応オフセットフィルタ３０８に供給する。デブロッキングフィルタ３０７は、図８のデブロッキングフィルタ２１２と基本的に同様に構成される。すなわち、デブロッキングフィルタ３０７は、量子化パラメータを基に求められるパラメータβおよびTcを有している。パラメータβおよびTcは、デブロッキングフィルタに関する判定に用いられる閾値である。
　なお、デブロッキングフィルタ３０７が有するパラメータであるβおよびTcは、HEVC方式で規定されているβとTcから拡張されている。画像符号化装置２０１により符号化されたデブロッキングフィルタのパラメータβおよびTcの各オフセットは、デブロッキングフィルタのパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、デブロッキングフィルタ３０７により用いられる。
　適応オフセットフィルタ３０８は、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、主にリンギングを抑制するオフセットフィルタ(SAO)処理を行う。
　適応オフセットフィルタ３０８は、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理を施す。適応オフセットフィルタ３０８は、フィルタ処理後の画像を、適応ループフィルタ３０９に供給する。
　なお、このquad-tree構造と分割領域毎のオフセット値は、画像符号化装置２０１の適応オフセットフィルタ２１３により算出され、適応オフセットパラメータとして、符号化されて送られてきたものである。そして、画像符号化装置２０１により符号化されたquad-tree構造と分割領域毎のオフセット値は、適応オフセットパラメータとして、画像復号装置３０１において受信されて、可逆復号部３０３により復号されて、適応オフセットフィルタ３０８により用いられる。
　適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、フィルタ係数を用いて、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、フレームメモリ３１２および画面並べ替えバッファ３１０に供給する。
　なお、図１０の例においては図示しないが、画像復号装置３０１において、フィルタ係数は、画像符号化装置２０１の適応ループフィルタ２１４によりLUC毎に算出され、適応ループフィルタパラメータとして、符号化されて送られてきたものが可逆復号部３０３により復号されて用いられる。
　画面並べ替えバッファ３１０は、画像の並べ替えを行って、D/A変換部３１１に供給する。すなわち、図８の画面並べ替えバッファ２０３により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。
　D/A変換部３１１は、画面並べ替えバッファ３１０から供給される画像（Decoded Picture(s)）をD/A変換して図示せぬディスプレイに出力し、表示させる。なお、D/A変換部３１１を設けずに、ディジタルデータのままで画像を出力する構成としてもよい。
　適応ループフィルタ３０９の出力は、さらに、フレームメモリ３１２に供給される。
　フレームメモリ３１２、選択部３１３、イントラ予測部３１４、動き予測・補償部３１５、および選択部３１６は、画像符号化装置２０１のフレームメモリ２１５、選択部２１６、イントラ予測部２１７、動き予測・補償部２１８、および予測画像選択部２１９にそれぞれ対応する。
　選択部３１３は、インター処理される画像と参照される画像をフレームメモリ３１２から読み出し、動き予測・補償部３１５に供給する。また、選択部３１３は、イントラ予測に用いられる画像をフレームメモリ３１２から読み出し、イントラ予測部３１４に供給する。
　イントラ予測部３１４には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部３０３から適宜供給される。イントラ予測部３１４は、この情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。
　動き予測・補償部３１５には、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）が可逆復号部３０３から供給される。
　動き予測・補償部３１５は、可逆復号部３０３から供給されるそれらの情報に基づいて、フレームメモリ３１２から取得した参照画像から予測画像を生成し、生成した予測画像を選択部３１６に供給する。
　選択部３１６は、動き予測・補償部３１５またはイントラ予測部３１４により生成された予測画像を選択し、演算部３０６に供給する。
　このように画像復号装置３０１は構成されており、可逆復号部３０３は、図３の復号部３２に対応し、動き予測・補償部３１５は、図３のインター予測部３１に対応する。従って、画像復号装置３０１は、上述したように、より主観的な画質の劣化および符号化効率の低下を抑制することができる。
＜画像復号装置の動作＞
　図１１を参照して、以上のような画像復号装置３０１により実行される復号処理の流れの例を説明する。
　復号処理が開始されると、ステップＳ２０１において、蓄積バッファ３０２は、伝送されてきた符号化ストリーム（データ）を受け取り、蓄積する。ステップＳ２０２において、可逆復号部３０３は、蓄積バッファ３０２から供給される符号化データを復号する。図８の可逆符号化部２０７により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
　ピクチャの復号に先立ち、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）などのパラメータの情報も復号される。
　予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部３１４に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報などは、動き予測・補償部３１５に供給される。また、デブロッキングフィルタのパラメータおよび適応オフセットパラメータも復号され、デブロッキングフィルタ３０７および適応オフセットフィルタ３０８にそれぞれ供給される。
　ステップＳ２０３において、イントラ予測部３１４または動き予測・補償部３１５は、可逆復号部３０３から供給される予測モード情報に対応して、それぞれ、予測画像生成処理を行う。
　すなわち、可逆復号部３０３からイントラ予測モード情報が供給された場合、イントラ予測部３１４はイントラ予測モードのイントラ予測画像を生成する。可逆復号部３０３からインター予測モード情報が供給された場合、動き予測・補償部３１５は、インター予測モードの動き予測・補償処理を行い、インター予測画像を生成する。
　この処理により、イントラ予測部３１４により生成された予測画像（イントラ予測画像）、または動き予測・補償部３１５により生成された予測画像（インター予測画像）が、選択部３１６に供給される。
　ステップＳ２０４において、選択部３１６は予測画像を選択する。すなわち、イントラ予測部３１４により生成された予測画像、または、動き予測・補償部３１５により生成された予測画像が供給される。したがって、供給された予測画像が選択されて演算部３０６に供給され、後述するステップＳ２０７において逆直交変換部３０５の出力と加算される。
　上述したステップＳ２０２において、可逆復号部３０３により復号された変換係数は、逆量子化部３０４にも供給される。ステップＳ２０５において、逆量子化部３０４は可逆復号部３０３により復号された変換係数を、図８の量子化部２０６の特性に対応する特性で逆量子化する。
　ステップＳ２０６において逆直交変換部３０５は、逆量子化部３０４により逆量子化された変換係数を、図８の直交変換部２０５の特性に対応する特性で逆直交変換する。これにより図８の直交変換部２０５の入力（演算部２０４の出力）に対応する差分情報が復号されたことになる。
　ステップＳ２０７において、演算部３０６は、上述したステップＳ２０４の処理で選択され、選択部３１６を介して入力される予測画像を差分情報と加算する。これにより元の画像が復号される。
　ステップＳ２０８においてデブロッキングフィルタ３０７は、演算部３０６より出力された画像に対して、デブロッキングフィルタ処理を行う。このとき、デブロッキングフィルタに関する判定の閾値として、HEVC方式で規定されているβとTcから拡張されたパラメータβおよびTcが用いられる。デブロッキングフィルタ３０７からのフィルタ後の画像は、適応オフセットフィルタ３０８に出力される。なお、デブロッキングフィルタ処理においては、可逆復号部３０３から供給されるデブロッキングフィルタのパラメータβおよびTcの各オフセットも用いられる。
　ステップＳ２０９において、適応オフセットフィルタ３０８は、適応オフセットフィルタ処理を行う。この処理により、分割領域毎にオフセットフィルタの種類が決定されたものであるquad-tree構造と分割領域毎のオフセット値を用いて、デブロッキングフィルタ３０７によるフィルタ後の画像に対して、フィルタ処理が施される。フィルタ後の画像は、適応ループフィルタ３０９に供給される。
　ステップＳ２１０において、適応ループフィルタ３０９は、適応オフセットフィルタ３０８によるフィルタ後の画像に対して、適応ループフィルタ処理を行う。適応ループフィルタ３０９は、処理単位毎に計算されたフィルタ係数を用いて、入力画像に対して、処理単位毎にフィルタ処理を行い、フィルタ処理結果を、画面並べ替えバッファ３１０およびフレームメモリ３１２に供給する。
　ステップＳ２１１においてフレームメモリ３１２は、フィルタリングされた画像を記憶する。
　ステップＳ２１２において、画面並べ替えバッファ３１０は、適応ループフィルタ３０９後の画像の並べ替えを行った後、D/A変換部３１１に供給する。すなわち画像符号化装置２０１の画面並べ替えバッファ２０３により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳ２１３において、D/A変換部３１１は、画面並べ替えバッファ３１０で並べ替えられた画像をD/A変換して図示せぬディスプレイに出力し、画像が表示される。
　ステップＳ２１３の処理が終了すると、復号処理が終了される。
　以上のような復号処理において、ステップＳ２０３において動き予測・補償部３１５が動き予測・補償処理を行って予測画像を生成する際に、カレント予測ブロックの色差成分ＣｂおよびＣｒに対して色差オプティカルフロー処理が施される。
　＜コンピュータの構成例＞
　次に、上述した一連の処理（画像処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
　プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１００５やROM１００３に予め記録しておくことができる。
　あるいはまた、プログラムは、ドライブ１００９によって駆動されるリムーバブル記録媒体１０１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１０１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１０１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブル記録媒体１０１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１００５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)１００２を内蔵しており、CPU１００２には、バス１００１を介して、入出力インタフェース１０１０が接続されている。
　CPU１００２は、入出力インタフェース１０１０を介して、ユーザによって、入力部１００７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１００３に格納されているプログラムを実行する。あるいは、CPU１００２は、ハードディスク１００５に格納されたプログラムを、RAM(Random Access Memory)１００４にロードして実行する。
　これにより、CPU１００２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１００２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１０１０を介して、出力部１００６から出力、あるいは、通信部１００８から送信、さらには、ハードディスク１００５に記録等させる。
　なお、入力部１００７は、キーボードや、マウス、マイク等で構成される。また、出力部１００６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　＜構成の組み合わせ例＞
　なお、本技術は以下のような構成も取ることができる。
（１）
　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部と
　を備える画像処理装置。
（２）
　前記インター予測部は、前記カレント予測ブロックの輝度成分に対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる輝度補正動きベクトルを用いて、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルを導出する
　上記（１）に記載の画像処理装置。
（３）
　前記インター予測部は、前記カレント予測ブロックの複数の輝度成分それぞれに対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる複数の輝度補正動きベクトルの平均を用いて、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルを導出する
　上記（２）に記載の画像処理装置。
（４）
　前記インター予測部は、前記カレント予測ブロックの複数の輝度成分それぞれに対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる複数の輝度補正動きベクトルのうちの１つの前記輝度補正動きベクトルを、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルとして用いる
　上記（２）に記載の画像処理装置。
（５）
　前記インター予測部は、前記カレント予測ブロックの第１の色差成分を対象として、前記色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素の第１の色差成分を生成し、前記カレント予測ブロックの第２の色差成分を対象として、前記色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素の第２の色差成分を生成する
　上記（１）から（４）までのいずれかに記載の画像処理装置。
（６）
　前記輝度成分、前記第１の色差成分、および前記第２の色差成分として、Ｙ信号、Ｃｂ信号、およびＣｒ信号、または、Ｙ信号、Ｕ信号、およびＶ信号が用いられる
　上記（１）から（５）までのいずれかに記載の画像処理装置。
（７）
　前記色差オプティカルフロー処理を適用するかを識別する識別データを設定する設定部をさらに備え、
　前記符号化部は、前記設定部により設定された識別データを含むビットストリームを生成する
　上記（１）から（６）までのいずれかに記載の画像処理装置。
（８）
　前記設定部は、前記色差オプティカルフロー処理を適用する予測ブロックのブロックサイズを識別するブロックサイズ識別データを設定し、
　前記符号化部は、前記設定部により設定された識別データを含むビットストリームを生成する
　上記（１）から（７）までのいずれかに記載の画像処理装置。
（９）
　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することと
　を含む画像処理方法。
（１０）
　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部と
　を備える画像処理装置。
（１１）
　画像処理装置が、
　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、
　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することと
　を含む画像処理方法。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１１　画像処理システム，　１２　画像符号化装置，　１３　画像復号装置，　２１　インター予測部，　２２　符号化部，　２３　設定部，　３１　インター予測部，　３２　復号部

Claims (11)

  1. 　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化する符号化部と
    　を備える画像処理装置。
  2. 　前記インター予測部は、前記カレント予測ブロックの輝度成分に対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる輝度補正動きベクトルを用いて、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルを導出する
    　請求項１に記載の画像処理装置。
  3. 　前記インター予測部は、前記カレント予測ブロックの複数の輝度成分それぞれに対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる複数の輝度補正動きベクトルの平均を用いて、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルを導出する
    　請求項２に記載の画像処理装置。
  4. 　前記インター予測部は、前記カレント予測ブロックの複数の輝度成分それぞれに対するオプティカルフロー処理を輝度オプティカルフロー処理として行う際に用いる複数の輝度補正動きベクトルのうちの１つの前記輝度補正動きベクトルを、前記カレント予測ブロックの色差成分に対する色差補正動きベクトルとして用いる
    　請求項２に記載の画像処理装置。
  5. 　前記インター予測部は、前記カレント予測ブロックの第１の色差成分を対象として、前記色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素の第１の色差成分を生成し、前記カレント予測ブロックの第２の色差成分を対象として、前記色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素の第２の色差成分を生成する
    　請求項２に記載の画像処理装置。
  6. 　前記輝度成分、前記第１の色差成分、および前記第２の色差成分として、Ｙ信号、Ｃｂ信号、およびＣｒ信号、または、Ｙ信号、Ｕ信号、およびＶ信号が用いられる
    　請求項５に記載の画像処理装置。
  7. 　前記色差オプティカルフロー処理を適用するかを識別する識別データを設定する設定部をさらに備え、
    　前記符号化部は、前記設定部により設定された識別データを含むビットストリームを生成する
    　請求項１に記載の画像処理装置。
  8. 　前記設定部は、前記色差オプティカルフロー処理を適用する予測ブロックのブロックサイズを識別するブロックサイズ識別データを設定し、
    　前記符号化部は、前記設定部により設定された識別データを含むビットストリームを生成する
    　請求項７に記載の画像処理装置。
  9. 　画像処理装置が、
    　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を符号化することと
    　を含む画像処理方法。
  10. 　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成するインター予測部と、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号する復号部と
    　を備える画像処理装置。
  11. 　画像処理装置が、
    　符号化処理の対象となるカレント予測ブロックの色差成分を対象として、オプティカルフロー処理を適用した動き補償処理を、色差オプティカルフロー処理として行うことにより、前記カレント予測ブロック内の予測画素を生成することと、
    　前記予測画素を用いて、前記カレント予測ブロック内のカレント画素を復号することと
    　を含む画像処理方法。
PCT/JP2020/035763 2019-09-23 2020-09-23 画像処理装置および画像処理方法 WO2021060262A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/634,238 US20220337865A1 (en) 2019-09-23 2020-09-23 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962904453P 2019-09-23 2019-09-23
US62/904453 2019-09-23

Publications (1)

Publication Number Publication Date
WO2021060262A1 true WO2021060262A1 (ja) 2021-04-01

Family

ID=75165820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/035763 WO2021060262A1 (ja) 2019-09-23 2020-09-23 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US20220337865A1 (ja)
WO (1) WO2021060262A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022028087A (ja) * 2018-12-05 2022-02-15 ソニーグループ株式会社 画像処理装置および方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010258739A (ja) * 2009-04-24 2010-11-11 Sony Corp 画像処理装置および方法、並びにプログラム
KR101753551B1 (ko) * 2011-06-20 2017-07-03 가부시키가이샤 제이브이씨 켄우드 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화 프로그램을 저장한 기록매체
JP6504604B2 (ja) * 2015-08-25 2019-04-24 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
US11638027B2 (en) * 2016-08-08 2023-04-25 Hfi Innovation, Inc. Pattern-based motion vector derivation for video coding
MX2020006790A (es) * 2018-02-28 2020-09-09 Samsung Electronics Co Ltd Metodo y aparato de decodificacion de video y metodo y aparato de codificacion de video.
JP2019204193A (ja) * 2018-05-22 2019-11-28 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10531124B1 (en) * 2018-06-25 2020-01-07 Google Llc Multi-stage coding block partition search
US11166037B2 (en) * 2019-02-27 2021-11-02 Mediatek Inc. Mutual excluding settings for multiple tools
US20200296405A1 (en) * 2019-03-14 2020-09-17 Qualcomm Incorporated Affine motion compensation refinement using optical flow
US11343525B2 (en) * 2019-03-19 2022-05-24 Tencent America LLC Method and apparatus for video coding by constraining sub-block motion vectors and determining adjustment values based on constrained sub-block motion vectors
US11317088B2 (en) * 2019-05-17 2022-04-26 Qualcomm Incorporated Gradient-based prediction refinement for video coding
US11153598B2 (en) * 2019-06-04 2021-10-19 Tencent America LLC Method and apparatus for video coding using a subblock-based affine motion model
CN114270860A (zh) * 2019-06-04 2022-04-01 北京达佳互联信息技术有限公司 针对仿射模式的自适应运动矢量分辨率
EP3937487A1 (en) * 2020-07-07 2022-01-12 Google LLC Alpha channel prediction

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHEN, WEI ET AL.: "Non-CE9: Bi-directional Optical Flow (BDOF) for Chroma Components", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-00577, 15TH MEETING, July 2019 (2019-07-01), Gothenburg, SE, pages 1 - 2 *
CHUJOH, TAKESHI ET AL.: "Non-CE9: BDOF for chroma components", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-00210-V2, 15TH MEETING, July 2019 (2019-07-01), Gothenburg, SE, pages 1 - 6 *
HE, YUWEN ET AL.: "CE4-related: Prediction refinement with optical flow for chroma components for affine mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-00583, 15TH MEETING, June 2019 (2019-06-01), Gothenburg, SE, pages 1 - 4 *
HE, YUWEN ET AL.: "CE4-related: Prediction refinement with optical flow for chroma components for affine mode", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, JVET-00583_WD, June 2019 (2019-06-01), pages 1 - 17 *

Also Published As

Publication number Publication date
US20220337865A1 (en) 2022-10-20

Similar Documents

Publication Publication Date Title
CN105706449B (zh) 样本自适应偏移控制
TWI558173B (zh) 樣本可調適之偏移控制
JP7314281B2 (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
JP7319389B2 (ja) 適応ループ・フィルタを用いたエンコーダ、デコーダおよび対応する方法
KR20210126771A (ko) 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들
WO2020151768A1 (en) An encoder, a decoder and corresponding methods of deblocking filter adaptation
KR20220127314A (ko) 적응적 루프 필터링을 위한 인코더, 디코더, 및 대응하는 방법
KR20210075201A (ko) 인트라 예측을 위한 방법 및 장치
WO2021060262A1 (ja) 画像処理装置および画像処理方法
KR20210103562A (ko) 인트라 예측을 위한 교차-성분 선형 모델링의 방법 및 장치
WO2021060484A1 (ja) 画像処理装置および画像処理方法
WO2021054437A1 (ja) 画像処理装置および画像処理方法
WO2021054438A1 (ja) 画像処理装置および画像処理方法
WO2021125316A1 (ja) 画像処理装置および画像処理方法
WO2021025597A1 (en) Method and apparatus of sample adaptive offset in-loop filter with application region size constraint
WO2020262370A1 (ja) 画像処理装置および画像処理方法
WO2020255940A1 (ja) 画像処理装置および画像処理方法
WO2023127940A1 (ja) 画像処理装置および画像処理方法
WO2020184715A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20868165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20868165

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP