WO2019069950A1 - 画像符号化装置及び画像復号装置 - Google Patents

画像符号化装置及び画像復号装置 Download PDF

Info

Publication number
WO2019069950A1
WO2019069950A1 PCT/JP2018/036943 JP2018036943W WO2019069950A1 WO 2019069950 A1 WO2019069950 A1 WO 2019069950A1 JP 2018036943 W JP2018036943 W JP 2018036943W WO 2019069950 A1 WO2019069950 A1 WO 2019069950A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
tree
prediction
coding
image
Prior art date
Application number
PCT/JP2018/036943
Other languages
English (en)
French (fr)
Inventor
知宏 猪飼
友子 青野
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US16/753,736 priority Critical patent/US20200260096A1/en
Publication of WO2019069950A1 publication Critical patent/WO2019069950A1/ja
Priority to US17/472,398 priority patent/US11503319B2/en
Priority to US17/958,731 priority patent/US11936892B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • an image coding apparatus (moving picture coding apparatus) that generates coded data by coding the moving pictures, and decoding the coded data.
  • An image decoding apparatus (moving image decoding apparatus) that generates a decoded image is used.
  • HEVC High-Efficiency Video Coding
  • an image (picture) constituting a moving picture is a slice obtained by dividing the image, a coding tree unit obtained by dividing the slice (CTU: Coding Tree Unit)
  • a coding unit obtained by dividing a coding tree unit (sometimes called a coding unit (CU: Coding Unit)
  • a prediction unit which is a block obtained by dividing a coding unit It is managed by the hierarchical structure which consists of (PU: Prediction Unit) and a transform unit (TU: Transform Unit), and is encoded / decoded per CU.
  • a predicted picture is usually generated based on a locally decoded picture obtained by coding / decoding an input picture, and the predicted picture is generated from the input picture (original picture).
  • the prediction residual obtained by subtraction (sometimes referred to as "difference image” or "residual image") is encoded.
  • inter prediction inter prediction
  • intra-screen prediction intra prediction
  • Non-Patent Document 1 a single encoding tree (common encoding tree) encoding a plurality of color components in one tree in units of regions (CTU, CTB) and a plurality of trees according to the color components are encoded Separate encoding trees are known.
  • a CCLM Cold Component Linear Model
  • Non-Patent Document 2 palette coding for simultaneously coding a plurality of color components, an intra block copying method for generating a predicted image with reference to an already coded region such as an intra image, color difference residuals from luminance residuals Cross component residual prediction is known to predict. Further, Non-Patent Document 2 discloses a method of transmitting QP update information and changing a quantization parameter on a block basis.
  • Non-Patent Document 2 there is a problem that the coding efficiency is not sufficient because the separate coding tree structure is used only in the intra slice unit.
  • the coding efficiency is enhanced because the separate coding tree structure is used even in inter slice.
  • the palette coding and the intra block copy processing can be selected, and the unnecessary overhead can be reduced.
  • TT information decoding part (TT information decoding S1700) which concerns on one Embodiment of invention. It is a flowchart explaining the schematic operation
  • FIG. 21 is a schematic view showing the configuration of the image transmission system 1 according to the present embodiment.
  • the image transmission system 1 is a system that transmits a code obtained by coding an image to be coded, decodes the transmitted code, and displays the image.
  • the image transmission system 1 includes an image encoding device (moving image encoding device) 11, a network 21, an image decoding device (moving image decoding device) 31, and an image display device (moving image display device) 41.
  • An image T representing an image of a single layer or a plurality of layers is input to the image coding device 11.
  • a layer is a concept used to distinguish a plurality of pictures when there is one or more pictures that constitute a certain time. For example, if the same picture is encoded by a plurality of layers having different image quality and resolution, it becomes scalable coding, and if a picture of different viewpoints is encoded by a plurality of layers, it becomes view scalable coding.
  • prediction inter-layer prediction, inter-view prediction
  • encoded data can be summarized.
  • the image decoding apparatus 31 decodes each of the encoded streams Te transmitted by the network 21 and generates one or more decoded images Td which are respectively decoded.
  • the image display device 41 displays all or a part of one or more decoded images Td generated by the image decoding device 31.
  • the image display device 41 includes, for example, a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • the form of the display may be stationary, mobile, HMD or the like.
  • spatial scalable coding and SNR scalable coding when the image decoding device 31 and the image display device 41 have high processing capabilities, they display enhancement layer images with high image quality and have only lower processing capabilities. , The base layer image which does not require the processing capability and the display capability as high as the enhancement layer.
  • X? Y: z is a ternary operator that takes y if x is true (other than 0) and z if x is false (0).
  • Max (a, b) and Min (a, b) are functions that return the maximum value and the minimum value of a and b, respectively.
  • a / d represents the division of a by d (rounding down the decimal point).
  • FIG. 1 is a diagram showing a hierarchical structure of data in a coded stream Te.
  • the coded stream Te illustratively includes a sequence and a plurality of pictures forming the sequence.
  • (A) to (f) in FIG. 1 respectively represent a coded video sequence defining the sequence SEQ, a coded picture defining the picture PICT, a coding slice defining the slice S, and a coding slice defining slice data.
  • It is a figure which shows a coding tree unit contained in data, coding slice data, and a coding unit (Coding Unit; CU) contained in a coding tree unit.
  • CU coding unit
  • sequence parameter set SPS a set of coding parameters to be referred to by the image decoding device 31 for decoding the target sequence is defined.
  • the width and height of the picture are defined.
  • multiple SPS may exist. In that case, one of a plurality of SPSs is selected from PPS.
  • a set of coding parameters to which the image decoding device 31 refers to to decode each picture in the target sequence is defined. For example, a reference value of quantization width (pic_init_qp_minus 26) used for decoding a picture and a flag (weighted_pred_flag) indicating application of weighted prediction are included.
  • multiple PPS may exist. In that case, one of a plurality of PPSs is selected from each slice header in the target sequence.
  • a coding tree unit (first block) is a coding unit (CU: Coding) which is a basic unit of coding processing by recursive quadtree division (QT division) or binary tree division (BT division). Unit, divided into second blocks).
  • a tree structure obtained by recursive quadtree division or binary tree division is called a coding tree (CT: Coding Tree), and nodes of the tree structure are called a coding node (CN: Coding Node).
  • CT may be used in the meaning of CN.
  • the PUs included in the CU are expressed as PU0, PU1, PU2, PU3 in order.
  • An area of the same size as the coding unit may be used for PU without coding the PU division mode (part_mode). Also, the PU may be divided automatically without encoding part_mode as a sub-block.
  • the coding unit is divided into one or more transform units TU, and the position and size of each transform unit are defined.
  • a transform unit is one or more non-overlapping regions that make up a coding unit.
  • the transformation tree includes one or more transformation units obtained by the above-mentioned division.
  • Partitions in the transform tree may be allocated as a transform unit a region of the same size as the encoding unit, or may be based on recursive quadtree partitioning as in the case of CU partitioning described above. A conversion process is performed for each conversion unit.
  • the prediction image of a prediction unit is derived by prediction parameters associated with PU.
  • the prediction parameters include intra prediction prediction parameters or inter prediction prediction parameters.
  • prediction parameters for inter prediction inter prediction (inter prediction parameters) will be described.
  • the inter prediction parameter includes prediction list use flags predFlagL0 and predFlagL1, reference picture indexes refIdxL0 and refIdxL1, and motion vectors mvL0 and mvL1.
  • the prediction list use flags predFlagL0 and predFlagL1 are flags indicating whether or not a reference picture list called an L0 list or an L1 list is used, respectively. When the value is 1, the corresponding reference picture list is used.
  • the motion vector mvLX indicates the amount of shift (shift) between blocks on two different pictures.
  • the prediction vector and the difference vector relating to the motion vector mvLX are referred to as a prediction vector mvpLX and a difference vector mvdLX, respectively.
  • the inter prediction parameter decoding unit 303 decodes the inter prediction parameter with reference to the prediction parameter stored in the prediction parameter memory 307 based on the code input from the entropy decoding unit 301. Further, the inter prediction parameter decoding unit 303 outputs the decoded inter prediction parameter to the prediction image generation unit 308, and stores the inter prediction parameter in the prediction parameter memory 307. Details of the inter prediction parameter decoding unit 303 will be described later.
  • SMLM prediction is a prediction method using one linear model to predict color difference from luminance for one block.
  • MMLM prediction is a prediction method using two or more linear models for predicting color difference from luminance for one block.
  • the luminance image is downsampled to make a linear model and made the same size as the chrominance image.
  • this down-sampling method there may be a method using a fixed sampling filter (default sampling filter) and a method using adaptively switching a plurality of sampling filters (additional sampling filter).
  • FIG. 5 is a flowchart for explaining the schematic operation of the image decoding device 31.
  • the header decoding unit 19 decodes a slice header (slice information) from the encoded data.
  • the CT information decoding unit 10 decodes a coding tree unit (CTU) from the coded data.
  • CTU coding tree unit
  • the inverse quantization / inverse transform unit 311 performs an inverse quantization / inverse transformation process on each TU included in the target CU based on the TT information TTI.
  • the sources of the encoded data and the syntax type are the CT information decoding unit 10 and the CU decoding unit 20 (the PU information decoding unit 12 and the TT information decoding unit 13).
  • the TT information decoding unit 13 decodes each TTI (TU split flag SP_TU (split_transform_flag), CU residual flag CBP_TU (cbf_cb, cbf_cr, cbf_luma), etc., and TU) using the decoding module 9.
  • the TT information decoding unit 13 includes a TU decoding unit 22.
  • the TU decoding unit 22 decodes QP update information (quantization correction value) when a residual is included in the TU.
  • the QP update information is a value indicating a difference value from the quantization parameter prediction value qPpred which is a prediction value of the quantization parameter QP.
  • the TU decoding unit 22 decodes the quantized prediction residual (residual_coding).
  • x0 and y0 are upper left coordinates of the target encoding tree
  • log2CbWidth is a logarithmic value of the width of the encoding tree
  • log2CbHeight is a logarithmic value of the height of the encoding tree
  • cqtDepth is a CT depth indicating a hierarchy of the encoding tree ( QT depth)
  • cbtDepth are CT depths (BT depths) indicating the hierarchy of the coding tree.
  • comp_mode indicates a target color component.
  • minBTSize is the smallest BT size (the smallest size of leaf nodes of the binary tree)
  • maxBTSize is the largest BT size (the largest size of the root node of the binary tree)
  • maxBTDepth is the largest BT depth (the largest value of the depth of the binary tree).
  • the CT information decoding unit 10 determines that there is a BT division mode, and transitions to S1481. Otherwise, the process transitions to step S1482.
  • the CT information decoding unit 10 decodes the BT split mode split_bt_mode [x0] [y0], which is a syntax element, when the above conditions are satisfied. (Corresponds to SYN1471 of syntax table) (S1482) The CT information decoding unit 10, otherwise (when the above conditions are not satisfied), that is, when the BT split mode split_bt_mode [x0] [y0] does not appear in the encoded data, the encoded data Decoding the BT split mode split_bt_mode [x0] [y0] from the above is omitted, and the BT split mode split_bt_mode [x0] [y0] is derived as 0.
  • ⁇ indicates a left shift. 1 ⁇ N is equal to 2 to the Nth power (the same applies hereinafter). Similarly, >> indicates a right shift.
  • the CT information decoding unit 10 uses the CU decoding unit 20 to use the coding unit CU.
  • Decode (coding_unit (x0, y0, log2CbWidth, log2CbHeight)).
  • FIG. 12 schematically illustrates operations of a CU decoding unit 20 (CU decoding S1500, S1510), a PU information decoding unit 12 (PU information decoding S1600), and a TT information decoding unit 13 (TT information decoding S1700) according to an embodiment of the present invention. It is a flowchart explaining the.
  • FIG. 15 is a diagram showing a configuration example of a syntax table of CU information, PT information PTI, and TT information TTI according to an embodiment of the present invention.
  • the CU decoding unit 20 decodes the CU information (skip flag, CU prediction scheme information PartMode, PU division type information, residual route flag) using the decoding module 9.
  • the CU decoding unit 20 decodes the skip flag cu_skip_flag from the encoded data using the decoding module 9.
  • predMode predMode
  • CuPredMode CuPredMode
  • Part_mode PU division type information PartMode
  • the CU decoding unit 20 decodes the residual root flag rqt_root_flag, (S1516) It is determined whether the residual route flag is other than 0, If the residual route flag is 0, the processing is terminated. If the residual route flag is other than 0, the TT information decoding unit 13 is notified.
  • the PU information decoding unit 12 decodes the PU information PUI using the decoding module 9. Specifically, the PU information decoding unit 12 decodes the PU information PUI according to the following procedure.
  • the PU information decoding unit 12 decodes each piece of PU information included in the target CU from the encoded data according to the PU division number indicated by the PU division type information PartMode.
  • the PU information decoding unit 12 decodes one PU information PUI described below, in which CU is one PU.
  • the PU information decoding unit 12 decodes the following two PU information PUI which divide the CU into upper and lower parts.
  • prediction_unit (x0, y0, nCbW, nCbH / 2) (SYN1631B) prediction_unit (x0, y0 + (nCbH / 2), nCbW, nCbH / 2) (SYN 1631C)
  • the PU information decoding unit 12 decodes the following two PU information PUI that divide the CU into left and right.
  • prediction_unit (x0, y0, nCbW / 2, nCbH) (SYN1631D) prediction_unit (x0 + (nCbW / 2), y0, nCbW / 2, nCbH) (SYN1631E) If the PU partition type is NxN, the following four PU information PUI that divide CU into four are decoded.
  • prediction_unit (x0, y0, nCbW / 2, nCbH / 2) (SYN 1631F) prediction_unit (x0 + (nCbW / 2), y0, nCbW / 2, nCbH / 2) (SYN 1631G) prediction_unit (x0, y0 + (nCbW / 2), nCbW / 2, nCbH / 2) (SYN 1631H) prediction_unit (x0 + (nCbW / 2), y0 + (nCbH / 2), nCbW / 2, nCbH / 2) (SYN 1631I) (S1632) When the skip flag is 1, the PU information decoding unit 12 sets the PU division type to 2Nx2N, and decodes one PU information PUI.
  • FIG. 16 is a diagram showing a configuration example of a syntax table of PU information PUI according to an embodiment of the present invention.
  • inter prediction parameters such as merge_flag, inter_pred_idc, refIdxLX, mvp_lX_idx, mvdLX is shown.
  • Intra prediction parameters are also defined by prediction_unit (), but are not shown here.
  • intra prediction parameters may be indicated by intra_mode ().
  • FIG. 13 is a flowchart illustrating a schematic operation of the TT information decoding unit 13 (TT information decoding S1700) according to an embodiment of the present invention.
  • FIG. 17 is a diagram showing a configuration example of a syntax table of TT information TTI according to an embodiment of the present invention.
  • the TT information decoding unit 13 has a target TU size (for example, log TU size log2TrafoSize) in a predetermined conversion size range (here, maximum log TU size MaxTbLog2SizeY or less and larger than minimum log TU size MinTbLog2SizeY) And, when the TU layer trafoDepth of the target TU is less than a predetermined layer (here, less than the maximum TU layer MaxTrafoDepth), the TU split flag (split_transform_flag) is decoded.
  • a target TU size for example, log TU size log2TrafoSize
  • a predetermined conversion size range here, maximum log TU size MaxTbLog2SizeY or less and larger than minimum log TU size MinTbLog2SizeY
  • the TT information decoding unit 13 performs logarithmic TU size log2TrafoSize ⁇ maximum logarithmic TU size MaxTbLog2SizeY, and logarithmic TU size log2TrafoSize> minimum logarithmic TU size MinTbLog2SizeY, and TU hierarchy trafoDepth ⁇ maximum
  • the process proceeds to S1731, and the TU split flag (split_transform_flag) is decoded (SYN 1731).
  • split_transform_flag does not appear in the encoded data, that is, log TU size log2TrafoSize> maximum log TU size MaxTbLog2SizeY, or log TU size log2TrafoSize ⁇ minimum log TU size MinTbLog2SizeY, or TU layer trafoDepth ⁇ maximum TU layer
  • the TT information decoding unit 13 derives a TU split flag (split_transform_flag).
  • the TT information decoding unit 13 has a value (for example, 1) indicating that the TU split flag split_transform_flag is to be split (YES in S1733) and the TU layer trafoDepth is 0 (YES in S1754), The AMT flag amt_flag is decoded (SYN 1755). Even if TU division flag split_transform_flag is a value indicating that division is to be performed (YES in S1733), if TU layer trafoDepth is not 0 (NO in S1754), TT information decoding unit 13 performs AMT. The flag amt_flag is not decoded from the encoded data, and the process transitions to S1756. In this case, amt_flag decoded by AMT flag decoding (S1755) in the upper transformation tree TT is used as it is.
  • the TT information decoding unit 13 uses the TU hierarchy trafoDepth + 1, which indicates the hierarchy of the transform tree, the four positions (x0, y0), (x1, y0), (x0, y1), (x1), and , Y1) Update the logarithmic TU size log2TrafoWidth, log2TrafoHeight, which is the target TU size, and recursively decode the conversion tree TT of the next lower hierarchy using the updated hierarchy and size.
  • transform_tree (x0, y0, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, trafoDepth + 1, 0) transform_tree (x1, y0, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 1) transform_tree (x0, y1, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 2) transform_tree (x1, y1, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 3)
  • x0 and y0 are the upper left coordinates of the target transform tree
  • x1 and y1 are the target TU size (1 ⁇ log2 TrafoWidth) and (1 ⁇ It is a coordinate derived by adding 1/2 of ⁇ log 2 TrafoHeight) (SYN 1756).
  • the TT information decoding unit 13 adds 1 to the TU hierarchy trafoDepth indicating the hierarchy of the transformation tree TT according to the following equation before recursively decoding the transformation tree transform_tree, and the target TU size is obtained.
  • the log CT size log2TrafoWidth, log2TrafoHeight is decremented by 1 and updated.
  • the TT information decoding unit 13 determines a TU residual flag (for example, cbf_luma) indicating whether the target TU includes a residual. Decrypt.
  • a TU residual flag for example, cbf_luma
  • the luminance residual flag cbf_luma indicating whether the luminance component of the target TU includes the residual is used, but the present invention is not limited to this.
  • TU decoding unit 22 of TT information decoding unit 13 transform unit TUtransform_unit (x0, y0, xBase, yBase, log2TrafoWidth, log2TrafoHeight, shown in SYN 1760) when TU split flag split_transform_flag is 0 (NO in S1733).
  • FIG. 14 is a flowchart for describing a schematic operation of the TU decoding unit 22 (TU information decoding S1760) according to an embodiment of the present invention.
  • FIG. 18 is a diagram showing a configuration example of a syntax table of TU information according to an embodiment of the present invention.
  • the TU decoding unit 22 decodes QP update information (quantization correction value) when a residual is included in the TU.
  • the QP update information is a value indicating a difference value from the quantization parameter prediction value qPred which is a prediction value of the quantization parameter QP.
  • the TU decoding unit 22 decodes the quantized prediction residual (residual_coding).
  • cbfLuma cbf_luma [x0] [y0] [trafoDepth]
  • cbfChroma cbf_cb [xC] [yC] [cbfDepthC]
  • cbf_cr xC] [yC] [cbfDepthC])
  • cbf_cb and cbf_cr are flags decoded from the encoded data, and indicate whether or not the color difference components Cb and Cr of the target TU include a residual.
  • indicates a disjunction.
  • the TU decoding unit 22 decodes the QP update information (quantization correction value) when a residual is included in the TU (when the TU residual flag is other than 0).
  • the QP update information is a value indicating a difference value from the quantization parameter prediction value qPpred which is a prediction value of the quantization parameter QP.
  • the difference value is decoded from the absolute value cu_qp_delta_abs and the code cu_qp_delta_sign_flag as a syntax element of the encoded data, but the invention is not limited thereto.
  • the TU decoding unit 22 decodes the quantized prediction residual (residual_coding) when the TU residual flag (here, cbfLuma) is other than 0.
  • the TU decoding unit 22 may sequentially decode a plurality of color components as a quantized prediction residual.
  • the TU decoding unit 22 when the TU residual flag (here, cbfLuma) is other than 0, the TU decoding unit 22 performs luminance quantization prediction residual (first color component) residual_coding (x0, y0, log2TrafoWidth, log2TrafoHeight , 0), and if the second color component residual flag cbf_cb is other than 0, decode the residual_coding (x0, y0, log2TrafoWidthC, log2TrafoHeightC, 1), and the second color component residual flag cbf_cr is other than 0 In the case, the third color component quantization prediction residual “residual_coding (x0, y0, log2TrafoWidthC, log2TrafoHeightC, 2)” is decoded.
  • TU decoding unit 22 decodes AMT index amt_idx.
  • CTU_SEPARATE_TREES is used in which an image composed of a plurality of color components such as YCbCr is processed in a plurality of trees in predetermined rectangular block units (eg, CTU units). , Processing all color components in one tree with "common coding tree (CTU_SHARED_TREE)". Moreover, the case where a single color component is processed in one tree is also referred to as “single coding tree (CTU_SINGLE_TREE)". A parameter indicating such a tree structure is called a tree mode.
  • FIG. 22 is a diagram for explaining the tree structure and partition structure for each color component in the separate coding tree.
  • (a) is a luma coding tree showing a luma coding tree for a CTU
  • (b) is a chroma coding tree showing a chroma (Cb and Cr) coding tree for the same CTU
  • (c) is (a) A luminance block division corresponding to a)
  • (d) is a block division corresponding to (b).
  • the separate encoding tree has a plurality of trees in block (CTU) units, which can be different. Therefore, as shown in (c) and (d), it is possible to have different block divisions (partition structure) for the same position area (the same CTU).
  • FIG. 23 shows the relationship between a parameter ctu_tree_mode indicating a tree mode and a tree structure (Name).
  • a single encoding tree and a common encoding tree are assigned to 0 in the tree mode (ctu_tree_mode), and a separate encoding tree is assigned to 1.
  • (b) is an example of allocating a single coding tree, a common coding tree, and a separate coding tree to 0, 1 and 2 of the tree mode (ctu_tree_mode), respectively.
  • FIG. 24 is a diagram for explaining the relationship between the color space and the parameter ChromaArrayType indicating the arrangement of colors.
  • ChromaArrayType is 0 when encoding 4: 0: 0 or a plurality of color components independently. When a plurality of color components such as 4: 2: 0, 4: 2: 2, 4: 4: 4 are bundled and encoded, ChromaArrayType becomes 1, 2, 3 respectively.
  • ChromaArray 0 corresponds to a single encoding tree
  • ChromaArray is 1-3, a common encoding tree or a separate encoding tree corresponds.
  • FIG. 24 is a diagram for explaining a parameter ctu_comp indicating a color component used in a certain tree.
  • set COMP_ 012 to ctu_comp which indicates processing all color components (here three color components).
  • set COMP_0 to ctu_comp and for processing the second and third color components for example, Cb and Cr of color difference
  • COMP_012 also means to process three color components (tree block configuration)
  • FIG. 25 is a flowchart showing an operation of the CT information decoding unit 10 in a configuration using a separate encoding tree.
  • FIG. 26 is a diagram showing an example of a syntax table in a configuration using a separate encoding tree.
  • the separate coding tree in CTU, two root coding tree nodes coding_quadtree are coded and decoded.
  • Coding_quadtree xCtb, yCtb, CtbLog2SizeY, 0, ctu_comp
  • coding_quadtree xCtb, yCtb, CtbLog2SizeY, 0, COMP_12
  • the CT information decoding unit 10 performs the following processing.
  • the CT information decoding unit 10 sets a color component ctu_comp to be processed. If the CTU is a separate coding tree, set COMP_0, which indicates the first component, and COMP_012, which indicates all components otherwise, to ctu_comp.
  • the CT information decoding unit 10 decodes CT (coding_quadtree) recursively for the color component designated by ctu_comp. For example, if the separate coding tree (ctu_comp is COMP_0), CT (coding_quadtree) is decoded recursively for the leading color component. That is, decoding processing is performed with the block (CTU) of the first color component as a root node (root coding tree node).
  • CT information decoding unit 10 is a separate encoding tree, it sets a color component to be processed next, in this case, COMP_12.
  • the CT information decoding unit 10 decodes CT (coding_quadtree) recursively for the color component designated by ctu_comp. For example, if the separate coding tree (ctu_comp is COMP — 12), CT (coding_quadtree) is decoded recursively for the second and third color components. That is, decoding processing is performed with blocks (CTUs) of the second and third color components as root nodes (root coding tree nodes).
  • the CU encoding unit 1130 of the image encoding device performs the same operation as the CT information decoding unit 10 and encodes the encoding tree.
  • FIG. 26 (b) shows another configuration example of the syntax table.
  • the CT information decoding unit 10 decodes information ctu_tree_mode indicating whether to use a separate encoding tree or a common encoding tree from encoded data in CTU units.
  • FIG. 26C shows another configuration example of the syntax table. It corresponds to the example of FIG. 25 (a).
  • FIG. 25 (b) is another example of the operation of the CT information decoding unit 10.
  • FIG. 25C shows another example of the operation of the CT information decoding unit 10.
  • Block size restriction in separate encoding tree In separate encoding trees, separate trees are assigned and processed for luminance and chrominance. In color difference, DM prediction or CCLM prediction is performed using luminance information to perform prediction efficiently. However, when there is no restriction on block size, it is necessary to wait for processing of 1 CTU size luminance for color difference processing.
  • a method of limiting the division flag to limit the block size and a method of limiting the prediction mode will be shown. It is preferable to carry out two restrictions simultaneously.
  • FIG. 27 is a diagram showing an operation of the image decoding device 31 in the embodiment of the present invention. In this configuration, separate coding trees are used in the case of intra slices and in the case of multiple color components.
  • FIG. 30A is a syntax table showing the configuration of encoded data to be processed by the image decoding device 31 in the present embodiment.
  • the above CTUs may be singled using one coding tree CT (root coding tree node) according to the coding tree mode.
  • the CU decoding unit 20 (CT that performs either processing as one coding tree or processing as a separate coding tree using the CTUs as two or more coding trees CT (root coding tree nodes) Information decoding unit).
  • a prediction mode decoding unit that includes an intra prediction unit (intra prediction image generation unit 310 and an intra prediction parameter decoding unit 304) that generates a predicted image of and that indicates whether it is an intra mode or an inter mode (CU decoding unit 20), and in the case of intra slice, the prediction mode decoding unit sets the prediction mode to the intra mode without decoding the prediction mode.
  • the CU decoding unit 20 decodes the split flag split_cu_flag. (Equivalent to SYN 1421)
  • it is preferable to set the maximum size maxIntraBlockSize of the intra block size to the maximum size of the block size. For example, maxIntraBlockSize 64.
  • the division flag is decoded only when the Y coordinate of the boundary is equal to or less than the screen height, that is, when the lower right position of the target block is in the screen. Otherwise, the split flag split_cu_flag is set to 0 without decoding the encoded data.
  • the following embodiments are also the same.
  • the minimum value of the maximum intra block size maxIntraBlockSize which is the maximum size of the intra block size
  • maxTransSize the maximum transform size
  • the CU encoding unit 1130 of the image encoding device does not encode the division flag in the encoded data when the intra slice and the target CT size are larger than the predetermined maximum intra size, and the division flag is 1 (value indicating division) Set to
  • FIG. 28 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention.
  • This configuration uses S1420A2 instead of S1420A.
  • FIG. 30 (b) is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment. In this configuration, information indicating whether to process in a single encoding tree or in a separate encoding tree may be decoded from the encoded data in units of CTU.
  • the luminance block size is always equal to or less than the maximum intra block size maxIntraBlockSize. Therefore, even in the worst case, since the color difference processing can be started if the processing of the intra block having the maximum intra block size maxIntraBlockSize is awaited, the effect of reducing the delay amount of the color difference processing can be achieved.
  • the CU encoding unit 1130 of the image encoding device does not encode the division flag in the encoded data, and sets the division flag to 1 (intra slice and separate coding tree and the target CT size is larger than the predetermined maximum intra size). Set to a value indicating division.
  • FIG. 29 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 30C is a syntax table showing a configuration of encoded data to be processed by the image decoding device 31 in the present embodiment. This configuration uses S1420A3 instead of S1420A. In this configuration, information indicating whether to process in a single encoding tree or in a separate encoding tree may be decoded from the encoded data in units of CTU.
  • the luminance block size is always equal to or less than the maximum intra block size maxIntraBlockSize. Therefore, even in the worst case, if processing of the block of the maximum intra block size maxIntraBlockSize is awaited, color difference Since processing can be started, the effect of reducing the delay amount of color difference processing can be obtained.
  • FIG. 31 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 32 is a syntax table showing a configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment.
  • This configuration uses one of S1420A1CC, S1420A2CC, and S1420A3CC instead of S1420A.
  • the block size is limited to the maximum intra block size or less.
  • information indicating whether to process in a single encoding tree or in a separate encoding tree may be decoded from the encoded data in units of CTU.
  • the division flag is not decoded from the encoded data, and 1 (a value indicating division) is set in the division flag. (Equivalent to SYN1420A2CC) Or (S1422A) In FIG.
  • CU decoding unit 20 When the target CT size is larger than the predetermined maximum size (YES in S1420), CU decoding unit 20 does not decode the division flag from the encoded data, and sets 1 (a value indicating division) in the division flag. .
  • the maximum block size maxCUSize may be set to the minimum value of the maximum intra block size and the maximum conversion size, and in other cases, the maximum conversion size may be set.
  • Prediction mode restriction in shared tree In the shared tree, a common tree is used for luminance and chrominance, but when the prediction mode predMode is intra prediction, for chrominance, information on luminance is used to perform DM prediction and CCLM prediction to perform efficient prediction. If there is no block size limitation, it is necessary to wait for processing of 1 CTU size luminance to process color difference.
  • the prediction mode is limited if the processing block size is exceeded. Specifically, when the predetermined block size is exceeded, only inter prediction is permitted, and intra prediction is prohibited.
  • FIG. 34 is a diagram showing an operation of the configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 37 (b) is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment.
  • an image decoding apparatus that divides and processes an image into rectangular coding tree units (CTUs), the CTU is divided into coding trees CT, and a division flag indicating whether or not to further divide the CT is decoded.
  • CU decoding unit 20 that performs block division recursively, and an intra prediction unit that generates a prediction image of another color component using a decoded image of a certain color component (intra prediction image generation unit 310, intra prediction parameter decoding unit 304) and a CU decoding unit 20 that decodes a prediction mode indicating whether it is an intra mode or an inter mode.
  • the operation of the CU decoding unit 20 is as follows.
  • prediction mode pred_mode_flag is not decoded from the encoded data into prediction mode pred_mode_flag Sets the inter mode (MODE_INTER).
  • the flow of the process is the same.
  • the CU encoding unit of the image encoding device does not encode the prediction mode pred_mode_flag, and sets the inter mode (MODE_INTER) in the prediction mode pred_mode_flag.
  • FIG. 35 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention. This configuration uses S1611B2 instead of S1611B.
  • FIG. 37 (a) is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment.
  • prediction mode pred_mode_flag is set from encoded data
  • the inter mode (MODE_INTER) is set to the prediction mode pred_mode_flag without decoding.
  • the luminance block size is always smaller than or equal to the maximum intra block size except in the separate encoding tree (that is, in the common encoding tree), even in the worst case, processing of the intra block of the maximum intra block size Since the color difference processing can be started by waiting, the effect of reducing the delay amount of the color difference processing can be obtained.
  • the CU coding unit of the image coding apparatus performs prediction without coding the prediction mode pred_mode_flag in cases other than a separate coding tree and when the block size is a predetermined size (maximum intra size) or more except in the case of intra slice.
  • Inter mode (MODE_INTER) is set to mode pred_mode_flag.
  • FIG. 36 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention. This configuration uses S1610B3 instead of S1610B.
  • the number of color components being two or more means excluding the case where the number of color components is one.
  • ChromaArrayType 0 in the case of encoding with independent color components or the case of a single encoding tree.
  • prediction since prediction is not performed on color components (for example, between luminance and color difference), it is not necessary to limit prediction modes according to the maximum intra block size.
  • the block size of the luminance is equal to or less than the maximum intra block size when there is prediction between color components other than the separate coding tree (that is, in the common coding tree).
  • the color difference processing can be started if the processing of the intra block of the maximum intra block size is awaited, the effect of reducing the delay amount of the color difference processing can be achieved.
  • the flow of the process is the same. If the image coding apparatus is other than a separate coding tree and the number of color components is 2 or more and the block size is larger than a predetermined size (maximum intra size) in cases other than intra slice, the prediction mode pred_mode_flag is set. Without encoding, inter mode (MODE_INTER) is set to the prediction mode pred_mode_flag.
  • the maximum block size maxCUSize may be set to the minimum value of the maximum intra block size and the maximum conversion size, and in other cases, the maximum conversion size.
  • the intra block size is set to the maximum transform size otherwise.
  • Block size limit and prediction mode limit As already mentioned above, it is appropriate to combine one of the block size limitations and one of the prediction mode limitations.
  • the CTUs are divided into coding trees CT, and one CTU is divided into one coding tree CT according to a coding tree mode.
  • CU decoding unit 20 sets an intra mode to a prediction mode without decoding encoded data in the case of intra slice, and includes an intra prediction unit that generates a predicted image of a color component.
  • the inter mode is set to the above prediction mode without decoding the encoded data, and the CU decoding unit 20 performs intra slice and separate code
  • the division flag is set to 1 (a value indicating division) without decoding the division flag from the encoded data when the target CT size is larger than a predetermined maximum intra size, and in other cases, The division flag is decoded from the encoded data.
  • ctb_tree_mode is encoded / decoded in CTU units, and it is possible to select whether to use a separate encoding tree or a common encoding tree.
  • an inter mode is used when using a separate encoding tree, motion vectors of luminance and color difference become separate and processing load increases, so only the intra mode is selected.
  • FIG. 39 is a diagram showing an operation of the configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 41 (a) is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment.
  • the CTUs are divided into coding trees CT, and one coding tree CT (root coding according to the coding tree mode) Whether to process one CTU using tree nodes as a single coding tree or to process one CTU as a separate coding tree using two or more coding trees CT (root coding tree nodes)
  • a CU decoding unit 20 that recursively divides a block by decoding a division flag indicating whether or not to further divide the CT, and a decoded image of a certain color component
  • Comprising a PU information decoding unit 12 that. Furthermore, the PU information decoding unit 12 performs the following processing.
  • the CT information decoding unit 10 decodes, from the encoded data, information indicating whether to process in a single encoding tree or in a separate encoding tree.
  • the processing flow is the same although there is a difference between the coding processing and the decoding processing, and in the case of a separate coding tree, the prediction mode pred_mode_flag is decoded from the coded data. Instead, the intra mode is set to the prediction mode pred_mode_flag.
  • FIG. 40 is a diagram showing an operation of another configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 41 (b) is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment. This configuration uses S1610C2 instead of S1610C.
  • the CU decoding unit 20 does not decode the prediction mode pred_mode_flag from the encoded data, and sets the inter mode (MODE_INTER) to the prediction mode pred_mode_flag. Good.
  • the palette copy unit 10453 copies a table value (pixel) of the palette memory 10452 or a pixel adjacent to the left or upper adjacent pixel of the target pixel to generate a pixel column.
  • This pixel row is a coding pixel or a decoding pixel.
  • FIG. 44 is a diagram showing an operation of the configuration of the image decoding device 31 in the embodiment of the present invention.
  • FIG. 45 is a syntax table showing the configuration of encoded data to be processed by the image decoding apparatus 31 in the present embodiment.
  • the receiving device PROD_B is a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3. It may further comprise PROD_B6. Although (b) of FIG. 19 illustrates the configuration in which the reception device PROD_B includes all of them, a part of the configuration may be omitted.
  • the transmission unit PROD_D5 may transmit a non-encoded moving image, or transmit encoded data encoded by a transmission encoding method different from the recording encoding method. It may be In the latter case, an encoding unit (not shown) may be interposed between the decoding unit PROD_D2 and the transmission unit PROD_D5 for encoding moving pictures according to a transmission encoding scheme.
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, CDs (Compact Disc Read-Only Memory) / MO disks (Magneto-Optical disc).
  • tapes such as magnetic tapes and cassette tapes
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • CDs Compact Disc Read-Only Memory
  • MO disks Magnetic-Optical disc

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

セパレート符号化ツリー構造で輝度の情報を色差予測に用いる場合、ツリーを構成する全ての輝度ブロックが復号するまで、色差ブロックの復号ができない、という課題がある。画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴを用いた単一符号化ツリーとして処理するか又は２つ以上の色コンポーネントを２つ以上の符号化ツリーＣＴを用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、ＣＴをさらに分割するか否かを示す分割フラグを復号して再帰的にブロック分割を行うＣＵ復号部と、ある色コンポーネントの復号画像を用いて別の色コンポーネントの予測画像を生成するイントラ予測部を備え、上記ＣＵ復号部は、イントラスライスかつセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから分割フラグを復号せずに、分割フラグに１に設定する。

Description

画像符号化装置及び画像復号装置
　本発明の一態様は、画像復号装置、および画像符号化装置に関する。
　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する画像符号化装置（動画像符号化装置）、および、当該符号化データを復号することによって復号画像を生成する画像復号装置（動画像復号装置）が用いられている。
　具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）にて提案されている方式などが挙げられる。
　このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（CU：Coding Unit）と呼ばれることもある）、及び、符号化単位を分割することより得られるブロックである予測ユニット（PU：PredictionUnit）、変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CUごとに符号化／復号される。
　また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　近年、非特許文献１では、領域（ＣＴＵ、ＣＴＢ）単位で複数の色成分を１つのツリーで符号化する単一符号化ツリー（共通符号化ツリー）と色成分に応じて複数のツリーで符号化するセパレート符号化ツリーが知られている。また、色成分間でイントラ予測を行うCCLM（Coloer Component Linear Model）予測方式が知られている。
　非特許文献２では、複数の色成分を同時に符号化するパレット符号化や、イントラ画像等の既に符号化した領域を参照して予測画像を生成するイントラブロックコピー方式、輝度残差から色差残差を予測するクロスコンポーネント残差予測が知られている。また非特許文献２にはＱＰ更新情報を伝送して量子化パラメータをブロック単位で変更する方法が知られている。
"Algorithm Description of Joint Exploration Test Model 7", JVET-G1001, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 13-21 July 2017 ITU-T H.265(04/2015) SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video High efficiency video coding
　一般に輝度処理と色差処理は可能な限り並列に行うことが行われているが、非特許文献１のようにセパレート符号化ツリー構造で輝度の情報を色差予測に用いる場合、ツリーを構成する全ての輝度ブロックが復号するまで、色差ブロックの復号ができない、という課題がある。
　また、セパレート符号化ツリーではない場合にも、色差処理の前に、輝度処理を待つため、遅延が大きくなる場合がある、という課題がある。
　また、非特許文献２では、イントラスライス単位でのみセパレート符号化ツリー構造を用いるため、符号化効率が十分ではないという課題がある。
　また、非特許文献２のパレット符号化やイントラブロックコピー処理、クロスコンポーネント残差予測は、セパレート符号化ツリーを用いる非特許文献１では動作しないという課題がある。
　本発明の一態様に係る画像復号装置は、画像を矩形に分割した符号化ツリーユニットＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーで処理するか、又は２つ以上の色コンポーネントを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーで処理するか、いずれかを実施するＣＴ情報復号部と、上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、ある色コンポーネントの復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部と、イントラモード又はインターモードを示す予測モードを復号する予測モード復号部を備え、上記予測モード復号部は、ＣＴＵがイントラスライスの場合に、符号化データから予測モードを復号せずにイントラモードを設定し、上記ＣＵ復号部は、ＣＴＵがイントラスライスかつツリーモードがセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから分割フラグを復号せずに、分割フラグに１（分割を示す値）に設定することを特徴とする。
　本発明の一態様によれば、セパレート符号化ツリー構造を利用可能な画像符号化装置および画像復号装置においても、輝度と色差の処理の並列度を高めることができる。すなわち、色差処理前の輝度処理の待ち時間（遅延）を低減させることができる。
　インタースライスでもセパレート符号化ツリー構造を用いるため、符号化効率が高まる。
　セパレート符号化ツリー構造を利用可能な画像符号化装置および画像復号装置においても、パレット符号化やイントラブロックコピー処理を選択することができ、また、無駄なオーバーヘッドが削減できる。
本実施形態に係る符号化ストリームのデータの階層構造を示す図である。 本実施形態に係る画像符号化装置の構成を示すブロック図である。 本実施形態に係る画像復号装置の構成を示す図である。 本実施形態に係るＤＭ予測を説明する図である。 本発明の一実施形態に係る画像復号装置３１の概略的動作を説明するフローチャートである。 本発明の一実施形態に係る画像復号装置の構成を示すブロック図である。 本実施形態に係るイントラ予測モードを示す図である。 本発明の一実施形態に係るCT情報復号部の動作を説明するフローチャートである。 本発明の一実施形態に係るQT情報のシンタックス表の構成図である。 本実施形態に係るイントラ予測画像生成部３１０の構成を示すブロック図である。 本発明の一実施形態に係るBT情報のシンタックス表の構成図である。 発明の一実施形態に係るＣＵ復号部（ＣＵ復号Ｓ１５００）、ＣＵ情報復号部２１（ＣＵ情報復号Ｓ１５１０）、ＰＵ情報復号部（ＰＵ情報復号Ｓ１６００）、ＴＴ情報復号部（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。 発明の一実施形態に係るＴＴ情報復号部（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。 発明の一実施形態に係るＴＵ復号部２２（ＴＵ情報復号Ｓ１７６０）の概略的動作を説明するフローチャートである。 本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。 本発明の一実施形態に係るＰＵ情報ＰＵＩのシンタックス表の構成例を示す図である。 本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。 本発明の一実施形態に係るＴＵ情報ＴＵＩのシンタックス表の構成例を示す図である。 本実施形態に係る画像符号化装置を搭載した送信装置、および、画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した送信装置を示しており、（ｂ）は、画像復号装置を搭載した受信装置を示している。 本実施形態に係る画像符号化装置を搭載した記録装置、および、画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、画像符号化装置を搭載した記録装置を示しており、（ｂ）は、画像復号装置を搭載した再生装置を示している。 本実施形態に係る画像伝送システムの構成を示す概略図である。 セパレート符号化ツリーにおけるツリー構造とパーティション構造を説明する図である。 ツリーモードを示すパラメータctu_tree_modeと、ツリー構造（Name）の関係を示す図である。 色コンポーネント（Name）と色の配置を示すパラメータChromaArrayTypeおよびctu_compの関係を説明する図である。 セパレート符号化ツリーを用いる構成におけるＣＴ情報復号部１１の動作を示す図である。 セパレート符号化ツリーを用いる構成におけるシンタックステーブルの例を示す図である。 本発明の実施形態におけるＣＵ復号部２０の動作を示すフローチャートである。 本発明の実施形態におけるＣＵ復号部２０の別の構成の動作を示すフローチャートである。 本発明の実施形態におけるＣＵ復号部２０の別の構成の動作を示すフローチャートである。 本実施形態におけるＣＴ情報復号部１１の対象とする符号化データの構成を示すシンタックステーブルである。 本発明の実施形態におけるＣＵ復号部２０の別の構成の動作を示すフローチャートである。 本実施形態におけるＣＴ情報復号部１１の対象とする符号化データの構成を示すシンタックステーブルである。 本発明の実施形態におけるＣＵ復号部２０の別の構成の動作を示すフローチャートである。 本発明の実施形態におけるＰＵ情報復号部１２の構成の動作を示すフローチャートである。 本発明の実施形態におけるＰＵ情報復号部１２の別の構成の動作を示すフローチャートである。 本発明の実施形態におけるＰＵ情報復号部１２の別の構成の動作を示すフローチャートである。 本実施形態におけるＣＵ復号部２０の対象とする符号化データの構成を示すシンタックステーブルである。 本発明の実施形態におけるＰＵ情報復号部１２の別の構成の動作を示すフローチャートである。 本発明の実施形態におけるＰＵ情報復号部１２の構成の動作を示すフローチャートである。 本発明の実施形態におけるＰＵ情報復号部１２の別の構成の動作を示すフローチャートである。 本実施形態におけるＣＵ復号部２０の対象とする符号化データの構成を示すシンタックステーブルである。 本実施形態のパレット予測部３１０４５の構成を示すブロック図と、パレット予測の動作を説明する図である。 本実施形態のパレット予測部３１０４５で復号するパレット情報のシンタックステーブルの例である。 本発明の実施形態におけるＣＵ復号部２０の構成の動作を示すフローチャートである。 本実施形態におけるＣＵ復号部２０の対象とする符号化データの構成を示すシンタックステーブルである。 本実施形態に係るクロスコンポーネント残差予測部の構成を示す図である。 本発明の実施形態におけるＴＵ復号部２２の対象とする符号化データの構成を示すシンタックステーブルである。 本発明の実施形態におけるＴＵ復号部２２の動作を示すフローチャートである。 本発明の実施形態におけるＣＵ復号部２０の対象とする符号化データの構成を示すシンタックステーブルである。
　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。
　図２１は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
　画像伝送システム１は、符号化対象画像を符号化した符号を伝送し、伝送された符号を復号し画像を表示するシステムである。画像伝送システム１は、画像符号化装置（動画像符号化装置）１１、ネットワーク２１、画像復号装置（動画像復号装置）３１及び画像表示装置（動画像表示装置）４１を含んで構成される。
　画像符号化装置１１には、単一レイヤもしくは複数レイヤの画像を示す画像Ｔが入力される。レイヤとは、ある時間を構成するピクチャが１つ以上ある場合に、複数のピクチャを区別するために用いられる概念である。たとえば、同一ピクチャを、画質や解像度の異なる複数のレイヤで符号化するとスケーラブル符号化になり、異なる視点のピクチャを複数のレイヤで符号化するとビュースケーラブル符号化となる。複数のレイヤのピクチャ間で予測（インターレイヤ予測、インタービュー予測）を行う場合には、符号化効率が大きく向上する。また予測を行わない場合（サイマルキャスト）の場合にも、符号化データをまとめることができる。
　ネットワーク２１は、画像符号化装置１１が生成した符号化ストリームＴｅを画像復号装置３１に伝送する。ネットワーク２１は、インターネット（internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク２１は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク２１は、DVD（Digital Versatile Disc）、BD（Blue-ray Disc）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
　画像復号装置３１は、ネットワーク２１が伝送した符号化ストリームTeのそれぞれを復号し、それぞれ復号した１または複数の復号画像Tdを生成する。
　画像表示装置４１は、画像復号装置３１が生成した１または複数の復号画像Tdの全部または一部を表示する。画像表示装置４１は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、空間スケーラブル符号化、ＳＮＲスケーラブル符号化では、画像復号装置３１、画像表示装置４１が高い処理能力を有する場合には、画質の高い拡張レイヤ画像を表示し、より低い処理能力しか有しない場合には、拡張レイヤほど高い処理能力、表示能力を必要としないベースレイヤ画像を表示する。
　　＜演算子＞
　本明細書で用いる演算子を以下に記載する。
　>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子である。
　x ? y : zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。
　Clip3(a, b, c) は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
　x && yは論理積(logical and)、x || yは論理和(logical or)、!は論理否(logical not)を示す。
　abs(a)はaの絶対値を返す関数である。
　Int(a)はaの整数値を返す関数である。
　Max(a, b)、Min(a, b)は、各々aとbの最大値、最小値を返す関数である。
　floor(a)はa以下の最大の整数を返す関数である。
　a/dはdによるaの除算（小数点以下切り捨て）を表す。
　　＜符号化ストリームTeの構造＞
　本実施形態に係る画像符号化装置１１および画像復号装置３１の詳細な説明に先立って、画像符号化装置１１によって生成され、画像復号装置３１によって復号される符号化ストリームTeのデータ構造について説明する。
　図１は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図１の（ａ）～（ｆ）は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、スライスSを規定する符号化スライス、スライスデータを規定する符号化スライスデータ、符号化スライスデータに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニット（Coding Unit；CU）を示す図である。
　　（符号化ビデオシーケンス）
　符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために画像復号装置３１が参照するデータの集合が規定されている。シーケンスSEQは、図１の（ａ）に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図１では、#0と#1、すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれによらない。
　ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合、および、動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。
　シーケンスパラメータセットSPSでは、対象シーケンスを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅や高さが規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
　ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために画像復号装置３１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値（pic_init_qp_minus26）や重み付き予測の適用を示すフラグ（weighted_pred_flag）が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各スライスヘッダから複数のPPSの何れかを選択する。
　　（符号化ピクチャ）
　符号化ピクチャでは、処理対象のピクチャPICTを復号するために画像復号装置３１が参照するデータの集合が規定されている。ピクチャPICTは、図１の（ｂ）に示すように、スライスS0～SNS-1を含んでいる（ＮＳはピクチャPICTに含まれるスライスの総数）。
　なお、以下、スライスS0～SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する符号化ストリームTeに含まれるデータであって、添え字を付している他のデータについても同様である。
　　（符号化スライス）
　符号化スライスでは、処理対象のスライスSを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスSは、図１の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
　スライスヘッダSHには、対象スライスの復号方法を決定するために画像復号装置３１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。
　スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bスライスと呼ぶ場合には、インター予測を用いることができるブロックを含むスライスを指す。
　なお、スライスヘッダSHには、上記符号化ビデオシーケンスに含まれる、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
　　（符号化スライスデータ）
　符号化スライスデータでは、処理対象のスライスデータSDATAを復号するために画像復号装置３１が参照するデータの集合が規定されている。スライスデータSDATAは、図１の（ｄ）に示すように、符号化ツリーユニット（CTU:Coding Tree Unit、CTUブロック）を含んでいる。CTUは、スライスを構成する固定サイズ（例えば64x64）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）、符号化ツリーブロック（CTB: Coding Tree Block）と呼ぶこともある。また、ＣＴＵは、画面を分割して得られる領域であるブロック（第１のブロック）に対応する。ＣＴＵは16x16、32x32、64x64、128x128、256x256などの矩形でもよい。
　　（符号化ツリーユニット）
　図１の（ｅ）には、処理対象の符号化ツリーユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。符号化ツリーユニット（第１のブロック）は、再帰的な４分木分割（QT分割）または２分木分割（BT分割）により符号化処理の基本的な単位である符号化ユニット（CU:Coding Unit、第２のブロック）に分割される。再帰的な４分木分割または２分木分割により得られる木構造を符号化ツリー（CT:Coding Tree）、木構造のノードのことを符号化ノード（CN:Coding Node）と称する。なおCTをCNの意味で用いることがある。４分木及び２分木の中間ノードは、符号化ノードであり、符号化ツリーユニット自身も最上位の符号化ノード（ルートノード、ルート符号化ツリーノード）として規定される。なお、４分木分割（QT分割）、２分木分割（BT分割）に加え３分木（TT分割、Triple Tree）など別の分割方法を行ってもよい。セパレート符号化ツリーでは、同じブロックに対して色成分のセットに応じて複数の符号化ツリーを有することができる。
　CTは、CT情報として、QT分割を行うか否かを示すQT分割フラグ（split_cu_flag）、及びBT分割の分割方法を示すBT分割モード（split_bt_mode）を含む。split_cu_flag及び／又はsplit_bt_modeは符号化ノードCNごとに伝送される。split_cu_flagが１の場合には、符号化ノードCNは４つの符号化ノードCNに分割される。split_cu_flagが０の時、split_bt_modeが１の場合には、符号化ノードCNは２つの符号化ノードCNに水平分割され、split_bt_modeが２の場合には、符号化ノードCNは２つの符号化ノードCNに垂直分割され、split_bt_modeが０の場合には、符号化ノードCNは分割されず、１つの符号化ユニットCUをノードとして持つ。符号化ユニットCUは符号化ノードの末端ノード（リーフノード）であり、これ以上分割されない。split_bt_modeは、分割するか否かのフラグsplit_bt_flagと分割する方向や方向を示すフラグsplit_bt_dirに分かれていても良い。
　split_bt_flag = !split_bt_mode
　split_bt_dir = split_bt_mode - 1
　split_bt_mode = split_bt_flag ? split_bt_dir + 1 : 0
　　（符号化ユニット）
　図１の（ｆ）には、処理対象の符号化ユニットを復号するために画像復号装置３１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、予測ツリー、変換ツリー、CUヘッダCUHから構成される。CUヘッダでは予測モード、分割方法（PU分割モード）等が規定される。
　予測ツリーでは、符号化ユニットを１または複数に分割した各予測ユニット（PU）の予測パラメータ（参照ピクチャインデックス、動きベクトル等）が規定される。別の表現でいえば、予測ユニットは、符号化ユニットを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ユニットを含む。なお、以下では、予測ユニットをさらに分割した予測単位を「サブブロック」と呼ぶ。予測処理は、この予測ユニット（サブブロック）ごとに行ってもよい。
　予測ツリーにおける予測の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、参照ピクチャを用いた予測処理を指す。なお、参照ピクチャは、既に処理した時間的に前のピクチャ、後のピクチャ、又は、対象ピクチャ自身であってもよい。参照ピクチャが対象ピクチャの場合には、既に処理済みの領域である。
　イントラ予測の場合、分割方法は、2Nx2N（符号化ユニットと同一サイズ）と、NxNとがある。また、インター予測の場合、分割方法は、PU分割モード（part_mode）により符号化され、2Nx2N（符号化ユニットと同一サイズ）、2NxN、2NxnU、2NxnD、Nx2N、nLx2N、nRx2N、および、NxNなどがある。なお、2NxN、Nx2Nは1:1の対称分割を示し、2NxnU、2NxnDおよびnLx2N、nRx2Nは、1:3、3:1の非対称分割を示す。CUに含まれるPUを順にPU0、PU1、PU2、PU3と表現する。PU分割モード（part_mode）を符号化せずに符号化ユニットと同一のサイズの領域をＰＵに用いても良い。またサブブロックとしてpart_modeを符号化せずに、ＰＵを自動的に分割してもよい。
　また、変換ツリーにおいては、符号化ユニットが１または複数の変換ユニットTUに分割され、各変換ユニットの位置とサイズとが規定される。別の表現でいえば、変換ユニットは、符号化ユニットを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ユニットを含む。
　変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述したCUの分割と同様、再帰的な４分木分割によるものがある。変換処理は、この変換ユニットごとに行われる。
　　（予測パラメータ）
　予測ユニット（PU：Prediction Unit）の予測画像は、PUに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、動きベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々L0リスト、L1リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に、対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、フラグが０以外（たとえば１）をＸＸである場合、０をＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。
　符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスref_idx_lX（refIdxLX）、予測ベクトルインデックスmvp_lX_idx、差分ベクトルmvdLXがある。
　　（参照ピクチャリスト）
　参照ピクチャリストは、参照ピクチャメモリ３０６に記憶された参照ピクチャからなるリストである。
　　（動きベクトル）
　動きベクトルmvLXは、異なる２つのピクチャ上のブロック間のずれ（シフト）量を示す。動きベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。
　　（イントラ予測）
　次にイントラ予測予測パラメータについて説明する。
　イントラ予測パラメータとは、CUをピクチャ内の情報で予測する処理に用いられるパラメータ、例えば、イントラ予測モードIntraPredModeであり、輝度イントラ予測モードIntraPredModeYと色差イントラ予測モードIntraPredModeCは異なっても良い。イントラ予測モードは、例えば６７種類存在し、プレーナ予測、DC予測、Angular（方向)予測からなる。色差予測モードIntraPredModeCは、例えば、プレーナ予測、DC予測、Angular予測、ダイレクトモード（輝度の予測モードを使用するモード）、CCLM予測（輝度画素から線形予測するモード）の何れかを用いる。CCLM予測が適用可能かは、ＳＰＳやＰＰＳ、スライスヘッダのcclm_enabled_flagで指定する。
　輝度イントラ予測モードIntraPredModeYは、対象ブロックに適用される確率が高いと推定されたイントラ予測モードからなるMPM（Most Probable Mode）候補リストを用いて導出する場合と、MPM候補リストに含まれない予測モードであるREMから導出する場合がある。どちらの方法を用いるかをフラグprev_intra_luma_pred_flagで通知し、前者の場合は、インデックスmpm_idxと、隣接ブロックのイントラ予測モードから導出したMPM候補リストを用いてIntraPredModeYを導出する。後者の場合は、フラグrem_selected_mode_flagと、モードrem_selected_modeおよびrem_non_selected_modeを用いてイントラ予測モードを導出する。
　色差イントラ予測モードIntraPredModeCは、CCLM予測を用いる場合と、ＭＰＭリストのモードを用いる場合がある。CCLM予測が利用可能（CCLM適用可能、cclm_enabled_flag==1）の場合には、CCLM予測を用いるか否かを示すフラグcclm_flagを復号する。cclm_flagが１の場合、CCLMモードを用い、さらに、どのCCLMモードを用いるか（SMLMモードかMMLMモードか）を示すインデックスを復号する。cclm_flagが０の場合、色差のＭＰＭリストを生成し、ＭＰＭリストのインデックスmpm_index_chromaを復号する。色差のＭＰＭリストには、ＤＭモード（ダイレクトモード）のＤＭイントラモードと、デフォルトイントラモード、対象ブロックの色差の隣接ブロックの隣接イントラモード、隣接イントラモードに所定の値を加えたイントラモードである導出イントラモード等が用いられる。例えば、ＤＭイントラモードとして対象ブロックと対応する輝度ブロックで用いたイントラ予測モードを用いる。例えば、図４に示すように、中央(CR), 左上 (AL), 右上 (AR), 左下 (BL)、右下 (BR)を用いる。また、デフォルトイントラモードとしては、プレーナ、ＤＣ、垂直、水平、左上を用いる。隣接イントラモードには、左、上、左下、右上、左上に隣接するブロックを用いる。輝度イントラモード（ＤＭイントラモード）を用いた色差イントラモードの導出をＤＭ予測と呼ぶ。
　　（ループフィルタ）
　ループフィルタは符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタには、主に、デブロッキングフィルタ、サンプル適応オフセット（SAO：Sample Adaptive Offset）、適応ループフィルタ（ALF：Adaptive Loop Filter）がある。
　（エントロピー符号化）
　エントロピー符号化には、シンタックスの種類や周囲の状況に応じて適応的に選択したコンテキスト（確率モデル）を用いてシンタックスを可変長符号化する方式と、あらかじめ定められた表、あるいは計算式を用いてシンタックスを可変長符号化する方式がある。前者のCABAC（Context Adaptive Binary Arithmetic Coding）では、符号化あるいは復号したピクチャ毎に更新した確率モデルをメモリに格納する。そして、後続のインター予測を用いるPピクチャ、あるいはBピクチャにおいて、対象ピクチャのコンテキストの初期状態は、メモリに格納された確率モデルの中から、同じスライスタイプ、同じスライスレベルの量子化パラメータを使用したピクチャの確率モデルを選択して、符号化、復号処理に使用する。
　　（画像復号装置の構成）
　画像復号装置３１の構成について説明する。以下に一例として、画像復号装置３１の構成を、図３を用いて説明する。図３は、画像復号装置３１の構成を示すブロック図である。画像復号装置３１は、エントロピー復号部３０１、予測パラメータ復号部（予測画像復号装置、CT情報復号部１０）３０２、ループフィルタ３０５、参照ピクチャメモリ３０６、予測パラメータメモリ３０７、予測画像生成部（予測画像生成装置）３０８、逆量子化・逆変換部３１１、及び加算部３１２を含んで構成される。なお、後述の画像符号化装置１１に合わせ、画像復号装置３１にループフィルタ３０５が含まれない構成もある。
　また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３及びイントラ予測パラメータ復号部３０４を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０（イントラ予測部）を含んで構成される。
　また、以降では処理の単位としてCTU、CU、PU、TUを使用した例を記載するが、この例に限らず、TUあるいはPU単位の代わりにCU単位で処理をしてもよい。あるいはCTU、CU、PU、TUをブロックと読み替え、ブロック単位の処理としてもよい。
　エントロピー復号部３０１は、外部から入力された符号化ストリームTeに対してエントロピー復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測パラメータおよび、差分画像を生成するための残差情報などがある。
　エントロピー復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode（pred_mode_flag, CuPredMode）、PU分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスref_idx_lX、予測ベクトルインデックスmvp_lX_idx、差分ベクトルmvdLXである。どの符号を復号するかの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。予測モードは、例えばMODE_INTRA(=0)もしくはMODE_INTER(=1)をとる。エントロピー復号部３０１は、量子化変換係数を逆量子化・逆変換部３１１に出力する。この量子化変換係数は、符号化処理において、残差信号に対してDCT（Discrete Cosine Transform、離散コサイン変換）、DST（Discrete Sine Transform、離散サイン変換）、KLT（Karyhnen Loeve Transform、カルーネンレーベ変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部３１１は、さらに残差を予測して、復号した残差に加算、減算するクロスコンポーネント残差予測部１７９３を備えてもよい。
　　＜適応的コア変換＞
　逆量子化・逆変換部３１１は、上記逆変換の他に、イントラ／インターの予測方法およびブロックサイズ、輝度／色差信号に応じて適応的に選択される変換である適応的コア変換（Adaptive Multiple Core Transform：AMT）、および、イントラ予測モードにおいて選択される変換であるセカンダリ変換（Secondary Transform）を用いて予測残差Ｄを復元することもできる。
　逆量子化・逆変換部３１１では、適応的に変換の方法を切り替えることができ、本明細書では、明示的なフラグやインデックスおよび予測モード等により切り替えられる変換を適応的コア変換と呼ぶ。適応的コア変換で用いられる変換（コア変換）は垂直変換と水平変換から構成される分離型変換である。コア変換の変換基底はDCT2, DST7, DCT8, DCT1, DCT5である。適応的コア変換では、垂直変換および水平変換それぞれ独立に変換基底を切り替える。なお、選択可能な変換は、上記に限定されず、別の変換（変換基底）を用いることも可能である。適応的コア変換は、符号化データから復号されるAMTフラグ（amt_flag）を参照し、インデックスによる切り替えを行わない固定変換と、インデックスによる切り替えを行う選択的変換を切り替える。amt_flag = 0の時は固定変換を用い、amt_flag= 1の時は選択的変換を用いる。固定変換（amt_flag = 0）では、AMTインデックスamt_idxは参照せず、固定的な変換、ここでは、DCT2やDST7を用いて変換を行う。選択的変換（amt_flag = 1）では、選択に用いるAMTインデックスamt_idxをさらに符号化データから復号し、予測モードとAMTインデックスamt_idxに応じて変換を切り替える。例えばamt_idx
に応じてイントラ予測では、以下の切り替えを行う。
　{DST7, DST1}
また、イントラ予測モードによってamt_idxの切り替えを以下のように変えても良い。
　{DST7, DCT8}
又は、
　{DST7, DCT5}
　インター予測では、{DST7, DCT8}の切り替えを行う。
　インター予測パラメータ復号部３０３は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを復号する。また、インター予測パラメータ復号部３０３は、復号したインター予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。インター予測パラメータ復号部３０３の詳細については後述する。
　イントラ予測パラメータ復号部３０４は、エントロピー復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、CUを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
　イントラ予測パラメータ復号部３０４は、輝度と色差で異なるイントラ予測モードを導出しても良い。この場合、イントラ予測パラメータ復号部３０４は、輝度の予測パラメータとして輝度予測モードIntraPredModeY、色差の予測パラメータとして、色差予測モードIntraPredModeCを復号する。輝度予測モードIntraPredModeYは、67モードであり、Planar予測（０）、DC予測（１）、Angular（方向）予測（２～66）が対応する。色差予測モードIntraPredModeCは、Planar予測（０）、DC予測（１）、Angular（方向）予測（２～66）、CCLM予測（67～72）の何れかを用いるものである。イントラ予測パラメータ復号部３０４は、色差予測がCCLM予測か否かを示すフラグを復号し、フラグがCCLM予測（Cross Component Linear Model prediction）であることを示せば、CCLM予測に関する情報（MMLM予測か否かを示す情報、ダウンサンプリング方法を指定する情報）を復号する。ここで、CCLM予測について説明する。CCLM予測は、輝度成分と色成分間の相関を利用した予測方式であり、復号した輝度画像をもとに、線形モデルを用いて、色差画像（Cb、Cr）の予測画像を生成する方式である。CCLM予測には、SMLM（Single Model Linear Model prediction）予測とMMLM（Multiple Model Linear Model prediction）予測があってもよい。SMLM予測は、１つのブロックに対し、輝度から色差を予測するための線形モデルを１つ使用する予測方式である。MMLM予測は、１つのブロックに対し、輝度から色差を予測するための線形モデルを２つ以上使用する予測方式である。また、色差フォーマットが4:2:0の場合、線形モデルを作るために輝度画像をダウンサンプリングし、色差画像と同じサイズにする。このダウンサンプリング方法は、固定のサンプリングフィルタ（デフォルトサンプリングフィルタ）を用いる方法と、複数のサンプリングフィルタを適応的に切り替えて（追加サンプリングフィルタ）用いる方法があってもよい。ここでは、ダウンサンプリング方法を指定する情報として、CCLM予測が、SMLM予測かMMLM予測かを指定する情報と、サンプリングフィルタがデフォルトサンプリングフィルタか否かを示す情報、追加サンプリングフィルタを用いる場合はサンプリングフィルタを指定するインデックスを復号する。フラグがCCLM予測と異なる予測であることを示せば、IntraPredModeCとして、Planar予測（０）、DC予測（１）、Angular予測（２～66）、DM予測（輝度予測モードと同じ予測モードを用いる色差予測）を復号する。図７はイントラ予測モードを示す図である。図７中の2～66に対応する直線の方向は予測方向を表し、より正確には、予測対象画素が参照する参照領域Ｒ（後述）上の画素の方向を示している。図４は、ＤＭモードを説明するための図である。
　ループフィルタ３０５は、加算部３１２が生成したCUの復号画像に対し、デブロッキングフィルタ３１３、サンプル適応オフセット（SAO）３１４、適応ループフィルタ（ALF）３１５等のフィルタを施す。なお、ループフィルタ３０５は画像符号化装置１１と対になっていれば、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタ３１３のみの構成であってもよい。
　参照ピクチャメモリ３０６は、加算部３１２が生成したCUの復号画像を、復号対象のピクチャ及びCTUあるいはCU毎に予め定めた位置に記憶する。
　予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及び予測ユニット（もしくはサブブロック、固定サイズブロック、ピクセル）毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及びエントロピー復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、動きベクトルmvLXがある。
　予測画像生成部３０８には、エントロピー復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードで、入力された予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてPU（ブロック）もしくはサブブロックの予測画像を生成する。
　ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてインター予測によりPU（ブロック）もしくはサブブロックの予測画像を生成する。
　インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（L0リスト、もしくはL1リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象PUを基準として動きベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックをもとに補間を行ってPUの予測画像（補間画像、動き補償画像）を生成する。インター予測画像生成部３０９は、生成したPUの予測画像を加算部３１２に出力する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、PUもしくはサブブロックの予測画像を生成するために参照する領域である。
　予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたPUのうち、復号対象PUから予め定めた範囲にある隣接PUを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象PUがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接PUのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
　イントラ予測画像生成部３１０は、読み出した隣接PUに基づいてイントラ予測モードIntraPredModeが示す予測モードで予測を行ってPUの予測画像を生成する。イントラ予測画像生成部３１０は、生成したPUの予測画像を加算部３１２に出力する。
　イントラ予測パラメータ復号部３０４において、輝度と色差で異なるイントラ予測モードを導出する場合、イントラ予測画像生成部３１０は、輝度予測モードIntraPredModeYに応じて、Planar予測（０）、DC予測（１）、Angular予測（２～66）の何れかによって輝度のPUの予測画像を生成し、色差予測モードIntraPredModeCに応じて、Planar予測（０）、DC予測（１）、Angular予測（２～66）、CCLMモード（67～72）の何れかによって色差のPUの予測画像を生成する。
　Planar予測、DC予測、Angular予測では、予測対象ブロックに隣接（近接）する復号済みの周辺領域を参照領域Ｒとして設定する。概略的には、これらの予測モードは、参照領域Ｒ上の画素を特定の方向に外挿することで予測画像を生成する予測方式である。たとえば、参照領域Ｒは、予測対象ブロックの左と上（あるいは、さらに、左上、右上、左下）を含む逆Ｌ字型の領域として設定することができる。
　　（予測画像生成部の詳細）
　次に、図１０を用いてイントラ予測画像生成部３１０の構成の詳細を説明する。
　図１０に示すように、イントラ予測画像生成部３１０は、予測対象ブロック設定部３１０１、参照画像設定部３１０２、予測部３１０４を備える。
　予測対象ブロック設定部３１０１は、対象CUを予測対象ブロックに設定する。参照画像設定部３１０２は、入力される参照領域Ｒ上の各参照画素を予測部３１０４に出力する。予測部３１０４は入力されるイントラ予測モードと参照画像に基づいて、予測対象ブロックの予測画像を生成し、加算器１５に出力する。
　以下、イントラ予測画像生成部310が備える各部について説明する。
　　（予測対象ブロック設定部３１０１）
　予測対象ブロック設定部３１０１は、対象CUを予測対象ブロックに設定し、予測対象ブロックに関する情報（予測対象ブロック情報）を出力する。予測対象ブロック情報には、予測対象ブロックサイズ、予測対象ブロック位置、予測対象ブロックが輝度であるか、あるいは色差であるかを示す情報が少なくとも含まれる。
　　（参照画像設定部３１０２）
　参照画像設定部３１０２は、予測対象ブロック情報の予測対象ブロックサイズと予測対象ブロック位置に基づいて、予測対象ブロックに隣接する周辺領域を参照領域Ｒに設定する。続いて、参照領域Ｒ内の各画素値（境界画素）に、参照ピクチャメモリ３０６上で対応する位置の各復号画素値をセットする。つまり、参照画像r[x][y]は、対象ピクチャの左上座標を基準に表現される対象ピクチャの復号画素値u[px][py]を用いて次式により設定される。
　　r[x][y] = u[xB+x][yB+y]　　　　　　　　　　　　　　　(式INTRAP-1)
　　　x=-1,y=-1..(BS*2-1)、および、x=0..(BS*2-1),y=-1
ここで、(xB,yB)は予測対象ブロックの左上座標、BSは予測対象ブロックの幅Wまたは高さHのうち大きい方の値を示す。
　　（予測部３１０４の構成）
　予測部３１０４は、イントラ予測モードと参照画像に基づいて予測対象ブロックの予測画像を生成し、加算器15に出力する。予測部３１０４は、内部にPlanar予測部３１０４１、DC予測部３１０４２、Angular予測部３１０４３、およびCCLM予測部３１０４４を備えている。また、予測部３１０４はさらにパレット予測部31045を備えても良い。予測部3104は、入力されるイントラ予測モードに応じて特定の予測部を選択して、参照画像を入力する。イントラ予測モードと対応する予測部との関係は次の通りである。
・Planar予測　・・・Planar予測部31041
・DC予測　　　・・・DC予測部31042
・Angular予測 ・・・Angular予測部31043
・CCLM予測　　　・・・CCLM予測部31044
・パレット予測　・・・パレット予測部31045
　　（Planar予測）
　Planar予測部31041は、予測対象画素位置と参照画素位置との距離に応じて、参照画像設定部3102でフィルタリングした複数の参照画像を線形加算し、さらに参照画像設定部3102でフィルタリングしない参照画像を用いて補正を施し、予測画像を生成する。
　　（DC予測）
　DC予測部31042は、入力される参照画像設定部3102でフィルタリングした参照画像の平均値（DC予測値）を導出し、導出されたDC予測値を画素値とする予測画像を出力する。
　　（Angular予測）
　Angular予測部31043は、参照画像設定部3102でフィルタリングした、イントラ予測モードの示す予測方向（参照方向）の参照画像を用いて予測画像を生成する。
　　（CCLM予測）
　図１０（ｂ）は、CCLM予測部３１０４４の構成の一例を示したブロック図である。CCLM予測部３１０４４には、CCLMパラメータ導出部４４０１と、CCLM予測フィルタ部４４０２とが含まれている。
　CCLMパラメータ導出部４４０１は、対象ブロックに隣接する処理済み画像の画素値（x[i]、y[i]、i = 0, …,N）を入力信号としてCCLM予測パラメータを導出する。CCLMパラメータ導出部３１０４４は、導出したCCLM予測パラメータ（a, b）をCCLM予測フィルタ部４４０２に出力する。なお、画素値x[i]は、対象ブロックに隣接する領域の輝度画素（Luma）の値を示し、画素値y[i]は対象ブロックに隣接する領域の色差画素（Cb、Cr）の値を示す。
　CCLM予測フィルタ部４４０２は、入力信号である対象ブロックの輝度復号画像refSamplesX[][]に対してCCLM予測を行い、対象ブロックの色差予測画像predSamplesY[][]（ここでYはCb、Crを示す）を生成する。つまり、CCLM予測フィルタ部４４０２は、入力信号である参照画像refSamplesX[][]から予測画像predSamplesY[][]を生成する。
　CCLMパラメータ導出部４４０１は、これら隣接ブロックの入力参照画素x[]と目的参照画素y[]に基づいて、目的参照画素y[]を入力参照画素x[]から線形予測する場合のパラメータを、対象ブロックに適用するCCLM予測パラメータ(a, b)として導出する。
　具体的にはCCLMパラメータ導出部４４０１は、最小二乗法により、下記の式で表される最小二乗誤差のコストEを最小化するCCLM予測パラメータ(a, b)を導出する。なお、以下の説明において、Σ(x)はxの0..N-1の和を意味する。
　　E = Σ (y[i] - a*x[i] - b)^2
　CCLM予測パラメータ(a, b)の導出は下記の式で行われる。
　　a = (N*Σx[i]y[i] - Σx[i]Σy[i]) / (N*Σ(x[i]x[i]) - Σx[i]Σx[i])
　　　= a1 / a2 = ((a1 * invTable[a2] + roundInv) >> shiftInv)
　　b = (Σy[i] - Σx[i] *a) / N
　より具体的には、整数演算のため、以下の処理を実行する。
　まず、下記の式でX, Y, XX, YYを導出する。
　　X = Σx[i] 
　　Y = Σy[i]
　　XX = Σ(x[i] * x[i])
　　XY = Σ(y[i] * y[i])
　次に、下記の式でカウントシフト値iCountShiftを算出する。なお、Nは、参照領域の画素数である。
　iCountShift = log2(N) 
　次に、下記の式で第１パラメータa1および第２パラメータa2を導出する。
　　aveX = X >> iCountShift
　　remX = X - aveX
　　aveY = Y >> iCountShift
　　remX = Y - aveY
　　a1 = XY - ((aveY * aveX)<<iCountShift) + (aveX * remY) + (aveY * remX)
　　a2 = XX - ((aveX * aveX)<<iCountShift) + 2*(aveX * remX)
　そして、テーブルinvTableを利用してa1/a2を導出する。
　　a = a1 / a2 = (a1 * invTable[a2] + roundInv) >> shiftInv
　　b = (Y - X * a ) >> iCountShift
　CCLM予測フィルタ部４４０２は、輝度に関する参照画像refSamplesLumaを入力信号とし、予測パラメータ(a, b)及び(a’, b’)をそれぞれ用いた下記の式（２４）及び式（２５）により予測画像の色差信号Cb及びCrを導出し、これを色差に関する予測画像predSamplesCb及びpredSamplesCrとして出力する。
predSamplesCb = (a * refSamplesLuma) >> shift + b　…式（２４）
predSamplesCr = (a’ * refSamplesLuma) >> shift + b’　…式（２５）
　ここで、(a, b)は色差Cbに対する（y[i]がCbの場合）CCLM予測パラメータであり、(a’, b’) は色差Crに対する（y[i]がCrの場合）CCLM予測パラメータである。
　　（画像復号装置の構成）
　図６に、本実施形態に係る画像復号装置の構成を示すブロック図を示す。本図では、図を簡略化するために、図６に示したブロック図に含まれる一部の部材の図示を省略している。また、説明の便宜上、図３に示した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　図６に示すように、画像復号装置３１は、復号モジュール９、CT情報復号部１０、予測画像生成部３０８、逆量子化・逆変換部３１１、参照ピクチャメモリ３０６、加算部３１２、ループフィルタ３０５、ヘッダ復号部１９、及びＣＵ復号部２０（予測モード復号部）を備えている。ＣＵ復号部２０は、さらにPU情報復号部１２及びTT情報復号部１３を備えており、TT情報復号部１３は、さらにTU復号部２２を備えている。
　　（復号モジュール）
　以下、各モジュールの概略動作を説明する。復号モジュール９は、バイナリデータからシンタックス値を復号する復号処理を行う。復号モジュール９は、より具体的には、供給元から供給される符号化データ及びシンタックス種別に基づいて、CABAC等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。
　以下に示す例では、符号化データ及びシンタックス種別の供給元は、CT情報復号部１０、ＣＵ復号部２０（PU情報復号部１２及びTT情報復号部１３）（予測ユニット復号部）である。図３の予測パラメータ復号部３０２は、ＣＵ復号部２０、ＰＵ情報復号部１２に相当する。
　　［基本フロー］
　図５は、画像復号装置３１の概略的動作を説明するフローチャートである。
　（Ｓ１１００：パラメータセット情報復号）ヘッダ復号部１９は、符号化データからVPS、SPS、PPSなどのパラメータセット情報を復号する。
　（Ｓ１２００：スライス情報復号）ヘッダ復号部１９は、符号化データからスライスヘッダ（スライス情報）を復号する。
　以下、画像復号装置３１は、対象ピクチャに含まれる各ＣＴＵについて、Ｓ１３００からＳ５０００の処理を繰り返すことにより各CTUの復号画像を導出する。
　（Ｓ１３００：CTU情報復号）CT情報復号部１０は、符号化データから符号化ツリーユニット（ＣＴＵ）を復号する。
　（Ｓ１４００：CT情報復号）CT情報復号部１０は、符号化データから符号化ツリー（ＣＴ）を復号する。セパレート符号化ツリーの場合には、CT情報復号部１０は、複数のルート符号化ツリーノードcoding_quadtree(x0, y0, log2CbSize, 0, comp_mode)を復号する。
　（Ｓ１５００：CU復号）ＣＵ復号部２０はＳ１５１０、Ｓ１６００、Ｓ１７００を実施して、符号化データから符号化ユニット（ＣＵ）を復号する。
　（Ｓ１５１０：CU情報復号）CU復号部２０は、符号化データからＣＵ情報を復号する。
　（Ｓ１６００：ＰＵ情報復号）ＰＵ情報復号部１２は、符号化データから予測ユニット情報（ＰＵ情報ＰＴＩ）を復号する。
　（Ｓ１７００：ＴＴ情報復号）ＴＴ情報復号部１３は、符号化データから変換ツリーＴＴを復号する。
　（Ｓ２０００：予測画像生成）予測画像生成部３０８は、対象CUに含まれる各PUについて、PU情報PUIに基づいて予測画像Predを生成する。
　（Ｓ３０００：逆量子化・逆変換）逆量子化・逆変換部３１１は、対象CUに含まれる各TUについて、TT情報TTIに基づいて逆量子化・逆変換処理を実行する。
　（Ｓ４０００：復号画像生成）加算器３１２は、予測画像生成部３０８より供給される予測画像Predと、逆量子化・逆変換部３１１より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐ０を生成する。
　（Ｓ５０００：ループフィルタ）ループフィルタ３０５は、復号画像Ｐ０にデブロッキングフィルタやサンプル適応フィルタ（SAO）などのループフィルタをかけ、復号画像Ｐを生成する。
　　［復号モジュール］
　以下、各モジュールの概略動作を説明する。復号モジュール９は、バイナリからシンタックス値を復号する復号処理を行う。復号モジュール９は、より具体的には、供給元から供給される符号化データおよびシンタックス種別に基づいて、CABAC等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。
　以下に示す例では、符号化データおよびシンタックス種別の供給元は、CT情報復号部１０、ＣＵ復号部２０（PU情報復号部１２、およびTT情報復号部１３）である。
　　（TT情報復号部）
　TT情報復号部１３は、各TTI（TU分割フラグSP_TU（split_transform_flag）、CU残差フラグCBP_TU（cbf_cb、cbf_cr、cbf_luma）等、及びTU）を、復号モジュール９を用いて復号する。
　また、TT情報復号部１３は、TU復号部２２を備えている。TU復号部２２は、TUに残差が含まれている場合に、QP更新情報（量子化補正値）を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値を示す値である。またTU復号部２２は、量子化予測残差（residual_coding）を復号する。
　　（CT情報復号の処理）
　以下、CT情報復号の処理を、図８、図９、図１１を参照して説明する。図８は、本発明の一実施形態に係るCT情報復号部１０の動作を説明するフローチャートである。また、図９は、本発明の一実施形態に係るQT情報のシンタックス表の構成例を示す図であり、図１１は、本発明の一実施形態に係るBT情報のシンタックス表の構成例を示す図である。
　まず、CT情報復号部１０がCT情報復号Ｓ１４００を行う。CT情報復号部１０は、セパレート符号化ツリーの場合には、複数のルート符号化ツリーノードcoding_quadtree(x0, y0, log2CbSize, 0, comp_mode)を復号する。
CT情報復号部１０によるCT情報復号Ｓ１４００では、QT情報復号と、BT情報復号とを行う。以下では、CT情報復号部１０によるQT情報復号と、BT情報復号とについて順に説明する。
　CT情報復号部１０は、符号化データからCT情報を復号し、再帰的に符号化ツリーCT（coding_quadtree）を復号する。具体的には、CT情報復号部１０は、QT情報を復号し、対象符号化ツリーcoding_quadtree(x0, y0, log2CbSize, cqtDepth, comp_mode)を復号する。なお、x0, y0は、対象符号化ツリーの左上座標、log2CbSizeは符号化ツリーのサイズであるCTサイズの２を底とした対数である対数CTサイズ（例えば、CTサイズが64, 128, 256であれば6, 7, 8）である。cqtDepthは符号化ツリーの階層を示すCTデプス（QT深度）である。以下では、“X”の２を底とした対数である“X”の対数値を対数Xサイズと呼ぶ。comp_modeは対象とする色コンポーネントを示す。
　（Ｓ１４１１）CT情報復号部１０は、復号したCT情報にQT分割フラグがあるか否かを判定する。具体的には、CT情報復号部１０は、対数CTサイズlog2CbSizeが所定の最小CTサイズの対数値MinCbLog2SizeYより大きいか否かを判定する。対数CTサイズlog2CbSizeがMinCbLog2SizeYより大きい場合には、QT分割フラグがあると判定し、Ｓ１４２１に遷移する。それ以外の場合には、Ｓ１４２２に遷移する。
　（Ｓ１４２１）CT情報復号部１０は、対数CTサイズlog2CbSizeがMinCbLog2SizeYより大きいと判定された場合には、シンタックス要素であるQT分割フラグ（split_cu_flag）を復号する。（シンタックス表のSYN1420B、SYN1421に対応）
　（Ｓ１４２２）CT情報復号部１０は、それ以外の場合（対数CTサイズlog2CbSizeがMinCbLog2SizeY以下）、つまり、符号化データにQT分割フラグsplit_cu_flagが現れない場合には、符号化データからのQT分割フラグsplit_cu_flagの復号を省略し、QT分割フラグsplit_cu_flagを０として導出する。
　（Ｓ１４５０）QT分割フラグsplit_cu_flagが０以外（＝１）である場合には、Ｓ１４５１に遷移する。それ以外の場合（QT分割フラグsplit_cu_flagが０の場合）には、Ｓ１４７１に遷移する。（シンタックス表のSYN1450に対応）
　CT情報復号部１０は、以上の処理を終えると、後述の（Ｓ１４５１）を実施し、一階層下に移行して（Ｓ１４１１）以降の処理を繰り返す。
　（Ｓ１４５１）CT情報復号部１０は、QT分割を行う。具体的には、CT情報復号部１０は、CTデプスcqtDepth + 1の位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)で、対数CTサイズlog2CbSize - 1の４つの符号化ツリーCTを復号する。（シンタックス表のSYN1451A、SYN1451B、SYN1451C、SYN1421Dに対応）
　coding_quadtree( x0, y0, log2CbSize - 1, cqtDepth + 1, comp_mode )
　coding_quadtree( x1, y0, log2CbSize - 1, cqtDepth + 1, comp_mode )
　coding_quadtree( x0, y1, log2CbSize - 1, cqtDepth + 1, comp_mode )
　coding_quadtree( x1, y1, log2CbSize - 1, cqtDepth + 1, comp_mode )
　ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、CTサイズ（1 <<log2CbSize）の1/2を加えて導出される。
　x1 = x0 + ( 1<<( log2CbSize - 1 ) )
　y1 = y0 + ( 1<<( log2CbSize -1 ) )
　なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。
　そして、CT情報復号部１０は、符号化ツリーの階層を示すCTデプスcqtDepthに１を加算し、対数CTサイズlog2CbSizeを１だけ減算（CTサイズを1/2）して更新する。
　cqtDepth = cqtDepth + １
　log2CbSize = log2CbSize - １
　CT情報復号部１０は、下位の符号化ツリーCTにおいても、更新された左上座標、対数CTサイズ、CTデプスを用いて、Ｓ１４０１から開始されるQT情報復号を継続する。
　QT分割終了後、CT情報復号部１０は、符号化データからCT情報を復号し、再帰的に符号化ツリーCT（coding_binarytree）を復号する。具体的には、CT情報復号部１０は、BT情報を復号し、対象符号化ツリーcoding_binarytree(x0, y0, log2CbWidth, log2CbHeight, cqtDepth, cbtDepth, comp_mode)を復号する。なお、x0, y0は、対象符号化ツリーの左上座標、log2CbWidthは符号化ツリーの幅の対数値、log2CbHeightは符号化ツリーの高さの対数値、cqtDepthは符号化ツリーの階層を示すCTデプス（QT深度）、cbtDepthは符号化ツリーの階層を示すCTデプス（BT深度）である。comp_modeは対象とする色コンポーネントを示す。
　（Ｓ１４７１）CT情報復号部１０は、復号したCT情報にBT分割モード（分割情報）があるか否かを判定する。具体的には、CT情報復号部１０は、符号化ツリーの高さ（1<<log2CbHeight）がminBTSizeよりも大きい、または符号化ツリーの幅（1<<log2CbWidth）がminBTSizeよりも大きい、且つ、符号化ツリーの幅（1<<log2CbWidth）がmaxBTSize以下、且つ、符号化ツリーの高さ（1<<log2CbHeight）がmaxBTSize以下、且つ、cbtDepthがmaxBTDepthよりも小さいか否かを判定する。minBTSizeは最小BTサイズ（二分木のリーフノードの最小サイズ）、maxBTSizeは最大BTサイズ（二分木のルートノードの最大サイズ）、maxBTDepthは最大BT深度（二分木の深度の最大値）である。
　CT情報復号部１０は、上記の条件を満たす場合には、BT分割モードがあると判定し、Ｓ１４８１に遷移する。それ以外の場合には、Ｓ１４８２に遷移する。
　（Ｓ１４８１）CT情報復号部１０は、上記の条件を満たす場合には、シンタックス要素であるBT分割モードsplit_bt_mode[x0][y0]を復号する。（シンタックス表のSYN1471に対応）
　（Ｓ１４８２）CT情報復号部１０は、それ以外の場合（上記の条件を満たさない場合）、つまり、符号化データにBT分割モードsplit_bt_mode[x0][y0]が現れない場合には、符号化データからのBT分割モードsplit_bt_mode[x0][y0]の復号を省略し、BT分割モードsplit_bt_mode[x0][y0]を０として導出する。
　（Ｓ１４９０）CT情報復号部１０は、BT分割モードsplit_bt_mode[x0][y0]が０以外（＝１または２、split_bt_flag[x0][y0]が０以外）である場合には、Ｓ１４９１に遷移する。それ以外の場合（BT分割モードsplit_bt_mode[x0][y0]が０の場合）には、CT情報復号部１０は、対象符号化ツリーを分割せず、処理を終了する。
その後、CT情報復号部１０は、後述の（Ｓ１４９１）を実施し、一階層下に移行して（Ｓ１４７１）以降の処理を繰り返す。
　（Ｓ１４９１）CT情報復号部１０は、BT分割を行う。具体的には、CT情報復号部１０は、BT分割モードsplit_bt_mode[x0][y0]が１の場合は、CTデプスcbtDepth + 1の位置(x0, y0)、(x0, y1)で、幅及び高さの対数値がそれぞれlog2CbWidth及びlog2CbHeight - 1の２つの符号化ツリーCTを復号する。（シンタックス表のSYN1481A、SYN1491A、SYN1491Bに対応）
　coding_binarytree( x0, y0, log2CbWidth, log2CbHeight - 1, cqtDepth, cbtDepth +1, comp_mode )
　coding_binarytree( x0, y1, log2CbWidth, log2CbHeight - 1, cqtDepth, cbtDepth +1, comp_mode )
　一方、BT分割モードsplit_bt_mode[x0][y0]が２の場合は、CT情報復号部１０は、CTデプスcbtDepth + 1の位置(x0, y0)、(x1, y0)で、幅及び高さの対数値がそれぞれlog2CbWidth - 1及びlog2CbHeightの２つの符号化ツリーCTを復号する。（シンタックス表のSYN1481B、SYN1491C、SYN1491Dに対応）
　coding_binarytree( x0, y0, log2CbWidth - 1, log2CbHeight, cqtDepth, cbtDepth +1, comp_mode )
　coding_binarytree( x1, y0, log2CbWidth - 1, log2CbHeight, cqtDepth, cbtDepth +1, comp_mode )
　ここで、x0, y0は、対象符号化ツリーの左上座標、x1, y1は、以下の式のように、(x0,y0)に、（1 <<log2CbWidth）の1/2及び（1 <<log2CbHeight）の1/2をそれぞれ加えて導出される。
　x1 = x0 + ( 1<<( log2CbWidth - 1 ) )
　y1 = y0 + ( 1<<( log2CbHeight -1 ) )
　なお、<<は左シフトを示す。1<<Nは2のN乗と同値である（以下同様）。同様に>>は右シフトを示す。
　そして、CT情報復号部１０は、符号化ツリーの階層を示すCTデプスcbtDepthに１を加算し、log2CbWidthまたはlog2CbHeightを１だけ減算して更新する。
　cbtDepth = cbtDepth + １
　log2CbWidth = log2CbWidth - １、または、log2CbHeight = log2CbHeight - １
　CT情報復号部１０は、下位の符号化ツリーCTにおいても、更新された左上座標、CTの幅及び高さの対数値、BT階層を用いて、Ｓ１４７１から開始されるBT情報復号coding_binarytree(x0, y0, log2CbWidth, log2CbHeight, cqtDepth, cbtDepth, comp_mode)を継続する。
　また、CT情報復号部１０は、BT分割モードsplit_bt_mode[x0][y0]が０の場合、すなわちQT分割もBT分割も行われない場合には、ＣＵ復号部２０を用いて、符号化ユニットＣＵ（coding_unit( x0, y0, log2CbWidth, log2CbHeight )）を復号する。
　図１２は、発明の一実施形態に係るＣＵ復号部２０（ＣＵ復号Ｓ１５００、Ｓ１５１０）、ＰＵ情報復号部１２（ＰＵ情報復号Ｓ１６００）、ＴＴ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。図１５は、本発明の一実施形態に係るＣＵ情報、ＰＴ情報ＰＴＩ、ＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。
　　［ＣＵ復号部］
　（Ｓ１５００）ＣＵ復号部２０は、符号化ユニットＣＵ（coding_unit( x0, y0, log2CbWidth, log2CbHeight )）を復号する。ここで、x0, y0は、符号化ユニットの左上座標である。符号化ユニットの対数サイズであるlog2CbWidth, log2CbHeightは、ＣＴ情報復号部１０から通知される。ＣＵ復号部２０の具体的な処理は、以下である。
　ＣＵ復号部２０は、ＣＵ情報（スキップフラグ、ＣＵ予測方式情報PartMode、ＰＵ分割タイプ情報、残差ルートフラグ）を、復号モジュール９を用いて復号する。
　（Ｓ１５１１）ＣＵ復号部２０は、復号モジュール９を用いて符号化データからスキップフラグcu_skip_flagを復号する。
　（Ｓ１５１２）ＣＵ復号部２０は、スキップフラグcu_skip_flagが０以外（ = １）か否かを判定する。スキップフラグcu_skip_flagが０以外の場合は、ＣＵ復号部２０は、ＰＵ情報復号部１２に通知する。またスキップフラグcu_skip_flagが０の場合は、
（Ｓ１５１３）ＣＵ復号部２０は、予測モード情報predMode（pred_mode_flag、CuPredMode）を復号し、さらに、（Ｓ１５１４）ＰＵ分割タイプ情報PartMode(part_mode)を復号し、ＰＵ情報復号部１２に通知する。さらに、
（Ｓ１５１５）ＣＵ復号部２０は、残差ルートフラグrqt_root_flagを復号し、
（Ｓ１５１６）残差ルートフラグが０以外か否かを判定し、
残差ルートフラグが０の場合は処理を終了し、０以外の場合はＴＴ情報復号部１３に通知する。
　［ＰＵ情報復号部］
　ＰＵ情報復号部１２は、復号モジュール９を用いて、ＰＵ情報ＰＵＩの復号処理を行う。ＰＵ情報復号部１２は、具体的には、以下の手順によりＰＵ情報ＰＵＩを復号する。
　ＰＵ情報復号部１２は、あらかじめ設定された、あるいはＣＵ復号部２０から通知されたＰＵ分割タイプ情報PartModeを参照して、対象ＣＵにおけるＰＵ分割タイプを決定する。続いて、ＰＵ情報復号部１２は、対象ＣＵに含まれる各ＰＵを順に対象ＰＵとして、対象ＰＵに対応するＰＵ情報の復号処理を実行する。
　すなわち、ＰＵ情報復号部１２は、対象ＰＵに対応するＰＵ情報から、予測画像Predの生成に用いられる各パラメータの復号処理を行う。
　ＰＵ情報復号部１２は、対象ＰＵについて復号したＰＵ情報ＰＵＩを、予測画像生成部３０８に供給する。
　より詳細には、ＰＵ情報復号部１２は、図１２に示すように以下の動作を行う。図１２は、Ｓ１６００に示されるＰＵ情報復号の概略的動作を説明するフローチャートである。
　（Ｓ１６３１）ＰＵ情報復号部１２は、ＰＵ分割タイプ情報PartModeの示すＰＵ分割数に応じて対象ＣＵが含む各ＰＵ情報を符号化データから復号する。
　例えば、ＰＵ分割タイプが2Nx2Nの場合には、ＰＵ情報復号部１２は、ＣＵを１つのＰＵとする下記の１つのＰＵ情報ＰＵＩを復号する。
　prediction_unit( x0, y0, nCbW, nCbH ) （SYN1631A）
　ＰＵ情報復号部１２は、ＰＵ分割タイプが2NxNの場合には、ＣＵを上下に分割する下記の２つのＰＵ情報ＰＵＩを復号する。
　prediction_unit( x0, y0, nCbW, nCbH / 2 ) （SYN1631B）
　prediction_unit( x0, y0 + ( nCbH / 2 ), nCbW, nCbH / 2 ) （SYN1631C）
　ＰＵ情報復号部１２は、ＰＵ分割タイプがNx2Nの場合には、ＣＵを左右に分割する下記の２つのＰＵ情報ＰＵＩを復号する。
　prediction_unit( x0, y0, nCbW / 2, nCbH ) （SYN1631D）
　prediction_unit( x0 + ( nCbW / 2 ), y0, nCbW / 2, nCbH ) （SYN1631E）
　ＰＵ分割タイプがNxNの場合には、ＣＵを四等分する下記の４つのＰＵ情報ＰＵＩを復号する。
　prediction_unit( x0, y0, nCbW / 2, nCbH / 2 ) （SYN1631F）
　prediction_unit( x0 + ( nCbW / 2 ), y0, nCbW / 2, nCbH / 2 ) （SYN1631G）
　prediction_unit( x0, y0 + ( nCbW / 2 ), nCbW/ 2, nCbH / 2 ) （SYN1631H）
　prediction_unit( x0 + ( nCbW / 2 ), y0 + ( nCbH / 2 ), nCbW / 2, nCbH / 2 ) （SYN1631I）
　（Ｓ１６３２）スキップフラグが１の場合は、ＰＵ情報復号部１２は、ＰＵ分割タイプを2Nx2Nとし、１つのＰＵ情報ＰＵＩを復号する。
　prediction_unit( x0, y0, nCbW, nCbH ) （SYN1632）
　図１６は、本発明の一実施形態に係るＰＵ情報ＰＵＩのシンタックス表の構成例を示す図である。図ではmerge_flag、inter_pred_idc、refIdxLX、mvp_lX_idx、mvdLXなどのインター予測パラメータのシンタックスの例が示されている。イントラ予測パラメータもprediction_unit()で規定されるがここでは図示を省略している。また、シンタックステーブルではイントラ予測パラメータをintra_mode()で示すこともある。
　［ＴＴ情報復号部］
　ＣＵ復号部２０において復号された、残差ルートフラグrqt_root_cbfが０以外（＝１）の場合、ＴＴ情報ＴＴＩを復号するためにＳ１７００に遷移し、ＴＴ情報復号部１３による処理が実施される。残差ルートフラグrqt_root_cbfが０の場合には、対象ＣＵのＴＴ情報ＴＴＩを符号化データから復号する処理を省略し、ＴＴ情報ＴＴＩを、対象ＣＵはＴＵ分割なし、かつ、対象ＣＵの量子化予測残差が０であるとして導出する。
　ＴＴ情報復号部１３は、復号モジュール９を用いてＴＴ情報ＴＴＩ（ＴＵ分割情報、ＣＵ残差フラグ、AMTフラグ、およびＴＵ）の復号処理を行う。ＴＴ情報復号部１３は、ＴＵ復号部２２を備えている。
　以下では、ＴＴ情報復号部１３が変換ユニットＴＵ及びAMTフラグamt_flagを復号する処理について、図１３、図１７を用いて説明する。図１３は、発明の一実施形態に係るＴＴ情報復号部１３（ＴＴ情報復号Ｓ１７００）の概略的動作を説明するフローチャートである。図１７は、本発明の一実施形態に係るＴＴ情報ＴＴＩのシンタックス表の構成例を示す図である。
　（Ｓ１７３１）ＴＴ情報復号部１３は、対象ＴＵサイズ（例えば、対数ＴＵサイズlog2TrafoSize）が、所定の変換サイズの範囲（ここでは、最大対数ＴＵサイズMaxTbLog2SizeY以下、かつ、最小対数ＴＵサイズMinTbLog2SizeYより大きい）、かつ対象ＴＵのＴＵ階層trafoDepthが所定の階層未満（ここでは、最大ＴＵ階層MaxTrafoDepth未満）の場合に、ＴＵ分割フラグ(split_transform_flag)を復号する。より具体的には、ＴＴ情報復号部１３は、ＳＹＮ１７２１に示すように、対数ＴＵサイズlog2TrafoSize≦最大対数ＴＵサイズMaxTbLog2SizeY、かつ、対数ＴＵサイズlog2TrafoSize＞最小対数ＴＵサイズMinTbLog2SizeY、かつ、ＴＵ階層trafoDepth＜最大ＴＵ階層MaxTrafoDepthの場合（Ｓ１７２１にてＹＥＳ）、Ｓ１７３１に進み、ＴＵ分割フラグ(split_transform_flag)を復号する（ＳＹＮ１７３１）。
　（Ｓ１７３２）一方、符号化データにsplit_transform_flagが現れない場合、すなわち、対数ＴＵサイズlog2TrafoSize＞最大対数ＴＵサイズMaxTbLog2SizeY、または、対数ＴＵサイズlog2TrafoSize≦最小対数ＴＵサイズMinTbLog2SizeY、または、ＴＵ階層trafoDepth≧最大ＴＵ階層MaxTrafoDepthの場合（Ｓ１７２１にてＮＯ）、ＴＴ情報復号部１３は、ＴＵ分割フラグ(split_transform_flag)を導出する。より具体的には、対数ＴＵサイズlog2TrafoSizeが最大対数ＴＵサイズMaxTbLog2SizeYより大きい場合には、ＴＴ情報復号部１３は、ＴＵ分割フラグsplit_transform_flagを分割することを示す値（ = １）として導出し、それ以外の場合（対数ＴＵサイズlog2TrafoSizeが最小対数ＴＵサイズMaxTbLog2SizeYと等しい、または、ＴＵ階層trafoDepthが最大ＴＵ階層MaxTrafoDepthと等しい）には、ＴＵ分割フラグsplit_transform_flagを分割しないことを示す値（ = ０）として導出する。
　（Ｓ１７５５）ＴＴ情報復号部１３は、ＴＵ分割フラグsplit_transform_flagが分割することを示す値（例えば１）であり（Ｓ１７３３にてＹＥＳ）、かつＴＵ階層trafoDepthが０である場合（Ｓ１７５４にてＹＥＳ）、AMTフラグamt_flagを復号する（SYN1755）。なお、ＴＵ分割フラグsplit_transform_flagが分割をすることを示す値であっても（Ｓ１７３３にてＹＥＳ）、ＴＵ階層trafoDepthが０ではない場合（Ｓ１７５４にてＮＯ）には、ＴＴ情報復号部１３は、AMTフラグamt_flagを符号化データから復号せずにＳ１７５６へ遷移する。この場合、上位の変換ツリーＴＴでのAMTフラグ復号（Ｓ１７５５）で復号されたamt_flagをそのまま用いる。
　（１７５６）ＴＴ情報復号部１３は、以下の式により、変換ツリーの階層を示すＴＵ階層trafoDepth + 1、４つの位置(x0, y0)、(x1, y0)、(x0, y1)、(x1, y1)、対象ＴＵサイズである対数ＣＴサイズlog2TrafoWidth, log2TrafoHeightを更新し、１つ下の階層の変換ツリーＴＴを更新された階層、サイズを用いて再帰的に復号する。
　transform_tree( x0, y0, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, trafoDepth + 1, 0 ) 
　transform_tree( x1, y0, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 1 )
　transform_tree( x0, y1, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 2 )
　transform_tree( x1, y1, x0, y0, log2TrafoWidth-1, log2TrafoHeight-1, 3 )
ここで、x0, y0は、対象変換ツリーの左上座標、x1、y1は、以下の式のように、変換ツリー座標(x0, y0)に、対象ＴＵサイズ（1 << log2TrafoWidth）と（1 << log2TrafoHeight）の1/2を加えて導出される座標である（SYN1756）。
　x1 = x0 + ( 1 << ( log2TrafoWidth － 1 ) )
　y1 = y0 + ( 1 << ( log2TrafoHeight － 1 ) )
上述のように、ＴＴ情報復号部１３は、再帰的に変換ツリーtransform_treeを復号する前に、以下の式により、変換ツリーＴＴの階層を示すＴＵ階層trafoDepthに１を加算し、対象ＴＵサイズである対数ＣＴサイズlog2TrafoWidth, log2TrafoHeightを１だけ減算して更新する。
　trafoDepth = trafoDepth + １
　log2TrafoWidth = log2TrafoWidth － １
　log2TrafoHeight = log2TrafoHeight － １
　（Ｓ１７５１）一方、ＴＵ分割フラグsplit_transform_flagが０である場合（Ｓ１７３３にてＮＯ）、ＴＴ情報復号部１３は、対象ＴＵに残差が含まれているかを示すＴＵ残差フラグ（例えば、cbf_luma）を復号する。ここでは、ＴＵ残差フラグとして、対象ＴＵの輝度成分において残差が含まれているかを示す輝度残差フラグcbf_lumaを用いるがこれに限らない。
　（Ｓ１７５３）ＴＴ情報復号部１３は、ＴＵ階層trafoDepthが０であり、かつＴＵ残差フラグ（例えば、cbf_luma）が０である場合（Ｓ１７５２にてＹＥＳ）、AMTフラグamt_flagを復号する（SYN1753）。そうでない場合（Ｓ１７５２にてＮＯ）、amt_flagを復号せずamt_flag=0とする。
　（Ｓ１７６０）ＴＴ情報復号部１３のＴＵ復号部２２は、ＴＵ分割フラグsplit_transform_flagが０の場合（Ｓ１７３３にてＮＯ）に、SYN1760に示す変換ユニットＴＵtransform_unit( x0, y0, xBase, yBase, log2TrafoWidth, log2TrafoHeight, trafoDepth, blkIdx )を復号する。
　続いて、ＴＵ復号部２２がＴＵ情報を復号する処理について、図１４および図１８を用いて説明する。図１４は、発明の一実施形態に係るＴＵ復号部２２（ＴＵ情報復号Ｓ１７６０）の概略的動作を説明するフローチャートである。また、図１８は、本発明の一実施形態に係るＴＵ情報のシンタックス表の構成例を示す図である。ＴＵ復号部２２は、ＴＵに残差が含まれている場合に、ＱＰ更新情報（量子化補正値）を復号する。なお、ＱＰ更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPredからの差分値を示す値である。またＴＵ復号部２２は、量子化予測残差（residual_coding）を復号する。
　（Ｓ１７６１）ＴＵ復号部２２は、ＴＵに残差が含まれているか（ＴＵ残差フラグが０以外か否か）を判定する。なお、SYN1761では、ＴＵに残差が含まれているかを、以下の式で導出されるcbfLuma || cbfChromaにより判定しているが、これに限らない。つまり、ＴＵ残差フラグとしては、対象ＴＵの輝度成分に残差が含まれているかを示す輝度残差フラグcbf_lumaを用いても良い。
　cbfLuma = cbf_luma[ x0 ][ y0 ][ trafoDepth ] 
　cbfChroma = cbf_cb[ xC ][ yC ][ cbfDepthC ] || cbf_cr[ xC ][ yC ][ cbfDepthC ])
　なお、cbf_cb、cbf_crは、符号化データから復号されるフラグであり、対象ＴＵの色差成分Ｃｂ、Ｃｒに残差が含まれているかどうかを示す。||は、論理和を示す。ここでは、ＴＵの輝度位置(x0、y0)、色差位置(xC、yC)、ＴＵ深度trafoDepth、cfbDepthCのシンタックス要素cbf_luma、cbf_cb、cbf_crから輝度のＴＵ残差フラグcbfLuma、色差のＴＵ残差フラグcbfChromaを導出し、その和（論理和）を対象ＴＵのＴＵ残差フラグとして導出している。
　（Ｓ１７７１）ＴＵ復号部２２は、ＴＵに残差が含まれている場合（ＴＵ残差フラグが０以外の場合）には、ＱＰ更新情報（量子化補正値）を復号する。ここで、ＱＰ更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値を示す値である。ここでは、差分値は符号化データのシンタックス要素として絶対値cu_qp_delta_absと符号cu_qp_delta_sign_flagから復号するが、これに限らない。
　（Ｓ１８００）ＴＵ復号部２２は、ＴＵ残差フラグ（ここではcbfLuma）が０以外の場合には、量子化予測残差（residual_coding）を復号する。なお、ＴＵ復号部２２は、量子化予測残差として複数の色成分を順に復号しても良い。図示された例では、ＴＵ復号部２２は、ＴＵ残差フラグ（ここではcbfLuma）が０以外の場合には、輝度量子化予測残差（第１色成分）residual_coding( x0, y0, log2TrafoWidth, log2TrafoHeight, 0 )を復号し、第２色成分残差フラグcbf_cbが０以外の場合にはresidual_coding( x0, y0, log2TrafoWidthC, log2TrafoHeightC, 1)を復号し、第２色成分残差フラグcbf_crが０以外の場合には、第３色成分量子化予測残差residual_coding( x0, y0, log2TrafoWidthC, log2TrafoHeightC, 2 )を復号する。
　（Ｓ１８１１）AMTフラグamt_flagが０以外、かつ、非ゼロ係数の数numCoeffが所定の閾値coreSIGNUMより大きい場合（Ｓ１８１０にてＹＥＳ）、ＴＵ復号部２２は、AMTインデックスamt_idxを復号する。
　（Ｓ１８１２）それ以外（AMTフラグamt_flagが０、または非ゼロ係数の数numCoeffがcoreSIGNUM以下）の場合（Ｓ１８１０にてＮＯ）、ＴＵ復号部２２は、AMTインデックスamt_idxを符号化データから復号せずに、amt_idx = 0として出力する。
　　(セパレート符号化ツリーと共通符号化ツリー)
　本明細書の実施形態では、YCbCrなどの複数の色コンポーネントから構成される画像を、所定の矩形ブロック単位（例、CTU単位）で複数のツリーで処理する「セパレート符号化ツリー(CTU_SEPARATE_TREES)」と、全ての色コンポーネントを１つのツリーで処理する「共通符号化ツリー(CTU_SHARED_TREE)」で処理する場合を備える。また、単一の色コンポーネントを１つのツリーで処理する場合を「単一符号化ツリー(CTU_SINGLE_TREE)」とも呼ぶ。このようなツリー構造を示すパラメータをツリーモードと呼ぶ。
　図２２は、セパレート符号化ツリーにおける色コンポーネントごとのツリー構造とパーティション構造を説明する図である。(a)は、あるＣＴＵに対する輝度の符号化ツリーを示す輝度符号化ツリー、(b)は、同じＣＴＵに対する色差（ＣｂとＣｒ）の符号化ツリーを示す色差符号化ツリー、(c)は(a)に対応する輝度ブロック分割、(d)は(b)に対応するブロック分割である。(a)と(b) に示すようにセパレート符号化ツリーではブロック（ＣＴＵ）単位で複数のツリーを有し、これらは異ならせることができる。したがって(c)と(d)に示すように、同じ位置の領域（同じＣＴＵ）に対して異なるブロック分割（パーティション構造）を有することができる。
　図２３は、ツリーモードを示すパラメータctu_tree_modeと、ツリー構造（Name）の関係を示す。(a)では、ツリーモード(ctu_tree_mode)の0に、単一符号化ツリーと共通符号化ツリー、1に、セパレート符号化ツリーを割り当てる例である。(b)は、ツリーモード(ctu_tree_mode)の0, 1, 2に、各々、単一符号化ツリー、共通符号化ツリー、セパレート符号化ツリーを割り当てる例である。
　図２４は、色空間と色の配置を示すパラメータChromaArrayTypeの関係を説明する図である。4:0:0や複数の色コンポーネントを独立に符号化する場合には、ChromaArrayTypeは0となる。4:2:0、4:2:2、4:4:4など複数の色コンポーネントを束ねて符号化する場合に、ChromaArrayTypeは各々1, 2, 3となる。ChromaArray=0と単一符号化ツリーが対応し、ChromaArrayが1-3の場合に、共通符号化ツリーまたはセパレート符号化ツリーが対応する。
　図２４の(b)は、あるツリーで使用する色コンポーネントを示すパラメータctu_compを説明する図である。ChromaArray=0など単一符号化ツリーでは、先頭の色コンポーネントのみを処理するCOMP_0をctu_compに設定する。共通符号化ツリーでは、全ての色コンポーネント（ここでは３つの色コンポーネント）を処理することを示すCOMP_012をctu_compに設定する。セパレート符号化ツリーでは、先頭の色コンポーネント（例えば輝度）を処理する場合には、COMP_0をctu_compに設定し、2番目、3番目の色コンポーネント（例えば色差のCb, Cr）を処理する場合には、ctu_compにCOMP_12を設定する。COMP_012は、３つの色コンポーネントを処理するという意味もある
　（ツリーブロックの構成）
　図２５は、セパレート符号化ツリーを用いる構成におけるCT情報復号部１０の動作を示すフローチャートである。
　図２６は、セパレート符号化ツリーを用いる構成におけるシンタックステーブルの例を示す図である。図示するようにセパレート符号化ツリーでは、CTUにおいて、ルート符号化ツリーノードcoding_quadtreeを二つ符号化、復号する
　coding_quadtree ( xCtb, yCtb, CtbLog2SizeY, 0, ctu_comp )
　coding_quadtree ( xCtb, yCtb, CtbLog2SizeY, 0, COMP_12 )
　図２６(a)では、CT情報復号部１０は、以下の処理を行う。
　ＳＹＮ１３１０：CT情報復号部１０は、処理対象の色コンポーネントctu_compを設定する。CTUがセパレート符号化ツリーならば、先頭コンポーネントを示すCOMP_0、それ以外では全コンポーネントを示すCOMP_012をctu_compに設定する。
　ＳＹＮ１３１１：CT情報復号部１０は、ctu_compに指定された色コンポーネントについて再帰的にCT（coding_quadtree）を復号する。例えば、セパレート符号化ツリー（ctu_compがCOMP_0）であれば、先頭色コンポーネントについて再帰的にCT（coding_quadtree）を復号する。すなわち、第１色コンポーネントのブロック（ＣＴＵ）をルートノード（ルート符号化ツリーノード）として復号処理を行う。
　ＳＹＮ１３２０：CT情報復号部１０は、セパレート符号化ツリーならば、次に処理する色コンポーネント、ここではCOMP_12を設定する。
　ＳＹＮ１３２１：CT情報復号部１０は、ctu_compに指定された色コンポーネントについて再帰的にCT（coding_quadtree）を復号する。例えば、セパレート符号化ツリー（ctu_compがCOMP_12）であれば、第２、第３の色コンポーネントについて再帰的にCT（coding_quadtree）を復号する。すなわち、第２、第３色コンポーネントのブロック（ＣＴＵ）をルートノード（ルート符号化ツリーノード）として復号処理を行う。
　この例では、セパレート符号化ツリーを用いるか共通符号化ツリーを用いるかを示す情報ctu_tree_modeをスライスヘッダに示すフラグで決定してもよい。また、イントラスライスの場合(slice_type == I)にセパレートツリーを用いるなど、スライスタイプslice_typeに応じてctu_tree_modeを決定してもよい。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＣＵ符号化部１１３０は、上記CT情報復号部１０と同様の動作を行い、符号化ツリーを符号化する。
　図２６(ｂ)はシンタックステーブルの別の構成例である。
　ＳＹＮ１３０１：CT情報復号部１０は、セパレート符号化ツリーを用いるか共通符号化ツリーを用いるかを示す情報ctu_tree_modeをCTU単位で符号化データから復号する。
　図２６(ｃ)はシンタックステーブルの別の構成例である。図２５（ａ）の例に相当する。
　ＳＹＮ１３００、ＳＹＮ１３０１：CT情報復号部１０は、イントラスライスの場合(slice_type == I)にセパレート符号化ツリーを用いるか共通符号化ツリーを用いるかを示す情報ctu_tree_modeを符号化データから復号する。インタースライスの場合には常に共通符号化ツリーを用いる。
　図２５(ｂ)は、CT情報復号部１０の動作の別の例である。
　Ｓ１３００Ｂ、Ｓ１３０１：CT情報復号部１０は、色コンポーネント数が２以上の場合に、セパレート符号化ツリーを用いるか共通符号化ツリーを用いるかを示す情報ctu_tree_modeを符号化データから復号する。色コンポーネント数が１の場合には常に共通符号化ツリーを用いる。
　図２５(ｃ)は、CT情報復号部１０の動作の別の例である。
　Ｓ１３００Ａ、Ｓ１３００Ｂ、Ｓ１３０１：CT情報復号部１０は、イントラスライス(slice_type == I)かつ色コンポーネント数が２以上の場合に、セパレート符号化ツリーを用いるか共通符号化ツリーを用いるかを示す情報ctu_tree_modeを符号化データから復号する。インタースライスの場合又は色コンポーネント数が１の場合には常に共通符号化ツリーを用いる。
　　（セパレート符号化ツリーにおけるブロックサイズ制限）
　セパレート符号化ツリーでは、輝度と色差に個別のツリーを割り当て処理する。色差では輝度の情報を用いてＤＭ予測やCCLM予測を行い効率的に予測するが、ブロックサイズの制限がない場合、色差の処理のために、1CTUサイズの輝度の処理を待つ必要が生じる。以下、ブロックサイズを制限するために分割フラグを制限する方法と、予測モードを制限する方法を示す。２つの制限を同時に行うことが好ましい。
　図２７は、本発明の実施形態における画像復号装置３１の動作を示す図である。この構成では、イントラスライスの場合で、複数色コンポーネントの場合には、セパレート符号化ツリーを用いる。図３０（a）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
　画像を矩形の符号化ツリーブロック(ＣＴＵ)に分割して処理する画像復号装置において、符号化ツリーモードに応じて、上記CTUを１つの符号化ツリーCT（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、上記CTUを２つ以上の符号化ツリーCT（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するかのいずれかを実施するＣＵ復号部２０（CT情報復号部）を備える。さらに、上記符号化ツリーＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部２０と、ある色コンポーネントの復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部（イントラ予測画像生成部３１０、イントラ予測パラメータ復号部３０４）を備え、と、イントラモードであるかインターモードであるかを示す予測モードを復号する予測モード復号部（ＣＵ復号部２０）を備え、予測モード復号部は、イントラスライスの場合に、予測モードを復号せず、予測モードをイントラモードに設定する。
　（Ｓ１４２２Ａ）　ＣＵ復号部２０は、イントラスライスかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合（S1420AでYES）、符号化データから分割フラグを復号せず、分割フラグを１（分割を示す値）に設定する。
　（Ｓ１４２２Ｂ）　上記以外で（イントラスライス以外で）（S1420AでNO）、ブロックサイズが最小サイズ以下の場合には（S1420BでNO）、ＣＵ復号部２０は、符号化データを復号せず分割フラグsplit_cu_flagを0に設定する。
　（Ｓ１４２１）　上記以外では（S1420BでYES）、ＣＵ復号部２０は、分割フラグsplit_cu_flagを復号する。（SYN1421に相当）
　なお、ブロックサイズの最大サイズには、イントラブロックサイズの最大サイズmaxIntraBlockSizeを設定することが好ましい。例えば、maxIntraBlockSize=64である。
　なお、シンタックステーブルに示したように、分割フラグを復号するか否かの判定では、対象ブロックがピクチャ境界を越えているか等をさらに追加しても良い。例えばx0 + (1 << log2CbSize ) <= pic_width_in_luma_samples && y0 + ( 1 << log2CbSize ) <= pic_height_in_luma_samplesの判定式は、対象ブロックの右境界のX座標が画面幅以下の場合、かつ、対象ブロックの下境界のY座標が画面高さ以下の場合、つまり、対象ブロック
の右下位置が画面内にある場合にのみ、分割フラグを復号する。それ以外の場合には、符号化データを復号せずに分割フラグsplit_cu_flagを0に設定する。以下の実施形態も同様である。
　また、ブロックサイズの最大サイズには、イントラブロックサイズの最大サイズである最大イントラブロックサイズmaxIntraBlockSizeと変換サイズの最大サイズの最大変換サイズmaxTransSizeの最小値を設定してもよい。例えば、maxIntraBlockSize=64、maxTransSize=128の場合には、最大サイズには、maxCUSize = Min (maxIntraBlockSize, maxTransSize) = 64を設定する。
　上記構成によれば、イントラスライスにおいてセパレート符号化ツリーの場合には、必ず、輝度のブロックサイズが最大イントラブロックサイズmaxIntraBlockSize以下となるため、最悪ケースでも、最大イントラブロックサイズmaxIntraBlockSizeをもつイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　また、適応的コア変換で説明するように、イントラブロックにおいて、インターブロックとは異なる変換を用いる場合、最大イントラブロックサイズを制限することにより、イントラブロックで必要な変換のために回路や変換基底メモリを削減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＣＵ符号化部１１３０は、イントラスライスかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合、符号化データに分割フラグを符号化せず、分割フラグを１（分割を示す値）に設定する。
　図２８は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。この構成はＳ１４２０Ａの代わりに、Ｓ１４２０Ａ２を用いる。図３０（ｂ）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。本構成では、上記CTU単位で、単一符号化ツリーで処理するか、セパレート符号化ツリーで処理するかを示す情報を符号化データから復号してもよい。
　（Ｓ１４２２Ａ２）　ＣＵ復号部２０は、イントラスライスかつセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に（S1420A2でYES）、符号化データから分割フラグを復号せず、分割フラグを１（分割を示す値）に設定する。
　この構成では、イントラスライスであって、共通符号化ツリーとセパレート符号化ツリーを選択できる場合においても、イントラスライスかつセパレート符号化ツリーでは、必ず、輝度のブロックサイズが最大イントラブロックサイズmaxIntraBlockSize以下となるため、最悪ケースでも、最大イントラブロックサイズmaxIntraBlockSizeのイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＣＵ符号化部１１３０は、イントラスライスかつセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合、符号化データに分割フラグを符号化せず、分割フラグを１（分割を示す値）に設定する。
　図２９は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。図３０（ｃ）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。この構成はＳ１４２０Ａの代わりに、Ｓ１４２０Ａ３を用いる。本構成では、上記CTU単位で、単一符号化ツリーで処理するか、セパレート符号化ツリーで処理するかを示す情報を符号化データから復号してもよい。
　（Ｓ１４２２Ａ）　ＣＵ復号部２０は、セパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に（S1420A3でYES）、符号化データから分割フラグを復号せずに、分割フラグに１（分割を示す値）を設定する。
　この構成では、セパレート符号化ツリーを選択できる場合においても、必ず、輝度のブロックサイズが最大イントラブロックサイズmaxIntraBlockSize以下となるため、最悪ケースでも、最大イントラブロックサイズmaxIntraBlockSizeのブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　図３１は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。図３２は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。この構成はＳ１４２０Ａの代わりに、Ｓ１４２０Ａ１ＣＣ、Ｓ１４２０Ａ２ＣＣ、Ｓ１４２０Ａ３ＣＣのいずれかを用いる。本構成では、輝度から色差を予測する輝度色差予測を行うことが可能な場合に、ブロックサイズを最大イントラブロックサイズ以下に制限する。
本構成では、上記CTU単位で、単一符号化ツリーで処理するか、セパレート符号化ツリーで処理するかを示す情報を符号化データから復号してもよい。
　（Ｓ１４２２Ａ）　図３２(a)において、ＣＵ復号部２０は、CCLM適用可能(cclm_enabled_flag=1)、かつ、イントラスライス、かつ、対象ＣＴサイズが所定の最大イントラサイズより大きい場合に（S1420A1CCでYES）、符号化データから分割フラグを復号せず分割フラグに１（分割を示す値）を設定する。（SYN1420A1CCに相当）
　（Ｓ１４２２Ａ）　図３２(b)において、ＣＵ復号部２０は、CCLM適用可能(cclm_enabled_flag=1)、かつ、イントラスライス、かつ、セパレート符号化ツリー、かつ、対象ＣＴサイズが所定の最大イントラサイズより大きい場合に（S1420A2CCでYES）、符号化データから分割フラグを復号せず分割フラグに１（分割を示す値）を設定する。（SYN1420A2CCに相当）
　あるいは、
　（Ｓ１４２２Ａ）　図３２(c)において、ＣＵ復号部２０は、CCLM予測適用可能(cclm_enabled_flag=1)、かつ、セパレート符号化ツリー、かつ、対象ＣＴサイズが所定の最大イントラサイズより大きい場合に（S1420A3CCでYES）、符号化データから分割フラグを復号せず分割フラグに１（分割を示す値）を設定する。（SYN1420A3CCに相当）
　図３３に示すように、CCLM適用可能(cclm_enabled_flag=1)に応じて、ブロックサイズの最大サイズを設定する構成でもよい。
　（Ｓ１４２２Ａ）　ＣＵ復号部２０は、対象ＣＴサイズが所定の最大サイズより大きい場合に（S1420でYES）、符号化データから分割フラグを復号せず分割フラグに１（分割を示す値）を設定する。
　この構成では、Ｓ１４２０のように、最大ブロックサイズを超える場合には分割フラグに１を設定して強制的に分割するが、Ｓ１４０１ＣＣに示すように、CCLM適用可能(cclm_enabled_flag=1)の場合には（S1401CCでYES）、最大ブロックサイズmaxCUSizeを最大イントラブロックサイズに、それ以外の場合には最大変換サイズに定める。
　if (CCLM適用可能)　　　　　　　　　　　　　　　　　　　Ｓ１４０１ＣＣ
　　maxCUSize = maxIntraBlockSize　　　　　　　　　　　　Ｓ１４０２ＣＣ
　else
　　maxCUSize = maxTransSize　　　　　　　　　　　　　　　Ｓ１４０３ＣＣ
　また、CCLM適用可能(cclm_enabled_flag=1)の場合には、最大ブロックサイズmaxCUSizeを最大イントラブロックサイズと最大変換サイズの最小値に、それ以外の場合には最大変換サイズに定める構成でもよい。
　if (CCLM適用可能)　　　　　　　　　　　　　　　　　　　Ｓ１４１１ＣＣ
　　maxCUSize = Min (maxIntraBlockSize, maxTransSize)　　Ｓ１４１２ＣＣ２
　else
　　maxCUSize = maxTransSize　　　　　　　　　　　　　　　Ｓ１４１３ＣＣ
　この構成では、CCLM適用可能(cclm_enabled_flag=1)に応じて、輝度のブロックサイズが最大イントラブロックサイズmaxIntraBlockSize以下となるように制限するため、輝度色差予測を用いて色差が輝度処理を待つ必要がある場合において、最悪ケースでも、最大イントラブロックサイズmaxIntraBlockSizeのイントラブロックの処理を待てば色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＣＵ符号化部１１３０は、CCLM予測適用可能(cclm_enabled_flag=1)、かつ、セパレート符号化ツリー、かつ、対象ＣＴサイズが所定の最大イントラサイズより大きい場合、符号化データに分割フラグを符号化せず、分割フラグを１（分割を示す値）に設定する。
　　（共有ツリーにおける予測モード制限）
　共有ツリーでは、輝度と色差に共通のツリーを用いるが、予測モードpredModeがイントラ予測の場合には、色差では輝度の情報を用いてＤＭ予測やCCLM予測を行い効率的な予測を行う。ブロックサイズの制限がない場合、色差の処理のために、1CTUサイズの輝度の処理を待つ必要が生じる。以下、最悪ケースの輝度処理の待ち時間を低減するため、処理のブロックサイズを超える場合には、予測モードを制限する。具体的には、所定のブロックサイズを超える場合にはインター予測のみを許可し、イントラ予測を禁止する。
　図３４は、本発明の実施形態における画像復号装置３１の構成の動作を示す図である。図３７（ｂ）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、ＣＴＵを符号化ツリーＣＴに分割して、上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部２０と、ある色コンポーネントの復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部（イントラ予測画像生成部３１０、イントラ予測パラメータ復号部３０４）と、イントラモードであるかインターモードであるかを示す予測モードを復号するＣＵ復号部２０を備える。
　ＣＵ復号部２０の動作は次の通りである。
　（Ｓ１６１２Ａ）　イントラスライスの場合（slice_type == I）には（S1610AでYES）、符号化データから予測モードpred_mode_flagを復号せず予測モードpred_mode_flagにはイントラモード（MODE_INTRA）を設定する。
　（Ｓ１６１２Ｂ）　それ以外の場合で（S1610AでNO）、ブロックサイズが所定サイズ（最大イントラサイズ）より大きい場合には（S1610BでYES）、符号化データから予測モードpred_mode_flagを復号せず予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　ここで、ブロックサイズが所定のサイズか否かを示す判定には、ブロックサイズの幅と高さの和が最大サイズmaxIntraBlockSize*2を超えるか否かを用いることができる。
　（Ｓ１６１１）　それ以外の場合には（S1610BでNO）、符号化データからイントラモードかインターモードか示すフラグpred_mode_flagを復号する。（図３７(b)のSYN1611に相当）
　上記構成によれば、必ず、輝度のブロックサイズが最大イントラブロックサイズ以下となるため、最悪ケースでも、最大イントラブロックサイズのイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のCU符号化部は、ブロックサイズが所定サイズ（最大イントラサイズ）より大きい場合には、予測モードpred_mode_flagを符号化せず、予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　図３５は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。この構成はＳ１６１１Ｂの代わりに、Ｓ１６１１Ｂ２を用いる。図３７（a）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
　（Ｓ１６１２Ｂ）　イントラスライス以外の場合で（S1610AでNO）、セパレート符号化ツリー以外かつブロックサイズが所定サイズ（最大イントラサイズ）より大きい場合には（S1610B2でYES）、符号化データから予測モードpred_mode_flagを復号せず予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　上記構成によれば、必ず、セパレート符号化ツリー以外（すなわち共通符号化ツリーにおいて）、輝度のブロックサイズが最大イントラブロックサイズ以下となるため、最悪ケースでも、最大イントラブロックサイズのイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のCU符号化部は、イントラスライス以外の場合で、セパレート符号化ツリー以外かつブロックサイズが所定サイズ（最大イントラサイズ）以上の場合には、予測モードpred_mode_flagを符号化せず、予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　図３６は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。この構成はＳ１６１０Ｂの代わりに、Ｓ１６１０Ｂ３を用いる。
　（Ｓ１６１２Ｂ）　イントラスライス以外の場合で（S1610AでNO）、セパレート符号化ツリー以外、かつ、色コンポーネント数が２以上、かつ、ブロックサイズが所定サイズ（最大イントラサイズ）より大きい場合には（S1610B3でYES）、符号化データから予測モードpred_mode_flagを復号せず予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　色コンポーネント数が２以上であるとは、色コンポーネント数が１の場合を除外することを意味する。色コンポーネント数が１の場合とは、例えば、独立色コンポーネントで符号化されている場合ChromaArrayType=0や、単一符号化ツリーの場合を示す。この場合には、色コンポーネント（例えば、輝度と色差の間）での予測を行わないので、最大イントラブロックサイズに応じた予測モードの制限を行う必要がない。
　上記構成によれば、必ず、セパレート符号化ツリー以外（すなわち共通符号化ツリーにおいて）、かつ、色コンポーネント間の予測がある場合において、輝度のブロックサイズが最大イントラブロックサイズ以下となるため、最悪ケースでも、最大イントラブロックサイズのイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置は、イントラスライス以外の場合で、セパレート符号化ツリー以外、かつ、色コンポーネント数が２以上、かつ、ブロックサイズが所定サイズ（最大イントラサイズ）より大きい場合には、予測モードpred_mode_flagを符号化せず、予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　（CCLM予測に応じた最大ブロックサイズ選択）
　図３８に示すように、CCLM適用可能(cclm_enabled_flag=1)に応じて、ブロックサイズの最大サイズを設定する構成でもよい。
　（Ｓ１６１２Ｂ）　イントラスライス以外の場合で（S1610AでNO）、ブロックサイズが所定サイズmaxCUSizeよりも大きい場合には（S1610BでYES）、符号化データから予測モードpred_mode_flagを復号せず予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　この構成では、Ｓ１４０１ＣＣ、Ｓ１４０２ＣＣ、Ｓ１４０３ＣＣで説明したように、CCLM適用可能(cclm_enabled_flag=1)の場合には、最大ブロックサイズmaxCUSizeを最大イントラブロックサイズに、それ以外の場合には最大変換サイズに定める。
　また、CCLM適用可能(cclm_enabled_flag=1)の場合には、最大ブロックサイズmaxCUSizeを、最大イントラブロックサイズと最大変換サイズの最小値に、それ以外の場合には最大変換サイズに定める構成でもよい。
　この構成では、CCLM適用可能(cclm_enabled_flag=1)に応じて、輝度のブロックサイズが最大イントラブロックサイズmaxIntraBlockSize以下となるように制限するため、輝度色差予測を用いて色差が輝度処理を待つ必要がある場合でも、輝度のブロックサイズが最大イントラブロックサイズ以下となる。従って、最悪ケースでも、最大イントラブロックサイズのイントラブロックの処理を待てば、色差処理を開始することができるため、色差処理の遅延量を低減する効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じであり、CCLM適用可能(cclm_enabled_flag=1)の場合には、最大ブロックサイズmaxCUSizeを最大イントラブロックサイズに、それ以外の場合には最大変換サイズに定める。
　　（ブロックサイズ制限と予測モード制限）
　既に上述したように、上記ブロックサイズ制限の１つと上記予測モード制限の１つを組み合わせることが適当である。例えば、
　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、ＣＴＵを符号化ツリーＣＴに分割し、符号化ツリーモードに応じて、１つのＣＴＵを１つの符号化ツリーCT（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、１つのＣＴＵを２つ以上の符号化ツリーCT（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するかのいずれかを実施するＣＴ情報復号部１０と、ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部２０と、ある色コンポーネントのイントラ予測モードを用いて、別の色コンポーネントのイントラ予測モードを予測するイントラ予測部を備え、さらにある色コンポーネントの復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部を備え、上記予測モード復号部（ＣＵ復号部２０）は、イントラスライスの場合に、符号化データを復号せずに予測モードにイントラモードを設定し、イントラスライス以外かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データを復号せずに上記予測モードにインターモードを設定し、上記ＣＵ復号部２０は、イントラスライス、かつ、セパレート符号化ツリー、かつ、対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから分割フラグを復号せずに、分割フラグを１（分割を示す値）に設定し、それ以外の場合、符号化データから分割フラグを復号する。
　　（セパレート符号化ツリー符号化のイントラモード限定）
　図２６（ｂ）で説明したように、CTU単位で、ctb_tree_modeを符号化／復号し、セパレート符号化ツリーを用いるか、共通符号化ツリーを用いるかを選択する構成が可能である。セパレート符号化ツリーを用いる場合にインターモードを用いると、輝度と色差の動きベクトルが別々となり、処理負荷が増大することから、イントラモードのみとする。
　図３９は、本発明の実施形態における画像復号装置３１の構成の動作を示す図である。図４１（ａ）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、ＣＴＵを符号化ツリーＣＴに分割し、符号化ツリーモードに応じて、１つの符号化ツリーCT（ルート符号化ツリーノード）を用いた１つのＣＴＵを単一符号化ツリーとして処理するか、１つのＣＴＵを２つ以上の符号化ツリーCT（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するかのいずれかを実施するＣＴ情報復号部１０と、上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部２０と、ある色コンポーネントの復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部と、イントラモードであるかインターモードであるかを示す予測モードを復号するPU情報復号部12を備える。さらにPU情報復号部12は、以下の処理を行う。
　（Ｓ１３０１）　ＣＴ情報復号部１０は、単一符号化ツリーで処理するか、セパレート符号化ツリーで処理するかを示す情報を符号化データから復号する。
　（Ｓ１６１２Ａ）　イントラスライスの場合（slice_type == I）には（S1610AでYES）、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはイントラモード（MODE_INTRA）を設定する。
　（Ｓ１６１０Ｃ）　それ以外の場合で（S1610AでNO）、セパレート符号化ツリーの場合には（S1610CでYES）、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはイントラモード（MODE_INTRA）を設定する。
　（Ｓ１６１１）　それ以外の場合には（S1610CでNO）、符号化データからイントラモードかインターモードかを示すフラグpred_mode_flagを復号する。（SYN1611に相当）
　なお、スキップモードも一種のインターモードであるため、イントラモード限定とする場合にはスキップモードを禁止にする必要がある。したがって、イントラスライスの場合（slice_type == I）又はセパレート符号化ツリーの場合には、スキップモードであるか否かを示すフラグcu_skip_flagを復号せず、スキップモードではないことを示す値（０）を設定することが好ましい。逆に、イントラスライス以外の場合（slice_type != I）、かつ、セパレート符号化ツリー以外の場合には、cu_skip_flagを復号する。（SYN1500A、SYN1510C、SYN1511に相当）
　上記構成によれば、必ず、セパレート符号化ツリーの場合には、イントラモードとなるため、動きベクトルが輝度と色差で異なるような処理負荷を避ける効果を奏する。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じであり、セパレート符号化ツリーの場合には、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはイントラモードを設定する。
　図４０は、本発明の実施形態における画像復号装置３１の別の構成の動作を示す図である。図４１（ｂ）は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
この構成はＳ１６１０Ｃの代わりに、Ｓ１６１０Ｃ２を用いる。
　（Ｓ１６１２Ｃ２）　イントラスライス以外で（S1610AでNO）、色コンポーネント数が２以上かつセパレート符号化ツリーの場合には（S1610C2でYES）、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはイントラモード（MODE_INTRA）を設定する。
　スキップモードの復号は、シンタックステーブルでは、SYN1510A、SYN1510C2、SYN1511に示す。
　上記構成によれば、色コンポーネント数が２以上である場合にも、動きベクトルが輝度と色差で異なるような処理負荷を避ける効果を奏する。
　　（分割フラグ制限と予測モード制限）
　上記では、セパレート符号化ツリーにおける強制ブロック分割方法とセパレート符号化ツリーにおけるイントラモード限定方法を説明したが、以下のようにこれらを組み合わせても良い。
　ＣＵ復号部２０は、イントラスライスかつセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから分割フラグを復号せずに、分割フラグに１（分割を示す値）に設定する、さらに、ＣＵ復号部２０は、イントラスライス以外で、セパレート符号化ツリーの場合には、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定する。
　イントラスライスの場合、イントラスライス以外の場合の両方において、セパレート符号化ツリーにおけるイントラブロックのサイズが制限されるため、色差処理が輝度処理を待つ時間を低減させる効果を奏する
　　（分割フラグ制限と予測モード制限の別の例）
　さらに、ＣＵ復号部２０は、イントラスライス以外で、セパレート符号化ツリーの場合には、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはイントラモード（MODE_INTRA）を設定する。さらにＣＵ復号部２０は、ブロックサイズが所定サイズ（最大イントラサイズ以上）の場合には、符号化データから予測モードpred_mode_flagを復号せず、予測モードpred_mode_flagにはインターモード（MODE_INTER）を設定してもよい。
　イントラスライスの場合、イントラスライス以外の場合の両方において、セパレート符号化ツリーにおけるイントラブロックのサイズが制限されるため、色差処理が輝度処理を待つ時間を低減させる効果を奏する
　　（パレット予測）
本実施形態に係る図４２は、本実施形態のパレット予測部３１０４５の構成を示すブロック図と、パレット予測の動作を説明するための図である。図４２（ａ）に示すように、パレット予測部３１０４５は、パレット設定部１０４５１とパレットメモリ１０４５２、パレットコピー部１０４５３から構成される。パレット符号化では、符号化対象ブロックの画素が持つ色のテーブル（パレット）を用意し、ブロック内の画素各画素をテーブル番号（インデックス）で表現する。ブロック内のインデックスとテーブルが符号化される。さらに、パレット外の色を示すインデックス（Escape Mode）もパレットに用意し、このインデックスに属する画素成分の信号値を量子化して符号化する。パレット設定部１０４５１は、対象ブロックの処理を開始する前に、画像符号化装置ではパレット要素のテーブル（パレット）をパレットメモリに設定し、画像復号装置では符号化データからパレット要素の情報を復号してパレットメモリにパレットを設定する。ここでパレット要素とは複数の色コンポーネント（例えば、YCbCrやRGB）から構成される値の組（Yi, Cbi, Cri）である。ここでiはパレット番号である。。パレットコピー部１０４５３は、パレットメモリ１０４５２のテーブル値（画素）、もしくは対象画素の左隣接画素、もしくは上隣接画素の画素をコピーして画素列を生成する。この画素列が符号化画素、あるいは、復号画素となる。
　図４２（ｂ）の右矢印、下矢印はパレットコピー部のコピー処理を示す。パレットコピー部１０４５３は、パレットの要素又は隣接画素（参照画素）を指定された画素数（回数）だけコピーすることで、画素を符号化あるいは復号する。右矢印は左隣接画素をスキャン順の方向にコピー、下矢印は上隣接画素をスキャン順の方向にコピーする。
　図４３は、本実施形態のパレット予測部３１０４５で復号するパレット情報のシンタックステーブルの例である。copy_above_palette_indices_flagは上からコピーを行うか否かを示すフラグ、palette_run_prefix、palette_run_suffixは、コピーするラン長を示すパラメータである。また、palette_escape_valはEscape Modeで符号化される量子化されたある色成分の画素値である。
　画像符号化装置におけるパレット予測部３１０４５も上記と同一であるが、パレット情報のシンタックスは符号化データから復号するのではなく、符号化する。
　　（パレットモードの共通符号化ツリー限定）
　特に、スクリーンコンテンツでは、ある色を広い範囲に適用することから、複数の色コンポーネントを同時に指定するパレットモードが用いられる。以下、セパレート符号化ツリーと共通符号化ツリーを適用可能な画像復号装置におけるパレットモードに関する構成を説明する。
　図４４は、本発明の実施形態における画像復号装置３１の構成の動作を示す図である。図４５は、本実施形態における画像復号装置３１の対象とする符号化データの構成を示すシンタックステーブルである。
　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、上記ＣＴＵを符号化ツリーＣＴに分割し、符号化ツリーモードに応じて、１つのＣＴＵを１つの符号化ツリーCT（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、１つのＣＴＵを２つ以上の符号化ツリーCT（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部２０と、イントラモードであるかインターモードであるかを示す予測モードを復号するＣＵ復号部２０を備える。
　（Ｓ１６２０）　ＣＵ復号部２０はイントラモード（CuPredMode[ x0 ][ y0 ] == MODE_INTRA）、かつ、セパレート符号化ツリー以外（ctu_tree_mode != CTU_SEPARATE）の場合に、Ｓ１６２１に遷移し、それ以外の場合にＳ１６２２に遷移する。この判定はSYN1620に示すようにパレットモード利用可能フラグpalette_mode_enabled_flag=1やブロックサイズが所定のサイズ以下（log2CbSize <= MaxTbLog2SizeY）等の条件を追加で行っても良い。
　（Ｓ１６２１）　ＣＵ復号部２０は符号化データからパレットモードフラグpalette_mode_flagを復号する。（SYN1621）
　（Ｓ１６２２）　符号化モードからパレットモードフラグを復号しない場合、ＣＵ復号部２０はパレットモードフラグに０（パレットモード以外）を設定する。
　（Ｓ１６２３）　palette_mode_flagが１の場合にはＳ１６２４に遷移する。（SYN1623）
　（Ｓ１６２４）　palette_mode_flagが１の場合に、対象ブロックのパレット情報pallete_mode()を復号する。（SYN1624）
　上記構成によれば、セパレート符号化ツリーではパレットモードフラグを復号せずパレットモードをオフとするため、輝度と色差で独立して色をフィルするような非効率かつ処理量が大きくなる処理を避ける効果を奏する。また、パレットモードフラグの符号量のオーバーヘッドを避けることができる。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＣＵ符号化部１１２０は、セパレート符号化ツリーではパレットモードフラグpalette_mode_flagを符号化せずパレットモードをオフとする。
　　（クロスコンポーネント残差予測）
　特に、スクリーンコンテンツでは、ある色コンポーネントの残差情報を別の色コンポーネントの残差情報として符号化するクロスコンポーネント残差予測が用いられる。図４６は、クロスコンポーネント残差予測の構成を示すブロック図である。図４７は、クロスコンポーネント残差予測のシンタックステーブル例である。ＴＵ復号部２２は、線形予測の絶対値を示すlog2_res_scale_abs_plus1と符号res_scale_sign_flagを復号して残差予測パラメータResScaleValを導出する。
　if (log2_res_scale_abs_plus1 == 0)
　　ResScaleVal = 0 
　else
　　ResScaleVal = (1<<(log2_res_scale_abs_plus1-1)) * (1-2*res_scale_sign_flag)
　さらに図４６に示すクロスコンポーネント残差予測部１７９３の残差予測部１７９３１は、導出した残差予測パラメータResScaleValと輝度残差rY[x][y]の積を用いて、残差予測値ResPredを導出する。さらに、加算部１７９３２は、残差予測値ResPredを色差残差r[x][y]に加算する。なお下記式のように、色差ビットデプスBitDepthC、輝度ビットデプスBitDepthYなどのシフトを積の前後に適用しても良い。
　ResPred = ( ResScaleVal* ((rY[x][y]<<BitDepthC)>>BitDepthY))>> 3
　r[x][y] += ResPred
　また、残差予測ResPredの適用は以下の処理でもよい。
　r[x][y] = r[x][y] - ResPred
　なお、画像符号化装置でも、上述のように残差予測値ResPredを導出し、以下の式を用いて、色差残差r[x][y]と残差予測値ResPredの差分を色差残差r[x][y]として導出し、色差残差r[x][y]を符号化する。
　r[x][y] -= ResPred
　また、残差予測ResPredの適用は以下の処理でもよい。
　r[x][y] = r[x][y] - ResPred
　　（クロスコンポーネント残差予測の共通符号化ツリー限定）
　以下、セパレート符号化ツリーと共通符号化ツリーを適用可能な画像復号装置における、クロスコンポーネント残差予測に関する構成を、図４８を用いて説明する。
　（Ｓ１７９０）　ＴＵ復号部２２はイントラモードの場合、セパレート符号化ツリー以外であれば、Ｓ１７９１に遷移し、それ以外の場合にＳ１７９２に遷移する
　（Ｓ１７９１）　セパレート符号化ツリー以外の場合（S1790でNO）、ＴＵ復号部２２は符号化データからクロスコンポーネント残差予測情報cross_comp_pred()を復号する。
　（Ｓ１７９２）　セパレート符号化ツリーの場合（S1790でYES）、ＴＵ復号部２２は、線形予測の絶対値を示すシンタックスlog2_res_scale_abs_plus1を符号化データから復号せずに0（クロスコンポーネント残差予測オフ）を設定する。
　（Ｓ１７９３）　クロスコンポーネント残差予測部１７９３は、クロスコンポーネント残差予測情報を用いて輝度残差から色差残差を予測する。
　上記構成によれば、セパレート符号化ツリーではクロスコンポーネント残差予測情報を復号せずにクロスコンポーネント残差予測処理をオフとする。従って、輝度と色差で独立したツリーであるセパレート符号化ツリーにおいて、非効率かつ処理量が大きくなるクロスコンポーネント残差予測処理を避ける効果を奏する。さらに、クロスコンポーネント残差予測情報の符号量のオーバーヘッドを避けることができる。
　なお、画像符号化装置と画像復号装置では、符号化処理と復号処理の違いはあるが処理の流れは同じである。画像符号化装置のＴＵ符号化部は、セパレート符号化ツリーではクロスコンポーネント残差予測情報cross_comp_pred()を符号化せずにクロスコンポーネント残差予測処理をオフとする。
　なお、図４９に示すように、セパレート符号化ツリーの場合には、イントラモードであるため、スキップモードであるか否かを示すフラグcu_skip_flagを復号せず、スキップモードではないことを示す値（０）を設定してもよい(SYN1511)。さらに、セパレート符号化ツリーの場合には、イントラモードであるため、イントラモードかインターモードかを示すフラグpred_mode_flagを復号せず、イントラモード（MODE_INTRA）を設定してもよい(SYN1611)。
　　（画像符号化装置の構成）
　次に、画像符号化装置１１の構成について説明する。以下に一例として、画像符号化装置１１の構成を、図２を用いて説明する。図２は、本実施形態に係る画像符号化装置１１の構成を示すブロック図である。画像符号化装置１１は、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、加算部１０６、ループフィルタ１０７、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１（ＣＵ符号化部１１３０、予測モード符号化部、ＣＵ符号化部１１２０）を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。なお、画像符号化装置１１はループフィルタ１０７が含まれない構成であってもよい。
　予測画像生成部１０１は画像Ｔの各ピクチャについて、そのピクチャを分割した領域である符号化ユニットCU毎に予測ユニットPUの予測画像Ｐを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から復号済のブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えばインター予測の場合、動きベクトルである。予測画像生成部１０１は、対象PUを起点として動きベクトルが示す参照ピクチャ上の位置にあるブロックを読み出す。またイントラ予測の場合、予測パラメータとは例えばイントラ予測モードである。イントラ予測モードで使用する隣接PUの画素値を参照ピクチャメモリ１０９から読み出し、PUの予測画像Pを生成する。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いてPUの予測画像Ｐを生成する。予測画像生成部１０１は、生成したPUの予測画像Ｐを減算部１０２に出力する。
　なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作である。
　予測画像生成部１０１は、予測パラメータ符号化部から入力されたパラメータを用いて、参照ピクチャメモリから読み出した参照ブロックの画素値をもとにPUの予測画像Pを生成する。予測画像生成部１０１で生成した予測画像は減算部１０２、加算部１０６に出力される。
　予測画像生成部１０１に含まれる（図示しない）イントラ予測画像生成部は既に説明したイントラ予測画像生成部３１０と同じ動作である。
　減算部１０２は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値を、画像Ｔの対応するPU位置の画素値から減算して、残差信号を生成する。減算部１０２は、生成した残差信号を変換・量子化部１０３に出力する。
　変換・量子化部１０３は、減算部１０２から入力された予測残差信号に対し周波数変換を行い、変換係数を算出する。変換・量子化部１０３は、算出した変換係数を量子化して量子化変換係数を求める。変換・量子化部１０３は、求めた量子化変換係数をエントロピー符号化部１０４及び逆量子化・逆変換部１０５に出力する。変換・量子化部１０３は、さらに残差を予測して、残差に加算、減算してから符号化するためのクロスコンポーネント残差予測部１７９３を備えてもよい。
　エントロピー符号化部１０４には、変換・量子化部１０３から量子化変換係数が入力され、予測パラメータ符号化部１１１から予測パラメータが入力される。入力される予測パラメータには、例えば、参照ピクチャインデックスref_idx_lX、予測ベクトルインデックスmvp_lX_idx、差分ベクトルmvdLX、予測モードpred_mode_flag、及びマージインデックスmerge_idx等の符号がある。
　エントロピー符号化部１０４は、入力された分割情報、予測パラメータ、量子化変換係数等をエントロピー符号化して符号化ストリームTeを生成し、生成した符号化ストリームTeを外部に出力する。
　逆量子化・逆変換部１０５は、画像復号装置３１における、逆量子化・逆変換部３１１（図３）と同じであり、変換・量子化部１０３から入力された量子化変換係数を逆量子化して変換係数を求める。逆量子化・逆変換部１０５は、求めた変換係数について逆変換を行い、残差信号を算出する。逆量子化・逆変換部１０５は、算出した残差信号を加算部１０６に出力する。
　加算部１０６は、予測画像生成部１０１から入力されたPUの予測画像Ｐの信号値と逆量子化・逆変換部１０５から入力された残差信号の信号値を画素毎に加算して、復号画像を生成する。加算部１０６は、生成した復号画像を参照ピクチャメモリ１０９に記憶する。
　ループフィルタ１０７は加算部１０６が生成した復号画像に対し、デブロッキングフィルタ１１４、サンプル適応オフセット（SAO）１１５、適応ループフィルタ（ALF）１１６を施す。なお、ループフィルタ１０７は、必ずしも上記３種類のフィルタを含まなくてもよく、例えばデブロッキングフィルタ１１４のみの構成であってもよい。
　予測パラメータメモリ１０８は、符号化パラメータ決定部１１０が生成した予測パラメータを、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。
　参照ピクチャメモリ１０９は、ループフィルタ１０７が生成した復号画像を、符号化対象のピクチャ及びCU毎に予め定めた位置に記憶する。
　符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQTあるいはBT分割パラメータや予測パラメータやこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部１０１は、これらの符号化パラメータのセットの各々を用いてPUの予測画像Ｐを生成する。
　符号化パラメータ決定部１１０は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出する。RDコスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化残差と符号化パラメータをエントロピー符号化して得られる符号化ストリームTeの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したRDコスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部１０４は、選択した符号化パラメータのセットを符号化ストリームTeとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。符号化パラメータ決定部１１０は決定した符号化パラメータを予測パラメータメモリ１０８に記憶する。
　予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから、符号化するための形式を導出し、エントロピー符号化部１０４に出力する。符号化するための形式の導出とは、例えば動きベクトルと予測ベクトルから差分ベクトルを導出することである。また予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータから予測画像を生成するために必要なパラメータを導出し、予測画像生成部１０１に出力する。予測画像を生成するために必要なパラメータとは、例えばサブブロック単位の動きベクトルである。
　インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいて、差分ベクトルのようなインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、予測画像生成部１０１に出力する予測画像の生成に必要なパラメータを導出する構成として、インター予測パラメータ復号部３０３がインター予測パラメータを導出する構成と一部同一の構成を含む。
　また、イントラ予測パラメータ符号化部１１３は、予測画像生成部１０１に出力する予測画像の生成に必要な予測パラメータを導出する構成として、イントラ予測パラメータ復号部３０４がイントラ予測パラメータを導出する構成と、一部同一の構成を含む。
　イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力されたイントラ予測モードIntraPredModeから、符号化するための形式（例えばMPM_idx、rem_intra_luma_pred_mode等）を導出する。
　既に画像復号装置３１の中で画像符号化装置の動作を説明したように、画像符号化装置１１は、ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーCT（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、２つ以上の色コンポーネントを２つ以上の符号化ツリーCT（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＵ符号化部１１３０と、ＣＴをさらに分割するか否かを示す分割フラグを符号化して、再帰的にブロック分割を行うＣＵ符号化部１１２０と、ある色コンポーネントの局所復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部を備え、イントラモードであるかインターモードであるかを示す予測モードを符号化する予測モード符号化部を備え、上記予測モード符号化部は、イントラスライスの場合に、予測モードを符号化せずにイントラモードを設定し、ＣＵ符号化部１１２０は、イントラスライスかつセパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、分割フラグを符号化せずに、分割フラグに１（分割を示す値）を設定してもよい。
　　（ソフトウェアによる実現例）
　なお、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、例えば、エントロピー復号部３０１、予測パラメータ復号部３０２、ループフィルタ３０５、予測画像生成部３０８、逆量子化・逆変換部３１１、加算部３１２、予測画像生成部１０１、減算部１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆量子化・逆変換部１０５、ループフィルタ１０７、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像符号化装置１１、画像復号装置３１のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における画像符号化装置１１、画像復号装置３１の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。画像符号化装置１１、画像復号装置３１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　　〔応用例〕
　上述した画像符号化装置１１及び画像復号装置３１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。
　まず、上述した画像符号化装置１１及び画像復号装置３１を、動画像の送信及び受信に利用できることを、図１９を参照して説明する。
　図１９の（ａ）は、画像符号化装置１１を搭載した送信装置PROD_Aの構成を示したブロック図である。図１９の（ａ）に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_A1として利用される。
　送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部PRED_A7を更に備えていてもよい。図１９の（ａ）においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図１９の（ｂ）は、画像復号装置３１を搭載した受信装置PROD_Bの構成を示したブロック図である。図１９の（ｂ）に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した画像復号装置３１は、この復号部PROD_B3として利用される。
　受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図１９の（ｂ）においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。
　また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
　次に、上述した画像符号化装置１１及び画像復号装置３１を、動画像の記録及び再生に利用できることを、図２０を参照して説明する。
　図２０の（ａ）は、上述した画像符号化装置１１を搭載した記録装置PROD_Cの構成を示したブロック図である。図２０の（ａ）に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した画像符号化装置１１は、この符号化部PROD_C1として利用される。
　なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図２０の（ａ）においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。
　図２０の（ｂ）は、上述した画像復号装置３１を搭載した再生装置PROD_Dの構成を示したブロックである。図２０の（ｂ）に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した画像復号装置３１は、この復号部PROD_D2として利用される。
　なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図２０の（ｂ）においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
　なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。
　　（ハードウェア的実現およびソフトウェア的実現）
　また、上述した画像復号装置３１および画像符号化装置１１の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（RandomAccess Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services DigitalNetwork）、VAN（Value-Added Network）、CATV（Community Antenna television/CableTelevision）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital SubscriberLine）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明の実施形態は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
（関連出願の相互参照）
　本出願は、2017年10月6日に出願された日本国特許出願：特願2017-196142に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
９　復号モジュール
１０　ＣＴ情報復号部
１１　画像符号化装置
１３　ＴＴ情報復号部
１９　ヘッダ復号部
２０　ＣＵ復号部（予測モード復号部）
３１　画像復号装置
３０２　予測パラメータ復号部（ＣＴ情報復号部、予測モード復号部）
３０３　インター予測パラメータ復号部
３０４　イントラ予測パラメータ復号部
３０５　ループフィルタ
３０６　参照ピクチャメモリ
３０７　予測パラメータメモリ
３０８　予測画像生成部
３０９　インター予測画像生成部
３１０　インター予測画像生成部（イントラ予測部）
３１３　デブロッキングフィルタ
３１５　適応ループフィルタ
３１０４１　Planar予測部
３１０４２　DC予測部
３１０４３　Angular予測部
３１０４４　CCLM予測部
４４０１　CCLMパラメータ導出部
４４０２　CCLM予測フィルタ部
３１０４５　パレット予測部
３１１　逆量子化・逆変換部
１１　画像符号化装置
１０１　予測画像生成部
１０２　減算部
１０３　変換・量子化部
１０４　エントロピー符号化部
１０５　逆量子化・逆変換部
１０６　加算部
１０７　ループフィルタ
１０８　予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）
１０９　参照ピクチャメモリ（参照画像記憶部、フレームメモリ）
１１０　符号化パラメータ決定部
１１１　予測パラメータ符号化部（ＣＴ情報符号化部、予測モード符号化部、ＣＵ符号化部）
１１２　インター予測パラメータ符号化部
１１３　イントラ予測パラメータ符号化部
１１２０　ＣＵ符号化部
１７９３　コンポーネント残差予測部
１７９３１　残差予測部
１７９３２　加算部

Claims (15)

  1. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は２つ以上の色コンポーネントを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、を備え、
    　上記ＣＵ復号部は、上記ＣＴＵがイントラスライスかつ上記ツリーモードが上記セパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから上記分割フラグを復号せずに、上記分割フラグに１（分割を示す値）に設定することを特徴とする画像復号装置。
  2. 　上記ＣＴ情報復号部は、上記ＣＴＵが上記イントラスライスかつ２つ以上の色コンポーネントである場合には、常に上記セパレート符号化ツリーで処理し、
    　上記ＣＵ復号部は、上記ＣＴＵが上記イントラスライスの場合かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、上記符号化データから上記分割フラグを復号せずに、上記分割フラグに１（分割を示す値）に設定することを特徴とする請求項１に記載の画像復号装置。
  3. 　上記ＣＴＵ単位で、上記単一符号化ツリーで処理するか、上記セパレート符号化ツリーで処理するかを示す情報を上記符号化データから復号することを特徴とする請求項１に記載の画像復号装置。
  4. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は２つ以上の色コンポーネントを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを用いて、再帰的にブロック分割を行うＣＵ復号部と、を備え、
    　上記ＣＵ復号部は、上記ツリーモードが上記セパレート符号化ツリーの場合かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから上記分割フラグを復号せずに、上記分割フラグに１（分割を示す値）に設定し、
    　上記対象ＣＴサイズが所定の最小サイズより小さい場合に、上記符号化データから上記分割フラグを復号せずに、上記分割フラグに０（非分割を示す値）に設定することを特徴とする画像復号装置。
  5. 　上記ＣＴＵ単位で、上記単一符号化ツリーで処理するか、上記セパレート符号化ツリーで処理するかを示す情報を上記符号化データから復号することを特徴とする請求項４に記載の画像復号装置。
  6. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、
    　イントラモード又はインターモードを示す予測モードを復号する予測モード復号部を備え、
    　上記予測モード復号部は、上記ＣＴＵがイントラスライス以外かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データから上記予測モードを復号せずに、上記予測モードに上記インターモードを設定することを特徴とする画像復号装置。
  7. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、上記ＣＴＵを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は上記ＣＴＵを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部を備え、
    　上記予測モード復号部は、上記ＣＴＵがイントラスライス以外かつ上記ツリーモードが上記セパレート符号化ツリー以外かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、上記符号化データから上記予測モードを復号せずに、上記予測モードに上記インターモードを設定することを特徴とする請求項６に記載の画像復号装置。
  8. 　上記予測モード復号部は、上記ＣＴＵがイントラスライス以外かつ上記ツリーモードが上記セパレート符号化ツリー以外かつ色コンポーネント数が２つ以上かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、符号化データを復号せずに上記予測モードに上記インターモードを設定することを特徴とする請求項６に記載の画像復号装置。
  9. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、上記ＣＴＵを、符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、上記ＣＴＵを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、
    　イントラモード又はインターモードを示す予測モードを復号する予測モード復号部を備え、
    　上記予測モード復号部は、上記ＣＴＵがイントラスライスの場合に、符号化データから上記予測モードを復号せずに、上記予測モードに上記イントラモードを設定し、上記ＣＴＵがイントラスライス以外かつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、上記符号化データから上記予測モードを復号せずに、上記予測モードに上記インターモードを設定し、
    　上記ＣＵ復号部は、上記ＣＴＵがイントラスライスかつ上記ツリーモードが上記セパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、上記符号化データから上記分割フラグを復号せずに、上記分割フラグに１（分割することを示す値）に設定することを特徴とする画像復号装置
  10. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、上記ＣＴＵを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は上記ＣＴＵを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、
    　イントラモード又はインターモードを示す予測モードを復号する予測モード復号部を備え、
    　上記ＣＴＵ復号部は、上記単一符号化ツリーで処理するか、上記セパレート符号化ツリーで処理するかを示す情報を符号化データから復号し、
    　上記予測モード復号部は、上記ＣＴＵがイントラスライスもしくは上記ツリーモードが上記セパレート符号化ツリーの場合に、上記符号化データから上記予測モードを復号せずに、上記予測モードに上記イントラモードを設定することを特徴とする画像復号装置
  11. 　上記予測モード復号部は、上記ＣＴＵがイントラスライスもしくは（上記ツリーモードがセパレート符号化ツリーかつ色コンポーネント数が２以上）の場合に、上記符号化データから上記予測モードを復号せずに、上記予測モードに上記イントラモードを設定することを特徴とする請求項１０に記載の画像復号装置
  12. 　上記予測モード復号部は、上記ＣＴＵがイントラスライス以外、かつ上記ツリーモードが上記セパレート符号化ツリーかつ色コンポーネント数が２以上の場合に、上記符号化データから上記予測モードを復号することを特徴とする請求項１０に記載の画像復号装置。
  13. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、上記ＣＴＵを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は２つ以上記ＣＴＵを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、
    　予測モードがイントラモードかつ上記ツリーモードがセパレート符号化ツリー以外の場合に、符号化データからパレットモードフラグを復号するパレットモード復号部を備え、
    　上記パレットモード復号部は、上記符号化モードから上記パレットモードフラグを復号しない場合、上記パレットモードフラグに０（パレットモード以外）を設定することを特徴とする画像復号装置。
  14. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像復号装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は上記ＣＴＵを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＴ情報復号部と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを復号して、再帰的にブロック分割を行うＣＵ復号部と、
    　ある色コンポーネントのイントラ予測モードを用いて、別の色コンポーネントのイントラ予測モードを予測するイントラ予測部を備え、
    　上記予測ツリーモード上記セパレート符号化ツリー以外の場合に、符号化データからクロスコンポーネント残差予測情報を復号するパレットモード復号部を備え、
    　上記パレットモード復号部は、符号化モードからクロスコンポーネント残差予測情報を復号する場合のみ、クロスコンポーネント残差予測を行うことを特徴とする画像復号装置。
  15. 　画像を矩形の符号化ツリーユニット(ＣＴＵ)に分割して処理する画像符号化装置において、
    　上記ＣＴＵを符号化ツリーＣＴに分割し、ツリーモードに応じて、１つ以上の色コンポーネントを１つの符号化ツリーＣＴ（ルート符号化ツリーノード）を用いた単一符号化ツリーとして処理するか、又は２つ以上の色コンポーネントを２つ以上の符号化ツリーＣＴ（ルート符号化ツリーノード）を用いたセパレート符号化ツリーとして処理するＣＵ符号化部１１３０と、
    　上記ＣＴをさらに分割するか否かを示す分割フラグを符号化して、再帰的にブロック分割を行うＣＵ符号化部と、
    　ある色コンポーネントの局所復号画像を用いて、別の色コンポーネントの予測画像を生成するイントラ予測部と、を備え、
    　上記ＣＵ符号化部は、上記ＣＴＵがイントラスライスかつ上記ツリーモードが上記セパレート符号化ツリーかつ対象ＣＴサイズが所定の最大イントラサイズより大きい場合に、上記分割フラグを符号化せずに、上記分割フラグに１（分割を示す値）を設定することを特徴とする画像符号化装置。
PCT/JP2018/036943 2017-10-06 2018-10-02 画像符号化装置及び画像復号装置 WO2019069950A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/753,736 US20200260096A1 (en) 2017-10-06 2018-10-02 Image coding apparatus and image decoding apparatus
US17/472,398 US11503319B2 (en) 2017-10-06 2021-09-10 Image coding apparatus and image decoding apparatus
US17/958,731 US11936892B2 (en) 2017-10-06 2022-10-03 Image decoding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-196142 2017-10-06
JP2017196142A JP2021010046A (ja) 2017-10-06 2017-10-06 画像符号化装置及び画像復号装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US16/753,736 A-371-Of-International US20200260096A1 (en) 2017-10-06 2018-10-02 Image coding apparatus and image decoding apparatus
US17/472,398 Continuation US11503319B2 (en) 2017-10-06 2021-09-10 Image coding apparatus and image decoding apparatus

Publications (1)

Publication Number Publication Date
WO2019069950A1 true WO2019069950A1 (ja) 2019-04-11

Family

ID=65994670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/036943 WO2019069950A1 (ja) 2017-10-06 2018-10-02 画像符号化装置及び画像復号装置

Country Status (3)

Country Link
US (3) US20200260096A1 (ja)
JP (1) JP2021010046A (ja)
WO (1) WO2019069950A1 (ja)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294591A (zh) * 2020-05-09 2020-06-16 腾讯科技（深圳）有限公司 视频信息处理方法、多媒体信息处理方法、装置
WO2020253861A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Adaptive in-loop color-space transform for video coding
JP2021048531A (ja) * 2019-09-19 2021-03-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
WO2021204295A1 (en) * 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Minimum allowed quantization for transform skip blocks in video coding
CN114128268A (zh) * 2019-06-19 2022-03-01 Lg 电子株式会社 使用色度块的自适应大小限制的图像编码/解码方法和设备以及比特流传输方法
CN114402595A (zh) * 2019-07-21 2022-04-26 Lg电子株式会社 根据调色板模式是否适用来用信号通知色度分量预测信息的图像编码/解码方法和装置及发送比特流的方法
JP2022525430A (ja) * 2020-01-20 2022-05-13 テンセント・アメリカ・エルエルシー デコーダが実行するビデオ復号の方法、装置およびコンピュータプログラム
JP2022525467A (ja) * 2019-10-22 2022-05-16 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム
CN114521328A (zh) * 2019-09-23 2022-05-20 Lg电子株式会社 使用调色板模式的图像编码/解码方法和装置及发送比特流的方法
JP2022531216A (ja) * 2019-05-08 2022-07-06 北京字節跳動網絡技術有限公司 クロスコンポーネントコーディングの適用条件
CN114731438A (zh) * 2019-12-27 2022-07-08 富士通株式会社 自适应颜色变换的编解码方法、装置以及视频编解码设备
CN114982231A (zh) * 2019-11-27 2022-08-30 Lg电子株式会社 图像解码方法及用于其的装置
EP3987806A4 (en) * 2019-07-20 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL CODING OF PALETTE MODE USE INDICATION
JP2022542138A (ja) * 2019-07-26 2022-09-29 北京字節跳動網絡技術有限公司 ブロックサイズに基づくピクチャ分割モードの決定
US11496736B2 (en) 2019-08-06 2022-11-08 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
AU2020203330B2 (en) * 2020-05-21 2022-12-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
US11575893B2 (en) 2019-09-21 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Size restriction based for chroma intra mode
US11601652B2 (en) 2019-09-02 2023-03-07 Beijing Bytedance Network Technology Co., Ltd. Coding mode determination based on color format
JP2023518593A (ja) * 2020-03-25 2023-05-02 杭州海康威視数字技術股▲フン▼有限公司 復号化、符号化、符号化復号化方法、装置及びその機器
US11671591B2 (en) 2019-11-07 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Quantization properties of adaptive in-loop color-space transform for video coding
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
JP7444997B2 (ja) 2020-01-01 2024-03-06 バイトダンス インコーポレイテッド ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
JP7504296B2 (ja) 2021-07-22 2024-06-21 テンセント・アメリカ・エルエルシー 非インターリーブ分離ツリー
US12132884B2 (en) 2019-07-29 2024-10-29 Beijing Bytedance Network Technology Co., Ltd Palette mode coding in prediction process
US12137250B2 (en) 2022-05-31 2024-11-05 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2567249A (en) * 2017-10-09 2019-04-10 Canon Kk New sample sets and new down-sampling schemes for linear component sample prediction
WO2019139393A1 (ko) * 2018-01-15 2019-07-18 김기백 색차 성분에 관한 화면내 예측 부호화/복호화 방법 및 장치
JP7334730B2 (ja) * 2018-03-30 2023-08-29 ソニーグループ株式会社 画像処理装置および方法
US11190790B2 (en) * 2018-04-01 2021-11-30 Lg Electronics Inc. Parallel processing method for color component of video signal, and device therefor
CN112954367B (zh) * 2018-08-30 2022-11-25 华为技术有限公司 使用调色板译码的编码器、解码器和相应方法
US11025905B2 (en) * 2018-09-14 2021-06-01 Tencent America LLC Method and device for decoding with palette mode
JP7518065B2 (ja) 2018-10-12 2024-07-17 オッポ広東移動通信有限公司 ビデオ画像成分予測方法および装置、コンピュータ記憶媒体
PH12019000380A1 (en) * 2018-12-17 2020-09-28 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
JP7305769B2 (ja) 2019-01-02 2023-07-10 オッポ広東移動通信有限公司 予測方向の決定方法、デコーダ及びコンピュータ記憶媒体
EP3915259A4 (en) 2019-03-06 2022-03-30 Beijing Bytedance Network Technology Co., Ltd. USE OF A CONVERTED UNIVERSITY PREDICTION CANDIDATE
JP7410168B2 (ja) * 2019-03-14 2024-01-09 エルジー エレクトロニクス インコーポレイティド イントラ予測を行う画像符号化／復号方法、装置、およびビットストリームを伝送する方法
EP3935854A4 (en) 2019-04-12 2022-06-01 Beijing Bytedance Network Technology Co., Ltd. CHROMINANCE CODING MODE DETERMINATION BASED ON MATRIX-BASED INTRA PREDICTION
CN111866510A (zh) * 2019-04-30 2020-10-30 华为技术有限公司 视频序列的帧内预测方法及装置
WO2020228673A1 (en) 2019-05-10 2020-11-19 Beijing Bytedance Network Technology Co., Ltd. Conditional use of reduced secondary transform for video processing
WO2020239017A1 (en) 2019-05-31 2020-12-03 Beijing Bytedance Network Technology Co., Ltd. One-step downsampling process in matrix-based intra prediction
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
EP3967032A4 (en) 2019-06-07 2022-07-27 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL SIGNALING OF A REDUCED SECONDARY TRANSFORM FOR VIDEO BIANARY FLOWS
CN117376555A (zh) 2019-08-03 2024-01-09 北京字节跳动网络技术有限公司 视频编解码中缩减二次变换的矩阵的选择
CN117376556A (zh) * 2019-08-14 2024-01-09 北京字节跳动网络技术有限公司 位置相关帧内预测样点滤波
CN118632034A (zh) 2019-08-17 2024-09-10 北京字节跳动网络技术有限公司 为视频中的缩减二次变换的边信息的上下文建模
EP4011080A4 (en) * 2019-09-12 2023-04-12 ByteDance Inc. USING PALETTE PREDICTION IN VIDEO CODING
US11395014B2 (en) * 2019-09-18 2022-07-19 Qualcomm Incorporated Transform unit design for video coding
EP4042689A4 (en) * 2019-10-28 2023-06-07 Beijing Bytedance Network Technology Co., Ltd. SIGNALING AND SYNTAX ANALYSIS BASED ON A COLOR COMPONENT
US11683489B2 (en) * 2019-12-26 2023-06-20 Qualcomm Incorporated Monochrome palette mode for video coding
CN111726626B (zh) * 2020-06-18 2022-05-03 格兰菲智能科技有限公司 集成电路及用于视频解码的概率表存储方法
CN117121481A (zh) * 2021-03-17 2023-11-24 抖音视界有限公司 单独树编解码限制
CN117643056A (zh) * 2021-06-30 2024-03-01 抖音视界有限公司 视频编解码中的递归预测单元

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016140090A1 (ja) * 2015-03-04 2016-09-09 ソニー株式会社 画像符号化装置および方法
JP2017515339A (ja) * 2014-03-16 2017-06-08 ヴィド スケール インコーポレイテッド 無損失ビデオコーディングのシグナリングのための方法および装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762927B2 (en) * 2013-09-26 2017-09-12 Qualcomm Incorporated Sub-prediction unit (PU) based temporal motion vector prediction in HEVC and sub-PU design in 3D-HEVC
WO2016074147A1 (en) 2014-11-11 2016-05-19 Mediatek Singapore Pte. Ltd. Separated coding tree for luma and chroma
EP4266684A3 (en) 2016-02-11 2024-01-24 InterDigital VC Holdings, Inc. Method and device for encoding/decoding an image unit comprising image data represented by a luminance channel and at least one chrominance channel

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017515339A (ja) * 2014-03-16 2017-06-08 ヴィド スケール インコーポレイテッド 無損失ビデオコーディングのシグナリングのための方法および装置
WO2016140090A1 (ja) * 2015-03-04 2016-09-09 ソニー株式会社 画像符号化装置および方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
"High efficiency video coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS INFRASTRUCTURE OF AUDIOVISUAL SERVICES-CODING OF MOVING VIDEO, December 2016 (2016-12-01), pages 52, 105, Retrieved from the Internet <URL:https://www.itu.int/ITU-T/recommendations/rec.aspx?rec=12905&lang=en> *
CHEN, JIANLE ET AL.: "Algorithm Description of Joint Exploration Test Model 7", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITUT SG 16 WP 3, 13 July 2017 (2017-07-13), Torino, IT, pages 1 - 6, XP030150980 *
CHOI, KI-HO: "Report of BoG on QTBT configuration setting", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, 26 May 2016 (2016-05-26), Geneva, CH, pages 1 - 4 *
LI, XIANG: "Report of BoG on JEM software and SCC tools", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU- T SG 16 WP 3, 26 May 2016 (2016-05-26), Geneva, CH, pages 1 - 2 *
SEREGIN, VADIM ET AL.: "EE : Cross-check of EE 2.1 QTBT (JVET-C0024", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, 26 May 2016 (2016-05-26), Geneva, CH, pages 1 - 3 *
WANG, ZHAO ET AL.: "Local-Constrained Quadtree Plus Binary Tree Block Partition Structure for Enhanced Video Coding", 2016 VISUAL COMMUNICATIONS AND IMAGE PROCESSING (VCIP, 5 January 2017 (2017-01-05), pages 1 - 4 *
YOO, SUN-MI ET AL.: "Suggested fix on QTBT", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3, 15 October 2016 (2016-10-15), Chengdu, CN, pages 1 - 4 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11910020B2 (en) 2019-03-08 2024-02-20 Beijing Bytedance Network Technology Co., Ltd Signaling of reshaping information in video processing
JP2022531216A (ja) * 2019-05-08 2022-07-06 北京字節跳動網絡技術有限公司 クロスコンポーネントコーディングの適用条件
JP7407206B2 (ja) 2019-05-08 2023-12-28 北京字節跳動網絡技術有限公司 クロスコンポーネントコーディングの適用条件
US12034942B2 (en) 2019-05-08 2024-07-09 Beijing Bytedance Network Technology Co., Ltd. Conditions for applicability of cross-component coding
CN114128268A (zh) * 2019-06-19 2022-03-01 Lg 电子株式会社 使用色度块的自适应大小限制的图像编码/解码方法和设备以及比特流传输方法
WO2020253861A1 (en) * 2019-06-21 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Adaptive in-loop color-space transform for video coding
US11539981B2 (en) 2019-06-21 2022-12-27 Beijing Bytedance Network Technology Co., Ltd. Adaptive in-loop color-space transform for video coding
US11778233B2 (en) 2019-06-21 2023-10-03 Beijing Bytedance Network Technology Co., Ltd Selective use of adaptive in-loop color-space transform and other video coding tools
US11924472B2 (en) 2019-06-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd. Syntax element for chroma residual scaling
US11956439B2 (en) 2019-07-07 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma residual scaling
EP3987806A4 (en) * 2019-07-20 2022-08-31 Beijing Bytedance Network Technology Co., Ltd. CONDITIONAL CODING OF PALETTE MODE USE INDICATION
CN114402595A (zh) * 2019-07-21 2022-04-26 Lg电子株式会社 根据调色板模式是否适用来用信号通知色度分量预测信息的图像编码/解码方法和装置及发送比特流的方法
JP2022542138A (ja) * 2019-07-26 2022-09-29 北京字節跳動網絡技術有限公司 ブロックサイズに基づくピクチャ分割モードの決定
JP7369273B2 (ja) 2019-07-26 2023-10-25 北京字節跳動網絡技術有限公司 ブロックサイズに基づくピクチャ分割モードの決定
US12132884B2 (en) 2019-07-29 2024-10-29 Beijing Bytedance Network Technology Co., Ltd Palette mode coding in prediction process
US11533483B2 (en) 2019-08-06 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US11496736B2 (en) 2019-08-06 2022-11-08 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
US11601652B2 (en) 2019-09-02 2023-03-07 Beijing Bytedance Network Technology Co., Ltd. Coding mode determination based on color format
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US12069278B2 (en) 2019-09-02 2024-08-20 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
CN114270818A (zh) * 2019-09-19 2022-04-01 Kddi 株式会社 图像解码装置、图像解码方法和程序
JP7189854B2 (ja) 2019-09-19 2022-12-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN114270818B (zh) * 2019-09-19 2024-09-27 Kddi株式会社 图像解码装置、图像解码方法和程序
WO2021054037A1 (ja) * 2019-09-19 2021-03-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP2021048531A (ja) * 2019-09-19 2021-03-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
US11575893B2 (en) 2019-09-21 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Size restriction based for chroma intra mode
CN114521328A (zh) * 2019-09-23 2022-05-20 Lg电子株式会社 使用调色板模式的图像编码/解码方法和装置及发送比特流的方法
US12096040B2 (en) 2019-10-22 2024-09-17 Tencent America LLC Disabling coding tool for active color transform
JP2022525467A (ja) * 2019-10-22 2022-05-16 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム
US11706459B2 (en) 2019-10-22 2023-07-18 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video
JP7317983B2 (ja) 2019-10-22 2023-07-31 テンセント・アメリカ・エルエルシー ビデオ符号化又は復号化の方法、装置及びコンピュータプログラム
US11722701B2 (en) 2019-10-22 2023-08-08 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video
US11671591B2 (en) 2019-11-07 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Quantization properties of adaptive in-loop color-space transform for video coding
CN114982231A (zh) * 2019-11-27 2022-08-30 Lg电子株式会社 图像解码方法及用于其的装置
CN114731438A (zh) * 2019-12-27 2022-07-08 富士通株式会社 自适应颜色变换的编解码方法、装置以及视频编解码设备
JP7444997B2 (ja) 2020-01-01 2024-03-06 バイトダンス インコーポレイテッド ビデオコーディングのためのクロスコンポーネント適応ループフィルタリング
JP2023010893A (ja) * 2020-01-20 2023-01-20 テンセント・アメリカ・エルエルシー ローカルデュアルツリー構造の下でのパレットベースの符号化モードのための方法および装置
US12101499B2 (en) 2020-01-20 2024-09-24 Tencent America LLC Method and apparatus for palette based coding mode under local dual tree structure
JP7185070B2 (ja) 2020-01-20 2022-12-06 テンセント・アメリカ・エルエルシー デコーダが実行するビデオ復号の方法、装置およびコンピュータプログラム
JP7362878B2 (ja) 2020-01-20 2023-10-17 テンセント・アメリカ・エルエルシー ローカルデュアルツリー構造の下でのパレットベースの符号化モードのための方法および装置
JP7571243B2 (ja) 2020-01-20 2024-10-22 テンセント・アメリカ・エルエルシー ローカルデュアルツリー構造の下でのパレットベースの符号化モードのための方法および装置
JP2022525430A (ja) * 2020-01-20 2022-05-13 テンセント・アメリカ・エルエルシー デコーダが実行するビデオ復号の方法、装置およびコンピュータプログラム
JP2023518593A (ja) * 2020-03-25 2023-05-02 杭州海康威視数字技術股▲フン▼有限公司 復号化、符号化、符号化復号化方法、装置及びその機器
JP7483921B2 (ja) 2020-03-25 2024-05-15 杭州海康威視数字技術股▲フン▼有限公司 復号化、符号化、符号化復号化方法、装置及びその機器
WO2021204295A1 (en) * 2020-04-10 2021-10-14 Beijing Bytedance Network Technology Co., Ltd. Minimum allowed quantization for transform skip blocks in video coding
CN111294591B (zh) * 2020-05-09 2020-09-25 腾讯科技（深圳）有限公司 视频信息处理方法、多媒体信息处理方法、装置
CN111294591A (zh) * 2020-05-09 2020-06-16 腾讯科技（深圳）有限公司 视频信息处理方法、多媒体信息处理方法、装置
AU2020203330B2 (en) * 2020-05-21 2022-12-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
JP2023525619A (ja) * 2020-05-21 2023-06-19 キヤノン株式会社 ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム
JP7500745B2 (ja) 2020-05-21 2024-06-17 キヤノン株式会社 ビデオサンプルのブロックを符号化および復号する方法、装置、およびシステム
JP7504296B2 (ja) 2021-07-22 2024-06-21 テンセント・アメリカ・エルエルシー 非インターリーブ分離ツリー
US12137250B2 (en) 2022-05-31 2024-11-05 Tencent America LLC Signaling of coding tools for encoding a video component as monochrome video

Also Published As

Publication number Publication date
US20210409745A1 (en) 2021-12-30
US11936892B2 (en) 2024-03-19
US20230021748A1 (en) 2023-01-26
JP2021010046A (ja) 2021-01-28
US11503319B2 (en) 2022-11-15
US20200260096A1 (en) 2020-08-13

Similar Documents

Publication Publication Date Title
US11503319B2 (en) Image coding apparatus and image decoding apparatus
JP7223886B2 (ja) 画像復号方法
WO2018199001A1 (ja) 画像復号装置及び画像符号化装置
WO2018116925A1 (ja) イントラ予測画像生成装置、画像復号装置、および画像符号化装置
WO2018037853A1 (ja) 画像復号装置及び画像符号化装置
JP7213689B2 (ja) 画像復号装置及び画像符号化装置
WO2019065487A1 (ja) 値制限フィルタ装置、動画像符号化装置および動画像復号装置
JP7139144B2 (ja) 画像フィルタ装置
JP7241153B2 (ja) 画像復号装置
CN114930827A (zh) 使用无损颜色变换的图像编码/解码方法和装置及比特流发送方法
WO2019065488A1 (ja) 画像復号装置および画像符号化装置
WO2020116376A1 (ja) 動画像復号装置および動画像符号化装置
JP2020072277A (ja) 動画像符号化装置及び動画像復号装置
CN113545051A (zh) 使用块大小限制的视频数据块的重构
JP2020109884A (ja) 動画像符号化装置及び動画像復号装置
CN114731401A (zh) 基于颜色格式来确定分割模式的图像编码/解码方法和装置以及发送比特流的方法
JP2023112110A (ja) スケーリングリストデータのシグナリングに基づくビデオまたは画像コーディング
WO2019131778A1 (ja) 画像復号装置及び画像符号化装置
WO2020184366A1 (ja) 画像復号装置
WO2019131349A1 (ja) 画像復号装置、画像符号化装置
JP7409802B2 (ja) 動画像復号装置および動画像符号化装置
JP2021064817A (ja) 動画像符号化装置及び動画像復号装置
JP7523856B2 (ja) 動画像符号化装置および動画像復号装置
JP2021180342A (ja) 予測画像生成装置、動画像復号装置、および動画像符号化装置
WO2019139012A1 (ja) 画像フィルタ装置、画像復号装置、画像符号化装置、およびデータ構造

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18864578

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18864578

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP