WO2022044267A1 - 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法 - Google Patents

映像符号化装置、映像復号装置、映像符号化方法および映像復号方法 Download PDF

Info

Publication number
WO2022044267A1
WO2022044267A1 PCT/JP2020/032628 JP2020032628W WO2022044267A1 WO 2022044267 A1 WO2022044267 A1 WO 2022044267A1 JP 2020032628 W JP2020032628 W JP 2020032628W WO 2022044267 A1 WO2022044267 A1 WO 2022044267A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra
divided
luminance component
video
equal division
Prior art date
Application number
PCT/JP2020/032628
Other languages
English (en)
French (fr)
Inventor
慶一 蝶野
健太 徳満
昌之 田尻
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2020/032628 priority Critical patent/WO2022044267A1/ja
Priority to JP2022545206A priority patent/JPWO2022044267A1/ja
Publication of WO2022044267A1 publication Critical patent/WO2022044267A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks

Definitions

  • the present invention relates to a video coding device, a video decoding device, a video coding method, and a video decoding method using block division based on a quadtree and a multi-type tree.
  • Non-Patent Document 1 discloses a video coding method called VVC (Versatile Video Coding).
  • each frame of the digitized video is divided into a coding tree unit (CTU: Coding Tree Unit), and each CTU is encoded in the order of raster scan.
  • CTU Coding Tree Unit
  • Each CTU has a quadtree (QT: Quad-Tree) structure or a multi-type tree (MMT: Multi-Type Tree) structure, and is divided into coding units (CU: Coding Unit) and encoded.
  • QT Quad-Tree
  • MMT Multi-Type Tree
  • CU Coding Unit
  • the blocks are divided horizontally and vertically into equal parts.
  • a division using a multi-type tree structure the block is divided horizontally or vertically into two or three parts.
  • Prediction coding includes intra prediction and motion compensation prediction.
  • the prediction error of each CU is transform-coded based on frequency conversion.
  • Intra prediction is a prediction that generates a prediction image from a reconstructed image whose display time is the same as that of the coded frame.
  • Non-Patent Document 1 defines 65 types of angle intra predictions shown in FIG. In the angular intra-prediction, the intra-prediction signal is generated by extrapolating the reconstructed pixels around the coded block in any of the 65 directions.
  • the DC intra prediction that averages the reconstructed pixels around the coded block and the Planar intra prediction that linearly interpolates the reconstructed pixels around the coded block are defined. ing.
  • the CU encoded based on the intra prediction is referred to as an intra CU.
  • Motion compensation prediction is a prediction that generates a prediction image from a reconstructed image (reference picture) whose display time is different from that of the coded frame.
  • motion compensation prediction is also referred to as inter-prediction.
  • FIG. 18 is an explanatory diagram showing an example of motion compensation prediction.
  • the motion vector MV (mv x , mv y ) indicates the translational movement amount of the reconstructed image block of the reference picture with respect to the block to be encoded.
  • inter-prediction an inter-prediction signal is generated based on the reconstructed image block of the reference picture (using pixel interpolation if necessary).
  • the CU encoded based on the motion compensation prediction is referred to as an inter-CU.
  • a frame encoded only by the intra-CU is called an I frame (or I picture).
  • a frame encoded including not only the intra CU but also the inter CU is called a P frame (or P picture).
  • a frame encoded by including an inter-CU that uses not only one reference picture but also two reference pictures at the same time in the block inter-prediction is called a B frame (or B picture).
  • inter-prediction using one reference picture is called one-way prediction
  • inter-prediction using two reference pictures at the same time is called bidirectional prediction
  • FIG. 19 shows an example of CTU division of the frame t when the number of pixels of the frame is CIF (CIF: Common Intermediate Format) and the CTU size is 64, and an example of division of the eighth CTU (CTU8) included in the frame t. It is explanatory drawing which shows.
  • CIF Common Intermediate Format
  • FIG. 19 shows the case where all CUs are square. However, as shown in FIG. 20, the CU may be divided into rectangles in a multi-type tree structure.
  • Non-Patent Document 1 when the split_qt_flag syntax value is 0, a multi-type tree structure is used.
  • the direction of division (horizontal, vertical) is defined by the mtt_split_cu_vertical_flag syntax value and the mtt_split_cu_binary_flag syntax value.
  • FIG. 20 (a) shows four divided shapes (divided modes) used in the multi-type tree structure.
  • SPLIT_BT_HOR and SPLIT_BT_VER are binary tree splits.
  • SPLIT_TT_HOR and SPLIT_TT_VER are ternary splits.
  • FIG. 20B shows the relationship between the divided shape and the syntax value.
  • Intra Sub-Partition has been introduced in the VVC standard.
  • the ISP is a method of horizontally or vertically equally dividing the luminance component block (divided into two or four) while sharing the intra prediction direction.
  • FIG. 21 is an explanatory diagram showing an example of division of an intra-coded block by an ISP.
  • the number of divisions of the ISP is 2 when the size of the intra-encoded block is 4 ⁇ 8 or 8 ⁇ 4, and 4 at other times. Further, the width of the intra prediction of the luminance component block after the division by the ISP is restricted to 4 or more. Therefore, in the intra-encoded block in which the width of the luminance component block after division is less than 4, the unit of the intra prediction process and the unit of the conversion process are different. Further, the ISP is applied only to the intra block having a size larger than 16 pixels.
  • the distance between the processing target pixel and the prediction reference pixel can be shortened and the prediction performance can be improved without increasing the code amount of the intra coding block. That is, the compression efficiency of the video can be increased by the ISP.
  • the equally divided luminance component block becomes the conversion processing unit.
  • the intermediate data expressing the Coded Block Flag (CBF) of each Transform Block (TB) of the luminance component is significantly increased. This is because the width or height of each TB equally divided by the ISP is smaller than the minimum size of the conversion process, which is the original minimum TB size.
  • the intermediate data is data necessary for obtaining a reconstructed image of the frame in the execution process of the video coding process and the video decoding process.
  • the video coding device and the video decoding device have a storage unit having a size capable of storing intermediate data.
  • each TB of the 16 ⁇ 4 intrablock horizontally equally divided by the ISP is 1 (see the lower left side in FIG. 21).
  • the width of each TB of the equally divided luminance components of the 4 ⁇ 16 intrablock vertically equally divided by the ISP is 1.
  • the particle size for expressing CBF is increased by 16 times. That is, the amount of intermediate data is 16 times larger.
  • the CBF is maintained at the minimum TB particle size.
  • the CBF is maintained at the particle size of one pixel.
  • the video encoder divides the luminance component blocks of the intra-CU divided by the quadtree or the multi-type tree into equal blocks horizontally or vertically, and divides the blocks into equal blocks based on a common intra prediction direction.
  • the amount of intermediate data increases when utilizing predictions and transformations.
  • the video decoder divides the luminance component blocks of the intra-CU divided by the quadtree or the multi-type tree horizontally or vertically into equal parts, and predicts each block equally divided based on the common intra prediction direction. And when utilizing transformations, the amount of intermediate data increases.
  • An object of the present invention is to provide a video coding device, a video decoding device, a video coding method, and a video decoding method that can suppress an increase in the amount of intermediate data while improving the compression efficiency of video data.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and each luminance component is equally divided based on a common intra prediction direction. It includes a coding processing means for applying the prediction processing and the conversion processing to the block, and at least a control means for controlling whether or not equal division is applied to the intra-CU.
  • the video decoding device divides the luminance component block of the intra-CU divided by a quadtree or a multi-type tree horizontally or vertically into equal parts, and each brightness component block divided into equal parts based on a common intra prediction direction. It includes a decoding processing means for applying the prediction processing and the inverse conversion processing, and a control means for controlling at least whether or not equal division is applied to the intra-CU.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and each luminance component is equally divided based on a common intra prediction direction. Prediction processing and conversion processing are applied to the block, and at least whether or not equal division is applied to the intra-CU is controlled.
  • the luminance component blocks of the intra-CU divided by a quadtree or a multi-type tree are equally divided horizontally or vertically, and each luminance component block is equally divided based on a common intra prediction direction. Prediction processing and inverse conversion processing are applied to, and at least whether or not equal division is applied to the intra-CU is controlled.
  • the video coding program divides the luminance component block of the intra-CU divided by a quadtree or a multi-type tree into equal parts horizontally or vertically on a computer and divides them into equal parts based on a common intra prediction direction.
  • a process of applying the prediction process and the conversion process to each luminance component block and a process of controlling at least whether or not to apply the equal division to the intra-CU are executed.
  • the brightness component block of the intra CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically into a computer, and each is equally divided based on a common intra prediction direction.
  • a process of applying the prediction process and the inverse conversion process to the brightness component block and a process of decoding the bit stream for which equal division is invalid for a bit stream having an image size larger than a predetermined size are executed.
  • an increase in the amount of intermediate data is suppressed while improving the compression efficiency of video data.
  • FIG. 1 is a block diagram showing an embodiment (first embodiment) of a video coding apparatus.
  • the video coding device 100 of the present embodiment monitors at least the width and height of the intra-CU to control the ISP applied to the intra-CU.
  • the video coding apparatus 100 shown in FIG. 1 includes a conversion / quantizer 101, an entropy coding device 102, an inverse quantization / inverse converter 103, a buffer 104, a predictor 105, a multiplexing device 106, and a coding controller. 107 is provided.
  • the predictor 105 determines the split_cu_flag syntax value, the split_qt_flag syntax value, the mtt_split_cu_vertical_flag syntax value, and the mtt_split_cu_binary_flag syntax value that determine the CU shape for each CTU.
  • the CU shape is, for example, a shape that minimizes the coding cost.
  • the predictor 105 determines the pred_mode_flag syntax value for determining the intra prediction / inter prediction, the intra_subpartitions_mode_flag syntax value for determining the validity / invalidity of the ISP (ISP is valid when 1), and the division direction of the ISP for each CU.
  • Intra_subpartitions_split_flag The syntax value (divided vertically when 1 and divided horizontally when 0), intra prediction direction, and motion vector are determined. These values are, for example, values that minimize the coding cost.
  • the predictor 105 is based on the determined split_cu_flag syntax value, split_qt_flag syntax value, mtt_split_cu_vertical_flag syntax value, mtt_split_cu_binary_flag syntax value, pred_mode_flag syntax value, intra_subpartitions_mode_flag syntax value, intra_subpartitions_mode_flag syntax value, intra_subpartitions_mode_flag syntax value, etc.
  • a prediction signal is generated for the input image signal of each CU. The prediction signal is generated based on the above-mentioned intra-prediction or inter-prediction.
  • the conversion / quantizer 101 frequency-converts a prediction error image in which the prediction signal is subtracted from the input image signal by the subtractor. Further, the conversion / quantizer 101 quantizes the frequency-converted prediction error image (frequency conversion coefficient). Hereinafter, the quantized frequency conversion coefficient is referred to as a conversion quantization value.
  • the entropy encoder 102 has a split_cu_flag syntax value, a split_qt_flag syntax value, a mtt_split_cu_vertical_flag syntax value, a mtt_split_cu_binary_flag syntax value, a pred_mode_flag syntax value, a pred_mode_flag syntax value, an intra_subpartitions_mode , And the transformation quantization value is entropy-coded.
  • the coding controller 107 monitors the width cbWidth, height cbHeight of the intra-CU, and the number of divisions of the ISP, NumIntraSubPartitions. The coding controller 107 also monitors cbWidth, cbHeight, and MinTbSizeY.
  • the inverse quantization / inverse converter 103 dequantizes the transformation quantization value. Further, the inverse quantized / inverse converter 103 performs inverse frequency conversion of the inverse quantized frequency conversion coefficient.
  • the inverse frequency converted reconstruction prediction error image is supplied to the buffer 104 after the prediction signal is added by the adder. The buffer 104 stores the reconstructed image.
  • the multiplexing device 106 multiplexes other data with the entropy coding data supplied from the entropy coding device 102 and outputs it as a bit stream.
  • the video coding apparatus 100 of the present embodiment generates and outputs a bit stream.
  • the coding controller 107 controls the ISP determined by the predictor 105 (step S1001).
  • the coding controller 107 prevents the width and height of each TB of the luminance component blocks equally divided by the ISP from becoming less than the width and height of the minimum TB in the process of step S1001.
  • the intra_subpartitions_mode_flag syntax value determined by the predictor 105 for the CU and the intra_subpartitions_split_flag syntax value are controlled.
  • there is only one NumIntraSubPartitions in the intrablock with intra_subpartitions_mode_flag 0.
  • intra_subpartitions_mode_flag 1
  • the ISP is invalid in the intra-CU having 16 or less pixels, and the number of NumIntraSubPartitions is one.
  • intra_subpartitions_split_flag 0.
  • the value obtained by dividing the height (that is, cbHeight) of each TB of the luminance component blocks equally divided by the ISP by NumIntraSubPartitions is less than MinTbSizeY.
  • it is equivalent to not letting the predictor 105 select intra_subpartitions_split_flag 0.
  • intra_subpartitions_split_flag 1
  • the value obtained by dividing the width (that is, cbWidth) of each TB of the luminance component blocks equally divided by the ISP by NumIntraSubPartitions is less than MinTbSizeY for the intra-CU.
  • intra_subpartitions_mode_flag 1.
  • the coding controller 107 controls the entropy coding of the information of the ISP of the entropy coding device 102 (step S1002).
  • the coding controller 107 monitors at least cbWidth, cbHeight, and MinTbSizeY.
  • the coding controller 107 does not cause the entropy encoder 102 to entropy-code the intra_subpartitions_mode_flag syntax value for an intra-CU having a product of cbWidth and cbHeight of 16 or less (that is, an intra-CU having 16 or less pixels).
  • FIG. 3 shows a part excerpted from 7.3.10.5 Coding unit syntax of Non-Patent Document 1. Such non-entropy-coded control by the coding controller 107 is performed to comply with the underlined conditions in FIG.
  • FIG. 4 is an explanatory diagram showing the restrictions of intra_subpartitions_mode_flag and intra_subpartitions_split_flag.
  • MinTbSizeY 4
  • the constraints of intra_subpartitions_mode_flag and intra_subpartitions_split_flag for cbWidth and cbHeight are as shown in FIG. 4 by the control of the coding controller 107 described above.
  • "NA" indicates that the syntax value is not entropy-coded.
  • the coding controller 107 has an entropy code for an intraCU in which the value obtained by dividing cbHeight by NumIntraSubPartitions is less than MinTbSizeY and the value obtained by dividing cbWidth by NumIntraSubPartitions is less than MinTbSizeY. Do not allow the converter 102 to entropy-code the intra_subpartitions_mode_flag syntax value.
  • FIG. 5 is an explanatory diagram showing an example of the operation of the present embodiment. As shown by x in FIG. 5, in the present embodiment, division (application of IPS) such that the division result is less than the minimum TB size (4 pixels) is prohibited.
  • the video coding device uses the ISP and the luminance component block equally divided by the ISP. It is possible to prevent the width and height of the CBF of each TB from becoming smaller than the minimum TB size. That is, there is provided a video coding device 100 in which an increase in the amount of intermediate data is suppressed while improving the compression efficiency by using the ISP.
  • FIG. 6 is an explanatory diagram for facilitating the understanding of the effect of the present embodiment.
  • the intermediate data size is the same depending on whether the ISP is used or not.
  • FIG. 7 is a block diagram showing an embodiment of a video decoding device.
  • the video decoding device 200 of the present embodiment monitors at least the width and height of the intra-CU to control the ISP applied to the intra-CU.
  • the video decoder 200 shown in FIG. 7 includes a demultiplexer 201, an entropy decoder 202, an inverse quantization / inverse converter 203, a predictor 204, a buffer 205, and a decoding controller 206.
  • the demultiplexer 201 demultiplexes the input bitstream and extracts the entropy-coded data.
  • the entropy decoder 202 entropy-decodes the entropy-coded data.
  • the entropy decoder 202 supplies the entropy-decoded conversion quantization value to the inverse quantization / inverse converter 203.
  • the entropy decoder 202 supplies the difference information of split_cu_flag, split_qt_flag, mtt_split_cu_vertical_flag, mtt_split_cu_binary_flag, pred_mode_flag, intra_subpartitions_mode_flag, intra_subpartitions_split_flag, intra_subpartitions_split_flag, intra-prediction direction, and motion vector to the predictor.
  • the decoding controller 206 monitors the width cbWidth of the intra-CU, the height cbHeight, and the number of divisions of the ISP NumIntraSubPartitions, similarly to the coding controller 107 of the video coding device 100.
  • the inverse quantization / inverse converter 203 dequantizes the conversion quantization value by the quantization step width. Further, the inverse quantized / inverse converter 203 performs inverse frequency conversion of the inverse quantized frequency conversion coefficient.
  • Predictor 204 generates sub-blocks based on the difference information of split_cu_flag, split_qt_flag, mtt_split_cu_vertical_flag, mtt_split_cu_binary_flag, pred_mode_flag, intra_subpartitions_mode_flag, intra_subpartitions_split_flag, intra-prediction direction, and motion vector.
  • the prediction signal is generated based on the above-mentioned intra prediction or motion compensation prediction.
  • the reconstruction prediction error image that has been inversely frequency-converted by the inverse quantization / inverse converter 203 is supplied to the buffer 205 as a reconstruction picture after the prediction signal supplied from the predictor 204 is added by the adder. .. Buffer 205 stores the reconstructed picture. Then, the reconstructed picture stored in the buffer 205 is output as a decoded image.
  • the video decoding device 200 of the present embodiment generates and outputs a decoded image.
  • the decoding controller 206 controls the entropy decoding of the ISP information of the entropy decoder 202 (step S2001).
  • the decoding controller 206 entropy for the intra-CU in which the value obtained by dividing cbHeight by NumIntraSubPartitions becomes less than MinTbSizeY and the value obtained by dividing cbWidth by NumIntraSubPartitions becomes less than MinTbSizeY in the process of step S2001. Do not allow the decoder 202 to entropy decode the intra_subpartitions_mode_flag syntax value (see FIG. 4).
  • the decoding controller 206 monitors at least cbWidth, cbHeight, and MinTbSizeY in the same manner as the coding controller 107 of the video coding device 100.
  • the video decoding device 200 uses the ISP and each of the luminance component blocks equally divided by the ISP. It is possible to prevent the width and height of the TB CBF from becoming less than the minimum TB size. That is, there is provided a video decoding device 200 in which an increase in the amount of intermediate data is suppressed while improving the compression efficiency by using the ISP.
  • Embodiment 2 In the first embodiment, the video coding device 100 and the video decoding device 200 that can maintain compatibility with the VVC standard described in Non-Patent Document 1 have been described. However, the video coding device 100 and the video decoding device 200 of the present embodiment (second embodiment) further control the entropy coding and entropy decoding of the intra_subpartitions_mode_flag and the intra_subpartitions_split_flag whose values are fixed.
  • the configuration of the video coding device of the present embodiment (second embodiment) is the same as the configuration of the video coding device 100 of the first embodiment shown in FIG. However, the coding controller 107 in this embodiment also has an additional function to the function in the first embodiment. Further, the configuration of the video decoding device of the present embodiment is the same as the configuration of the video decoding device 200 of the first embodiment shown in FIG. 7. However, the decoding controller 206 in this embodiment also has an additional function to the function in the first embodiment.
  • the coding controller 107 controls the ISP determined by the predictor 105 as in the case of the first embodiment (step S1001). Further, the coding controller 107 controls the entropy coding of the information of the ISP of the entropy coding device 102 (step S1003).
  • the coding controller 107 monitors at least the width cbWidth, height cbHeight, and MinTbSizeY of the intra-CU in the process of step S1001.
  • the coding controller 107 does not cause the entropy coding device 102 to entropy-code the intra_subpartitions_mode_flag syntax value for the intra-CU in which the product of cbWidth and cbHeight is 16 or less.
  • the coding controller 107 attaches the entropy encoder 102 to the intra_subpartitions_mode_flag for the intra-CU in which both the value obtained by dividing cbWidth by NumIntraSubPartitions and the value obtained by dividing cbHeight by NumIntraSubPartitions are less than MinTbSizeY. Do not entropy code the syntax value.
  • the coding controller 107 also performs the following control in the process of step S1003.
  • decoding controller 206 The operation of the decoding controller 206 in the present embodiment will be described with reference to the flowchart of FIG.
  • the decoding controller 206 monitors at least the width cbWidth, height cbHeight, and MinTbSizeY of the intra-CU in the process of step S2002 as in the case of the first embodiment.
  • the decoding controller 206 does not cause the entropy decoder 202 to entropy decode the intra_subpartitions_mode_flag for the intra-CU in which the product of cbWidth and cbHeight is 16 or less.
  • the decoding controller 206 also performs the following control in the process of step S2002.
  • FIG. 11 shows a part excerpted from 7.3.10.5 Coding unit syntax of Non-Patent Document 1.
  • FIG. 11 reflects the control of this embodiment.
  • the part where the control of this embodiment is reflected is the part underlined.
  • FIG. 12 is an explanatory diagram showing the restrictions of intra_subpartitions_mode_flag and intra_subpartitions_split_flag.
  • MinTbSizeY 4
  • the constraints of intra_subpartitions_mode_flag and intra_subpartitions_split_flag for cbWidth and cbHeight are as shown in FIG. 12 by controlling the coding controller 107 and the decoding controller 206 of the present embodiment.
  • "NA" indicates that the syntax value is not entropy-coded.
  • Embodiment 3 In the above embodiment, at least the width and height of the intra-CU are monitored and the ISP applied to the intra-CU is controlled in order to suppress the increase in the amount of intermediate data of the CBF of each TB of the luminance component. ..
  • the image size may be monitored for the purpose of suppressing the monitoring process for each intra-CU.
  • the coding control 107 and the decoding control 206 set the gci_no_isp_constraint_flag syntax value to 1 or the sps_isp_enabled_flag syntax value to 0 based on the monitoring result of the image size to set the ISP applied to the intra-CU. It can be controlled to be prohibited.
  • the coding controller 107 and decoding controller 206 monitor sps_pic_width_max_on_luma_samples syntax value, sps_pic_height_max_on_luma_samples syntax value, pps_pic_width_in_luma_samples syntax value, pps_pic_height_in_luma_samples syntax value, etc.
  • the coding controller 107 and decoding controller 206 have sps_pic_width_max_on_luma_samples syntax values greater than 1920 and sps_pic_height_max_on_luma_samples syntax values.
  • the gci_no_isp_constraint_flag syntax value may be set to 1, or the sps_isp_enabled_flag syntax value may be set to 0.
  • gci_no_isp_constraint_flag syntax value is set to 1 or sps_isp enabled. good.
  • FIG. 13 is a block diagram showing an example of a video system.
  • the video system shown in FIG. 13 is a system in which the video coding device 100 and the video decoding device 200 of each of the above embodiments are connected by a transmission line (wireless transmission line or wired transmission line) 300.
  • the video coding device 100 is a video coding device 100 according to any one of the above embodiments.
  • the video decoding device 200 is a video decoding device 200 according to any one of the above embodiments.
  • the video coding device 100 can generate a bitstream having the features described in each of the above embodiments. Further, in the video system, the video decoding device 200 can decode the bitstream having the characteristics described in each of the above embodiments.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 14 includes a processor 1001 such as a CPU (Central Processing Unit), a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bit stream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media or may be storage areas made of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used.
  • the program memory 1002 stores a program (video coding program or video decoding program) for realizing the function of each block (excluding the buffer block) shown in each of the above embodiments.
  • the processor 1001 realizes the function of the video coding device 100 or the video decoding device 200 shown in each embodiment by executing the process according to the program stored in the program memory 1002.
  • At least the program memory 1002 is a non-transitory computer readable medium.
  • the program may be stored on various types of temporary computer readable medium.
  • the temporary computer-readable medium is supplied with a program, for example, via a wired or wireless channel, i.e., via an electrical signal, an optical signal, or an electromagnetic wave.
  • FIG. 15 is a block diagram showing a main part of the video coding device.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and each is equally divided based on a common intra prediction direction.
  • Coding processing unit (coding processing means) 11 that applies prediction processing and conversion processing to the luminance component block (in the embodiment, it is realized by the conversion / quantizer 101, the inverse quantization / inverse converter 103, and the predictor 105. It is provided with at least a control unit (control means) 12 (in the embodiment, realized by the coding controller 107) that controls whether or not equal division is applied to the intra-CU.
  • FIG. 16 is a block diagram showing a main part of the video decoding device.
  • the video decoding device 20 shown in FIG. 16 divides the luminance component block of the intra-CU divided by a quadtree or a multi-type tree into equal divisions horizontally or vertically, and each division into equal divisions based on a common intra prediction direction.
  • a decoding processing unit (decoding processing means) 21 (in the embodiment, realized by the inverse quantization / inverse converter 203 and the predictor 204) that applies the prediction process and the inverse conversion process to the component block, and at least the intra-CU.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and prediction processing is performed on each of the equally divided luminance component blocks based on a common intra prediction direction.
  • the coding processing means to which the conversion processing is applied A video coding device including at least a control means for controlling whether or not the equal division is applied to the intra-CU.
  • the control means monitors at least the width and height of the intra-CU, and the equal division is performed on condition that the width and height of each equally divided luminance component block are not less than the minimum conversion size.
  • the control means monitors at least the image size of the intra-CU, and applies the equal division on condition that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • a video decoding device including at least a control means for controlling whether or not the equal division is applied to the intra-CU.
  • the control means monitors at least the width and height of the intra-CU, and the equal division is performed on condition that the width and height of each equally divided luminance component block are not less than the minimum conversion size.
  • the control means monitors at least the image size of the intra-CU, and applies the equal division on condition that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • a video decoding device including a decoding means (in the embodiment, realized by the entropy decoder 202) for decoding the bitstream for which the equal division is invalid for a bitstream having an image size larger than a predetermined size.
  • Appendix 8 A video coding device from any of the appendices 1 to 3 and A video system including a video decoding device according to any one of Supplementary note 4 to Supplementary note 7.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and prediction processing is performed on each of the equally divided luminance component blocks based on a common intra prediction direction. And apply the conversion process, A video coding method that controls whether or not the equal division is applied to at least the intra-CU.
  • At least the width and height of the intra-CU are monitored, and the equal division is applied provided that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • Video coding method At least the width and height of the intra-CU are monitored, and the equal division is applied provided that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • At least the image size of the intra-CU is monitored, and the equal division is applied on condition that the width and height of each equally divided luminance component block do not become less than the minimum conversion size. Coding method.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and prediction processing is performed on each of the equally divided luminance component blocks based on a common intra prediction direction. And apply the inverse conversion process, A video decoding method that controls whether or not the equal division is applied to at least the intra-CU.
  • At least the width and height of the intra-CU are monitored, and the equal division is applied provided that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • Video decoding method At least the width and height of the intra-CU are monitored, and the equal division is applied provided that the width and height of each equally divided luminance component block do not become less than the minimum conversion size.
  • At least the image size of the intra-CU is monitored, and the equal division is applied on condition that the width and height of each equally divided luminance component block are not less than the minimum conversion size. Decryption method.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is equally divided horizontally or vertically, and prediction processing is performed on each of the equally divided luminance component blocks based on a common intra prediction direction. And apply the inverse conversion process, A video decoding method for decoding a bitstream whose image size is larger than a predetermined size and for which the equal division is invalid.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is divided horizontally or vertically into equal parts, and prediction processing and conversion processing are performed on each of the equally divided brightness component blocks based on a common intra prediction direction.
  • the luminance component block of the intra-CU divided by a quadtree or a multi-type tree is divided horizontally or vertically into equal parts, and prediction processing and conversion processing are performed on each of the equally divided brightness component blocks based on a common intra prediction direction.
  • the process to apply and A video coding program for executing at least a process of controlling whether or not the equal division is applied to the intra-CU.
  • Appendix 23 A video decoding program that executes each step of the video decoding method according to any one of the appendices 12 to 15.
  • Video coding device 11 Coding processing unit 12
  • Control unit 20 Video decoding device 21
  • Decoding processing unit 22 Control unit 100
  • Video coding device 101 Conversion / quantizer 102
  • Entropy coding device 103 Inverse quantization / Inverse converter 104 Buffer 105
  • Predictor 106 Multiplexer 107 Coding Controller 200
  • Video Decoding Device 201 Demultiplexing Demultiplexer 202
  • Entropy Decoder 203 Inverse Quantization / Inverse Converter
  • Predictor 205 Buffer 206 Decoding Controller 300 Transmission Channel 1001 Processor 1002 Program Memory 1003,1004 Storage medium

Abstract

映像符号化装置１０は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および変換処理を適用する符号化処理部１１と、少なくともイントラＣＵに等分割を適用するか否かを制御する制御部１２とを含む。

Description

映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
　本発明は、四分木およびマルチタイプ木に基づくブロック分割を用いる映像符号化装置、映像復号装置、映像符号化方法および映像復号方法に関する。
　非特許文献１は、ＶＶＣ（Versatile Video Coding）と呼ばれる映像符号化方式を開示する。
　非特許文献１に記載された映像符号化方式では、ディジタル化された映像の各フレームは符号化ツリーユニット（ＣＴＵ：Coding Tree Unit）に分割され、ラスタスキャン順に各ＣＴＵが符号化される。
　各ＣＴＵは、四分木（ＱＴ：Quad-Tree）構造またはマルチタイプ木（ＭＭＴ：Multi-Type Tree）構造で、符号化ユニット（ＣＵ：Coding Unit）に分割されて符号化される。四分木構造を用いる分割では、ブロックが、水平および垂直に等分割される。マルチタイプ木構造を用いる分割では、ブロックが、水平もしくは垂直に２分割または３分割される。
　各ＣＵは、予測符号化される。予測符号化には、イントラ予測と動き補償予測がある。各ＣＵの予測誤差は、周波数変換に基づいて変換符号化される。
　イントラ予測は、符号化対象フレームと表示時刻が同一の再構築画像から予測画像を生成する予測である。非特許文献１では、図１７に示す６５種類の角度イントラ予測が定義されている。角度イントラ予測では、符号化対象ブロック周辺の再構築画素を６５種類の方向のいずれかに外挿して、イントラ予測信号が生成される。非特許文献１では、角度イントラ予測に加えて、符号化対象ブロック周辺の再構築画素を平均するDCイントラ予測、および、符号化対象ブロック周辺の再構築画素を線形補間するPlanarイントラ予測が定義されている。以下、イントラ予測に基づいて符号化されたＣＵをイントラＣＵと呼ぶ。
　動き補償予測は、符号化対象フレームとは表示時刻が異なる再構築画像（参照ピクチャ）から予測画像を生成する予測である。以下、動き補償予測をインター予測ともいう。
　図１８は、動き補償予測の例を示す説明図である。動きベクトルMV＝（mvx, mvy）は、符号化対象ブロックに対する参照ピクチャの再構築画像ブロックの並進移動量を示す。インター予測では、参照ピクチャの再構築画像ブロックに基づいて（必要であれば画素補間を用いて）、インター予測信号が生成される。以下、動き補償予測に基づいて符号化されたＣＵをインターＣＵと呼ぶ。
　イントラＣＵのみで符号化されたフレームは、Ｉフレーム（または、Ｉピクチャ）と呼ばれる。イントラＣＵだけでなくインターＣＵも含めて符号化されたフレームは、Ｐフレーム（または、Ｐピクチャ）と呼ばれる。ブロックのインター予測に、１枚の参照ピクチャだけでなく、同時に２枚の参照ピクチャを用いるインターＣＵを含めて符号化されたフレームは、Ｂフレーム（またはＢピクチャ）と呼ばれる。
　なお、１枚の参照ピクチャを用いるインター予測は片方向予測と呼ばれ、同時に２枚の参照ピクチャを用いるインター予測は双方向予測と呼ばれる。
　図１９は、フレームの画素数がＣＩＦ（ＣＩＦ：Common Intermediate Format）で、ＣＴＵサイズが６４の場合のフレームｔのＣＴＵ分割例、および、フレームｔに含まれる第８のＣＴＵ（ＣＴＵ８）の分割例を示す説明図である。
　図１９には、全てのＣＵが正方形の場合が示されている。しかし、図２０に示されるように、マルチタイプ木構造でＣＵが矩形に分割されてもよい。非特許文献１では、split_qt_flagシンタクス値が０の場合、マルチタイプ木構造が使用される。また、mtt_split_cu_vertical_flagシンタクス値とmtt_split_cu_binary_flagシンタクス値によって、分割の方向（水平、垂直）が規定される。
　図２０（ａ）には、マルチタイプ木構造で使用される４つの分割形状（分割モード）が示されている。SPLIT_BT_HORおよびSPLIT_BT_VERは、二分木分割である。SPLIT_TT_HORおよびSPLIT_TT_VERは、三分木分割である。図２０（ｂ）には、分割形状とシンタクス値との関係が示されている。
　ＶＶＣ規格には、Intra Sub-Partition（ＩＳＰ）が導入されている。ＩＳＰは、イントラ予測方向を共有しながら、イントラ符号化ブロックの輝度成分ブロックを水平または垂直に等分割（２分割または４分割）する手法である。図２１は、イントラ符号化ブロックのＩＳＰによる分割の一例を示す説明図である。
　ＩＳＰの分割数は、イントラ符号化ブロックのサイズが４×８または８×４のときに２であり、その他のときに４である。また、ＩＳＰによる分割後の輝度成分ブロックのイントラ予測の幅は４以上に制約される。よって、分割後の輝度成分ブロックの幅が４未満であるイントラ符号化ブロックにおいて、イントラ予測処理の単位と変換処理の単位とが異なる。また、ＩＳＰは、１６画素よりも大きなサイズのイントラブロックのみに適用される。
　ＩＳＰによって、イントラ符号化ブロックの符号量を増加させることなく、処理対象画素と予測参照画素との距離を短くして予測性能を高めることができる。すなわち、ＩＳＰによって映像の圧縮効率を高めることができる。
Benjamin Bross, et al., "Versatile Video Coding (Draft 10)", JVET-S2001-v7, Joint Video Experts Team (JVET) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 19th Meeting: by teleconference, 22 June - 1 July 2020
　しかし、ＩＳＰを利用すると、等分割された輝度成分ブロックが変換処理単位になる。その結果、輝度成分の各Transform Block（ＴＢ）のCoded Block Flag（ＣＢＦ）を表現する中間データが大幅に増加するという課題がある。ＩＳＰで等分割された各ＴＢの幅または高さが、本来の最小ＴＢのサイズである変換処理の最小サイズよりも小さくなるからである。なお、中間データは、映像符号化処理および映像復号処理の実行過程においてフレームの再構築画像を得るために必要なデータである。映像符号化装置および映像復号装置は、中間データを格納しうるサイズの記憶部を有する。
　例えば、最小ＴＢの幅および高さが４であっても、ＩＳＰによって水平方向に等分割された１６×４のイントラブロックの各ＴＢの高さは１である（図２１における下段左側参照）。同様に、ＩＳＰによって垂直方向に等分割された４×１６のイントラブロックの等分割された輝度成分の各ＴＢの幅は１である。
　図２２に示されるように、固定長で輝度成分のＴＢのＣＢＦを表現する場合、ＩＳＰを利用するときに（図２２における右側参照）、ＩＳＰを利用しないとき（図２２における左側参照）と比較して、ＣＢＦを表現する粒度が１６倍になる。すなわち、中間データ量が１６倍になる。なお、図２２に示す例では、ＩＳＰが利用されるときには、最小ＴＢの粒度でＣＢＦが保持される。ＩＳＰが利用されるときには、１画素の粒度でＣＢＦが保持される。
　すなわち、映像符号化装置が、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて、等分割された各ブロックに予測および変換を利用するときに、中間データ量が増大する。また、映像復号装置が、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて、等分割された各ブロックに予測および変換を利用するときに、中間データ量が増大する。
　本発明は、映像データの圧縮効率を改善しつつ、中間データ量の増大を抑制できる映像符号化装置、映像復号装置、映像符号化方法および映像復号方法を提供することを目的とする。
　本発明による映像符号化装置は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および変換処理を適用する符号化処理手段と、少なくともイントラＣＵに等分割を適用するか否かを制御する制御手段とを含む。
　本発明による映像復号装置は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理手段と、少なくともイントラＣＵに等分割を適用するか否かを制御する制御手段とを含む。
　本発明による映像符号化方法は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および変換処理を適用し、少なくともイントラＣＵに等分割を適用するか否かを制御する。
　本発明による映像復号方法は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および逆変換処理を適用し、少なくともイントラＣＵに等分割を適用するか否かを制御する。
　本発明による映像符号化プログラムは、コンピュータに、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および変換処理を適用する処理と、少なくともイントラＣＵに等分割を適用するか否かを制御する処理とを実行させる。
　本発明による映像復号プログラムは、コンピュータに、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、所定サイズよりも大きな画像サイズのビットストリームでは等分割が無効とされたビットストリームを復号する処理とを実行させる。
　本発明によれば、映像データの圧縮効率を改善しつつ、中間データ量の増大が抑制される。
第１の実施形態の映像符号化装置を示すブロック図である。 第１の実施形態における符号化制御器の動作を示すフローチャートである。 ＣＵシンタクス（Coding unit syntax）の一部を示す説明図である。 intra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約を示す説明図である。 実施形態の作用の例を示す説明図である。 実施形態の効果を示す説明図である。 第１の実施形態の映像復号装置を示すブロック図である。 第１の実施形態における復号制御器の動作を示すフローチャートである。 第２の実施形態における符号化制御器の動作を示すフローチャートである。 第２の実施形態における復号制御器の動作を示すフローチャートである。 ＣＵシンタクス（Coding unit syntax）の一部を示す説明図である。 第２の実施形態におけるintra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約を示す説明図である。 映像システムの一例を示すブロック図である。 映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 映像符号化装置の主要部を示すブロック図である。 映像復号装置の主要部を示すブロック図である。 ６５種類の角度イントラ予測の例を示す説明図である。 フレーム間予測の例を示す説明図である。 フレームｔのＣＴＵ分割例、および、フレームｔのCTU8のＣＵ分割例を示す説明図である。 マルチタイプ木構造を用いるＣＵ分割例を示す説明図である。 イントラ符号化ブロックのＩＳＰによる分割の一例を示す説明図である。 ＩＳＰを利用しない場合とＩＳＰを利用する場合との比較のための説明図である。
　以下、本発明の実施形態を図面を参照して説明する。
実施形態１．
　図１は、映像符号化装置の実施形態（第１の実施形態）を示すブロック図である。本実施形態の映像符号化装置１００は、少なくともイントラＣＵの幅および高さを監視して、イントラＣＵに適用されるＩＳＰを制御する。
　図１に示す映像符号化装置１００は、変換／量子化器１０１、エントロピー符号化器１０２、逆量子化／逆変換器１０３、バッファ１０４、予測器１０５、多重化器１０６、および符号化制御器１０７を備える。
　予測器１０５は、ＣＴＵ毎に、ＣＵ形状を決定するsplit_cu_flagシンタクス値、split_qt_flagシンタクス値、mtt_split_cu_vertical_flagシンタクス値、およびmtt_split_cu_binary_flagシンタクス値を決定する。ＣＵ形状は、例えば、符号化コストを最小にする形状である。
　また、予測器１０５は、ＣＵ毎に、イントラ予測／インター予測を決定するpred_mode_flagシンタクス値、ＩＳＰの有効／無効を決定するintra_subpartitions_mode_flagシンタクス値（１のときにＩＳＰは有効）、ＩＳＰの分割方向を決定するintra_subpartitions_split_flagシンタクス値（１のときに垂直方向に分割、０のときに水平方向に分割）、イントラ予測方向、および動きベクトルを決定する。それらの値は、例えば、符号化コストを最小にするような値である。
　さらに、予測器１０５は、決定されたsplit_cu_flagシンタクス値、split_qt_flagシンタクス値、mtt_split_cu_vertical_flagシンタクス値、mtt_split_cu_binary_flagシンタクス値、pred_mode_flagシンタクス値、intra_subpartitions_mode_flagシンタクス値、intra_subpartitions_split_flagシンタクス値、イントラ予測方向、および動きベクトルなどに基づいて、各ＣＵの入力画像信号に対する予測信号を生成する。予測信号は、上述したイントラ予測またはインター予測に基づいて生成される。
　変換／量子化器１０１は、減算器で入力画像信号から予測信号が減じられた予測誤差画像を、周波数変換する。さらに、変換／量子化器１０１は、周波数変換された予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
　エントロピー符号化器１０２は、予測器１０５が決定したsplit_cu_flagシンタクス値、split_qt_flagシンタクス値、mtt_split_cu_vertical_flagシンタクス値、mtt_split_cu_binary_flagシンタクス値、pred_mode_flagシンタクス値、intra_subpartitions_mode_flagシンタクス値、intra_subpartitions_split_flagシンタクス値、イントラ予測方向、動きベクトルの差分情報、および変換量子化値をエントロピー符号化する。
　符号化制御器１０７は、イントラＣＵの幅cbWidth、高さcbHeight、および、ＩＳＰの分割数NumIntraSubPartitionsを監視する。また、符号化制御器１０７は、cbWidth、cbHeight、およびMinTbSizeYを監視する。
　逆量子化／逆変換器１０３は、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、加算器によって予測信号が加えられた後、バッファ１０４に供給される。バッファ１０４は、再構築画像を格納する。
　多重化器１０６は、エントロピー符号化器１０２から供給されるエントロピー符号化データに他のデータを多重化し、ビットストリームとして出力する。
　上述した動作によって、本実施形態の映像符号化装置１００は、ビットストリームを生成して出力する。
　次に、図２のフローチャートを参照して、符号化制御器１０７の動作を説明する。
　符号化制御器１０７は、予測器１０５が決定するＩＳＰを制御する（ステップＳ１００１）。
　具体的には、符号化制御器１０７は、ステップＳ１００１の処理で、ＩＳＰで等分割された輝度成分ブロックの各ＴＢの幅および高さが最小ＴＢの幅および高さ未満にならないように、イントラＣＵについて予測器１０５が決定するintra_subpartitions_mode_flagシンタクス値、および、intra_subpartitions_split_flagシンタクス値を制御する。ただし、ＶＶＣ規格において、NumIntraSubPartitionsは、intra_subpartitions_mode_flag=0のイントラブロックでは１個である。intra_subpartitions_mode_flag=1のイントラブロックでは、その画素数が３２画素のとき（すなわち、cbWidthとcbHeightの積が３２のとき）に、NumIntraSubPartitionsは２個である。その他のときには、NumIntraSubPartitionsは４個である。なお、ＶＶＣ規格において、画素数が１６画素以下のイントラＣＵではＩＳＰは無効であり、NumIntraSubPartitionsは１個である。
　より具体的には、符号化制御器１０７は、intra_subpartitions_split_flagが０の場合、ＩＳＰで等分割される輝度成分ブロックの各ＴＢの高さ（すなわち、cbHeight）をNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵについては、予測器１０５にintra_subpartitions_mode_flag=１を選択させない。そのような制御は、符号化制御器１０７が、intra_subpartitions_mode_flag=１の場合、ＩＳＰで等分割される輝度成分ブロックの各ＴＢの高さ（すなわち、cbHeight）をNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵでは、予測器１０５にintra_subpartitions_split_flag=０を選択させないことと等価である。
　同様に、符号化制御器１０７は、intra_subpartitions_split_flagが１の場合、ＩＳＰで等分割される輝度成分ブロックの各ＴＢの幅（すなわち、cbWidth）をNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵについては、予測器１０５にintra_subpartitions_mode_flag=１を選択させない。そのような制御は、符号化制御器１０７が、intra_subpartitions_mode_flag=１の場合、ＩＳＰで等分割される輝度成分ブロックの各ＴＢの幅（すなわち、cbWidth）をNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵでは、予測器１０５にintra_subpartitions_split_flag=１を選択させないことと等価である。ただし、MinTbSizeYは、最小ＴＢのサイズである変換処理の最小サイズである。
　また、符号化制御器１０７は、エントロピー符号化器１０２のＩＳＰの情報のエントロピー符号化を制御する（ステップＳ１００２）。
　具体的には、符号化制御器１０７は、ステップＳ１００２の処理で、cbWidthとcbHeightの積が１６以下のイントラＣＵ（すなわち画素数が１６画素以下のイントラＣＵ）については、予測器１０５にintra_subpartitions_mode_flag=１を選択させないように制御する。
　また、符号化制御器１０７は、少なくとも、cbWidth、cbHeight、およびMinTbSizeYを監視する。符号化制御器１０７は、cbWidthとcbHeightの積が１６以下のイントラＣＵ（すなわち、画素数が１６画素以下のイントラＣＵ）については、エントロピー符号化器１０２にintra_subpartitions_mode_flagシンタクス値をエントロピー符号化させない。図３には、非特許文献１の7.3.10.5 Coding unit syntaxから抜粋された一部が示されている。符号化制御器１０７によるこのようなエントロピー符号化させない制御は、図３において下線が施されたされた条件を遵守するために実行される。
　図４は、intra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約を示す説明図である。MinTbSizeY=４の場合、上述した符号化制御器１０７の制御によって、cbWidthとcbHeightに対するintra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約は、図４に示されたようになる。なお、図４において、「NA」は、シンタクス値をエントロピー符号化しないことを示す。図４の記載からわかるように、符号化制御器１０７は、cbHeightをNumIntraSubPartitionsで割った値がMinTbSizeY未満になり、かつ、cbWidthをNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵについては、エントロピー符号化器１０２に、intra_subpartitions_mode_flagシンタクス値をエントロピー符号化させない。
　図５は、本実施形態の作用の例を示す説明図である。図５において×で示されるように、本実施形態では、分割結果が最小ＴＢサイズ（４画素）未満になるような分割（ＩＰＳの適用）が禁止される。
　以上に説明したように、符号化制御器１０７がイントラＣＵにＩＰＳを適用するか否かを制御するので、映像符号化装置は、ＩＳＰを利用しつつ、ＩＳＰで等分割された輝度成分ブロックの各ＴＢのＣＢＦの幅および高さが最小ＴＢサイズ未満となることを防止できる。すなわち、ＩＳＰを利用して圧縮効率を改善しながら、中間データ量の増大が抑制された映像符号化装置１００が提供される。
　図６は、本実施形態の効果を把握しやすくするための説明図である。図６に示すように、本実施形態では、固定長で輝度成分のＴＢのＣＢＦを表現する場合、ＩＳＰを利用しない場合と利用する場合とで、中間データサイズが同じになる。
　図７は、映像復号装置の実施形態を示すブロック図である。本実施形態の映像復号装置２００は、少なくともイントラＣＵの幅および高さを監視して、イントラＣＵに適用されるＩＳＰを制御する。
　図７に示す映像復号装置２００は、多重化解除器２０１、エントロピー復号器２０２、逆量子化／逆変換器２０３、予測器２０４、バッファ２０５、および復号制御器２０６を備える。
　多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化データを抽出する。
　エントロピー復号器２０２は、エントロピー符号化データをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を、逆量子化／逆変換器２０３に供給する。また、エントロピー復号器２０２は、split_cu_flag、split_qt_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag、pred_mode_flag、intra_subpartitions_mode_flag、intra_subpartitions_split_flag、イントラ予測方向、および動きベクトルの差分情報を、予測器２０４に供給する。
　映像復号装置２００において、復号制御器２０６は、映像符号化装置１００の符号化制御器１０７と同様に、イントラＣＵの幅cbWidth、高さcbHeight、およびＩＳＰの分割数NumIntraSubPartitionsを監視する。
　逆量子化／逆変換器２０３は、量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆量子化／逆変換器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
　予測器２０４は、split_cu_flag、split_qt_flag、mtt_split_cu_vertical_flag、mtt_split_cu_binary_flag、pred_mode_flag、intra_subpartitions_mode_flag、intra_subpartitions_split_flag、イントラ予測方向、および動きベクトルの差分情報に基づいて、各サブブロックの予測信号を生成する。予測信号は、上述したイントラ予測または動き補償予測に基づいて生成される。
　逆量子化／逆変換器２０３で逆周波数変換された再構築予測誤差画像は、加算器によって、予測器２０４から供給される予測信号が加えられた後、再構築ピクチャとしてバッファ２０５に供給される。バッファ２０５は、再構築ピクチャを格納する。そして、バッファ２０５に格納された再構築ピクチャがデコード画像として出力される。
　上述した動作によって、本実施形態の映像復号装置２００は、デコード画像を生成して出力する。
　次に、図８のフローチャートを参照して、復号制御器２０６の動作を説明する。
　復号制御器２０６は、エントロピー復号器２０２のＩＳＰの情報のエントロピー復号を制御する（ステップＳ２００１）。
　具体的には、復号制御器２０６は、ステップＳ２００１の処理で、cbHeightをNumIntraSubPartitionsで割った値がMinTbSizeY未満になり、かつ、cbWidthをNumIntraSubPartitionsで割った値がMinTbSizeY未満になるイントラＣＵについては、エントロピー復号器２０２に、intra_subpartitions_mode_flagシンタクス値をエントロピー復号させない（図４参照）。
　また、映像復号装置２００において、復号制御器２０６は、映像符号化装置１００の符号化制御器１０７と同様に、少なくとも、cbWidth、cbHeight、およびMinTbSizeYを監視する。復号制御器２０６は、cbWidthとcbHeightの積が１６以下のイントラＣＵについては、エントロピー復号器２０２に、intra_subpartitions_mode_flagをエントロピー復号させない。その場合、復号制御器２０６およびエントロピー復号器２０２は、そのようなイントラＣＵについては、intra_subpartitions_mode_flag=0を復号値として解釈する。
　以上に説明したように、復号制御器２０６がイントラＣＵにＩＰＳを適用するか否かを制御するので、映像復号装置２００は、ＩＳＰを利用しつつ、ＩＳＰで等分割された輝度成分ブロックの各ＴＢのＣＢＦの幅および高さが最小ＴＢサイズ未満となることを防止できる。すなわち、ＩＳＰを利用して圧縮効率を改善しながら、中間データ量の増大が抑制された映像復号装置２００が提供される。
実施形態２．
　第１の実施形態では、非特許文献１に記載されたＶＶＣ規格と互換性を保てる映像符号化装置１００および映像復号装置２００が説明された。しかし、本実施形態（第２の実施形態）の映像符号化装置１００および映像復号装置２００は、さらに、値が固定されるintra_subpartitions_mode_flagやintra_subpartitions_split_flagのエントロピー符号化およびエントロピー復号を制御する。
　本実施形態（第２の実施形態）の映像符号化装置の構成は、図１に示された第１の実施形態の映像符号化装置１００の構成と同じである。ただし、本実施形態における符号化制御器１０７は、第１の実施形態における機能に対する追加機能も有する。また、本実施形態の映像復号装置の構成は、図７に示された第１の実施形態の映像復号装置２００の構成と同じである。ただし、本実施形態における復号制御器２０６は、第１の実施形態における機能に対する追加機能も有する。
　図９のフローチャートを参照して、本実施形態における符号化制御器１０７の動作を説明する。
　本実施形態において、符号化制御器１０７は、第１の実施形態の場合と同様に、予測器１０５が決定するＩＳＰを制御する（ステップＳ１００１）。また、符号化制御器１０７は、エントロピー符号化器１０２のＩＳＰの情報のエントロピー符号化を制御する（ステップＳ１００３）。
　すなわち、符号化制御器１０７は、ステップＳ１００１の処理で、少なくともイントラＣＵの幅cbWidth、高さcbHeight、およびMinTbSizeYを監視する。符号化制御器１０７は、cbWidthとcbHeightの積が１６以下のイントラＣＵについては、エントロピー符号化器１０２にintra_subpartitions_mode_flagシンタクス値をエントロピー符号化させない。また、符号化制御器１０７は、ステップＳ１００３の処理で、cbWidthをNumIntraSubPartitionsで割った値とcbHeightをNumIntraSubPartitionsで割った値との両方がMinTbSizeY未満となるイントラＣＵについては、エントロピー符号化器１０２にintra_subpartitions_mode_flagシンタクス値をエントロピー符号化させない。
　本実施形態では、符号化制御器１０７は、ステップＳ１００３の処理で、以下のような制御も行う。
　符号化制御器１０７は、intra_subpartitions_mode_flag=１のイントラＣＵであって、cbWidthをNumIntraSubPartitionsで割った値とcbHeightをNumIntraSubPartitionsで割った値とのいずれか一方でMinTbSizeY未満となるイントラＣＵについては、エントロピー符号化器１０２に、intra_subpartitions_split_flagシンタクス値をエントロピー符号化させない。
　図１０のフローチャートを参照して、本実施形態における復号制御器２０６の動作を説明する。
　本実施形態において、復号制御器２０６は、ステップＳ２００２の処理で、第１の実施形態の場合と同様、少なくともイントラＣＵの幅cbWidth、高さcbHeight、およびMinTbSizeYを監視する。復号制御器２０６は、cbWidthとcbHeightの積が１６以下のイントラＣＵについては、エントロピー復号器２０２に、intra_subpartitions_mode_flagをエントロピー復号させない。その場合、復号制御器２０６およびエントロピー復号器２０２は、そのようなイントラＣＵについては、intra_subpartitions_mode_flag=0を復号値として解釈する。
　本実施形態では、復号制御器２０６は、ステップＳ２００２の処理で、以下のような制御も行う。
　復号制御器２０６は、intra_subpartitions_mode_flag=１のイントラＣＵであって、cbWidthをNumIntraSubPartitionsで割った値とcbHeightをNumIntraSubPartitionsで割った値とのいずれか一方でMinTbSizeY未満となるイントラＣＵについては、エントロピー復号器２０２に、intra_subpartitions_split_flagシンタクス値をエントロピー復号させない。
　なお、復号制御器２０６は、intra_subpartitions_mode_flag=１のイントラＣＵであって、cbWidthをNumIntraSubPartitionsで割った値がMinTbSizeY未満となるイントラＣＵについては、エントロピー復号されなかったintra_subpartitions_split_flagの復号値を０と解釈する。また、復号制御器２０６は、intra_subpartitions_mode_flag=１のイントラＣＵであって、cbHeightをNumIntraSubPartitionsで割った値がMinTbSizeY未満となるイントラＣＵについては、エントロピー復号されなかったintra_subpartitions_split_flagを復号値を１と解釈する。
　図１１には、非特許文献１の7.3.10.5 Coding unit syntaxから抜粋された一部が示されている。図１１には、本実施形態の制御が反映されている。本実施形態の制御が反映された箇所は、下線が施されたされた箇所である。
　図１２は、intra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約を示す説明図である。MinTbSizeY=４の場合、本実施形態の符号化制御器１０７および復号制御器２０６の制御によって、cbWidthとcbHeightに対するintra_subpartitions_mode_flagとintra_subpartitions_split_flagの制約は、図１２に示されたようになる。なお、図１２において、「NA」は、シンタクス値をエントロピー符号化しないことを示す。
実施形態３．
　上記の実施形態では、輝度成分の各ＴＢのＣＢＦの中間データ量が増大することを抑制するために、少なくともイントラＣＵの幅および高さが監視され、イントラＣＵに適用されるＩＳＰが制御された。しかし、イントラＣＵ毎の監視処理も抑制する目的で、画像サイズを監視してもよい。その場合、符号化制御器１０７および復号制御器２０６は、画像サイズの監視結果に基づいて、gci_no_isp_constraint_flagシンタクス値を１にしたり、sps_isp_enabled_flagシンタクス値を０にすることによって、イントラＣＵに適用されるＩＳＰを禁止するように制御することができる。
　符号化制御器１０７および復号制御器２０６は、sps_pic_width_max_on_luma_samplesシンタクス値、sps_pic_height_max_on_luma_samplesシンタクス値、pps_pic_width_in_luma_samplesシンタクス値、pps_pic_height_in_luma_samplesシンタクス値などを監視すればよい。例えば、２Ｋ映像よりも大きな４Ｋ画像および８Ｋの映像でイントラＣＵに適用されるＩＳＰを禁止する場合、符号化制御器１０７および復号制御器２０６は、sps_pic_width_max_on_luma_samplesシンタクス値が１９２０よりも大きく、sps_pic_height_max_on_luma_samplesシンタクス値が１０８０よりも大きい場合に、gci_no_isp_constraint_flagシンタクス値を１としたり、sps_isp_enabled_flagシンタクス値を０とすればよい。また、符号化制御器１０７および復号制御器２０６は、pps_pic_width_in_luma_samplesシンタクス値が１９２０よりも大きく、pps_pic_height_in_luma_samplesシンタクス値が１０８０よりも大きい場合に、gci_no_isp_constraint_flagシンタクス値を１としたり、sps_isp_enabled_flagシンタクス値を０とすればよい。
　図１３は、映像システムの一例を示すブロック図である。図１３に示す映像システムは、上記の各実施形態の映像符号化装置１００と映像復号装置２００とが、伝送路（無線伝送路または有線伝送路）３００で接続されるシステムである。映像符号化装置１００は、上記の各実施形態のいずれかの映像符号化装置１００である。映像復号装置２００は、上記の各実施形態のいずれかの映像復号装置２００である。
　映像システムにおいて、映像符号化装置１００は、上記の各実施形態で説明された特徴を持つビットストリームを生成できる。また、映像システムにおいて、映像復号装置２００は、上記の各実施形態で説明された特徴を持つビットストリームを復号できる。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１４に示す情報処理システムは、ＣＰＵ（Central Processing Unit）等のプロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　情報処理システムにおいて、プログラムメモリ１００２には、上記の各実施形態で示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラム（映像符号化プログラムまたは映像復号プログラム）が格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、各実施形態で示された映像符号化装置１００または映像復号装置２００の機能を実現する。
　なお、少なくともプログラムメモリ１００２は、非一時的なコンピュータ可読媒体（non-transitory computer readable medium）である。ただし、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
　図１５は、映像符号化装置の主要部を示すブロック図である。図１５に示す映像符号化装置１０は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および変換処理を適用する符号化処理部（符号化処理手段）１１（実施形態では、変換／量子化器１０１、逆量子化／逆変換器１０３および予測器１０５で実現される。）と、少なくともイントラＣＵに等分割を適用するか否かを制御する制御部（制御手段）１２（実施形態では、符号化制御器１０７で実現される。）とを備えている。
　図１６は、映像復号装置の主要部を示すブロック図である。図１６に示す映像復号装置２０は、四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理部（復号処理手段）２１（実施形態では、逆量子化／逆変換器２０３および予測器２０４で実現される。）と、少なくともイントラＣＵに等分割を適用するか否かを制御する制御部（制御手段）２２（実施形態では、復号制御器２０６で実現される。）とを備えている。
　上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
（付記１）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用する符号化処理手段と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する制御手段と
　を備える映像符号化装置。
（付記２）前記制御手段は、少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記１の映像符号化装置。
（付記３）前記制御手段は、少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記１の映像符号化装置。
（付記４）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理手段と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する制御手段と
　を備える映像復号装置。
（付記５）前記制御手段は、少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記４の映像復号装置。
（付記６）前記制御手段は、少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記４の映像復号装置。
（付記７）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理手段と、
　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する復号手段（実施形態では、エントロピー復号器２０２で実現される。）と
　を備える映像復号装置。
（付記８）付記１から付記３のうちのいずれかの映像符号化装置と、
　付記４から付記７のうちのいずれかの映像復号装置と
　を備える映像システム。
（付記９）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用し、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する
　映像符号化方法。
（付記１０）少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記９の映像符号化方法。
（付記１１）少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記９の映像符号化方法。
（付記１２）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用し、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する
　映像復号方法。
（付記１３）少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記１２の映像復号方法。
（付記１４）少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
　付記１２の映像復号方法。
（付記１５）四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用し、
　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する
　映像復号方法。
（付記１６）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用する処理と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
　を実行させる映像符号化プログラムが格納されたコンピュータ読み取り可能な記録媒体。
（付記１７）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
　を実行させる映像復号プログラムが格納されたコンピュータ読み取り可能な記録媒体。
（付記１８）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する処理と
　を実行させる映像復号プログラムが格納されたコンピュータ読み取り可能な記録媒体。
（付記１９）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用する処理と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
　を実行させるための映像符号化プログラム。
（付記２０）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
　を実行させるための映像復号プログラム。
（付記２１）コンピュータに、
　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する処理と
　を実行させるための映像復号プログラム。
（付記２２）付記９から付記１１のいずれかの映像符号化方法の各ステップを実行する映像符号化プログラム。
（付記２３）付記１２から付記１５のいずれかの映像復号方法の各ステップを実行する映像復号プログラム。
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　　　映像符号化装置
　１１　　　符号化処理部
　１２　　　制御部
　２０　　　映像復号装置
　２１　　　復号処理部
　２２　　　制御部
　１００　　映像符号化装置
　１０１　　変換／量子化器
　１０２　　エントロピー符号化器
　１０３　　逆量子化／逆変換器
　１０４　　バッファ
　１０５　　予測器
　１０６　　多重化器
　１０７　　符号化制御器
　２００　　映像復号装置
　２０１　　多重化解除器
　２０２　　エントロピー復号器
　２０３　　逆量子化／逆変換器
　２０４　　予測器
　２０５　　バッファ
　２０６　　復号制御器
　３００　　伝送路
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３，１００４　記憶媒体

Claims (18)

  1. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用する符号化処理手段と、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する制御手段と
    　を備える映像符号化装置。
  2. 　前記制御手段は、少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項１に記載の映像符号化装置。
  3. 　前記制御手段は、少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項１に記載の映像符号化装置。
  4. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理手段と、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する制御手段と
    　を備える映像復号装置。
  5. 　前記制御手段は、少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項４に記載の映像復号装置。
  6. 　前記制御手段は、少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項４に記載の映像復号装置。
  7. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する復号処理手段と、
    　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する復号手段と
    　を備える映像復号装置。
  8. 　請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置と、
    　請求項４から請求項７のうちのいずれか１項に記載の映像復号装置と
    　を備える映像システム。
  9. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用し、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する
    　映像符号化方法。
  10. 　少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項９に記載の映像符号化方法。
  11. 　少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項９に記載の映像符号化方法。
  12. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用し、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する
    　映像復号方法。
  13. 　少なくともイントラＣＵの幅および高さを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項１２に記載の映像復号方法。
  14. 　少なくともイントラＣＵの画像サイズを監視して、前記等分割された各輝度成分ブロックの幅と高さとが最小変換サイズ未満にならないことを条件として前記等分割を適用する
    　請求項１２に記載の映像復号方法。
  15. 　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用し、
    　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する
    　映像復号方法。
  16. 　コンピュータに、
    　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および変換処理を適用する処理と、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
    　を実行させる映像符号化プログラムが格納されたコンピュータ読み取り可能な記録媒体。
  17. 　コンピュータに、
    　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
    　少なくともイントラＣＵに前記等分割を適用するか否かを制御する処理と
    　を実行させる映像復号プログラムが格納されたコンピュータ読み取り可能な記録媒体。
  18. 　コンピュータに、
    　四分木またはマルチタイプ木で分割されたイントラＣＵの輝度成分ブロックを水平または垂直に等分割し、共通のイントラ予測方向に基づいて前記等分割された各輝度成分ブロックに予測処理および逆変換処理を適用する処理と、
    　所定サイズよりも大きな画像サイズのビットストリームでは前記等分割が無効とされたビットストリームを復号する処理と
    　を実行させる映像復号プログラムが格納されたコンピュータ読み取り可能な記録媒体。
PCT/JP2020/032628 2020-08-28 2020-08-28 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法 WO2022044267A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/032628 WO2022044267A1 (ja) 2020-08-28 2020-08-28 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
JP2022545206A JPWO2022044267A1 (ja) 2020-08-28 2020-08-28

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/032628 WO2022044267A1 (ja) 2020-08-28 2020-08-28 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法

Publications (1)

Publication Number Publication Date
WO2022044267A1 true WO2022044267A1 (ja) 2022-03-03

Family

ID=80352906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/032628 WO2022044267A1 (ja) 2020-08-28 2020-08-28 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法

Country Status (2)

Country Link
JP (1) JPWO2022044267A1 (ja)
WO (1) WO2022044267A1 (ja)

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. K. RAMASUBRAMONIAN (QUALCOMM), G. VAN DER AUWERA (QUALCOMM), T. HSIEH (QUALCOMM), V. SEREGIN (QUALCOMM), L. PHAM VAN (QUALCOMM): "CE3-1.6: On 1xN and 2xN subblocks of ISP", 15. JVET MEETING; 20190703 - 20190712; GOTHENBURG; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-O0106, 19 June 2019 (2019-06-19), XP030205672 *
B. BROSS, J. CHEN, S. LIU, Y.-K. WANG: "Versatile Video Coding (Draft 10)", 131. MPEG MEETING; 20200629 - 20200703; ONLINE; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), no. m54716 ; JVET-S2001 PD, 29 July 2020 (2020-07-29), XP030289312 *
HUA YANG (INTERDIGITAL), YUWEN HE (INTERDIGITAL), RAHUL VANAM (INTERDIGITAL): "CE3-1.3: CU-level low latency intra sub-partitions for 4x8 and 8x4 CUs", 15. JVET MEETING; 20190703 - 20190712; GOTHENBURG; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-O0099, 18 June 2019 (2019-06-18), XP030205638 *
S. DE-LUXáN-HERNáNDEZ (FRAUNHOFER), V. GEORGE, J. MA, T. NGUYEN, H. SCHWARZ, D. MARPE, T. WIEGAND (HHI): "CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)", 13. JVET MEETING; 20190109 - 20190118; MARRAKECH; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. M0102-v5, 17 January 2019 (2019-01-17), pages 1 - 9, XP030202391 *
T.-C. MA (KWAI), X. XIU (KWAI), Y.-W. CHEN (KWAI), X. WANG (KWAI), H.-J. JHU (KWAI INC.): "CE3-1.4: Intra Sub-Partitions Coding without Thin Partitions", 15. JVET MEETING; 20190703 - 20190712; GOTHENBURG; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), no. JVET-O0109, 19 June 2019 (2019-06-19), XP030205676 *

Also Published As

Publication number Publication date
JPWO2022044267A1 (ja) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7343573B2 (ja) 逆量子化のための装置及び方法
US10097847B2 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and program
RU2648592C2 (ru) Управляющие данные для набора мозаичных фрагментов с ограничениями движения
US9838685B2 (en) Method and apparatus for efficient slice header processing
CN109547790B (zh) 用于在高效率视频编解码中处理分区模式的设备和方法
CN107197277B (zh) 视频解码设备以及视频解码方法
KR20160106127A (ko) 인코딩된 비트 스트림에서의 움직임 벡터 표현
KR20160072181A (ko) 비디오 및 이미지 코딩 및 디코딩을 위한 인트라 블록 카피 예측 모드의 피쳐
KR20160070771A (ko) 비디오 및 영상 코딩 및 디코딩에 대한 기본 색상 인덱스 맵 모드의 특징
US20220279172A1 (en) Image encoding/decoding method and device for determining division mode on basis of color format, and method for transmitting bitstream
KR102594690B1 (ko) 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
JPWO2019069602A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム
US11363301B2 (en) Conditionally parsed extension syntax for HEVC extension processing
JP2022517081A (ja) イントラ・サブパーティション・コーディング・ツールによって引き起こされるサブパーティション境界のためのデブロッキングフィルタ
JPWO2019069601A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法およびプログラム
CN114930841A (zh) 用于亮度分量和色度分量的基于bdpcm的图像解码方法及其装置
TW202236852A (zh) 高效視訊編碼器架構
KR20140081681A (ko) 영상의 부호화 방법 및 이를 이용하는 장치
WO2019188464A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、および画像復号方法
WO2022044267A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
KR102644971B1 (ko) 크로마 양자화 파라미터 테이블을 사용하는 영상 디코딩 방법 및 그 장치
CN114830642A (zh) 图像编码方法和图像解码方法
JP2021533618A (ja) イントラ予測のための方法及び機器
WO2022064700A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法
WO2022044268A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法および映像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20951517

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022545206

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20951517

Country of ref document: EP

Kind code of ref document: A1