WO2021117091A1 - 符号化方法、符号化装置、及びプログラム - Google Patents

符号化方法、符号化装置、及びプログラム Download PDF

Info

Publication number
WO2021117091A1
WO2021117091A1 PCT/JP2019/048104 JP2019048104W WO2021117091A1 WO 2021117091 A1 WO2021117091 A1 WO 2021117091A1 JP 2019048104 W JP2019048104 W JP 2019048104W WO 2021117091 A1 WO2021117091 A1 WO 2021117091A1
Authority
WO
WIPO (PCT)
Prior art keywords
coding
coding unit
sub
unit block
isp
Prior art date
Application number
PCT/JP2019/048104
Other languages
English (en)
French (fr)
Inventor
優也 大森
中村　健
小林　大祐
裕江 岩崎
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/783,056 priority Critical patent/US20230022215A1/en
Priority to JP2021563456A priority patent/JP7364936B2/ja
Priority to PCT/JP2019/048104 priority patent/WO2021117091A1/ja
Publication of WO2021117091A1 publication Critical patent/WO2021117091A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to a coding method, a coding device, and a program.
  • H.H. which is the latest international standard video coding standard. 265 / HEVC (High Efficiency Video Coding) (hereinafter referred to as "HEVC") is becoming widespread.
  • HEVC High Efficiency Video Coding
  • H. 266 / VVC Very Video Coding
  • VVC Very Video Coding
  • Intra-predictive coding means that when a coding unit (CU), which is a coding unit block, is coded, the pixels of the pixels located around the CU to be coded (hereinafter referred to as “the CU to be coded”). This is a coding method that predicts, estimates, and compensates for the pixel values of the pixels in the coding target CU based on the values.
  • CU coding unit
  • the intra-predictive coding is a pixel located in a CU adjacent to the CU to be coded, and is a pixel in a generated reconstructed image (that is, an image that has been coded and decoded).
  • Intra-predictive coding encodes the difference between the input image and the predictive image.
  • Intra-prediction coding determines, for each CU, an intra-prediction mode that minimizes the RD (Rate-Distortion) cost in generating a prediction image.
  • the intra prediction mode there are a plurality of directional prediction modes (ANGULAR mode), one DC prediction mode (DC mode), and one plane prediction mode (PLANAR mode).
  • the number of modes in the ANGULAR mode is set to 33 modes in HEVC and 65 modes in VVC.
  • the encoder in intra-prediction coding, it is ideal for the encoder to select the intra-prediction mode that minimizes the RD cost.
  • frequency conversion such as predictive image generation, difference image generation, discrete cosine transform (DCT), quantization, and entropy coding processing of CABAC (Context-based Adaptive Binary Arithmetic Coding) Is required.
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the intra prediction mode is often determined using the value of the cost that simplifies the RD cost (hereinafter referred to as "simplified cost").
  • a value obtained by adding an overhead bit or the like to the difference absolute value sum (SATD) of the difference image may be used as the simplification cost.
  • the encoder performs prediction image generation, difference image generation, frequency conversion, quantization, dequantization, and reverse frequency conversion processing only for one intra prediction mode determined based on the simplification cost, and is to be encoded. Generate a reconstructed image of the CU. The generated reconstructed image is referred to in the intra-predictive coding of other coded CUs encoded thereafter.
  • the encoder only needs to execute the above-mentioned processing such as frequency conversion once in the generation of the reconstructed image. That is, the encoder does not need to perform the above-mentioned processing such as frequency conversion in order to determine the intra prediction mode.
  • ISP IntraSubPartition
  • the CU is divided vertically or horizontally. Further, in the ISP prediction process, the CU is divided into two or four sub-CUs. Further, in the ISP prediction process, the same intra prediction mode is used in all the sub-CUs divided from the same CU. Therefore, the intra prediction mode of two or four sub-CUs can be expressed by only one flag, and the code amount is reduced.
  • the intra-prediction for the CU to be encoded is performed with reference to the reconstructed image of the adjacent CU.
  • the reconstructed image is sequentially generated for each sub-CU, so that it is possible to perform intra-prediction for the sub-CU to be encoded by referring to the reconstructed image of the adjacent sub-CU. it can. Therefore, in the ISP prediction processing, the spatial distance between the pixel to be coded and the reference destination pixel is closer than that in the normal intra-prediction coding, and it is possible to refer to a pixel having a higher correlation. As a result, the ISP prediction process can further improve the prediction accuracy of the prediction image and reduce the code amount.
  • the ISP prediction process information indicating whether or not the ISP prediction process should be used and information indicating in which direction (vertical direction or horizontal direction) the CU should be divided are transmitted as flags. Ru.
  • how many CUs should be divided (either two or four) is automatically determined based on the size of the CU to be encoded. Therefore, in the ISP prediction process, a flag indicating how many CUs should be divided is unnecessary.
  • the ISP prediction process reduces the amount of code by expressing the intra prediction mode of all sub-CUs with only one flag. This is because it is assumed that the intra prediction modes of the sub-CUs divided from the same CU are similar. However, if there are variations in the intra-prediction mode that should be originally determined when the ISP prediction process is not used for each sub-CU, the intra-prediction mode that should be originally determined is determined to be a completely different intra-prediction mode. A sub-CU is created in which intra-prediction is made. As a result, even if the distance between the encoding target pixel and the reference destination pixel is short, the prediction accuracy in the intra prediction may be low. That is, when the ISP prediction process is used, the code amount may rather increase. In fact, it is not uncommon for the intra-prediction modes of each sub-CU to vary, and it may not be desirable to use ISP prediction processing.
  • the ISP prediction processing it is possible to determine whether or not the ISP prediction processing should be used by calculating and comparing the RD costs for all the intra prediction modes for each sub-CU. However, if it is determined that the ISP prediction process should not be used, the process performed for this determination is wasted. Then, the amount of processing performed for this determination may be enormous.
  • the intra-prediction mode of the sub-CUs in the same CU is common, and the reference pixel in the intra-prediction is another sub-CU in the same CU. Therefore, the intra prediction mode cannot be determined sequentially for each sub-CU.
  • the ISP prediction process when calculating the cost for the intra prediction mode, the above is performed for the second sub CU only after the reconstructed image in the above intra prediction mode is generated for the first sub CU.
  • the amount of processing in the ISP prediction processing is enormous as compared with the normal intra prediction. Further, in order to determine whether or not to use the ISP prediction process, it is necessary to calculate the RD cost for all the intra-prediction modes for each sub-CU, and the processing amount of the process required for this determination. Is often huge. Further, in determining the intra prediction mode in the ISP prediction process, the flag indicating the division direction (vertical direction or horizontal direction) of the CU and the intra prediction mode of all 67 modes of the VVC are used. A flag indicating whether or not is required. Therefore, in the ISP prediction processing, it is necessary to generate a reconstructed image of each sub-CU for all combinations of the division direction and the intra prediction mode, so that there is a problem that the processing in the encoder is heavily burdened.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a technique capable of reducing the processing amount of ISP (Intra Sub Partition) prediction processing in intra prediction coding.
  • ISP Intelligent Sub Partition
  • One aspect of the present invention is a coding method in which an image is divided into blocks for coding, the division step for dividing the image to be coded into a plurality of coding unit blocks, and the pixels of the coding unit block.
  • a determination step for determining whether or not to perform the coding by dividing the coding unit block into a plurality of sub-coding unit blocks based on the edge direction and edge strength of the edge obtained for each, and the determination step.
  • the coding of the first sub-coding unit block is the same as that of the first sub-coding unit block.
  • a coding method comprising a coding step of performing the coding with reference to a second sub-coding unit block in the unit block.
  • one aspect of the present invention is a coding device that divides an image into blocks and performs coding, a division unit that divides an image to be coded into a plurality of coding unit blocks, and the coding unit block. Based on the edge direction and edge strength of the edge obtained for each pixel, the coding unit block is divided into a plurality of sub-coding unit blocks to determine whether or not to perform the coding, and the determination unit. When the determination unit determines that the coding unit block is divided into a plurality of sub-coding unit blocks, the coding of the first sub-coding unit block is the same as that of the first sub-coding unit block. It is a coding apparatus including a coding unit that performs the coding with reference to a second sub-coding unit block in the coding unit block.
  • one aspect of the present invention is a computer that divides an image into blocks and performs coding, a division step of dividing an image to be coded into a plurality of coding unit blocks, and each pixel of the coding unit block. Based on the edge direction and edge strength of the obtained edge, the coding unit block is divided into a plurality of sub-coding unit blocks to determine whether or not to perform the coding, and the determination step When it is determined that the coding unit block is divided into a plurality of sub-coding unit blocks, the same coding unit block as the first sub-coding unit block is used in the coding of the first sub-coding unit block. It is a program for executing the coding step of performing the coding with reference to the second sub-coding unit block in the above.
  • FIG. 1 is a block diagram showing a functional configuration of the video coding apparatus 100 according to the first embodiment of the present invention.
  • the video coding device 100 receives an input of a video signal (hereinafter, referred to as “original image signal”) indicating a CU to be coded.
  • the video coding device 100 encodes the input original image signal according to a designated parameter. Then, the video coding device 100 outputs a coded bit stream showing the coded result.
  • the video coding apparatus 100 includes an intra prediction processing unit 101, an inter prediction processing unit 102, a prediction image generation unit 103, a residual signal generation unit 104, and a conversion / quantization processing unit 105.
  • the prediction image generation unit 103 acquires information indicating the prediction result output from the intra prediction processing unit 101 or the inter prediction processing unit 102.
  • the prediction image generation unit 103 generates a prediction signal of the original image signal by referring to the past decoded image data stored in the reference image data storage unit 110 according to the information indicating the prediction result.
  • the prediction image generation unit 103 outputs the prediction signal to the residual signal generation unit 104 and the decoding signal generation unit 108.
  • the residual signal generation unit 104 acquires the original image signal. Further, the residual signal generation unit 104 acquires the prediction signal output from the prediction image generation unit 103. The residual signal generation unit 104 calculates the difference between the original image signal and the predicted signal. The residual signal generation unit 104 outputs a predicted residual signal indicating the calculated difference to the conversion / quantization processing unit 105.
  • the conversion / quantization processing unit 105 acquires the predicted residual signal output from the residual signal generation unit 104.
  • the conversion / quantization processing unit 105 performs orthogonal transform such as DCT transform on the acquired predicted residual signal to generate a conversion coefficient.
  • the conversion / quantization processing unit 105 quantizes the generated conversion coefficient.
  • the conversion / quantization processing unit 105 outputs the quantized conversion coefficient to the entropy coding unit 106 and the inverse quantization / inverse conversion processing unit 107.
  • the entropy coding unit 106 acquires the quantized conversion coefficient output from the conversion / quantization processing unit 105.
  • the entropy coding unit 106 entropy encodes the quantized conversion coefficient.
  • the entropy coding unit 106 outputs a coded bit stream showing the result of entropy coding.
  • the inverse quantization / inverse conversion processing unit 107 acquires the quantized conversion coefficient output from the conversion / quantization processing unit 105.
  • the inverse quantization / inverse transformation processing unit 107 inversely quantizes the quantized conversion coefficient.
  • the inverse quantization / inverse transformation processing unit 107 performs inverse orthogonal transformation on the inverse quantization conversion coefficient to generate a predicted residual decoding signal.
  • the inverse quantization / inverse transformation processing unit 107 outputs the generated predicted residual decoding signal to the decoding signal generation unit 108.
  • the decoding signal generation unit 108 acquires the prediction signal output from the prediction image generation unit 103. Further, the decoding signal generation unit 108 acquires the predicted residual decoding signal output from the inverse quantization / inverse conversion processing unit 107. The decoding signal generation unit 108 generates a decoding signal of the CU to be encoded by adding the prediction signal and the prediction residual decoding signal. The decoding signal generation unit 108 outputs the generated decoding signal to the loop filter processing unit 109 and the reference image data storage unit 110.
  • the loop filter processing unit 109 acquires the decoding signal output from the decoding signal generation unit 108.
  • the loop filter processing unit 109 generates a reference image by performing filtering processing on the acquired decoded signal.
  • the filtering process referred to here is a process for reducing coding distortion.
  • the loop filter processing unit 109 outputs the generated reference image to the reference image data storage unit 110.
  • the reference image data storage unit 110 acquires the decoding signal output from the decoding signal generation unit 108 and the reference image output from the loop filter processing unit 109.
  • the decoding signal output from the decoding signal generation unit 108 is also referred to as a “decoding signal before loop filter processing”.
  • the reference image output from the loop filter processing unit 109 is also referred to as a “decoding signal after the loop filter processing”.
  • the reference image data storage unit 110 stores the decoding signal before the loop filter processing and the decoding signal after the loop filter processing.
  • the decoding signal before the loop filter processing and the decoding signal after the loop filter processing stored in the reference image data storage unit 110 are the prediction processing in the intra prediction processing unit 101, the prediction processing in the inter prediction processing unit 102, and the prediction image generation. It is used in the generation process of the predicted image in the unit 103.
  • the intra prediction processing unit 101 acquires the original image signal. Further, the intra prediction processing unit 101 acquires the decoding signal before the loop filter processing from the reference image data storage unit 110. The intra prediction processing unit 101 performs intra prediction on the original image signal by using the acquired decoding signal before the loop filter processing. The intra-prediction processing unit 101 outputs information indicating the prediction result of the intra-prediction to the prediction image generation unit 103. The configuration of the intra prediction processing unit 101 will be described in detail later.
  • the inter-prediction processing unit 102 acquires the original image signal.
  • the inter-prediction processing unit 102 acquires the decoded signal after the loop filter processing from the reference image data storage unit 110.
  • the inter-prediction processing unit 102 performs motion search processing between frames using the acquired decoding signal after the loop filter processing on the original image signal.
  • the inter-prediction processing unit 102 outputs information indicating a prediction result by inter-prediction to the prediction image generation unit 103.
  • FIG. 2 is a block diagram showing a functional configuration of the intra-prediction processing unit 101 according to the first embodiment of the present invention.
  • the intra prediction processing unit 101 includes the intra prediction processing unit 201, the ISP pre-analysis unit 202, and the ISP prediction processing unit 203.
  • the intra prediction processing unit 101 acquires the original image signal. Further, the intra prediction processing unit 101 acquires a reference image (decoded signal before loop filter processing) from the reference image data storage unit 110.
  • the intra-prediction processing unit 201 performs normal intra-prediction using the original image signal and the reference signal. That is, the intra prediction processing unit 201 refers to the reference pixels around the coding target CU with respect to the coding target CU in accordance with the intra prediction mode.
  • the intra prediction processing unit 201 refers to the reference pixels around the coding target CU with respect to the coding target CU in accordance with the intra prediction mode.
  • the intra-prediction processing unit 201 calculates the index value (for example, RD cost) of the evaluation index for each intra-prediction mode for the CU to be encoded.
  • the intra-prediction processing unit 201 determines the intra-prediction mode, which is the best index value among the calculated index values, as the CU intra-prediction mode to be encoded.
  • the intra-prediction processing unit 201 outputs information indicating the determined intra-prediction mode to the prediction image generation unit 103 as a prediction result.
  • the ISP pre-analysis unit 202 performs pre-analysis for the ISP prediction processing performed by the ISP prediction processing unit 203.
  • the ISP pre-analysis unit 202 determines whether or not to execute the ISP prediction process by the pre-analysis. Further, the ISP pre-analysis unit 202 determines the division direction (that is, the vertical direction, the horizontal direction, or both) of the candidate CU when performing the ISP prediction process. Further, when the ISP prediction process is performed, the ISP pre-analysis unit 202 determines the intra prediction mode as a candidate in the ISP prediction process.
  • the ISP pre-analysis unit 202 outputs information indicating the determined result (whether or not the ISP prediction processing can be executed, the division direction of the candidate CU, and the candidate intra prediction mode) to the ISP prediction processing unit 203.
  • the ISP prediction processing unit 203 acquires the information output from the ISP pre-analysis unit 202.
  • the ISP prediction processing unit 203 determines the operation based on the acquired information. For example, the ISP prediction processing unit 203 does not execute the ISP prediction processing (that is, does nothing) when the acquired information is information indicating that the ISP prediction processing should not be performed. Further, for example, the ISP prediction processing unit 203 performs the ISP prediction processing when the acquired information is information indicating that the ISP prediction processing should be performed.
  • the ISP prediction processing unit 203 When the ISP prediction processing unit 203 performs the ISP prediction processing, the ISP prediction processing unit 203 divides the coded target CU into two or more (two or four) sub-CUs. The ISP prediction processing unit 203 determines how many sub-CUs the coding target CU is divided based on the size of the coding target CU.
  • the ISP prediction processing unit 203 divides the CU to be encoded in the vertical direction or the horizontal direction and performs the ISP prediction processing. Based on the information acquired from the ISP pre-analysis unit 202, the ISP prediction processing unit 203 either divides the coded target CU in the vertical direction and performs the ISP prediction process, or divides the coded target CU in the horizontal direction and performs the ISP prediction process. It is determined whether to perform the prediction process or both of these ISP prediction processes.
  • each intra prediction mode of each sub-CU in one CU is common.
  • reference pixels in other sub-CUs around the sub-CU are referenced according to the intra prediction mode.
  • a decoded image is appropriately generated for each intra prediction mode, and in the subsequent ISP prediction processing for other sub-CUs, the pixel of the decoded image of the immediately preceding sub-CU is used as a reference pixel.
  • the intra prediction mode in the ISP prediction processing of VVC has a maximum of 67 modes (1 mode of DC, 1 mode of PLANAR, and 65 modes of Angular), similarly to the intra prediction mode used by the above intra prediction processing unit 201. To do. However, the number of intra prediction modes actually used can be significantly reduced from 67 modes by the candidate intra prediction modes determined by the ISP pre-analysis unit 202 described above.
  • the ISP prediction processing unit 203 calculates the index value (for example, RD cost) of the evaluation index for each candidate division direction for the coded CU. Further, when the ISP prediction processing unit 203 performs the ISP prediction processing, the ISP prediction processing unit 203 calculates the index value of the evaluation index for each candidate intra prediction mode for the coded target CU.
  • the index value for example, RD cost
  • the ISP prediction processing unit 203 determines the division direction, which is the best index value among the index values calculated for each of the candidate division directions, as the division direction of the CU to be encoded. Further, the ISP prediction processing unit 203 determines the intra prediction mode, which is the best index value among the index values calculated for each of the candidate intra prediction modes, as the intra prediction mode of the coded target CU. The intra prediction mode outputs information indicating the determined division direction and the intra prediction mode as a prediction result to the prediction image generation unit 103.
  • the intra prediction processing unit 201 may be configured to perform the intra prediction processing only when the ISP prediction processing by the ISP prediction processing unit 203 is not performed based on the determination of the ISP pre-analysis unit 202.
  • the intra-prediction processing unit 201 may be configured to always perform the intra-prediction processing regardless of whether or not the ISP prediction processing is performed by the ISP prediction processing unit 203.
  • the intra-prediction processing unit 101 may use, for example, an index value in the intra-prediction mode tentatively determined by the intra-prediction processing unit 201. Even if a better index value is output to the prediction image generation unit 103 as a prediction result by comparing the division direction in the ISP prediction process and the index value in the intra prediction mode, which is tentatively determined by the ISP prediction processing unit 203. Good.
  • the video coding apparatus 100 calculates the similarity of edge information between each sub-CU by the ISP pre-analysis unit 202.
  • the video coding apparatus 100 uses the similarity to determine whether or not the ISP prediction process can be executed, and each parameter in the ISP prediction process. As a result, the video coding apparatus 100 can reduce the amount of processing of the ISP prediction processing at the time of video coding.
  • FIG. 3 is a flowchart showing the operation of the ISP pre-analysis unit 202 according to the first embodiment of the present invention. The operation shown in this flowchart is started when the ISP pre-analysis unit 202 starts the ISP pre-analysis process for the CTU (Coding Tree Unit) to be encoded.
  • CTU Coding Tree Unit
  • the ISP pre-analysis unit 202 generates a differential image in the X direction and a differential image in the Y direction for the CTU to be encoded (step S101 and step S102), respectively.
  • a differential image for example, a first-order differential filter, a Prewitt filter, a Sobel filter and the like can be used.
  • the X-direction differential strength and the Y-direction differential strength can be obtained for all the pixels existing in the CTU to be encoded.
  • the ISP pre-analysis unit 202 calculates the edge direction and the edge strength for each of the pixels in the CTU to be encoded (step S104). For example, the ISP pre-analysis unit 202 may use the L1 norm or L2 norm (a value rounded to an integer) of the X-direction differential strength and the Y-direction differential strength as the edge strength for each pixel in the CTU to be encoded. ..
  • FIG. 4 is a diagram showing the intra prediction mode of VVC.
  • VVC Angular prediction as shown in FIG. 4, the intra prediction directions are classified into a total of 65 directions from mode2 to mode66. Since the differential direction of each pixel can be known from the X-direction differential strength and the Y-direction differential strength, the ISP pre-analysis unit 202 determines the differential direction (or the differential direction) of each pixel among the 65 intra-prediction directions in the VVC ANGULAR prediction. The direction closest to (the direction inverted by 180 degrees) may be determined as the edge direction of the target pixel.
  • the edge direction of each pixel takes an integer of 2 to 66.
  • the 65 directions of the intra prediction direction cover the range of 180 degrees in the upper left direction. Therefore, when the calculated differential direction points to the 180-degree portion in the lower right direction, the ISP pre-analysis unit 202 inverts the differential direction by 180 degrees and determines the closest direction as the edge direction of the target pixel. You may try to do it.
  • the ISP pre-analysis unit 202 performs the processing for the entire CTU in the above steps S101 to S103, and then performs the processing for each CU in the following steps S105 to S111.
  • the ISP pre-analysis unit 202 not only performs the processes of S105 to S111 when the CU positions are different, but also performs the processes of S105 to S111 when the CU sizes are different.
  • the ISP pre-analysis unit 202 sets the first sub-CU and performs the subsequent processing.
  • the ISP pre-analysis unit 202 votes the edge information calculated in step S103 for all the pixels in the set sub-CU. As a result, the ISP pre-analysis unit 202 generates a histogram for each edge direction as shown in FIG. 5, for example.
  • FIG. 5 is a diagram showing an example of a histogram generated by the ISP pre-analysis unit 202 according to the first embodiment of the present invention.
  • the ISP pre-analysis unit 202 may generate a histogram by voting one for each pixel for the mode number (intra-prediction mode number) corresponding to the edge direction of each pixel, for example. ..
  • the ISP pre-analysis unit 202 may generate a histogram by voting for the edge intensity value for each pixel in the mode number corresponding to the edge direction of each pixel, for example.
  • the ISP pre-analysis unit 202 does not vote only for the mode number corresponding to the edge direction of each pixel, but for example, the mode number corresponding to the edge direction of each pixel and some mode numbers before and after the mode number. May also vote. Further, in this case, the ISP pre-analysis unit 202 is made to vote for the largest value for the mode number corresponding to the edge direction of each pixel, and the mode numbers before and after that are separated from the mode number corresponding to the edge direction. You may vote for a value as small as the mode number.
  • the ISP pre-analysis unit 202 After generating the histogram in the sub-CU set above, the ISP pre-analysis unit 202 sets the mode number of the intra prediction mode, which is the maximum frequency in the generated histogram, as the edge direction of the sub-CU. For example, in the case of the histogram shown in FIG. 5, the edge direction of the sub-CU is "9".
  • the ISP pre-analysis unit 202 sets the frequency (that is, the intensity) in the histogram in the edge direction of the sub-CU as the edge intensity of the sub-CU (step S107).
  • the ISP pre-analysis unit 202 determines the edge direction and edge strength of all the sub-CUs when the coded CU is divided in each division direction (vertical direction and horizontal direction).
  • the edge direction and edge strength of the sub-CUs are determined.
  • the division direction of the candidate CU, and the candidate intra prediction mode are determined by using the information of (step S110). The method of determining each parameter in these ISP prediction processes will be described in detail later.
  • the ISP pre-analysis unit 202 executes the ISP prediction process only when there is at least one pair having the same edge direction among the (two or four) sub-CUs in which the CU to be encoded is divided. That is, the ISP pre-analysis unit 202 does not execute the ISP prediction process when there is no set in which the edge directions of the sub-CUs are the same.
  • the ISP pre-analysis unit 202 When the ISP prediction process is performed, the ISP pre-analysis unit 202 performs the ISP prediction process only in the division direction (vertical direction or horizontal direction) in which the number of pairs having the same edge direction of each sub-CU is larger. Execute. When the number of pairs having the same edge direction in each sub-CU is equal to each other in the vertical direction and the horizontal direction, the ISP pre-analysis unit 202 divides in the vertical direction and in the horizontal direction. For each, add up all the edge strengths for each sub-CU. Then, the ISP pre-analysis unit 202 may determine the division direction in which the total edge strength is stronger.
  • the ISP pre-analysis unit 202 will perform any division.
  • the ISP prediction process may be executed for the direction as well. It should be noted that the case where there is at least one set having the same edge direction of each of the above sub-CUs is the case where the same edge direction is output from at least two sub-CUs.
  • the ISP pre-analysis unit 202 sets only the edge direction in which the same set exists in each sub-CU as a candidate for the intra prediction mode in the ISP prediction process.
  • the ISP pre-analysis unit 202 sets three intra-prediction modes, which are a DC mode and a PLANAR mode, in addition to the intra-prediction mode corresponding to the edge direction, as candidates for the intra-prediction mode in the ISP prediction processing. You may.
  • the division direction of the candidate CU, and the candidate intra are only by the equivalent comparison process for each edge direction of the sub-CU. It is possible to determine the prediction mode. This makes it possible to narrow down the subsequent ISP prediction processing with a smaller amount of processing.
  • the ISP pre-analysis unit 202 calculates the maximum value and the minimum value of the mode number in the edge direction of each of the (two or four) sub-CUs in which the coded target CU is divided.
  • the ISP pre-analysis unit 202 executes the ISP prediction process only when the difference value between the calculated maximum value and the minimum value is smaller than the parameter value set by the encoder user. That is, the ISP pre-analysis unit 202 can set the difference value between the calculated maximum value and the minimum value in any of the division directions (both the vertical direction and the horizontal direction) of the CU to be encoded by the encoder user. If it exceeds the parameter value, the ISP prediction process is not executed.
  • the fact that the difference between the maximum value and the minimum value of the mode number in the edge direction in all the sub-CUs is small means that there is no sub-CU facing the deviated direction, that is, the entire sub-CUs are in the same direction. It means that it is suitable.
  • the configuration of the ISP pre-analysis unit 202 described above is a configuration intended to perform ISP prediction processing only in such a case.
  • the ISP pre-analysis unit 202 executes the ISP prediction process only in the division direction (vertical direction or horizontal direction) in which the above difference value is smaller. Alternatively, if the above difference value is smaller than the parameter value in any of the division directions (both the vertical direction and the horizontal direction) of the CU to be encoded, the ISP pre-analysis unit 202 performs the ISP in any division direction.
  • the prediction process may be executed.
  • the ISP pre-analysis unit 202 When performing ISP prediction processing, the ISP pre-analysis unit 202 generates a histogram of the CU to be encoded by merging the histograms of all the sub-CUs in the same division direction.
  • the ISP pre-analysis unit 202 sets only the mode number having the maximum frequency in the histogram of the coded target CU as a candidate for the edge direction of the coded target CU and the intra prediction mode in the ISP prediction process.
  • the ISP pre-analysis unit 202 may make the intra prediction mode corresponding to some mode numbers having a higher frequency in the histogram of the coded target CU as a candidate for the intra prediction mode of the ISP prediction process. ..
  • the ISP pre-analysis unit 202 may set only the intra prediction mode corresponding to the average value of each mode number in the edge direction of all the sub-CUs as a candidate for the intra prediction mode in the ISP prediction process.
  • the ISP pre-analysis unit 202 performs ISP prediction processing only for the intra prediction mode corresponding to two mode numbers that are the same as or close to the median among the mode numbers in the edge direction of all the sub-CUs. It may be a candidate for the intra prediction mode in.
  • the sum of the differences from each mode number in the edge direction of each sub-CU is minimized. It means that it is an intra-prediction mode.
  • the ISP pre-analysis unit 202 is added to the intra prediction mode corresponding to the edge direction as in the first embodiment.
  • DC mode and PLANAR mode may be added as candidates for the intra-prediction mode in the ISP prediction process.
  • the ISP prediction process determines whether or not the ISP prediction process can be executed is determined by the magnitude relationship of the value with respect to the parameter value that can be set by the encoder user. Therefore, the ISP is determined only on the encoder side. It is possible to adjust the usage rate of the prediction process.
  • whether or not the ISP prediction process can be executed, the division direction of the candidate CU, and the candidate intra prediction mode are determined by different determination methods.
  • the configuration may be. For example, whether or not the ISP prediction process can be executed is determined by whether or not there is at least one pair having the same edge direction of each sub-CU, and the frequency becomes the maximum in the histogram of the coded CU.
  • the intra prediction mode corresponding to the mode number may be determined as a candidate intra prediction mode.
  • the two-dimensional planar direction and edge information possessed by each sub-CU in the ISP prediction process are the original intra-prediction mode of each sub-CU (the original coding target).
  • the degree of similarity of edge information between sub-CUs is calculated by utilizing the fact that it has a high correlation with the intra-prediction mode of CU). Then, the video coding apparatus 100 determines whether or not the ISP prediction process can be executed and each parameter of the ISP prediction process using the calculated similarity. As a result, the video coding apparatus 100 can reduce the amount of processing of the ISP prediction processing in the encoder.
  • the ISP pre-analysis unit 202 is configured to calculate the edge direction and the edge strength in the above-described embodiment, it may be configured to calculate only the edge direction. In this case, for example, instead of voting the edge strength value in the histogram, the histogram may be voted as a fixed value one by one. For example, the ISP pre-analysis unit 202 acquires both the X-direction differential strength and the Y-direction differential strength for all the pixels existing in the CTU to be encoded. Then, the ISP pre-analysis unit 202 may calculate at least the edge direction, and may calculate the edge strength depending on the case.
  • the video coding device 100 can be applied to a video coding device, a video coding program, etc., which have a limited amount of calculation.
  • a part or all of the video coding apparatus 100 in the above-described embodiment may be realized by a computer.
  • the program for realizing this function may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read by the computer system and executed.
  • the term "computer system” as used herein includes hardware such as an OS and peripheral devices.
  • the "computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • a "computer-readable recording medium” is a communication line for transmitting a program via a network such as the Internet or a communication line such as a telephone line, and dynamically holds the program for a short period of time. It may also include a program that holds a program for a certain period of time, such as a volatile memory inside a computer system that serves as a server or a client in that case. Further, the above program may be for realizing a part of the above-mentioned functions, and may be further realized for realizing the above-mentioned functions in combination with a program already recorded in the computer system. It may be realized by using a programmable logic device such as FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • 100 Video coding device, 101 ... Intra prediction processing unit, 102 ... Inter prediction processing unit, 103 ... Prediction image generation unit, 104 ... Residual signal generation unit, 105 ... Conversion / quantization processing unit, 106 ... Entropy coding unit, 107 ... Inverse quantization / inverse conversion processing unit, 108 ... Decoding signal generation unit, 109 ... Loop filter processing unit, 110 ... -Data storage unit for reference image, 201 ... This intra prediction processing unit, 202 ... ISP pre-analysis unit, 203 ... ISP prediction processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

画像をブロックに分割して符号化を行う符号化方法は、符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、を有する。

Description

符号化方法、符号化装置、及びプログラム
　本発明は、符号化方法、符号化装置、及びプログラムに関する。
　映像符号化技術として、ＭＰＥＧ（Moving Picture Experts Group）－２、ＭＰＥＧ－４、及びＨ．２６４／ＭＰＥＧ－４　ＡＶＣ（Advanced Video Coding）等が広く用いられいる。とくに近年は、最新の国際標準映像符号化規格であるＨ．２６５／ＨＥＶＣ（High Efficiency Video Coding）（以下、「ＨＥＶＣ」という。）の普及が進んでいる。さらに、Ｈ．２６５／ＨＥＶＣの次の国際標準映像符号化規格として、２０２０年７月の標準化を目指し、Ｈ．２６６／ＶＶＣ（Versatile Video Coding）（以下、「ＶＶＣ」という。）の検討が進められている。ＶＶＣは、ＨＥＶＣの２倍の符号化効率が実現されることを目標として、検討が進められている。
　ＨＥＶＣ、ＶＶＣ等の規格に則った映像符号化では、イントラ予測符号化が行われることで符号化効率の向上が実現されている。イントラ予測符号化とは、符号化単位ブロックであるコーディングユニット（ＣＵ）を符号化する際に、符号化対象のＣＵ（以下、「符号化対象ＣＵ」という。）の周辺に位置する画素の画素値に基づいて、当該符号化対象ＣＵ内の画素の画素値を予測・推定し、補償する符号化方式である。具体的には、イントラ予測符号化は、符号化対象ＣＵに隣接するＣＵ内に位置する画素であって、かつ生成済みの再構成画像（すなわち、符号化及び復号がなされた画像）内の画素を複数参照して、符号化対象ＣＵの予測画像を生成する。イントラ予測符号化は、入力画像と予測画像との差分を符号化する。イントラ予測符号化は、予測画像の生成において、ＲＤ（Rate-Distortion）コストが最小となるイントラ予測モードをＣＵごとに決定する。イントラ予測モードとしては、複数の方向性予測のモード（ＡＮＧＵＬＡＲモード）と、１つの直流予測のモード（ＤＣモード）と、１つの平面予測のモード（ＰＬＡＮＡＲモード）とが存在する。ＡＮＧＵＬＡＲモードのモード数は、ＨＥＶＣでは３３モードに、及びＶＶＣでは６５モードに定められている。
　上述したように、イントラ予測符号化においては、エンコーダは、ＲＤコストが最小となるイントラ予測モードを選択することが理想的である。しかしながら、ＲＤコストの算出のためには、予測画像生成、差分画像生成、離散コサイン変換（ＤＣＴ）等の周波数変換、量子化、及びＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）のエントロピー符号化の処理が必要とされる。特に、周波数変換及びエントロピー符号化における処理量は多く、エンコーダが、各ＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストを算出するのは難しい場合がある。
　以上のことから、ＲＤコストを簡略化したコスト（以下、「簡略化コスト」という。）の値を用いてイントラ予測モードが決定される場合が多い。例えば、ＲＤコストに代えて、差分画像の差分絶対値和（ＳＡＴＤ）にオーバーヘッドビット等を加算した値が、簡略化コストとして用いられることがある。エンコーダは、簡略化コストに基づいて決定された１つのイントラ予測モードについてのみ、予測画像生成、差分画像生成、周波数変換、量子化、逆量子化、及び逆周波数変換の処理を行い、符号化対象ＣＵの再構成画像を生成する。生成された再構成画像は、それ以降に符号化される他の符号化対象ＣＵのイントラ予測符号化において参照される。この簡略化コストを用いる方法によれば、エンコーダは、再構成画像の生成において上記の周波数変換等の処理を一度だけ実行すればよい。すなわち、エンコーダは、イントラ予測モードの決定のために上記の周波数変換等の処理を行う必要がない。
　ＶＶＣでは、イントラ予測符号化において、ＩＳＰ（Intra Sub Partition）予測処理という追加手法が提案されている。ＩＳＰ予測処理においては、ＣＵは、垂直又は水平に分割される。また、ＩＳＰ予測処理においては、ＣＵは、２つ又は４つのサブＣＵに分割される。また、ＩＳＰ予測処理においては、同一のＣＵから分割された全てのサブＣＵにおいて、同一のイントラ予測モードが用いられる。そのため、２つ又は４つのサブＣＵのイントラ予測モードを１つのフラグのみで表現することが可能になり、符号量が削減される。
　また、通常のイントラ予測符号化は、上述したように、隣接するＣＵの再構成画像を参照して符号化対象ＣＵについてのイントラ予測を行う。これに対し、ＩＳＰ予測処理は、サブＣＵごとに再構成画像を順次生成していくため、隣接するサブＣＵの再構成画像を参照して符号化対象のサブＣＵについてのイントラ予測を行うことができる。そのため、ＩＳＰ予測処理は、通常のイントラ予測符号化と比べて符号化対象画素と参照先画素との間の空間的距離が近く、より相関の高い画素を参照することができる。これにより、ＩＳＰ予測処理は、予測画像の予測精度をより向上させ、符号量を削減することができる。
　また、ＩＳＰ予測処理では、当該ＩＳＰ予測処理を用いるべきか否かを示す情報と、ＣＵをいずれの方向（垂直方向、又は水平方向）に分割すべきかを示す情報とが、それぞれフラグとして送信される。なお、ＩＳＰ予測処理では、ＣＵをいくつに（２つ、又は４つのいずれに）分割すべきかについては、符号化対象ＣＵのサイズに基づいて自動的に決定される。そのため、ＩＳＰ予測処理では、ＣＵをいくつに分割すべきかを示すフラグは不要である。
S. De-Luxan-Hernandez, et al., "CE3:Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2)," JVET-M0102-v2, Joint Video Experts Team of ITU-T, 13th Meeting Marrakech, January 2019.
　ＩＳＰ予測処理は、１つのフラグのみで全てのサブＣＵのイントラ予測モードを表現することによって符号量を削減する。これは、同一のＣＵから分割されたサブＣＵのそれぞれのイントラ予測モードは近似していることが前提とされているためである。しかしながら、各サブＣＵの、ＩＳＰ予測処理が用いられなかった場合に本来決定されるべきイントラ予測モードにばらつきがある場合、本来決定されるべきイントラ予測モードとは全く異なるイントラ予測モードに決定されてイントラ予測が行われるサブＣＵが生じる。これにより、符号化対象画素と参照先画素との間の距離が近くても、イントラ予測における予測精度は低くなる場合がある。すなわち、ＩＳＰ予測処理が用いられた場合に、むしろ符号量が増加する場合がある。実際に、各サブＣＵのイントラ予測モードにばらつきがあることは珍しくなく、ＩＳＰ予測処理を用いることが望ましくない場合がある。
　これに対し、ＩＳＰ予測処理において、サブＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストを算出し比較することによって、ＩＳＰ予測処理を用いるべきか否かを判定することは可能である。しかしながら、ＩＳＰ予測処理を用いるべきではないと判定された場合、この判定のために行われた処理は無駄になる。そして、この判定のために行われる処理の処理量は膨大になることがある。
　上述したように、通常のイントラ予測では、ＲＤコストに代わる簡略化コストに基づいて決定された１つのイントラ予測モードについてのみ、再構成画像生成のための各種処理を一度だけ実行し、処理量を削減することができる。これに対し、ＩＳＰ予測処理では、同一ＣＵ内のサブＣＵのイントラ予測モードは共通であり、イントラ予測における参照先画素は同一ＣＵ内の他のサブＣＵである。そのため、サブＣＵごとにイントラ予測モードを順次確定させていくことができない。ＩＳＰ予測処理では、イントラ予測モードについてのコストを算出する場合、１つ目のサブＣＵについて上記のイントラ予測モードでの再構成画像を生成した後でなければ、２つ目のサブＣＵについて上記のイントラ予測モードでのイントラ予測における参照を行うことができない。このように、ＩＳＰ予測処理では、各サブＣＵにおいて、候補となるイントラ予測モードの全ての場合について再構成画像の生成が必要となる。そのため、ＩＳＰ予測処理では、候補となるイントラ予測モードの数に相当する回数だけ、再構成画像生成のための各種処理が実行されなければならない。
　このように、ＩＳＰ予測処理では、通常のイントラ予測に比べて処理量が膨大となる。また、ＩＳＰ予測処理を用いるべきか否かについての判定を行うためには、サブＣＵごとに、全てのイントラ予測モードについてそれぞれＲＤコストが算出される必要があり、この判定に要する処理の処理量は膨大になることが多い。また、ＩＳＰ予測処理におけるイントラ予測モードの決定においては、ＣＵの分割方向（垂直方向、又水平方向）を示すフラグと、ＶＶＣの全６７モードのイントラ予測モードの中のいずれのイントラ予測モードであるかを示すフラグとがそれぞれ必要になる。そのため、ＩＳＰ予測処理では、分割方向とイントラ予測モードとの全ての組み合わせについて、各サブＣＵの再構成画像生成が必要となるため、エンコーダにおける処理に大きな負担がかかるという課題がある。
　本発明は、このような事情に鑑みてなされたもので、イントラ予測符号化におけるＩＳＰ（Intra Sub Partition）予測処理の処理量を削減することができる技術の提供を目的としている。
　本発明の一態様は、画像をブロックに分割して符号化を行う符号化方法であって、符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、を有する符号化方法である。
　また、本発明の一態様は、画像をブロックに分割して符号化を行う符号化装置であって、符号化対象画像を複数の符号化単位ブロックに分割する分割部と、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定部と、前記判定部により、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化部と、を備える符号化装置である。
　また、本発明の一態様は、画像をブロックに分割して符号化を行うコンピュータに、符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、を実行させるためのプログラムである。
　本発明により、イントラ予測符号化におけるＩＳＰ（Intra Sub Partition）予測処理の処理量を削減することができる。
本発明の第１の実施形態に係る映像符号化装置１００の機能構成を示すブロック図。 本発明の第１の実施形態に係るイントラ予測処理部１０１の機能構成を示すブロック図。 本発明の第１の実施形態に係るＩＳＰ事前解析部２０２の動作を示すフローチャート。 ＶＶＣのイントラ予測モードを示す図。 本発明の第１の実施形態に係るＩＳＰ事前解析部２０２によって生成されるヒストグラムの一例を示す図。
＜第１の実施形態＞
　以下、本発明の第１の実施形態に係る映像符号化装置１００について、図面を参照しながら説明する。
［映像符号化装置の構成］
　以下、映像符号化装置１００の機能構成について説明する。
　図１は、本発明の第１の実施形態に係る映像符号化装置１００の機能構成を示すブロック図である。映像符号化装置１００は、符号化対象ＣＵを示す映像信号（以下、「原画像信号」という。）の入力を受け付ける。映像符号化装置１００は、入力された原画像信号を、指定されたパラメータに従って符号化する。そして、映像符号化装置１００は、符号化された結果を示す符号化ビットストリームを出力する。
　図１に示すように、映像符号化装置１００は、イントラ予測処理部１０１と、インター予測処理部１０２と、予測画像生成部１０３と、残差信号生成部１０４と、変換・量子化処理部１０５と、エントロピー符号化部１０６と、逆量子化・逆変換処理部１０７と、復号信号生成部１０８と、ループフィルタ処理部１０９と、参照画像用データ記憶部１１０とを含んで構成される。
　予測画像生成部１０３は、イントラ予測処理部１０１又はインター予測処理部１０２から出力された予測結果を示す情報を取得する。予測画像生成部１０３は、予測結果を示す情報に従い、参照画像用データ記憶部１１０に保存された過去の復号画像データを参照して、原画像信号の予測信号を生成する。予測画像生成部１０３は、予測信号を残差信号生成部１０４及び復号信号生成部１０８へ出力する。
　残差信号生成部１０４は、原画像信号を取得する。また、残差信号生成部１０４は、予測画像生成部１０３から出力された予測信号を取得する。残差信号生成部１０４は、原画像信号と予測信号との差分を算出する。残差信号生成部１０４は、算出された差分を示す予測残差信号を変換・量子化処理部１０５へ出力する。
　変換・量子化処理部１０５は、残差信号生成部１０４から出力された予測残差信号を取得する。変換・量子化処理部１０５は、取得された予測残差信号に対してＤＣＴ変換等の直交変換を行い、変換係数を生成する。変換・量子化処理部１０５は、生成された変換係数を量子化する。変換・量子化処理部１０５は、量子化された変換係数を、エントロピー符号化部１０６及び逆量子化・逆変換処理部１０７へ出力する。
　エントロピー符号化部１０６は、変換・量子化処理部１０５から出力された、量子化された変換係数を取得する。エントロピー符号化部１０６は、量子化された変換係数をエントロピー符号化する。エントロピー符号化部１０６は、エントロピー符号化の結果を示す符号化ビットストリームを出力する。
　逆量子化・逆変換処理部１０７は、変換・量子化処理部１０５から出力された、量子化された変換係数を取得する。逆量子化・逆変換処理部１０７は、量子化された変換係数を逆量子化する。逆量子化・逆変換処理部１０７は、逆量子化された変換係数に対して逆直交変換を行い、予測残差復号信号を生成する。逆量子化・逆変換処理部１０７は、生成された予測残差復号信号を復号信号生成部１０８へ出力する。
　復号信号生成部１０８は、予測画像生成部１０３から出力された予測信号を取得する。また、復号信号生成部１０８は、逆量子化・逆変換処理部１０７から出力された予測残差復号信号を取得する。復号信号生成部１０８は、予測信号と予測残差復号信号とを加算することにより、符号化対象ＣＵの復号信号を生成する。復号信号生成部１０８は、生成された復号信号をループフィルタ処理部１０９及び参照画像用データ記憶部１１０へ出力する。
　ループフィルタ処理部１０９は、復号信号生成部１０８から出力された復号信号を取得する。ループフィルタ処理部１０９は、取得された復号信号に対してフィルタリング処理を行うことにより、参照画像を生成する。ここでいうフィルタリング処理とは、符号化歪みを低減させる処理である。ループフィルタ処理部１０９は、生成された参照画像を参照画像用データ記憶部１１０へ出力する。
　参照画像用データ記憶部１１０は、復号信号生成部１０８から出力された復号信号と、ループフィルタ処理部１０９から出力された参照画像とを取得する。以下、復号信号生成部１０８から出力された復号信号を、「ループフィルタ処理前の復号信号」ともいう。また、ループフィルタ処理部１０９から出力された参照画像を、「ループフィルタ処理後の復号信号」ともいう。参照画像用データ記憶部１１０は、ループフィルタ処理前の復号信号とループフィルタ処理後の復号信号とを記憶する。参照画像用データ記憶部１１０に記憶されたループフィルタ処理前の復号信号及びループフィルタ処理後の復号信号は、イントラ予測処理部１０１における予測処理及びインター予測処理部１０２における予測処理と、予測画像生成部１０３における予測画像の生成処理において用いられる。
　イントラ予測処理部１０１は、原画像信号を取得する。また、イントラ予測処理部１０１は、参照画像用データ記憶部１１０からループフィルタ処理前の復号信号を取得する。イントラ予測処理部１０１は、原画像信号に対し、取得されたループフィルタ処理前の復号信号を用いてイントラ予測を行う。イントラ予測処理部１０１は、イントラ予測による予測結果を示す情報を予測画像生成部１０３へ出力する。なお、イントラ予測処理部１０１の構成については、後に詳しく説明する。
　インター予測処理部１０２は、原画像信号を取得する。インター予測処理部１０２は、参照画像用データ記憶部１１０からループフィルタ処理後の復号信号を取得する。インター予測処理部１０２は、原画像信号に対し、取得されたループフィルタ処理後の復号信号を用いてフレーム間の動き探索処理を行う。インター予測処理部１０２は、インター予測による予測結果を示す情報を予測画像生成部１０３へ出力する。
［イントラ予測処理部の構成］
　以下、イントラ予測処理部１０１の機能構成について、更に詳しく説明する。
　図２は、本発明の第１の実施形態に係るイントラ予測処理部１０１の機能構成を示すブロック図である。
　図２に示すように、イントラ予測処理部１０１は、本イントラ予測処理部２０１と、ＩＳＰ事前解析部２０２と、ＩＳＰ予測処理部２０３とを含んで構成される。
　イントラ予測処理部１０１は、原画像信号を取得する。また、イントラ予測処理部１０１は、参照画像用データ記憶部１１０から参照画像（ループフィルタ処理前の復号信号）を取得する。
　本イントラ予測処理部２０１は、原画像信号と参照信号とを用いて、通常のイントラ予測を行う。すなわち、本イントラ予測処理部２０１は、符号化対象ＣＵに対し、当該符号化対象ＣＵの周囲の参照画素をイントラ予測モードに則って参照する。ＶＶＣでは、イントラ予測モードの候補として、最大６７モード（ＤＣの１モード、ＰＬＡＮＡＲの１モード、及びＡＮＧＵＬＡＲの６５モード）存在する。
　本イントラ予測処理部２０１は、符号化対象ＣＵについて、イントラ予測モードごとに評価指標の指標値（例えば、ＲＤコスト）を算出する。本イントラ予測処理部２０１は、算出された指標値のうち最良の指標値となるイントラ予測モードを、符号化対象のＣＵイントラ予測モードとして決定する。本イントラ予測処理部２０１は、決定されたイントラ予測モードを示す情報を予測結果として予測画像生成部１０３へ出力する。
　ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理部２０３によって行われるＩＳＰ予測処理のための事前解析を行う。ＩＳＰ事前解析部２０２は、事前解析により、ＩＳＰ予測処理を実行すべきか否かを決定する。また、ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、候補とするＣＵの分割方向（すなわち、垂直方向、水平方向、又はその両方）を決定する。また、ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、ＩＳＰ予測処理において候補とするイントラ予測モードを決定する。ＩＳＰ事前解析部２０２は、決定された結果（ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モード）を示す情報をＩＳＰ予測処理部２０３へ出力する。
　ＩＳＰ予測処理部２０３は、ＩＳＰ事前解析部２０２から出力された情報を取得する。ＩＳＰ予測処理部２０３は、取得された情報に基づいて動作を決定する。例えば、ＩＳＰ予測処理部２０３は、取得された情報がＩＳＰ予測処理を行うべきではないこと示す情報である場合には、ＩＳＰ予測処理を実行しない（すなわち、何もしない）。また、例えば、ＩＳＰ予測処理部２０３は、取得された情報がＩＳＰ予測処理を行うべきであること示す情報である場合には、ＩＳＰ予測処理を行う。
　ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵを２複数の（２つ又は４つの）サブＣＵに分割する。なお、ＩＳＰ予測処理部２０３は、符号化対象ＣＵのサイズに基づいて、当該符号化対象ＣＵをいくつのサブＣＵに分割するかを決定する。
　ＩＳＰ予測処理部２０３は、垂直方向又は水平方向に符号化対象ＣＵを分割してＩＳＰ予測処理を行う。ＩＳＰ予測処理部２０３は、ＩＳＰ事前解析部２０２から取得した情報に基づいて、符号化対象ＣＵを垂直方向に分割してＩＳＰ予測処理を行うか、符号化対象ＣＵを水平方向に分割してＩＳＰ予測処理を行うか、又は、これらのＩＳＰ予測処理の双方を行うかを決定する。
　ＩＳＰ予測処理において、１つのＣＵ内のサブＣＵのそれぞれのイントラ予測モードは共通である。それぞれのサブＣＵにおいて、当該サブＣＵの周囲の他のサブＣＵ内の参照画素が、イントラ予測モードに則って参照される。そしてイントラ予測モードごとに復号画像が適宜生成され、以降の他のサブＣＵについてのおＩＳＰ予測処理においては、直前のサブＣＵの復号画像の画素が参照画素として用いられる。
　ＶＶＣのＩＳＰ予測処理におけるイントラ予測モードは、上記の本イントラ予測処理部２０１によって用いられるイントラ予測モードと同様に、最大６７モード（ＤＣの１モード、ＰＬＡＮＡＲの１モード、及びＡＮＧＵＬＡＲの６５モード）存在する。但し、上述したＩＳＰ事前解析部２０２によって決定される、候補とするイントラ予測モードによって、実際に用いられるイントラ予測モードの個数は６７モードから大幅に削減されうる。
　ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵについて、候補とする分割方向ごとに評価指標の指標値（例えば、ＲＤコスト）を算出する。また、ＩＳＰ予測処理部２０３は、ＩＳＰ予測処理を行う場合、符号化対象ＣＵについて、候補とするイントラ予測モードごとに評価指標の指標値を算出する。
　ＩＳＰ予測処理部２０３は、候補とする分割方向についてそれぞれ算出された指標値のうち最良の指標値となる分割方向を、符号化対象ＣＵの分割方向として決定する。また、ＩＳＰ予測処理部２０３は、候補とするイントラ予測モードについてそれぞれ算出された指標値のうち最良の指標値となるイントラ予測モードを、符号化対象ＣＵのイントラ予測モードとして決定する。イントラ予測モードは、決定された分割方向及びイントラ予測モードを示す情報を予測結果として、予測画像生成部１０３へ出力する。
　なお、本イントラ予測処理部２０１は、ＩＳＰ事前解析部２０２の決定に基づき、ＩＳＰ予測処理部２０３によるＩＳＰ予測処理が行われない場合にのみイントラ予測処理を行う構成であってもよい。または、本イントラ予測処理部２０１は、ＩＳＰ予測処理部２０３によるＩＳＰ予測処理が行われるか否かにかかわらず、常にイントラ予測処理を行う構成であってもよい。なお、本イントラ予測処理部２０１が常にイントラ予測処理を行う構成である場合には、イントラ予測処理部１０１は、例えば、本イントラ予測処理部２０１によって仮決定されたイントラ予測モードによる指標値と、ＩＳＰ予測処理部２０３によって仮決定された、ＩＳＰ予測処理における分割方向及びイントラ予測モードによる指標値とを比較して、より良い指標値を予測結果として予測画像生成部１０３へ出力するようにしてもよい。
　上述した構成を備えることで、本実施形態に係る映像符号化装置１００は、ＩＳＰ事前解析部２０２によって、各サブＣＵの間のエッジ情報の相似度を算出する。映像符号化装置１００は、当該相似度を用いてＩＳＰ予測処理の実行可否、及びＩＳＰ予測処理における各パラメータを決定する。これにより、映像符号化装置１００は、映像符号化時におけるＩＳＰ予測処理の処理量を削減することができる。
［ＩＳＰ事前解析部の動作］
　以下、ＩＳＰ事前解析部２０２のＩＳＰ事前解析処理における動作の一例について説明する。
　図３は、本発明の第１の実施形態に係るＩＳＰ事前解析部２０２の動作を示すフローチャートである。本フローチャートが示す動作は、ＩＳＰ事前解析部２０２が符号化対象のＣＴＵ（Coding Tree Unit）に対するＩＳＰ事前解析処理を開始した際に開始される。
　ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵについて、Ｘ方向の微分画像、及びＹ方向の微分画像をそれぞれ生成する（ステップＳ１０１及びステップＳ１０２）。なお、微分画像の生成には、例えば、１次微分フィルタ、Ｐｒｅｗｉｔｔフィルタ、及びＳｏｂｅｌフィルタ等を用いることができる。これにより、符号化対象のＣＴＵ内に存在する全画素について、それぞれＸ方向微分強度及びＹ方向微分強度が得られる。
　ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵ内の画素のそれぞれについて、エッジ方向とエッジ強度とを算出する（ステップＳ１０４）。例えば、ＩＳＰ事前解析部２０２は、符号化対象ＣＴＵ内の画素それぞれについて、Ｘ方向微分強度とＹ方向微分強度とのＬ１ノルム又はＬ２ノルム（を整数に丸めた値）を、エッジ強度としてもよい。
　図４は、ＶＶＣのイントラ予測モードを示す図である。ＶＶＣのＡＮＧＵＬＡＲ予測の場合、図４のように、イントラ予測方向はｍｏｄｅ２からｍｏｄｅ６６までの計６５方向に分類される。Ｘ方向微分強度とＹ方向微分強度から各画素の微分方向がわかるため、ＩＳＰ事前解析部２０２は、ＶＶＣのＡＮＧＵＬＡＲ予測におけるイントラ予測方向６５方向のうち、各画素の微分方向（又は、微分方向を１８０度反転した方向）に最も近い方向を対象画素のエッジ方向として決定するようにしてもよい。ここで、各画素のエッジ方向は、２から６６のいずれかの整数をとる。
　なお、イントラ予測方向の６５方向は、左上方向の１８０度の範囲をカバーするものである。そのため、算出された微分方向が右下方向１８０度部分を指している場合には、ＩＳＰ事前解析部２０２は、微分方向を１８０度反転した上で、最も近い方向を対象画素のエッジ方向として決定するようにしてもよい。
　ＩＳＰ事前解析部２０２は、上記のステップＳ１０１～ステップＳ１０３においてＣＴＵ全体に対する処理を行った後、下記のステップＳ１０５～ステップＳ１１１においてＣＵごとの処理を行う。ＩＳＰ事前解析部２０２は、ＣＵ位置が異なる場合についてＳ１０５～Ｓ１１１の処理をそれぞれ行うだけでなく、ＣＵサイズが異なる場合についてもＳ１０５～Ｓ１１１の処理をそれぞれ行う。
　ＩＳＰ事前解析部２０２は、まずＩＳＰ事前処理を行う対象のＣＵ（すなわち、符号化対象ＣＵ）を設定する（ＣＵ　ｉｎｄｅｘ＝０）（ステップＳ１０４）。ＩＳＰ事前解析部２０２は、まずＣＵの分割方向が垂直方向である場合について試行する（Ｄｉｖｉｓｉｏｎ　ｉｎｄｅｘ＝０（０：垂直，１：水平））（ステップＳ１０５）。ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理として、上記設定された符号化対象ＣＵを複数のサブＣＵに分割する（ＳｕｂＣＵ　ｉｎｄｅｘ＝０）（ステップＳ１０６）。なお、上述したように、符号化対象ＣＵがいくつのサブＳＵに分割されるかについては、当該符号化対象ＣＵのサイズに応じて自動的に決定される。ＩＳＰ事前解析部２０２は、最初のサブＣＵを設定し、以降の処理を行う。
　ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵ内の全ての画素について、上記ステップＳ１０３において算出されたエッジ情報の投票を行う。これにより、い、ＩＳＰ事前解析部２０２は、例えば図５に示すようなエッジ方向ごとのヒストグラムを生成する。
　図５は、本発明の第１の実施形態に係るＩＳＰ事前解析部２０２によって生成されるヒストグラムの一例を示す図である。ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号（イントラ予測モードの番号）に、各画素ごとに１ずつ投票をしていくことによってヒストグラムを生成するようにしてもよい。又は、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号に、各画素ごとにエッジ強度の値を投票していくことによってヒストグラムを生成するようにしてもよい。
　又は、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号のみに投票するのではなく、各画素のエッジ方向に相当するモード番号と、その前後のいくつかのモード番号にも投票するようにしてもよい。さらに、この場合、ＩＳＰ事前解析部２０２は、例えば、各画素のエッジ方向に相当するモード番号に最も大きな値を投票するようにし、その前後のモード番号についてはエッジ方向に相当するモード番号から離れたモード番号ほど小さな値を投票するようにしてもよい。
　ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵにおけるヒストグラムを生成した後、生成されたヒストグラムにおいて最大の度数となるイントラ予測モードのモード番号を、サブＣＵのエッジ方向として設定する。例えば、図５に示されるヒストグラムの場合、サブＣＵのエッジ方向は「９」である。ＩＳＰ事前解析部２０２は、サブＣＵのエッジ方向における、ヒストグラムにおける度数（すなわち、強度）をサブＣＵのエッジ強度として設定する（ステップＳ１０７）。
　ＩＳＰ事前解析部２０２は、上記設定されたサブＣＵが符号化対象ＣＵ内における最後のサブＣＵであるか否かを判定する（ステップＳ１０８）。最後のサブＣＵであると判定された場合（ステップＳ１０８・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、以下のステップＳ１０９に示す処理に進む。最後のサブＣＵではないと判定された場合（ステップＳ１０８・Ｎｏ）、ＩＳＰ事前解析部２０２は、次のサブＣＵに対する処理に進み（ＳｕｂＣＵ　ｉｎｄｅｘ＋＝１）（ステップＳ１１２）、次のサブＣＵに対して上記ステップＳ１０７以降の処理を行う。
　ＩＳＰ事前解析部２０２は、上記設定されたＣＵの水平方向の分割方向について試行中であるか否かを判定する（Ｄｉｖｉｓｉｏｎ　ｉｎｄｅｘ＝＝１？）（ステップＳ１０９）。水平方向の分割方向について試行中であると判定された場合（ステップＳ１０９・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、以下のステップＳ１１０示す処理に進む。垂直方向の分割方向について試行中であると判定された場合（ステップＳ１０９・Ｎｏ）、ＩＳＰ事前解析部２０２は、次に、水平方向の分割方向について試行を行う（Ｄｉｖｉｓｉｏｎ　ｉｎｄｅｘ＋＝１）（ステップＳ１１３）。
　ＩＳＰ事前解析部２０２は、符号化対象ＣＵを各分割方向（垂直方向及び水平方向）にそれぞれ分割した場合における全てのサブＣＵのエッジ方向及びエッジ強度を決定すると、サブＣＵのエッジ方向及びエッジ強度の情報を用いて、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードを決定する（ステップＳ１１０）。なお、これらのＩＳＰ予測処理における各パラメータの決定方法については後に詳しく説明する。
　ＩＳＰ事前解析部２０２は、上記設定されたＣＵが符号化対象のＣＴＵ内における最後のＣＵであるか否かを判定する（ステップＳ１１１）。最後のＣＵであると判定された場合（ステップＳ１１１・Ｙｅｓ）、ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵに対するＩＳＰ事前解析処理を終了する。最後のＣＵではないと判定された場合（ステップＳ１１１・Ｎｏ）、ＩＳＰ事前解析部２０２は、次のＣＵに対する処理に移り（ＣＵ　ｉｎｄｅｘ＋＝１）（ステップＳ１１４）、次のＣＵに対して上記ステップＳ１０５以降の処理を行う。以上で、図３のフローチャートが示すＩＳＰ事前解析部２０２の動作が終了する。
［パラメータ決定方法］
　以下、図３に示されるフローチャートのステップＳ１１０において行われる、ＩＳＰ予測処理における各パラメータの決定方法について説明する。
　ＩＳＰ事前解析部２０２は、符号化対象ＣＵが分割された（２つ又は４つの）サブＣＵのうち、エッジ方向が同一である組が少なくとも１組存在する場合のみ、ＩＳＰ予測処理を実行する。すなわち、ＩＳＰ事前解析部２０２は、各サブＣＵのエッジ方向が同一である組が１組も存在しないない場合には、ＩＳＰ予測処理を実行しない。
　ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合には、各サブＣＵのエッジ方向が同一である組の数がより多いほうの分割方向（垂直方向、又は水平方向）のみについてＩＳＰ予測処理を実行する。各サブＣＵにおいてエッジ方向が同一である組の数が、垂直方向と水平方向とにおいて互いに等しい場合には、ＩＳＰ事前解析部２０２は、垂直方向に分割する場合と水平方向に分割する場合とのそれぞれについて、サブＣＵごとのエッジ強度を全て合計する。そして、ＩＳＰ事前解析部２０２は、合計されたエッジ強度がより強いほうの分割方向に決定するようにしてもよい。
　または、垂直方向の分割及び水平方向のいずれの分割方向の場合においても、各サブＣＵのエッジ方向が同一である組が少なくとも１組存在する場合には、ＩＳＰ事前解析部２０２は、いずれの分割方向についてもＩＳＰ予測処理を実行するようにしてもよい。なお、上記の各サブＣＵのエッジ方向が同一である組が少なくとも１組存在する場合とは、すなわち、少なくとも２つのサブＣＵから同じエッジ方向が出力された場合である。
　ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、各サブＣＵにおいて同一である組が存在するエッジ方向のみを、ＩＳＰ予測処理におけるのイントラ予測モードの候補とする。なお、ＩＳＰ事前解析部２０２は、上記エッジ方向に対応するイントラ予測モードに加えて、ＤＣモード及びＰＬＡＮＡＲモードを加えた３つのイントラ予測モードを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
　上記のようなＩＳＰ予測処理の各パラメータの決定方法によれば、サブＣＵのエッジ方向ごとの等価比較処理だけで、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードを決定することが可能となる。これにより、より少ない処理量で、以降のＩＳＰ予測処理の絞り込みが可能になる。
＜第２の実施形態＞
　以下、本発明の第２の実施形態について説明する。第２の実施形態では、図３に示されるフローチャートのステップＳ１１０において行われるＩＳＰ予測処理の各パラメータの決定方法として、上述した第１の実施形態とは異なり次のような方法が用いられる。
［パラメータ決定方法］
　ＩＳＰ事前解析部２０２は、符号化対象ＣＵが分割された（２つ又は４つの）サブＣＵのそれぞれのエッジ方向のモード番号の、最大値と最小値とを算出する。ＩＳＰ事前解析部２０２は、算出された最大値と最小値との差分値がエンコーダの使用者によって設定可能なパラメータ値よりも小さい場合にのみ、ＩＳＰ予測処理を実行する。すなわち、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのいずれの分割方向（垂直方向及び水平方向の双方）についても、算出された最大値と最小値との差分値がエンコーダ使用者によって設定可能なパラメータ値以上になる場合には、ＩＳＰ予測処理を実行しない。
　なお、全てのサブＣＵにおけるエッジ方向のモード番号の最大値と最小値との差が小さいということは、外れた方向を向いたサブＣＵが存在しないということ、すなわち、サブＣＵ全体が同じ方向を向いている場合であることを意味する。上記のＩＳＰ事前解析部２０２の構成は、このような場合においてのみＩＳＰ予測処理を行わせることを意図した構成である。
　ＩＳＰ事前解析部２０２は、上記の差分値がより小さい分割方向（垂直方向又は水平方向）のみについて、ＩＳＰ予測処理を実行する。または、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのいずれの分割方向（垂直方向及び水平方向の双方）についても、上記の差分値がパラメータ値より小さい場合には、いずれの分割方向についてもＩＳＰ予測処理を実行するようにしてもよい。
　ＩＳＰ事前解析部２０２は、ＩＳＰ予測処理を行う場合、同一の分割方向の全てのサブＣＵのヒストグラムをマージすることによって、符号化対象ＣＵのヒストグラムを生成する。ＩＳＰ事前解析部２０２は、符号化対象ＣＵのヒストグラムにおいて、最大の度数となるモード番号のみを符号化対象ＣＵのエッジ方向とＩＳＰ予測処理におけるイントラ予測モードの候補とする。または、ＩＳＰ事前解析部２０２は、符号化対象ＣＵのヒストグラムにおいて度数が上位であるいくつかのモード番号に対応するイントラ予測モードを、ＩＳＰ予測処理のイントラ予測モードの候補とするようにしてもよい。
　又は、ＩＳＰ事前解析部２０２は、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号の平均値に対応するイントラ予測モードのみを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。又は、ＩＳＰ事前解析部２０２は、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号のうち、中央値と同一又は中央値に近似する２つのモード番号に対応するイントラ予測モードのみを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
　なお、上記の、全てのサブＣＵのエッジ方向におけるそれぞれのモード番号の平均値に対応するイントラ予測モードとは、各サブＣＵのエッジ方向におけるそれぞれのモード番号との差の総和が最小になるようなイントラ予測モードであることを意味する。
　なお、上述した第２の実施形態に係るイントラ予測モードの決定方法のいずれにおいても、第１の実施形態と同様に、ＩＳＰ事前解析部２０２は、上記エッジ方向に対応するイントラ予測モードに加えて、ＤＣモード及びＰＬＡＮＡＲモードを加えた３つのイントラ予測モードを、ＩＳＰ予測処理におけるイントラ予測モードの候補とするようにしてもよい。
　上記のようなＩＳＰ予測処理の各パラメータの決定方法によれば、エンコーダの使用者によって設定可能なパラメータ値に対する値の大小関係によってＩＳＰ予測処理の実行可否が決定されるため、エンコーダ側のみでＩＳＰ予測処理の使用率を調整することが可能である。
　なお、上述した第１の実施形態及び第２の実施形態において、ＩＳＰ予測処理の実行可否、候補とするＣＵの分割方向、及び候補とするイントラ予測モードが、別々の決定方法によって決定されるような構成であってもよい。例えば、ＩＳＰ予測処理のを実行可否については、各サブＣＵのエッジ方向が同一である組が少なくとも１組以上存在するかか否かによって決定され、符号化対象ＣＵのヒストグラムにおいて度数が最大となるモード番号に対応するイントラ予測モードが、候補とするイントラ予測モードとして決定されるような構成であってもよい。
　上述した各実施形態に係る映像符号化装置１００は、ＩＳＰ予測処理において各サブＣＵの持つ二次元平面的方向性及びエッジ情報が、各サブＣＵの本来のイントラ予測モード（元となる符号化対象ＣＵのイントラ予測モード）と高い相関を持つことを利用して、サブＣＵ間におけるエッジ情報の相似度を算出する。そして、映像符号化装置１００は、算出された相似度を用いてＩＳＰ予測処理の実行可否と、ＩＳＰ予測処理の各パラメータとを決定する。これにより、映像符号化装置１００は、エンコーダにおけるＩＳＰ予測処理の処理量を削減させることができる。
　なお、上述した実施形態において、ＩＳＰ事前解析部２０２は、エッジ方向とエッジ強度とを算出する構成としたが、エッジ方向のみを算出する構成であってもよい。この場合、例えば、エッジ強度の値をヒストグラムに投票していくのではなく、ヒストグラムには１ずつ固定値として投票していく構成等が考えられる。例えば、ＩＳＰ事前解析部２０２は、符号化対象のＣＴＵ内に存在する全画素について、それぞれＸ方向微分強度及びＹ方向微分強度の両方を取得しておく。そして、ＩＳＰ事前解析部２０２は、少なくともエッジ方向の算出は行い、場合に応じてエッジ強度の算出を行うようにしてもよい。
　なお、上述した各実施形態に係る映像符号化装置１００は、演算量の限られている映像符号化装置及び映像符号化プログラム等に適用することができる。
　上述した実施形態における映像符号化装置１００の一部又は全部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
１００・・・映像符号化装置、１０１・・・イントラ予測処理部、１０２・・・インター予測処理部、１０３・・・予測画像生成部、１０４・・・残差信号生成部、１０５・・・変換・量子化処理部、１０６・・・エントロピー符号化部、１０７・・・逆量子化・逆変換処理部、１０８・・・復号信号生成部、１０９・・・ループフィルタ処理部、１１０・・・参照画像用データ記憶部、２０１・・・本イントラ予測処理部、２０２・・・ＩＳＰ事前解析部、２０３・・・ＩＳＰ予測処理部

Claims (9)

  1. 　画像をブロックに分割して符号化を行う符号化方法であって、
    　符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、
    　前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、
    　前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、
    　を有する符号化方法。
  2. 　前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　前記符号化ステップは、前記エッジ方向及び前記エッジ強度に基づいて、前記符号化単位ブロックのそれぞれの画素が属する前記サブ符号化単位ブロックをそれぞれ決定する
    　請求項１に記載の符号化方法。
  3. 　前記判定ステップは、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記エッジ方向のうち同一の前記エッジ方向となる組が１組以上存在する場合に、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割して前記符号化を行うと判定する
    　請求項１又は請求項２に記載の符号化方法。
  4. 　前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　前記符号化ステップは、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記エッジ方向のうち同一の前記エッジ方向となる組がより多くなるように、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割する
    　請求項３に記載の符号化方法。
  5. 　前記判定ステップは、前記符号化単位ブロックの分割パターンのうち、前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記エッジ方向を示す値の最大値と最小値との差分値が所定値よりも小さい前記分割パターンが少なくとも１つ存在する場合に、前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割して前記符号化を行うと判定する
    　請求項１又は請求項２に記載の符号化方法。
  6. 　前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　前記符号化ステップは、前記差分値が前記所定値よりも小さい前記分割パターンによって前記符号化単位ブロックを複数の前記サブ符号化単位ブロックに分割する
    　請求項５に記載の符号化方法。
  7. 　前記判定ステップは、前記サブ符号化単位ブロックのそれぞれの画素の前記エッジ方向を示す番号ごとの前記画素の分布を表すヒストグラムを生成し、同一の前記符号化単位ブロックが分割された複数の前記サブ符号化単位ブロックのそれぞれの前記ヒストグラムを合計し、合計された前記ヒストグラムの最大度数及び前記最大度数となる前記番号に対応する前記エッジ方向を、前記符号化単位ブロックの前記エッジ強度及び前記符号化単位ブロックの前記エッジ方向とする
    　請求項１から６のうちいずれか一項に記載の符号化方法。
  8. 　画像をブロックに分割して符号化を行う符号化装置であって、
    　符号化対象画像を複数の符号化単位ブロックに分割する分割部と、
    　前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定部と、
    　前記判定部により、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化部と、
    　を備える符号化装置。
  9. 　画像をブロックに分割して符号化を行うコンピュータに、
    　符号化対象画像を複数の符号化単位ブロックに分割する分割ステップと、
    　前記符号化単位ブロックの画素ごとに得られるエッジのエッジ方向及びエッジ強度に基づいて、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割して前記符号化を行うか否かを判定する判定ステップと、
    　前記判定ステップにより、前記符号化単位ブロックを複数のサブ符号化単位ブロックに分割すると判定された場合、
    　第一のサブ符号化単位ブロックの符号化において、前記第一のサブ符号化単位ブロックと同一の符号化単位ブロック内の第二のサブ符号化単位ブロックを参照して前記符号化を行う符号化ステップと、
    　を実行させるためのプログラム。
PCT/JP2019/048104 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム WO2021117091A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/783,056 US20230022215A1 (en) 2019-12-09 2019-12-09 Encoding method, encoding apparatus and program
JP2021563456A JP7364936B2 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム
PCT/JP2019/048104 WO2021117091A1 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/048104 WO2021117091A1 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム

Publications (1)

Publication Number Publication Date
WO2021117091A1 true WO2021117091A1 (ja) 2021-06-17

Family

ID=76329891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/048104 WO2021117091A1 (ja) 2019-12-09 2019-12-09 符号化方法、符号化装置、及びプログラム

Country Status (3)

Country Link
US (1) US20230022215A1 (ja)
JP (1) JP7364936B2 (ja)
WO (1) WO2021117091A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012934A1 (ja) * 2021-08-04 2023-02-09 日本電信電話株式会社 映像符号化装置、映像符号化方法、及び映像符号化プログラム
WO2023223705A1 (ja) * 2022-05-16 2023-11-23 日本電気株式会社 映像符号化装置、映像符号化方法および映像システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2011082801A (ja) * 2009-10-07 2011-04-21 Fujitsu Ltd 画像処理装置および画像処理方法
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
JP2016208094A (ja) * 2015-04-15 2016-12-08 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9014265B1 (en) * 2011-12-29 2015-04-21 Google Inc. Video coding using edge detection and block partitioning for intra prediction
WO2014054267A1 (ja) * 2012-10-01 2014-04-10 パナソニック株式会社 画像符号化装置及び画像符号化方法
JP5856583B2 (ja) * 2013-05-16 2016-02-10 日本電信電話株式会社 イントラ予測方向絞込み方法、イントラ予測方向絞込み装置及びイントラ予測方向絞込みプログラム
US9294764B2 (en) * 2014-01-07 2016-03-22 Vixs Systems, Inc. Video encoder with intra-prediction candidate screening and methods for use therewith
WO2016137089A1 (ko) * 2015-02-27 2016-09-01 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2019188944A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523073A (ja) * 2003-03-03 2006-10-05 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP2011082801A (ja) * 2009-10-07 2011-04-21 Fujitsu Ltd 画像処理装置および画像処理方法
WO2011080925A1 (ja) * 2009-12-28 2011-07-07 パナソニック株式会社 画像符号化装置および方法
JP2016208094A (ja) * 2015-04-15 2016-12-08 富士通株式会社 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VAN DER AUWERA, GREET ET AL.: "Description of Core Experiment 3 (CE3): Intra Prediction and Mode Coding", JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAU, CN, 3- 12 OCTOBER 2018, [JVET-L1023-V3], JVET-L1023 (VERSION 3 ), ITU-T, no. L1023-v3, 27 December 2018 (2018-12-27), pages 3 - 4, 15-17 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023012934A1 (ja) * 2021-08-04 2023-02-09 日本電信電話株式会社 映像符号化装置、映像符号化方法、及び映像符号化プログラム
WO2023223705A1 (ja) * 2022-05-16 2023-11-23 日本電気株式会社 映像符号化装置、映像符号化方法および映像システム
JP7392764B2 (ja) 2022-05-16 2023-12-06 日本電気株式会社 映像符号化装置、映像符号化方法および映像システム

Also Published As

Publication number Publication date
US20230022215A1 (en) 2023-01-26
JP7364936B2 (ja) 2023-10-19
JPWO2021117091A1 (ja) 2021-06-17

Similar Documents

Publication Publication Date Title
US10499054B2 (en) System and method for inter-frame predictive compression for point clouds
US11509934B2 (en) Method and apparatus of enhanced multiple transforms and non-separable secondary transform for video coding
KR101365570B1 (ko) 인트라 예측 부호화, 복호화 방법 및 장치
JP5401009B2 (ja) 映像のイントラ予測符号化、復号化方法及び装置
KR100716999B1 (ko) 영상의 대칭성을 이용한 인트라 예측 방법, 이를 이용한영상의 복호화, 부호화 방법 및 장치
JP4937741B2 (ja) 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体
KR102164752B1 (ko) 인트라 예측 장치
US8023562B2 (en) Real-time video coding/decoding
EP2213006B1 (en) Method and apparatus for performing motion estimation
KR101376673B1 (ko) 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
US20160073107A1 (en) Method and apparatus for video encoding/decoding using intra prediction
KR20070038418A (ko) 비디오 신호 역양자화 방법 및 장치
KR20070019485A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20130005233A (ko) 영상 정보 부호화 방법 및 복호화 방법
KR20110112224A (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
KR20110045950A (ko) 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
US20090016443A1 (en) Inter mode determination method for video encoding
CN111010578B (zh) 一种帧内帧间联合预测的方法、装置以及存储介质
KR20110017720A (ko) 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US10771815B2 (en) Method and apparatus for processing video signals using coefficient induced prediction
US20210014489A1 (en) Intra prediction device, image encoding device, image decoding device and program
WO2021117091A1 (ja) 符号化方法、符号化装置、及びプログラム
KR101362441B1 (ko) 쿼드트리 기반의 매크로블록을 위한 멀티 레벨의 양자화 파라미터 기록 방법 및 장치
AU2016228181A1 (en) Method for inducing a merge candidate block and device using same
WO2014084674A2 (ko) 잔차 변환을 이용한 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19955993

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563456

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19955993

Country of ref document: EP

Kind code of ref document: A1