WO2012090413A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
WO2012090413A1
WO2012090413A1 PCT/JP2011/007011 JP2011007011W WO2012090413A1 WO 2012090413 A1 WO2012090413 A1 WO 2012090413A1 JP 2011007011 W JP2011007011 W JP 2011007011W WO 2012090413 A1 WO2012090413 A1 WO 2012090413A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge information
intra prediction
image
intra
encoding
Prior art date
Application number
PCT/JP2011/007011
Other languages
English (en)
French (fr)
Inventor
慶一 蝶野
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to EP11852257.2A priority Critical patent/EP2670141A4/en
Priority to JP2012550698A priority patent/JPWO2012090413A1/ja
Priority to US13/992,610 priority patent/US20130259121A1/en
Publication of WO2012090413A1 publication Critical patent/WO2012090413A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a video encoding device and a video decoding device to which a video encoding technique using edge information is applied.
  • a video encoding device generates encoded data, that is, a bit stream, by performing an encoding process based on a predetermined video encoding method on a digitized video signal.
  • Non-Patent Document 1 There is ISO / IEC 14496-10 Advanced Video Coding (AVC) described in Non-Patent Document 1 as a predetermined video encoding method.
  • the Joint Model method is known as a reference model for an AVC encoder (hereinafter, a video encoding device compliant with the AVC method is called a general video encoding device).
  • a general video encoding apparatus includes a transform / quantization unit 101, an entropy encoding unit 102, an inverse transform / inverse quantization unit 103, an intra prediction unit 104, an encoding control unit 110, and a switch. 121 is provided.
  • a general video encoding apparatus divides each frame into blocks of 16 ⁇ 16 pixel size called MB (Macro Block), and further divides MB into 4 ⁇ 4 pixel size blocks.
  • the obtained 4 ⁇ 4 block is set as a minimum structural unit of encoding.
  • FIG. 19 is an explanatory diagram showing an example of block division when the frame spatial resolution is QCIF (Quarter Common Intermediate Format).
  • QCIF Quadrater Common Intermediate Format
  • the prediction signal supplied from the intra prediction unit 104 via the switch 121 is reduced.
  • the input video from which the prediction signal is reduced is referred to as a prediction error.
  • the intra prediction unit 104 generates an intra prediction signal using a reconstructed image having the same display time as the current frame.
  • an MB encoded using an intra prediction signal is referred to as an intra MB.
  • Intra — 4 ⁇ 4 will be described with reference to FIG.
  • a circle ( ⁇ ) in FIG. 20A is a reference pixel used for intra prediction, that is, a pixel of a reconstructed picture having the same display time as the current picture.
  • the reconstructed peripheral pixel is used as a reference pixel as it is, and a prediction signal is formed by padding (extrapolating) the reference pixel in any of the nine types of directions shown in FIG.
  • the extrapolation direction is referred to as an intra prediction direction.
  • the encoding control unit 110 compares the nine types of intra prediction signals and the MB signal of the input video, selects an intra prediction direction that minimizes the energy of the prediction error, and selects the intra direction intra selected by the intra prediction unit.
  • a prediction signal is supplied to the switch 121.
  • Information related to the selected intra prediction mode and intra prediction direction is supplied to the entropy encoding unit 102.
  • the transform / quantization unit 101 performs frequency transform of the prediction error based on 4 ⁇ 4 or 8 ⁇ 8 discrete cosine transform. Further, the transform / quantization unit 101 quantizes the prediction error image (frequency transform coefficient) subjected to frequency transform with a predetermined quantization step width Qs. Hereinafter, the quantized frequency transform coefficient is referred to as a transform quantization value.
  • the entropy encoding unit 102 entropy encodes the intra prediction mode and intra prediction direction supplied from the encoding control unit 110 and the transform quantization value supplied from the transform / quantization unit 101.
  • the inverse transform / inverse quantization unit 103 inversely quantizes the transform quantization value with the quantization step width Qs. Further, the inverse transform / inverse quantization unit 103 performs inverse frequency transform on the inversely quantized frequency transform coefficient based on 4 ⁇ 4 or 8 ⁇ 8 discrete cosine transform. The reconstructed prediction error image subjected to inverse frequency conversion is added with a prediction signal to become a reconstructed image.
  • a general video encoding device Based on the above-described operation, a general video encoding device generates a bit stream.
  • Non-Patent Document 2 video coding using a hierarchical coding unit (Coding Tree ⁇ Block (CTB)) shown in FIG.
  • CTB Coding Tree ⁇ Block
  • TTB Hierarchical coding unit
  • TTB Video Coding Tree ⁇ Block
  • LCTB Largest Coding Tree Block
  • SCTB Smallest Coding Tree Block
  • CU CodingCoUnit
  • LCU Largest Coding Tree Block
  • SCTB Smallest Coding Tree Block
  • the concept of Prediction unit (PU) is introduced as a prediction unit for CTB.
  • more types of intra prediction directions are supported.
  • the 8 ⁇ 8 intra PU partition in addition to DC, there are 33 types (slightly lower right indicated by a broken line in FIG. 23, indicated by a solid line on the right side of the broken line in FIG. 23) 16 types and a total of 33 types (16 types indicated by the solid line on the left side of the broken line in FIG. 23) are supported (DC and 34 types in total). 17 types are supported for 4 ⁇ 4 intra PU partitions, 34 types are supported for 16 ⁇ 16 and 32 ⁇ 32 intra PU partitions, and 5 types are supported for 64 ⁇ 64 intra PU partitions.
  • Patent Documents 1 to 4 describe a method for quickly determining an intra prediction mode in which an intra prediction direction is determined based on edge information of an intra encoding target block.
  • Patent Documents 1 and 2 disclose an embodiment in which an edge direction histogram and an activity gradient are used as edge information.
  • Patent Document 3 discloses an embodiment that uses frequency transform coefficient information of an intra coding target block as edge information.
  • Patent Document 4 discloses a method for quickly determining an intra prediction mode using an estimated sum of prediction blocks determined by a sum of pixels of an intra encoding target block and a mathematical function of surrounding boundary pixels.
  • Patent Document 5 and Non-Patent Document 2 disclose an embodiment in which the intra prediction direction used for encoding the intra encoding target block is determined using the edge information of the block adjacent to the intra encoding target block. Although these techniques can reduce the amount of code in the intra prediction direction, the problem of increasing the amount of computation of the encoding control unit 110 is not solved.
  • the TMuC method has a variable encoding unit. Usually, a lot of coding noise is generated in the reconstructed image at the block boundary position. Therefore, it is not preferable to determine the intra prediction direction used for coding the block to be intra-coded using the edge information at the block boundary position. In the TMuC method, since the block boundary position related to intra prediction and frequency conversion is not determined until the division shape of the CU is determined, the memory arrangement for storing the edge information of the non-block boundary position is not determined.
  • a video encoding apparatus includes an intra prediction unit that performs intra prediction on an image, a frequency conversion / quantization unit that performs frequency conversion and quantization on a prediction error based on intra prediction by the intra prediction unit, and frequency conversion / quantization.
  • the entropy coding means for entropy coding the transform quantization value generated by the means, the edge detection means for detecting the edge information of the image block of the minimum frequency transform block size of the image, and the edge information detected by the edge detection means are stored. And edge information storage means.
  • An image decoding apparatus includes an entropy decoding unit that entropy-decodes a transform quantization value, an inverse quantization / inverse frequency conversion unit that performs inverse frequency conversion by dequantizing the transform quantization value, and an intra that predicts an image intra.
  • a prediction direction selection means is included in a prediction direction selection means.
  • an image is intra-predicted, a prediction error based on intra prediction is frequency-transformed and quantized to generate a transform quantized value, the transform quantized value is entropy-coded, and the minimum frequency of the image Edge information of an image block having a transform block size is detected, and the detected edge information is stored in an edge information storage unit.
  • the video decoding method performs entropy decoding on a transform quantized value, inversely transforms the transform quantized value to perform inverse frequency transform, intra-predicts an image, and edge information of an image block having a minimum frequency transform block size of the image And an intra prediction direction used for decoding the decoding target block is selected based on the detected edge information.
  • the video encoding program includes a computer that performs intra-prediction processing on an image, processing that frequency-converts and quantizes a prediction error based on intra-prediction to generate a transform quantization value, and entropy converts the transform quantization value.
  • the encoding processing, the processing for detecting the edge information of the image block having the minimum frequency transform block size of the image, and the processing for storing the detected edge information in the edge information storage means are executed.
  • the video decoding program includes a computer that performs entropy decoding of a transform quantization value, inverse quantization of the transform quantization value and inverse frequency conversion, processing of intra prediction of an image, and minimum frequency of the image
  • a process for detecting edge information of an image block having a transform block size and a process for selecting an intra prediction direction used for decoding a decoding target block based on the detected edge information are performed.
  • the present invention in a video coding scheme in which the coding unit is variable, it is possible to suitably achieve both a reduction in the amount of calculation of the coding control unit and a reduction in the amount of code in the intra prediction direction.
  • FIG. FIG. 1 is a block diagram illustrating a video encoding apparatus according to the first embodiment.
  • the video encoding apparatus of the present embodiment has a transform / quantization unit 101, an entropy encoding unit 102, an inverse transform / inverse quantization unit 103, an intra
  • an edge detection unit 105, an edge information buffer 106, and an intra prediction direction selector 107 are provided.
  • the operation of the video encoding apparatus will be described by taking an example in which the LCU size is 64 ⁇ 64, the SCU size is 8 ⁇ 8, and the minimum frequency transform block size is 4 ⁇ 4 block size (see FIG. 2). Will be explained.
  • the input image of each LCU of the input video is supplied to the edge detection unit 105.
  • the edge detection unit 105 divides the input image of the LCU into the minimum frequency conversion block size (4 ⁇ 4 block size), and detects edge information at a position corresponding to the inside (2 ⁇ 2 pixels) of each 4 ⁇ 4 block. Then, the data is supplied to the edge information buffer 106.
  • the edge information is a normal vector of a gradient vector described later.
  • the gradient vector SrcGrad [x, y] (HSrcEdge [x, y], VSrcEdge [x, y]) of the input image is the input image (specifically, the pixel value of the input image)
  • Src [x, y] ( HS Edge [x, y] and VSrcEdge [x, y] are the results of applying the Sobel operator in the horizontal and vertical directions for 0 ⁇ ⁇ ⁇ ⁇ ⁇ x ⁇ 63, 0 ⁇ y ⁇ 63) It is determined.
  • the angle of the normal vector in the present embodiment is quantized at a predetermined angle, for example, 5.45 degrees (180 degrees / 33 directions).
  • the edge information buffer 106 includes edge information SrcNormal [x, y] of the input image supplied from the edge detection unit 105 and edge information RecNormal [x, y] of the reconstructed image supplied from the edge detection unit 105 described later. Is stored. However, the edge information corresponding to the predetermined position (x, y) y is one, and the edge information buffer 106 uses the edge information SrcNormal [x, y] of the input image as the edge information RecNormal [x, y] of the reconstructed image. Overwrite with.
  • the encoding control unit 110 determines the division shape of the LCU using the edge information SrcNormal [x, y] of the input image of the encoding target LCU.
  • the encoding control unit 110 equally divides the LCU into four (see FIG. 4), and calculates the mode (mode) of edge information belonging to each CU.
  • FIG. 4 exemplifies positions of edge information used when dividing a 2N ⁇ 2N (64 ⁇ 64 in this embodiment) LCU into four N ⁇ N (32 ⁇ 32) CUs.
  • the encoding control unit 110 determines not to divide the LCU when the edge information mode values of the four CUs are the same. If the edge information mode values of the four CUs are not the same, the encoding control unit 110 determines to divide the LCU into four CUs. By applying the same process to the hierarchically divided CUs, the encoding control unit 110 determines the division shape of the LCUs.
  • the input image of the PU partition of the CU corresponding to the division shape determined by the encoding control unit 110 is supplied to the encoding control unit 110.
  • the encoding control unit 110 compares the input image of the PU partition with intra prediction signals supplied from the intra prediction direction selector 107 and corresponding to a maximum of seven types of intra prediction directions, which will be described later. Determines the intra prediction direction that minimizes.
  • the encoding control unit 110 causes the intra prediction unit 104 to supply the intra prediction signal in the determined intra direction to the switch 121.
  • the split shape (split_coding_unit_flag, flagmode_table_idx, and intra_split_flag) of the selected LCU and information related to the intra prediction direction (prev_intra_luma_pred_flag and rem_intra_luma_pred_mode) are supplied to the entropy encoding unit 102.
  • split_coding_unit_flag, mode_table_idxin, intra_split_flag, prev_intra_luma_pred_flag, and rem_intra_luma_pred_mode are described in 4.1.9 Coding unit syntax and 4.1.10 Prediction unit syntax layers and PU layers of C.
  • the intra prediction direction selector 107 selects four categories of intra prediction directions.
  • the first category is IntraPredMode among the intra prediction directions of the PU partition (PU partition) A adjacent to the left of the PU partition to be predicted (Current PU partition) A and the PU partition B adjacent above shown in FIG. This is one intra prediction direction with smaller [PartpuPartIdx].
  • IntraPredMode [PartpuPartIdx] is the number of the intra prediction mode associated with the intra prediction direction described in Table 5-1 Specification of IntraPredMode [puPartIdx] and associatedsnames of Non-Patent Document 2.
  • the second category is one intra prediction direction corresponding to the mode value of edge information RecNormal [x, y] adjacent to the PU partition.
  • RecNormal [x, y] was obtained based on the reconstructed image (specifically, the pixel value of the reconstructed image) Rec [x, y] located inside each block of the minimum frequency transform block size. Since it is information, that is, information that is not based on the reconstructed image Rec [x, y] located at the block boundary, the influence of block distortion is avoided.
  • the third category is one intra prediction direction corresponding to the mode value of the edge information SrcNormal [x, y] of the input image of the PU partition.
  • the fourth category includes a total of four intra-prediction directions: DC, horizontal, vertical, and diagonally lower right, which are often image characteristics.
  • the total types of intra prediction directions of all categories selected by the intra prediction direction selector 107 are a maximum of seven types.
  • the position of the edge information used to determine the third category and the fourth category intra prediction direction FIG. 6 to FIG.
  • edge information at a position where no reconstructed image exists is not used.
  • the intra prediction unit 104 generates an intra prediction signal in the intra prediction direction determined by the encoding control unit 110.
  • the prediction signal supplied from the intra prediction unit 104 via the switch 121 is reduced.
  • the transform / quantization unit 101 performs prediction error based on discrete cosine transform of 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, or 64 ⁇ 64, which is equal to or smaller than the CU size to be encoded. Frequency conversion. Furthermore, the transform / quantization unit 101 quantizes the prediction error image (frequency transform coefficient) subjected to frequency transform with a predetermined quantization step width Qs to generate a transform quantized value.
  • the entropy encoding unit 102 entropy encodes the intra prediction mode and intra prediction direction supplied from the encoding control unit 110 and the transform quantization value supplied from the transform / quantization unit 101. Also, information on the block size of the discrete cosine transform (split_transform_unit_flag ⁇ ⁇ described in 4.1.11 Transform unit syntax of Non-Patent Document 2) is also entropy coded.
  • the inverse transform / inverse quantization unit 103 inversely quantizes the transform quantization value with the quantization step width Qs. Further, the inverse transform / inverse quantization unit 103 is based on a discrete cosine transform of 4 ⁇ 4, 8 ⁇ 8, 16 ⁇ 16, 32 ⁇ 32, or 64 ⁇ 64, which is equal to or smaller than the CU size to be encoded. Then, the inversely quantized frequency transform coefficient is inversely frequency transformed. The reconstructed prediction error image subjected to inverse frequency conversion is added with a prediction signal to become a reconstructed image.
  • the edge detection unit 105 divides the reconstructed image Rec [x, y] corresponding to the input video of the PU partition into the minimum frequency transform block size (4 ⁇ 4 block size) for encoding the subsequent input image.
  • the edge information RecNormal [x, y] at the position corresponding to the inside of each 4 ⁇ 4 block is detected and supplied to the edge information buffer 106. That is, the edge information buffer 106 is overwritten with the edge information RecNormal [x, y] of the reconstructed image with the edge information SrcNormal [x, y] corresponding to the input video of the PU partition.
  • FIG. 11 shows an example in which the edge information SrcNormal [x, y] is overwritten with the edge information RecNormal [x, y] of the reconstructed image after the 16 ⁇ 16 intra PU partition at the upper left position in the LCU is reconstructed.
  • FIG. 11 is an explanatory diagram showing the edge information stored in the edge information buffer 106 after the 16 ⁇ 16 intra PU partition is reconstructed. In FIG. 11, the portion surrounded by the thick line at the upper left is overwritten. Part.
  • the video encoding apparatus applies the above-described operation to the remaining input image of the LCU.
  • the video encoding device of this embodiment Based on the above-described operation, the video encoding device of this embodiment generates a bit stream.
  • FIG. The configuration of the video encoding device of the second embodiment is the same as the configuration of the video encoding device of the first embodiment shown in FIG.
  • the video encoding apparatus according to the present embodiment prevents the encoding control unit 110 from transmitting the syntax of rem_intra_luma_pred_mode among the information (prev_intra_luma_pred_flag and rem_intra_luma_pred_mode) related to the intra prediction direction under a specific condition described later. .
  • the specific condition is a condition in which the intra prediction direction of the first category in the first embodiment is DC and prev_intra_luma_pred_flag is set to 1 (that is, a condition in which rem_intra_luma_pred_mode is not transmitted). That is, if the intra prediction direction predicted based on the intra prediction directions of the left and upper adjacent blocks of the PU partition is DC, and the predicted intra prediction direction of DC is the intra prediction direction of the PU partition, the video decoding device This is the condition that the entropy decoder will interpret.
  • the encoding control unit 110 performs intra prediction on the PU partition corresponding to the above specific condition according to the intra prediction direction of the second category in the first embodiment, and encodes the PU partition.
  • the video encoding apparatus it is possible to reduce the amount of codes in the intra prediction mode that occupies the bitstream while satisfying that the influence of block distortion is avoided and the memory arrangement for storing edge information is determined.
  • the encoding control unit 110 selects the number of intra prediction directions in which the prediction error is calculated based on the edge information of the image block having the minimum frequency transform block size. Then, the intra prediction direction used for coding the intra coding target block is determined.
  • the position (internal position) of the image block having the minimum frequency transform block size is a non-block boundary position that does not depend on the division shape of the CU, and is a determined position that does not depend on the division shape of the CU.
  • the edge information of the image block having the minimum frequency transform block size is not affected by block distortion, and its memory arrangement is fixed.
  • the video encoding apparatus uses the edge information at the non-block boundary position to reduce the code amount in the intra prediction direction, and simplifies the memory arrangement of the edge information and the edge information calculation, and the encoding control unit 110. The amount of computation can be reduced.
  • the video encoding apparatus stores the edge information of the image block having the minimum frequency conversion block size in the edge storage buffer 106 by utilizing the determination of the memory arrangement. Since the stored edge information can be reused, the number of edge information detections can be reduced. In the case of the video encoding device according to the above-described embodiment, the number of edge information detections per minimum frequency transform block size is twice (input image and reconstructed image).
  • the video encoding apparatus calculates the energy of the prediction error only for the selected intra prediction direction, the amount of calculation of the encoding control unit 110 that calculates the energy of the prediction error can be reduced. For example, in the case of an 8 ⁇ 8 intra PU partition, it is not necessary to calculate the energy of prediction errors for as many as 34 types of intra prediction directions, and it is only necessary to calculate the energy of prediction errors for a maximum of seven types of intra prediction directions.
  • the video encoding apparatus can reduce the amount of calculation of the encoding control unit 110 that calculates the energy of the prediction error by determining the division shape of the encoding target maximum encoding unit using the edge information. . For example, it is not necessary to calculate the energy of prediction error for a total of four pattern divided shapes of 64 ⁇ 64, 32 ⁇ 32, 16 ⁇ 16, and 8 ⁇ 8, and it is only necessary to perform energy calculation of the prediction error for one pattern divided shape. .
  • FIG. FIG. 12 is a block diagram illustrating a video decoding apparatus according to the third embodiment.
  • the video decoding apparatus according to the present embodiment is a video decoding apparatus that decodes the bitstream of the video encoding apparatus according to the second embodiment.
  • the video decoding apparatus includes an entropy decoding unit 202, an inverse transform / inverse quantization unit 203, an intra prediction unit 204, a decoding control unit 210, a switch 221, an edge detection unit 205, and edge information.
  • a buffer 206 and an intra prediction direction selector 207 are provided.
  • the entropy decoding unit 202 entropy-decodes the bitstream, and the division shape (split_coding_unit_flag, mode_table_idx, and intra_split_flag) of the decoding target LCU, information related to the intra prediction direction (prev_intra_luma_pred_flag), rem_intra_luma_pred_mode, block size of unit_split_transform_block_size ) And the converted quantized value are output.
  • the decoding control unit 210 controls the switch 221 by monitoring information related to the intra prediction direction of the PU partition of the decoding target CU.
  • the intra prediction direction of the first category described above is DC and prev_intra_luma_pred_flag is 1 (the decoding control unit 210 uniquely interprets the prediction intra prediction direction of DC as the intra prediction direction of the PU partition).
  • the intra prediction direction determined by the intra prediction direction selector 207 is supplied to the intra prediction unit 204.
  • the intra prediction unit 204 is supplied with the intra prediction direction determined by prev_intra_luma_pred_flag and rem_intra_luma_pred_mode.
  • the intra prediction direction selector 207 selects the second category intra prediction direction and supplies it to the switch 221.
  • the intra prediction unit 204 generates an intra prediction signal for the PU partition of the decoding target CU using the reconstructed image based on the intra prediction direction supplied via the switch 221.
  • the inverse transform / inverse quantization unit 203 inversely quantizes the transform quantization value supplied from the entropy decoding unit 202, and further performs inverse frequency transform based on the block size discrete cosine transform determined by entropy decoding to perform the original Return to the space area. Furthermore, a reconstructed image of the PU partition of the decoding target CU is obtained by adding the intra prediction signal to the reconstructed prediction error returned to the original space region.
  • the edge detection unit 205 divides the reconstructed image Rec [x, y] of the PU partition of the decoding target CU into the minimum frequency transform block size (4 ⁇ 4 block size) for decoding the subsequent image region, Edge information RecNormal [x, y] at a position corresponding to the inside of the 4 ⁇ 4 block is detected and supplied to the edge information buffer 206.
  • the operation of the edge detection unit 205 is the same as the operation of the edge detection unit 105 in the first embodiment.
  • the operation of the intra prediction direction selector 207 is the same as the operation of the intra prediction direction selector 107 in the first embodiment.
  • the edge information buffer 206 stores the edge information RecNormal [x, y] of the reconstructed image supplied from the edge detection unit 205.
  • the video decoding apparatus applies the above-described operation to the remaining image area of the LCU.
  • the video decoding apparatus decompresses the bit stream by the above processing.
  • the video decoding apparatus determines an intra prediction direction used for coding an intra coding target block based on edge information of an image block having a minimum frequency transform block size.
  • the position (internal position) of the image block having the minimum frequency transform block size is a non-block boundary position that does not depend on the division shape of the CU, and is a determined position that does not depend on the division shape of the CU.
  • the edge information of the image block having the minimum frequency transform block size is not affected by block distortion, and its memory arrangement is fixed.
  • the video decoding apparatus uses the edge information at the non-block boundary position to reduce the amount of code in the intra prediction direction, and simplifies the memory arrangement of the edge information and the calculation of the edge information, thereby calculating the decoding control unit 210. The amount can be reduced.
  • the edge detection unit in the video encoding device and video decoding device of the above-described embodiment is robust against noise included in the input image Src [x, y] and the reconstructed image Rec [x, y].
  • Gradient vector using Src '[x, y] and reconstructed image Rec' [x, y] ⁇ that are the result of applying a low-pass filter to the input image Src [x, y] and the reconstructed image Rec [x, y] May be calculated.
  • a low-pass filter a 3-tap one-dimensional FIR filter of [1 2 1] / 4 can be applied in each of the horizontal and vertical directions.
  • a 5-tap two-dimensional FIR filter based on a Gaussian filter can be applied.
  • an L1 norm or an L2 norm can be used as the norm.
  • the intra prediction direction selector in the video encoding device and the video decoding device according to the above-described embodiments instead of the intra prediction direction corresponding to the most frequent edge information, regarding the intra prediction directions of the second category and the third category.
  • the intra prediction direction corresponding to the edge information of the maximum norm may be selected.
  • the minimum frequency conversion block size is set to 4 ⁇ 4 by using the edge information of the maximum norm
  • the amount of edge information stored in the edge information buffer is reduced. Can be reduced to 1/4. This is because only the edge information of the maximum norm among the 2 ⁇ 2 edge information of each minimum frequency transform block size needs to be stored as representative edge information. This is because the edge information that is the maximum norm of the plurality of 2 ⁇ 2 edge information is the same as the representative edge information that is the maximum norm of the plurality of representative edge information.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 13 includes a processor 1001, a program memory 1002, a storage medium 1003, and a storage medium 1004.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the buffer block) shown in each of FIGS.
  • the processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1 and 12 by executing processing according to the program stored in the program memory 1002.
  • FIG. 14 is a block diagram showing the main part of the video encoding apparatus according to the present invention.
  • the video encoding apparatus according to the present invention is based on intra prediction means 11 (intra prediction section 104 shown in FIG. 1 as an example) for intra prediction of an image and prediction based on intra prediction by the intra prediction means 11.
  • Frequency conversion / quantization means 12 for example, the conversion / quantization unit 101 shown in FIG. 1) for frequency-converting and quantizing the error, and an entropy code for the converted quantization value generated by the frequency conversion / quantization means 12
  • Entropy coding means 13 entropy coding section 102 shown in FIG. 1 as an example
  • edge detection means 14 as an example shown in FIG. 1 that detects edge information of an image block having the minimum frequency transform block size of the image.
  • Edge detection unit 105 and edge information storage unit 15 (one example) for storing edge information detected by the edge detection unit 14 Te, and an edge information buffer 106) shown in FIG.
  • FIG. 15 is a block diagram showing the main part of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention includes an entropy decoding unit 21 (entropy decoding unit 202 shown in FIG. 12 as an example) that performs entropy decoding on a transform quantization value, and dequantizes the transform quantization value.
  • Inverse quantization / inverse frequency conversion means 22 for example, the inverse transformation / inverse quantization unit 203 shown in FIG. 12
  • intra prediction means 23 for intra-predicting an image (for example, shown in FIG.
  • An intra prediction unit 204 An intra prediction unit 204), an edge detection unit 24 that detects edge information of an image block having the minimum frequency conversion block size of the image (for example, the edge detection unit 205 shown in FIG. 12), and an edge detected by the edge detection unit 24
  • Intra prediction direction selection means 25 for selecting an intra prediction direction used for decoding of the decoding target block based on the information.
  • FIG. 16 is a flowchart showing the main steps of the video encoding method according to the present invention.
  • the intra prediction direction is selected (step S101)
  • the image is intra predicted (step S102)
  • the prediction error based on the intra prediction is frequency-converted and quantized.
  • step S103 entropy-encode the transform quantized value (step S104)
  • step S105 detect edge information of the image block of the minimum frequency transform block size of the image
  • detect the detected edge Information is stored in the edge information storage means (step S106).
  • FIG. 17 is a flowchart showing the main steps of the video decoding method according to the present invention.
  • the transform quantized value is entropy-decoded (step S201)
  • the transform quantized value is inversely quantized and inverse frequency transformed (step S202), and detected in the past.
  • the intra prediction direction used for decoding the decoding target block is selected based on the edge information (step S203), the image is intra predicted (step S204), and the edge information of the image block having the minimum frequency transform block size of the image is detected (step S204).
  • the detected edge information is stored in the edge information storage means (step S206).
  • (Appendix 1) Generated by intra prediction means for intra-predicting an image, frequency conversion / quantization means for frequency-converting and quantizing a prediction error based on intra prediction by the intra prediction means, and the frequency conversion / quantization means
  • An entropy encoding unit that entropy-encodes the transformed quantized value, an edge detection unit that detects edge information of an image block having a minimum frequency transform block size of the image, and edge information detected by the edge detection unit are stored
  • An intra-prediction direction selecting unit that selects an intra-prediction direction used for encoding the block to be encoded based on the edge information stored in the edge information storage unit; Reconstructs multiple minimum frequency transform block sizes adjacent to the current block.
  • Video coding apparatus for selecting an intra prediction direction based on the mode of the edge information contained in the image.
  • the prediction intra prediction direction determined based on the intra prediction direction of the block adjacent on the left of the encoding object block and on the upper side is DC, and the prediction intra prediction direction of DC is used as the intra prediction direction of the encoding object block.
  • the video encoding device according to supplementary note 1 or supplementary note 2, further comprising: encoding control means for intra-predicting an image in the intra prediction direction selected by the intra prediction direction selecting means under a condition interpreted by the entropy decoder of the video decoding apparatus.
  • Entropy decoding means for entropy decoding the transformed quantized value, inverse quantization / inverse frequency transforming means for inversely transforming the transformed quantized value by inverse quantization, and intra predicting means for intra-predicting an image , Edge detection means for detecting edge information of an image block of the minimum frequency transform block size of the image, and intra prediction for selecting an intra prediction direction used for decoding a decoding target block based on the edge information detected by the edge detection means
  • Direction decoding means wherein the intra prediction direction selection means selects an intra prediction direction based on a mode of edge information included in a reconstructed image having a plurality of minimum frequency transform block sizes adjacent to a decoding target block. apparatus.
  • Entropy decoding means for entropy decoding the transform quantization value, inverse quantization / inverse frequency transform means for inversely quantizing the transform quantization value and performing inverse frequency conversion, and intra prediction means for intra-predicting an image , Edge detection means for detecting edge information of an image block of the minimum frequency transform block size of the image, and intra prediction for selecting an intra prediction direction used for decoding a decoding target block based on the edge information detected by the edge detection means
  • Direction selection means wherein the intra prediction direction selection means determines an intra prediction direction based on edge information of a maximum norm of edge information included in a reconstructed image of a plurality of minimum frequency transform block sizes adjacent to a decoding target block.
  • Video decoding device to select.
  • the prediction intra prediction direction determined based on the intra prediction direction of the block adjacent on the left and the upper side of a decoding object block is DC, and entropy decoding by making the prediction intra prediction direction of DC into the intra prediction direction of a decoding object block
  • Intra prediction means 12 Frequency conversion / quantization means 13 Entropy encoding means 14 Edge detection means 15 Edge information storage means 21 Entropy decoding means 22 Inverse quantization / inverse frequency conversion means 23 Intra prediction means 24 Edge detection means 25 Intra prediction direction Selection means 101 Transform / quantization unit 102 Entropy encoding unit 103 Inverse transform / inverse quantization unit 104 Intra prediction unit 105 Edge detection unit 106 Edge information buffer 107 Intra prediction direction selector 110 Encoding control unit 121 Switch 202 Entropy decoding unit 203 Inverse Transformation / Inverse Quantization Unit 204 Intra Prediction Unit 205 Edge Detection Unit 206 Edge Information Buffer 207 Intra Prediction Direction Selector 210 Decoding Control Unit 221 Switch 1001 Processor 1002 Professional Gram memory 1003 Storage medium 1004 Storage medium 1004 Storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　映像符号化装置は、画像をイントラ予測するイントラ予測部と、イントラ予測部によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化部と、周波数変換／量子化部が生成した変換量子化値をエントロピー符号化するエントロピー符号化部と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出部と、エッジ検出部が検出したエッジ情報を格納するエッジ情報格納部とを備える。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
　本発明は、エッジ情報を用いた映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
　一般に、映像符号化装置は、ディジタル化された映像信号に対して、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
　所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model 方式が知られている（以下、ＡＶＣ方式に準拠した映像符号化装置を、一般的な映像符号化装置という）。
　図１８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
　図１８に示すように、一般的な映像符号化装置は、変換／量子化部１０１、エントロピー符号化部１０２、逆変換／逆量子化部１０３、イントラ予測部１０４、符号化制御部１１０およびスイッチ１２１を備えている。
　一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。
　図１９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図１９に示された各部の動作を説明する。
　入力映像の各ＭＢの入力画像は、スイッチ１２１を介してイントラ予測部１０４から供給される予測信号が減じられる。以下、予測信号が減じられた入力映像を予測誤差という。
　イントラ予測部１０４は、現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。
　非特許文献1の8.3.1 Intra_4x4 prediction process for luma samples 、8.3.2 Intra_8x8 prediction process for luma samples 、及び、8.3.3 Intra_16x16 prediction process for luma samples を引用すると、３種類のイントラ予測モード（Intra_４×４、Intra_８×８、Intra_１６×１６）がある。
　一例として、図２０を参照して、Intra_４×４を説明する。図２０（ａ）における丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図２０（ｂ）に示す９種類の方向のいずれかに参照画素をパディング（外挿）して予測信号を形成する。以下、外挿の方向をイントラ予測方向と呼ぶ。
　符号化制御部１１０は、９種類のイントラ予測信号と入力映像のＭＢの信号を比較して、予測誤差のエネルギーが最小となるイントラ予測方向を選択し、イントラ予測部に選択したイントラ方向のイントラ予測信号をスイッチ１２１へ供給させる。選択されたイントラ予測モード、イントラ予測方向に関連する情報は、エントロピー符号化部１０２に供給される。
　変換／量子化部１０１は、４×４または８×８の離散コサイン変換に基づいて、予測誤差を周波数変換する。さらに、変換／量子化部１０１は、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
　エントロピー符号化部１０２は、符号化制御部１１０から供給されるイントラ予測モードおよびイントラ予測方向、変換／量子化部１０１から供給される変換量子化値をエントロピー符号化する。
　逆変換／逆量子化部１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化部１０３は、４×４または８×８の離散コサイン変換に基づいて、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて再構築画像となる。
　上述した動作に基づいて、一般的な映像符号化装置はビットストリームを生成する。
特許第４５０９１０４号公報 特表２０１０－５０８６８４号公報 特開２００７－１６６６１７号公報 特許第４５５５７５８号公報 特開２００９－１１１６９１号公報
ISO/IEC　14496-10 Advanced Video Coding "Test Model under Consideration"，Document：JCTVC-B205，Joint Collaborative Team on Video Coding（JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting ：Geneva，CH，21-28 July，2010
　非特許文献２に記載されているように、符号化単位が可変である、図２１に示す階層構造の符号化ユニット（Coding Tree Block （ＣＴＢ）） を用いた映像符号化（以下、Test Model under Consideration方式 （ＴＭｕＣ方式）と呼ぶ）がある。なお、最大のＣＴＢをLargest Coding Tree Block （ＬＣＴＢ）、最小のＣＴＢをSmallest Coding Tree Block （ＳＣＴＢ）と呼ぶ。以下、ＣＴＢのブロックをCoding Unit （ＣＵ）と呼ぶ。よって、ＬＣＴＢをＬＣＵ（Largest Coding Unit ）、ＳＣＴＢをＳＣＵ（Smallest Coding Unit）と呼ぶ。
　ＴＭｕＣ方式においては、図２２に示すように、ＣＴＢに対する予測ユニットとしてPrediction unit （ＰＵ）という概念が導入されている。また、ＴＭｕＣ方式においては、より多くの種類のイントラ予測方向がサポートされている。例えば、図２３の概念図に示すように、８×８のイントラＰＵパーティションにおいては、ＤＣ以外に、３３種類（図２３において破線で示す右斜め下、図２３において破線よりも右側の実線で示す１６種類、及び図２３において破線の左側の実線で示す１６種類の計３３種類）ものイントラ予測方向がサポートされている（ＤＣと合計で３４種類）。４×４のイントラＰＵパーティションにおいては１７種類、１６×１６と３２×３２のイントラＰＵパーティションにおいては３４種類、６４×６４のイントラＰＵパーティションにおいては５種類がサポートされている。
　よって、ＴＭｕＣ方式に基づいた映像符号化において、一般的な映像符号化装置における符号化制御部１１０と同様に、全ての種類（イントラＰＵパーティション数×イントラ予測方向）のイントラ予測信号と入力映像のＭＢの信号を比較して予測誤差のエネルギーが最小となるイントラ予測方向を選択すると、符号化制御部１１０の演算量が多くなる課題がある。
　また、ＴＭｕＣ方式に基づいた映像符号化においては、イントラ予測方向数が多いため、ビットストリームを占めるイントラ予測方向に関連する情報の符号量が多くなる課題がある。
　符号化制御部１１０の演算量を少なくする従来技術として、特許文献１～４に記載された技術がある。特許文献１～４には、イントラ符号化対象ブロックのエッジ情報に基づいてイントラ予測方向を決定するイントラ予測モードの高速決定方法が記載されている。
　特許文献１，２は、エッジ情報として、エッジ方向ヒストグラムと活性勾配のそれぞれを利用する実施形態を開示している。特許文献３は、エッジ情報として、イントラ符号化対象ブロックの周波数変換係数情報を利用する実施形態を開示している。特許文献４は、イントラ符号化対象ブロックの画素の和と周囲の境界ピクセルの数学的関数によって決定する予測ブロックの推定和を用いるイントラ予測モードの高速決定方法を開示している。
　これらの文献に開示された技術によって、符号化制御部１１０の演算量を少なくできるが、イントラ予測方向の符号量が多くなる課題は解決されない。
　ビットストリームを占めるイントラ予測方向の符号量を少なくする技術として、特許文献５および非特許文献２の9.5 Edge based predictionに開示されている技術がある。特許文献５および非特許文献２は、イントラ符号化対象ブロックに隣接するブロックのエッジ情報を用いてイントラ符号化対象ブロックの符号化に用いるイントラ予測方向を決定する実施形態を開示している。これらの技術によって、イントラ予測方向の符号量を少なくできるが、符号化制御部１１０の演算量が多くなる課題は解決されない。
　上述した、符号化制御部１１０の演算量を少なくする技術とイントラ予測方向の符号量を少なくする技術を単純に組み合わせても、ＴＭｕＣ方式においては、符号化制御部１１０の演算量が多くなる課題とイントラ予測方向の符号量が多くなる課題の両方を好適に解決できない。なぜならば、ＴＭｕＣ方式は符号化単位が可変だからである。通常、ブロック境界位置の再構築画像に符号化雑音が多く発生するため、ブロック境界位置のエッジ情報を用いてイントラ符号化対象ブロックの符号化に用いるイントラ予測方向を決定することは好ましくない。ＴＭｕＣ方式においては、ＣＵの分割形状が決まるまで、イントラ予測や周波数変換に関連するブロック境界位置が確定しないため、非ブロック境界位置のエッジ情報を格納するメモリ配置が確定しない。
　ゆえに、上記の特許文献および非特許文献に開示されている技術の単純な組み合わせでは、ＣＵの分割形状に応じてメモリ配置やエッジ情報計算を制御することが必要となる。つまり、上記の技術の単純な組み合わせで、非ブロック境界位置のエッジ情報を用いてイントラ予測方向の符号量を少なくしようとすると、エッジ情報のメモリ配置やエッジ情報計算など複雑になり符号化制御部１１０の演算量が多くなる課題がある。
　本発明による映像符号化装置は、画像をイントラ予測するイントラ予測手段と、イントラ予測手段によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段と、周波数変換／量子化手段が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、エッジ検出手段が検出したエッジ情報を格納するエッジ情報格納手段とを備えることを特徴とする。
　本発明による映像復号装置は、変換量子化値をエントロピー復号するエントロピー復号手段と、変換量子化値を逆量子化して逆周波数変換する逆量子化／逆周波数変換手段と、画像をイントラ予測するイントラ予測手段と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、エッジ検出手段が検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定するイントラ予測方向選定手段とを備えることを特徴とする。
　本発明による映像符号化方法は、画像をイントラ予測し、イントラ予測に基づく予測誤差を周波数変換して量子化して変換量子化値を生成し、変換量子化値をエントロピー符号化し、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し、検出したエッジ情報をエッジ情報格納手段に格納することを特徴とする。
　本発明による映像復号方法は、変換量子化値をエントロピー復号し、変換量子化値を逆量子化して逆周波数変換し、画像をイントラ予測し、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し、検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定することを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、画像をイントラ予測する処理と、イントラ予測に基づく予測誤差を周波数変換して量子化して変換量子化値を生成する処理と、変換量子化値をエントロピー符号化する処理と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出する処理と、検出したエッジ情報をエッジ情報格納手段に格納する処理とを実行させることを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、変換量子化値をエントロピー復号する処理と、変換量子化値を逆量子化して逆周波数変換する処理と、画像をイントラ予測する処理と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出する処理と、検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定する処理とを実行させることを特徴とする。
　本発明によれば、符号化単位が可変である映像符号化方式において、符号化制御部の演算量を少なくすることとイントラ予測方向の符号量を少なくすることを好適に両立できる。
第１の実施形態の映像符号化装置のブロック図である。 フレームおよびブロックサイズの例の説明図である。 ６４×６４のＬＣＵの入力画像に対するエッジ情報の位置を示す説明図である。 ２Ｎ×２ＮのＬＣＵを４つのＮ×ＮのＣＵに分割する際に利用するエッジ情報の位置を示す説明図である。 左に隣接するＰＵパーティションと上に隣接するＰＵパーティションの位置関係を示す説明図である。 ６４×６４イントラＰＵパーティションのイントラ予測方向の選定に利用するエッジ情報の位置を示す説明図である。 ３２×３２イントラＰＵパーティションのイントラ予測方向の選定に利用するエッジ情報の位置を示す説明図である。 １６×１６イントラＰＵパーティションのイントラ予測方向の選定に利用するエッジ情報の位置を示す説明図である。 ８×８イントラＰＵパーティションのイントラ予測方向の選定に利用するエッジ情報の位置を示す説明図である。 ４×４イントラＰＵパーティションのイントラ予測方向の選定に利用するエッジ情報の位置を示す説明図である。 ＬＣＵ内の左上位置の１６×１６イントラＰＵパーティションを再構築した後のエッジ情報バッファに格納されたエッジ情報を示す説明図である。 第３の実施形態の映像復号装置のブロック図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 一般的な映像符号化装置のブロック図である。 フレームの空間解像度がＱＣＩＦの場合のブロック分割の例を示す説明図である。 Intra_４×４のイントラ予測を示す説明図である。 ＣＴＢを示す説明図である。 イントラ予測のＰＵパーティションを示す説明図である。 ８×８のイントラＰＵパーティションにおけるイントラ予測方向の概念図である。
実施形態１．
　図１は、第１の実施形態の映像符号化装置を示すブロック図である。本実施形態の映像符号化装置は、図１８に示された一般的な映像符号化装置と比較すると、変換／量子化部１０１、エントロピー符号化部１０２、逆変換／逆量子化部１０３、イントラ予測部１０４、符号化制御部１１０およびスイッチ１２１に加えて、エッジ検出部１０５、エッジ情報バッファ１０６、およびイントラ予測方向選定器１０７を備える。
　以下、ＬＣＵサイズを６４×６４、ＳＣＵサイズを８×８、最小周波数変換ブロックサイズを４×４ブロックサイズとした場合を例にして（図２参照）、本実施形態の映像符号化装置の動作を説明する。
　入力映像の各ＬＣＵの入力画像は、エッジ検出部１０５に供給される。エッジ検出部１０５は、ＬＣＵの入力画像を最小周波数変換ブロックサイズ（４×４ブロックサイズ）に分割し、それぞれの４×４ブロックの内部（２×２画素）に対応する位置のエッジ情報を検出して、エッジ情報バッファ１０６に供給する。
　図３には、６４×６４のＬＣＵの入力画像に対するエッジ情報の位置が例示されている。図３に示すように、ＬＣＵサイズが６４×６４の場合、２５６（＝６４×６４／１６）個の２×２ブロックのエッジ情報が検出される。エッジ情報は、後述する勾配ベクトルの法線ベクトルである。入力画像の勾配ベクトルSrcGrad[x,y]= （HSrcEdge[x,y], VSrcEdge[x,y]）は、入力画像（具体的には、入力画像の画素値）Src[x,y] （0 ≦x ≦63, 0 ≦y ≦63）に対して、水平および垂直それぞれの方向にソーベルオペレータ（Sobel operator）を適用した結果であるHSrcEdge[x,y] およびVSrcEdge[x,y] によって決定される。ただし、本実施形態における法線ベクトルの角度を、所定の角度、例えば５．４５度（１８０度／３３方向）で量子化するものとする。
　エッジ情報バッファ１０６は、エッジ検出部１０５から供給される入力画像のエッジ情報SrcNormal[x,y]、および、後述するエッジ検出部１０５から供給される再構築画像のエッジ情報RecNormal[x,y]を格納する。ただし、所定位置(x,y) に対応するエッジ情報は一つであり、エッジ情報バッファ１０６は、入力画像のエッジ情報SrcNormal[x,y]を再構築画像のエッジ情報RecNormal[x,y]で上書きする。
　符号化制御部１１０は、符号化対象ＬＣＵの入力画像のエッジ情報SrcNormal[x,y]を用いてＬＣＵの分割形状を決定する。符号化制御部１１０は、ＬＣＵを均等に４分割し（図４参照）、それぞれのＣＵに属するエッジ情報のモード（最頻値）を計算する。図４には、２Ｎ×２Ｎ（本実施形態では、６４×６４）のＬＣＵを４つのＮ×Ｎ（３２×３２）のＣＵに分割する際に利用するエッジ情報の位置が例示されている。
　符号化制御部１１０は、４つのＣＵのエッジ情報最頻値が同一の場合、ＬＣＵを分割しないと決定する。符号化制御部１１０は、４つのＣＵのエッジ情報最頻値が同一でない場合、ＬＣＵを４つのＣＵに分割すると決定する。同様の処理を、階層的に分割したＣＵに適用することによって、符号化制御部は１１０は、ＬＣＵの分割形状を決定する。
　符号化制御部１１０が決定した分割形状に対応するＣＵのＰＵパーティションの入力画像が、符号化制御部１１０に供給される。符号化制御部１１０は、ＰＵパーティションの入力画像と、イントラ予測方向選定器１０７から供給される、後述する最大７種類のイントラ予測方向に対応するイントラ予測信号とを比較して、予測誤差のエネルギーが最小となるイントラ予測方向を決定する。
　符号化制御部１１０は、イントラ予測部１０４に、決定したイントラ方向のイントラ予測信号をスイッチ１２１へ供給させる。選択されたＬＣＵの分割形状（split_coding_unit_flag, mode_table_idx、およびintra_split_flag）およびイントラ予測方向に関連する情報（prev_intra_luma_pred_flag およびrem_intra_luma_pred_mode）は、エントロピー符号化部１０２に供給される。なお、split_coding_unit_flag、mode_table_idx 、intra_split_flag、prev_intra_luma_pred_flag 、および、rem_intra_luma_pred_modeは、非特許文献２の4.1.9 Coding unit syntax、および4.1.10 Prediction unit syntax に記載されている、ＣＵレイヤおよびＰＵレイヤのシンタクスである。
　イントラ予測方向選定器１０７は、４カテゴリのイントラ予測方向を選定する。第１のカテゴリは、図５に示す、予測対象のＰＵパーティション（Current PU partition）左に隣接するＰＵパーティション（PU partition ）Ａと上に隣接するＰＵパーティションＢとのそれぞれのイントラ予測方向のうちIntraPredMode[ puPartIdx ]が小さい方の、１つのイントラ予測方向である。なお、IntraPredMode[ puPartIdx ]は、非特許文献２のTable 5-1 Specification of IntraPredMode[ puPartIdx ] and associated namesに記載されている、イントラ予測方向に対応付けられたイントラ予測モードの番号である。
　第２のカテゴリは、ＰＵパーティションに隣接するエッジ情報RecNormal[x,y]の最頻値に対応する、１つのイントラ予測方向である。なお、RecNormal[x,y]は最小周波数変換ブロックサイズのブロックそれぞれの内部に位置する再構築画像（具体的には、再構築画像の画素値）Rec [x,y] に基づいて得られた情報であるため、すなわち、ブロック境界に位置する再構築画像Rec [x,y]に基づいていない情報であるため、ブロック歪みの影響が回避される。
　第３のカテゴリは、ＰＵパーティションの入力画像のエッジ情報SrcNormal[x,y]の最頻値に対応する、１つのイントラ予測方向である。
　第４のカテゴリは、画像の特性として多い、ＤＣ、水平、垂直、右斜め下の合計４つのイントラ予測方向である。
　つまり、イントラ予測方向選定器１０７が選定するすべてのカテゴリのイントラ予測方向の合計種類は最大で７種類である。
　６４×６４、３２×３２、１６×１６、８×８、４×４のＰＵパーティションサイズごとに、第３のカテゴリおよび第４のカテゴリのイントラ予測方向の決定に利用する、エッジ情報の位置を図６から図１０にそれぞれ示す。ただし、第４のイントラ予測方向の決定において、再構築画像が存在しない位置のエッジ情報は用いない。
　イントラ予測部１０４は、符号化制御部１１０が決定したイントラ予測方向のイントラ予測信号を生成する。
　ＰＵパーティションの入力画像は、イントラ予測部１０４からスイッチ１２１を介して供給される予測信号が減じられる。変換／量子化部１０１は、符号化対象のＣＵサイズ以下である、４×４、８×８、１６×１６、３２×３２、６４×６４のいずれかの離散コサイン変換に基づいて、予測誤差を周波数変換する。さらに、変換／量子化部１０１は、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化し、変換量子化値を生成する。
　エントロピー符号化部１０２は、符号化制御部１１０から供給されるイントラ予測モードおよびイントラ予測方向、変換／量子化部１０１から供給される変換量子化値をエントロピー符号化する。また、離散コサイン変換のブロックサイズに関する情報（非特許文献２の4.1.11 Transform unit syntaxに記載されている、split_transform_unit_flag ）もエントロピー符号化する。
　逆変換／逆量子化部１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化部１０３は、符号化対象のＣＵサイズ以下である、４×４、８×８、１６×１６、３２×３２、６４×６４のいずれかの離散コサイン変換に基づいて、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて再構築画像となる。
　エッジ検出部１０５は、後続する入力画像の符号化のために、ＰＵパーティションの入力映像に対応する再構築画像Rec[x,y]を最小周波数変換ブロックサイズ（４×４ブロックサイズ）に分割し、それぞれの４×４ブロックの内部に対応する位置のエッジ情報RecNormal[x,y]を検出して、エッジ情報バッファ１０６に供給する。すなわち、エッジ情報バッファ１０６に、ＰＵパーティションの入力映像に対応するエッジ情報SrcNormal[x,y]を再構築画像のエッジ情報RecNormal[x,y]で上書きさせる。ＬＣＵ内の左上位置の１６×１６イントラＰＵパーティションを再構築した後に、エッジ情報SrcNormal[x,y]を再構築画像のエッジ情報RecNormal[x,y]で上書きした場合の例を図１１に示す。図１１は、１６×１６イントラＰＵパーティションを再構築した後のエッジ情報バッファ１０６に格納されたエッジ情報を示す説明図であるが、図１１において、左上部の太線で囲まれた部分が上書きされた部分である。
　本実施形態の映像符号化装置は、ＬＣＵの残りの入力画像に対して上述した動作を適用する。
　上述した動作に基づいて、本実施形態の映像符号化装置はビットストリームを生成する。
実施形態２．
　第２の実施形態の映像符号化装置の構成は、図１に示された第１の実施形態の映像符号化装置の構成と同じである。しかし、本実施形態の映像符号化装置は、符号化制御部１１０が、後述する特定の条件において、イントラ予測方向に関連する情報（prev_intra_luma_pred_flag およびrem_intra_luma_pred_mode）のうち、rem_intra_luma_pred_modeのシンタクスを伝送させないようにする。
　特定の条件は、第１の実施形態における第１のカテゴリのイントラ予測方向がＤＣであり、かつ、prev_intra_luma_pred_flag を１として伝送する条件（すなわち、rem_intra_luma_pred_modeを伝送しない条件）である。つまり、ＰＵパーティションの左と上の隣接ブロックのイントラ予測方向に基づいて予測されたイントラ予測方向がＤＣであり、ＤＣの予測イントラ予測方向をＰＵパーティションのイントラ予測方向であると、映像復号装置のエントロピー復号器が解釈することになる条件である。
　本実施形態の符号化制御部１１０は、上記の特定の条件に該当するＰＵパーティションを、第１の実施形態における第２のカテゴリのイントラ予測方向によってイントラ予測して符号化させる。
　本実施形態の映像符号化装置では、ブロック歪みの影響が回避されることとエッジ情報を格納するメモリ配置が確定されることを満たしながら、ビットストリームを占めるイントラ予測モードの符号量を削減できる。
　以上に説明したように、本発明による映像符号化装置は、最小周波数変換ブロックサイズの画像ブロックのエッジ情報に基づいて、符号化制御部１１０が、予測誤差を計算するイントラ予測方向数を選定し、イントラ符号化対象ブロックの符号化に用いるイントラ予測方向を決定する。最小周波数変換ブロックサイズの画像ブロックの位置（内部の位置）は、ＣＵの分割形状に依存しない非ブロック境界位置であり、かつ、ＣＵの分割形状に依存しない確定した位置である。最小周波数変換ブロックサイズの画像ブロックのエッジ情報は、ブロック歪みの影響を受けることはなく、かつ、そのメモリ配置は確定する。
　つまり、本発明による映像符号化装置は、非ブロック境界位置のエッジ情報を用いてイントラ予測方向の符号量を少なくしつつ、エッジ情報のメモリ配置やエッジ情報計算を単純にして符号化制御部１１０の演算量を少なくすることができる。
　さらに、本発明による映像符号化装置は、メモリ配置が確定することを利用して、最小周波数変換ブロックサイズの画像ブロックのエッジ情報をエッジ格納バッファ１０６に格納する。格納されたエッジ情報を再利用できるので、エッジ情報の検出回数を低減できる。上記の実施形態の映像符号化装置の場合、最小周波数変換ブロックサイズあたりのエッジ情報の検出回数は２回（入力画像と再構築画像）である。
　さらに、本発明による映像符号化装置は、選定したイントラ予測方向のみに対して予測誤差のエネルギーを計算するので、予測誤差のエネルギーを計算する符号化制御部１１０の演算量を低減できる。例えば、８×８のイントラＰＵパーティションの場合、３４種類ものイントラ予測方向に対する予測誤差のエネルギー計算は不要となり、最大で７種類のイントラ予測方向に対する予測誤差のエネルギー計算を行うだけでよい。
　さらに、本発明による映像符号化装置は、エッジ情報を用いて符号化対象最大符号化ユニットの分割形状を決定することによって、予測誤差のエネルギーを計算する符号化制御部１１０の演算量を低減できる。例えば、６４×６４、３２×３２、１６×１６、８×８の合計４パターン分割形状に対する予測誤差のエネルギー計算は不要となり、１パターンの分割形状に対する予測誤差のエネルギー計算のみを行うだけでよい。
実施形態３．
　図１２は、第３の実施形態の映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第２の実施形態の映像符号化装置のビットストリームを復号する映像復号装置である。
　図１２に示すように、本実施形態の映像復号装置は、エントロピー復号部２０２、逆変換／逆量子化部２０３、イントラ予測部２０４、復号制御部２１０、スイッチ２２１、エッジ検出部２０５、エッジ情報バッファ２０６、およびイントラ予測方向選定器２０７を備える。
　エントロピー復号部２０２は、ビットストリームをエントロピー復号して、復号対象ＬＣＵの分割形状（split_coding_unit_flag、mode_table_idx、およびintra_split_flag）, イントラ予測方向に関連する情報（prev_intra_luma_pred_flag およびrem_intra_luma_pred_mode）、離散コサイン変換のブロックサイズ（split_transform_unit_flag ）、および、変換量子化値を出力する。
　復号制御部２１０は、復号対象ＣＵのＰＵパーティションのイントラ予測方向に関連する情報を監視して、スイッチ２２１を制御する。上述した第１のカテゴリのイントラ予測方向がＤＣであり、かつ、prev_intra_luma_pred_flag が１である場合（ＤＣの予測イントラ予測方向を、ＰＵパーティションのイントラ予測方向であると復号制御部２１０が一義的に解釈した場合）、イントラ予測方向選定器２０７が決定するイントラ予測方向をイントラ予測部２０４に供給させる。そうでない場合、prev_intra_luma_pred_flag およびrem_intra_luma_pred_modeとで確定するイントラ予測方向をイントラ予測部２０４に供給させる。
　イントラ予測方向選定器２０７は、上述した第２のカテゴリのイントラ予測方向を選定してスイッチ２２１に供給する。
　イントラ予測部２０４は、スイッチ２２１を介して供給されるイントラ予測方向に基づいて、再構築画像を利用して復号対象ＣＵのＰＵパーティションに対するイントラ予測信号を生成する。
　逆変換／逆量子化部２０３は、エントロピー復号部２０２から供給される変換量子化値を逆量子化し、さらに、エントロピー復号によって確定したブロックサイズの離散コサイン変換に基づいて、逆周波数変換して元の空間領域に戻す。さらに、元の空間領域に戻った再構築予測誤差にイントラ予測信号が加えられることによって、復号対象ＣＵのＰＵパーティションの再構築画像が得られる。
　エッジ検出部２０５は、後続する画像領域の復号のために、復号対象ＣＵのＰＵパーティションの再構築画像Rec[x,y]を最小周波数変換ブロックサイズ（４×４ブロックサイズ）に分割し、それぞれの４×４ブロックの内部に対応する位置のエッジ情報RecNormal[x,y]を検出して、エッジ情報バッファ２０６に供給する。なお、エッジ検出部２０５の動作は、第１の実施形態におけるエッジ検出部１０５の動作と同様である。また、イントラ予測方向選定器２０７の動作は、第１の実施形態におけるイントラ予測方向選定器１０７の動作と同様である。
　エッジ情報バッファ２０６は、エッジ検出部２０５から供給される再構築画像のエッジ情報RecNormal[x,y]を格納する。
　本実施形態の映像復号装置は、ＬＣＵの残りの画像領域に対して上述した動作を適用する。
　本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
　以上に説明したように、本発明による映像復号装置は、最小周波数変換ブロックサイズの画像ブロックのエッジ情報に基づいて、イントラ符号化対象ブロックの符号化に用いるイントラ予測方向を決定する。最小周波数変換ブロックサイズの画像ブロックの位置（内部の位置）は、ＣＵの分割形状に依存しない非ブロック境界位置であり、かつ、ＣＵの分割形状に依存しない確定した位置である。最小周波数変換ブロックサイズの画像ブロックのエッジ情報は、ブロック歪みの影響を受けることはなく、かつ、そのメモリ配置は確定する。
　つまり、本発明による映像復号装置は、非ブロック境界位置のエッジ情報を用いてイントラ予測方向の符号量を少なくしつつ、エッジ情報のメモリ配置やエッジ情報計算を単純にして復号制御部２１０の演算量を少なくすることができる。
　上述した実施形態の映像符号化装置および映像復号装置におけるエッジ検出部は、勾配ベクトルGrad[x,y] ＝ (HEdge[x,y], VEdge[x,y]) の計算において、ソーベルオペレータの代わりに、同様の１次微分に基づいた、プレウィットオペレータ（Prewitt operator）を用いるようにしてもよい。
　上述した実施形態の映像符号化装置および映像復号装置におけるエッジ検出部は、入力画像Src[x,y]や再構築画像Rec[x,y]に含まれるノイズに対して頑強となるように、入力画像Src[x,y]や再構築画像Rec[x,y]にローパスフィルタを適用した結果であるSrc'[x,y] や再構築画像Rec'[x,y] を用いて勾配ベクトルを計算するようにしてもよい。例えば、ローパスフィルタとしては、[1 2 1]/4 の３タップの１次元ＦＩＲフィルタを水平および垂直方向のそれぞれに適用できる。また、ローパスフィルタとしては、ガウスフィルタに基づいた５タップの２次元ＦＩＲフィルタを適用できる。
　上述した実施形態の映像符号化装置および映像復号装置におけるエッジ検出部は、入力画像Src[x,y]や再構築画像Rec[x,y]に含まれるノイズに対して頑強となるように、勾配ベクトルGrad[x,y] ＝ (HEdge[x,y], VEdge[x,y]) のノルムが所定値よりも小さい場合、勾配ベクトルGrad[x,y]を０ベクトルにリセットするようにしてもよい。例えば、ノルムとしてＬ１ノルムやＬ２ノルムを利用できる。
　上述した実施形態の映像符号化装置および映像復号装置におけるイントラ予測方向選定器は、第２のカテゴリおよび第３のカテゴリのイントラ予測方向に関して、最頻出のエッジ情報に対応するイントラ予測方向の代わりに、最大ノルムのエッジ情報に対応するイントラ予測方向を選定するようにしてもよい。最大ノルムのエッジ情報を用いることによって、最小周波数変換ブロックサイズを４×４とする、上述した実施形態の映像符号化装置および映像復号装置においては、エッジ情報バッファに格納するエッジ情報のデータ量を１／４にできる。なぜならば、最小周波数変換ブロックサイズそれぞれの２×２のエッジ情報のうち、最大ノルムのエッジ情報のみを代表エッジ情報として格納すればよいからである。その理由は、複数の２×２エッジ情報の最大ノルムとなるエッジ情報は、複数の代表エッジ情報の最大ノルムとなる代表エッジ情報と同一だからである。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１３に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備えている。記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図１２のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図１２のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　図１４は、本発明による映像符号化装置の主要部を示すブロック図である。図１４に示すように、本発明による映像符号化装置は、画像をイントラ予測するイントラ予測手段１１（一例として、図１に示すイントラ予測部１０４）と、イントラ予測手段１１によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段１２（一例として、図１に示す変換／量子化部１０１）と、周波数変換／量子化手段１２が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段１３（一例として、図１に示すエントロピー符号化部１０２）と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段１４（一例として、図１に示すエッジ検出部１０５）と、エッジ検出手段１４が検出したエッジ情報を格納するエッジ情報格納手段１５（一例として、図１に示すエッジ情報バッファ１０６）とを備える。
　図１５は、本発明による映像復号装置の主要部を示すブロック図である。図１５に示すように、本発明による映像復号装置は、変換量子化値をエントロピー復号するエントロピー復号手段２１（一例として、図１２に示すエントロピー復号部２０２）と、変換量子化値を逆量子化して逆周波数変換する逆量子化／逆周波数変換手段２２（一例として、図１２に示す逆変換／逆量子化部２０３）と、画像をイントラ予測するイントラ予測手段２３（一例として、図１２に示すイントラ予測部２０４）と、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段２４（一例として、図１２に示すエッジ検出部２０５）と、エッジ検出手段２４が検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定するイントラ予測方向選定手段２５とを備える。
　図１６は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図１６に示すように、本発明による映像符号化方法では、イントラ予測方向を選定し（ステップＳ１０１）、画像をイントラ予測し（ステップＳ１０２）、イントラ予測に基づく予測誤差を周波数変換して量子化して変換量子化値を生成し（ステップＳ１０３）、変換量子化値をエントロピー符号化し（ステップＳ１０４）、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し（ステップＳ１０５）、検出したエッジ情報をエッジ情報格納手段に格納する（ステップＳ１０６）。
　図１７は、本発明による映像復号方法の主要ステップを示すフローチャートである。図１７に示すように、本発明による映像復号方法では、変換量子化値をエントロピー復号し（ステップＳ２０１）、変換量子化値を逆量子化して逆周波数変換し（ステップＳ２０２）、過去に検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定する（ステップＳ２０３）、画像をイントラ予測し（ステップＳ２０４）、画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し（ステップＳ２０５）、検出したエッジ情報をエッジ情報格納手段に格納する（ステップＳ２０６）。
　上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。
（付記１）画像をイントラ予測するイントラ予測手段と、前記イントラ予測手段によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段と、前記周波数変換／量子化手段が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段と、前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、前記エッジ検出手段が検出したエッジ情報を格納するエッジ情報格納手段と、前記エッジ情報格納手段に格納されたエッジ情報に基づいて符号化対象ブロックの符号化に用いるイントラ予測方向を選定するイントラ予測方向選定手段とを備え、前記イントラ予測方向選定手段は、符号化対象ブロックに隣接する複数の最小周波数変換ブロックサイズの再構築画像に含まれるエッジ情報のモードに基づいてイントラ予測方向を選定する映像符号化装置。
（付記２）画像をイントラ予測するイントラ予測手段と、前記イントラ予測手段によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段と、前記周波数変換／量子化手段が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段と、前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、前記エッジ検出手段が検出したエッジ情報を格納するエッジ情報格納手段と、前記エッジ情報格納手段に格納されたエッジ情報に基づいて符号化対象ブロックの符号化に用いるイントラ予測方向を選定するイントラ予測方向選定手段とを備え、前記イントラ予測方向選定手段は、符号化対象ブロックに隣接する複数の最小周波数変換ブロックサイズの再構築画像に含まれるエッジ情報の最大ノルムのエッジ情報に基づいてイントラ予測方向を選定する映像符号化装置。
（付記３）符号化対象ブロックの左と上に隣接するブロックのイントラ予測方向に基づいて決定した予測イントラ予測方向がＤＣであり、ＤＣの予測イントラ予測方向を符号化対象ブロックのイントラ予測方向として映像復号装置のエントロピー復号器が解釈する条件において前記イントラ予測方向選定手段が選定したイントラ予測方向で画像をイントラ予測させる符号化制御手段を備える付記１又は付記２記載の映像符号化装置。
（付記４）画像をイントラ予測するイントラ予測手段と、前記イントラ予測手段によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段と、前記周波数変換／量子化手段が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段と、前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、前記エッジ検出手段が検出したエッジ情報を格納するエッジ情報格納手段と、前記エッジ情報格納手段に格納されたエッジ情報を基づいて符号化対象最大符号化ユニットの分割形状を決定する符号化制御手段とを備え、前記符号化制御手段は、符号化対象最大符号化ユニットの入力画像に対応する、格納されたエッジ情報のモードを用いて符号化対象最大符号化ユニットの分割形状を決定する映像符号化装置。
（付記５）変換量子化値をエントロピー復号するエントロピー復号手段と、前記変換量子化値を逆量子化して逆周波数変換する逆量子化／逆周波数変換手段と、画像をイントラ予測するイントラ予測手段と、前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、前記エッジ検出手段が検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定するイントラ予測方向選定手段とを備え、前記イントラ予測方向選定手段は、復号対象ブロックに隣接する複数の最小周波数変換ブロックサイズの再構築画像に含まれるエッジ情報のモードに基づいてイントラ予測方向を選定する映像復号装置。
（付記６）変換量子化値をエントロピー復号するエントロピー復号手段と、前記変換量子化値を逆量子化して逆周波数変換する逆量子化／逆周波数変換手段と、画像をイントラ予測するイントラ予測手段と、前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、前記エッジ検出手段が検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定するイントラ予測方向選定手段とを備え、前記イントラ予測方向選定手段は、復号対象ブロックに隣接する複数の最小周波数変換ブロックサイズの再構築画像に含まれるエッジ情報の最大ノルムのエッジ情報に基づいてイントラ予測方向を選定する映像復号装置。
（付記７）復号対象ブロックの左と上に隣接するブロックのイントラ予測方向に基づいて決定した予測イントラ予測方向がＤＣであり、ＤＣの予測イントラ予測方向を復号対象ブロックのイントラ予測方向としてエントロピー復号器が解釈する条件において、前記イントラ予測方向選定手段が選定したイントラ予測方向で画像をイントラ予測させる復号制御手段を備える付記５又は付記６記載の映像復号装置。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年１２月２７日に出願された日本特許出願２０１０－２９０９６８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　イントラ予測手段
　１２　　周波数変換／量子化手段
　１３　　エントロピー符号化手段
　１４　　エッジ検出手段
　１５　　エッジ情報格納手段
　２１　　エントロピー復号手段
　２２　　逆量子化／逆周波数変換手段
　２３　　イントラ予測手段
　２４　　エッジ検出手段
　２５　　イントラ予測方向選定手段
　１０１　変換／量子化部
　１０２　エントロピー符号化部
　１０３　逆変換／逆量子化部
　１０４　イントラ予測部
　１０５　エッジ検出部
　１０６　エッジ情報バッファ
　１０７　イントラ予測方向選定器
　１１０　符号化制御部
　１２１　スイッチ
　２０２　エントロピー復号部
　２０３　逆変換／逆量子化部
　２０４　イントラ予測部
　２０５　エッジ検出部
　２０６　エッジ情報バッファ
　２０７　イントラ予測方向選定器
　２１０　復号制御部
　２２１　スイッチ
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (10)

  1. 　画像をイントラ予測するイントラ予測手段と、
    　前記イントラ予測手段によるイントラ予測に基づく予測誤差を周波数変換して量子化する周波数変換／量子化手段と、
    　前記周波数変換／量子化手段が生成した変換量子化値をエントロピー符号化するエントロピー符号化手段と、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、
    　前記エッジ検出手段が検出したエッジ情報を格納するエッジ情報格納手段と
    　を備えることを特徴とする映像符号化装置。
  2. 　前記エッジ情報格納手段に格納されたエッジ情報に基づいて符号化対象ブロックの符号化に用いるイントラ予測方向を選定するイントラ予測方向選定手段を備える請求項１記載の映像符号化装置。
  3. 　前記エッジ情報格納手段に格納されたエッジ情報を基づいて符号化対象最大符号化ユニットの分割形状を決定する符号化制御手段を備える請求項１記載の映像符号化装置。
  4. 　変換量子化値をエントロピー復号するエントロピー復号手段と、
    　前記変換量子化値を逆量子化して逆周波数変換する逆量子化／逆周波数変換手段と、
    　画像をイントラ予測するイントラ予測手段と、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出するエッジ検出手段と、
    　前記エッジ検出手段が検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定するイントラ予測方向選定手段と
    　を備えることを特徴とする映像復号装置。
  5. 　画像をイントラ予測し、
    　イントラ予測に基づく予測誤差を周波数変換して量子化して変換量子化値を生成し、
    　前記変換量子化値をエントロピー符号化し、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し、
    　検出したエッジ情報をエッジ情報格納手段に格納する
    　ことを特徴とする映像符号化方法。
  6. 　前記エッジ情報格納手段に格納されたエッジ情報に基づいて符号化対象ブロックの符号化に用いるイントラ予測方向を選定する請求項５記載の映像符号化方法。
  7. 　前記エッジ情報格納手段に格納されたエッジ情報を基づいて符号化対象最大符号化ユニットの分割形状を決定する請求項５記載の映像符号化方法。
  8. 　変換量子化値をエントロピー復号し、
    　前記変換量子化値を逆量子化して逆周波数変換し、
    　画像をイントラ予測し、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出し、
    　検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定する
    　ことを特徴とする映像復号方法。
  9. 　コンピュータに、
    　画像をイントラ予測する処理と、
    　イントラ予測に基づく予測誤差を周波数変換して量子化して変換量子化値を生成する処理と、
    　前記変換量子化値をエントロピー符号化する処理と、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出する処理と、
    　検出したエッジ情報をエッジ情報格納手段に格納する処理と
    　を実行させるための映像符号化プログラム。
  10. 　コンピュータに、
    　変換量子化値をエントロピー復号する処理と、
    　前記変換量子化値を逆量子化して逆周波数変換する処理と、
    　画像をイントラ予測する処理と、
    　前記画像の最小周波数変換ブロックサイズの画像ブロックのエッジ情報を検出する処理と、
    　検出したエッジ情報に基づいて復号対象ブロックの復号に用いるイントラ予測方向を選定する処理と
    　を実行させるための映像復号プログラム。
PCT/JP2011/007011 2010-12-27 2011-12-15 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム WO2012090413A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11852257.2A EP2670141A4 (en) 2010-12-27 2011-12-15 VIDEO CODING DEVICE, VIDEO ENCODING DEVICE, VIDEO CODING METHOD, VIDEO ENCODING METHOD AND PROGRAM THEREFOR
JP2012550698A JPWO2012090413A1 (ja) 2010-12-27 2011-12-15 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US13/992,610 US20130259121A1 (en) 2010-12-27 2011-12-15 Video encoding device, video decoding device, video encoding method, video decoding method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010290968 2010-12-27
JP2010-290968 2010-12-27

Publications (1)

Publication Number Publication Date
WO2012090413A1 true WO2012090413A1 (ja) 2012-07-05

Family

ID=46382555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007011 WO2012090413A1 (ja) 2010-12-27 2011-12-15 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Country Status (4)

Country Link
US (1) US20130259121A1 (ja)
EP (1) EP2670141A4 (ja)
JP (1) JPWO2012090413A1 (ja)
WO (1) WO2012090413A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2731338A1 (en) * 2012-11-13 2014-05-14 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splitting image
JP2014099848A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
JP2014099852A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
JP2014099851A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
WO2015163047A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
JP2015213250A (ja) * 2014-05-02 2015-11-26 日本電信電話株式会社 イントラ予測方向絞込み方法及びイントラ予測方向絞込み装置
JP2018534881A (ja) * 2016-01-22 2018-11-22 三菱電機株式会社 点群を圧縮する方法
JPWO2019150435A1 (ja) * 2018-01-30 2020-11-19 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP2007166617A (ja) 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法
US20090245667A1 (en) * 2008-03-27 2009-10-01 Soyeb Nagori Reduced calculations in determining intra-prediction type method and system
JP2010508684A (ja) 2006-10-31 2010-03-18 トムソン ライセンシング イントラ符号化選択によるビデオ符号化
JP4509104B2 (ja) 2003-03-03 2010-07-21 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
WO2010082463A1 (ja) * 2009-01-13 2010-07-22 株式会社日立製作所 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法
JP4555758B2 (ja) 2005-02-15 2010-10-06 インダストリアル テクノロジー リサーチ インスティテュート ビデオ圧縮におけるイントラ予測の符号化モード選択方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK2938071T3 (en) * 2001-11-29 2018-01-22 Godo Kaisha Ip Bridge 1 METHOD OF REMOVING CODING PREVENTION

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164305A (ja) * 1997-04-24 1999-06-18 Mitsubishi Electric Corp 動画像符号化方法、動画像符号化装置および動画像復号装置
JP4509104B2 (ja) 2003-03-03 2010-07-21 エージェンシー・フォア・サイエンス・テクノロジー・アンド・リサーチ 高度動画像符号化におけるイントラ予測のための高速モード決定アルゴリズム
JP4555758B2 (ja) 2005-02-15 2010-10-06 インダストリアル テクノロジー リサーチ インスティテュート ビデオ圧縮におけるイントラ予測の符号化モード選択方法
JP2007166617A (ja) 2005-12-12 2007-06-28 Samsung Electronics Co Ltd 映像のイントラ予測符号化、復号化方法及び装置
JP2010508684A (ja) 2006-10-31 2010-03-18 トムソン ライセンシング イントラ符号化選択によるビデオ符号化
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法
US20090245667A1 (en) * 2008-03-27 2009-10-01 Soyeb Nagori Reduced calculations in determining intra-prediction type method and system
WO2010082463A1 (ja) * 2009-01-13 2010-07-22 株式会社日立製作所 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法
WO2010087157A1 (ja) * 2009-01-29 2010-08-05 パナソニック株式会社 画像符号化方法及び画像復号方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration", JCTVC-B205, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND MEETING, 21 July 2010 (2010-07-21)
See also references of EP2670141A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2731338A1 (en) * 2012-11-13 2014-05-14 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splitting image
JP2014099848A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
JP2014099852A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
JP2014099850A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
JP2014099851A (ja) * 2012-11-13 2014-05-29 Hon Hai Precision Industry Co Ltd イメージ分割システム及びその方法
WO2015163047A1 (ja) * 2014-04-23 2015-10-29 ソニー株式会社 画像処理装置及び画像処理方法
US10477207B2 (en) 2014-04-23 2019-11-12 Sony Corporation Image processing apparatus and image processing method
JP2015213250A (ja) * 2014-05-02 2015-11-26 日本電信電話株式会社 イントラ予測方向絞込み方法及びイントラ予測方向絞込み装置
JP2018534881A (ja) * 2016-01-22 2018-11-22 三菱電機株式会社 点群を圧縮する方法
JPWO2019150435A1 (ja) * 2018-01-30 2020-11-19 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム
JP6992825B2 (ja) 2018-01-30 2022-01-13 富士通株式会社 映像符号化装置、映像符号化方法、映像復号装置、映像復号方法、及び映像符号化システム

Also Published As

Publication number Publication date
EP2670141A1 (en) 2013-12-04
US20130259121A1 (en) 2013-10-03
JPWO2012090413A1 (ja) 2014-06-05
EP2670141A4 (en) 2016-03-30

Similar Documents

Publication Publication Date Title
KR102438021B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
KR102431855B1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN110225337B (zh) 用于视频解码、视频编码的方法和存储介质
KR102555352B1 (ko) 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
WO2012090413A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
KR20240113893A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
DK3282705T3 (en) PROCEDURE FOR DECODING AND APPARATUS FOR ENCODING A PICTURE THROUGH INTRAPHIC PREDICTION.
KR102549987B1 (ko) 영상 처리 방법 및 이를 위한 장치
KR102315455B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
EP3197161A1 (en) Apparatus for decoding an image
KR102333153B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
CA3029042A1 (en) Enhanced intra-prediction coding using planar representations
KR102416804B1 (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR20190096432A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20200228831A1 (en) Intra prediction mode based image processing method, and apparatus therefor
CN113491115B (zh) 基于cclm预测的图像解码方法及其装置
KR20210134556A (ko) 인트라 예측 기반의 영상 부호화 또는 복호화 장치 및 방법
US11284072B2 (en) Apparatus for decoding an image
KR20120058384A (ko) 인트라 프리딕션 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11852257

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012550698

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13992610

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2011852257

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2011852257

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE