WO2011048903A1 - 動画像符号化装置、動画像復号装置、および、データ構造 - Google Patents

動画像符号化装置、動画像復号装置、および、データ構造 Download PDF

Info

Publication number
WO2011048903A1
WO2011048903A1 PCT/JP2010/066245 JP2010066245W WO2011048903A1 WO 2011048903 A1 WO2011048903 A1 WO 2011048903A1 JP 2010066245 W JP2010066245 W JP 2010066245W WO 2011048903 A1 WO2011048903 A1 WO 2011048903A1
Authority
WO
WIPO (PCT)
Prior art keywords
partition
prediction
vector candidate
prediction vector
candidate
Prior art date
Application number
PCT/JP2010/066245
Other languages
English (en)
French (fr)
Inventor
嘉浩 北浦
知宏 猪飼
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US13/502,684 priority Critical patent/US20120213288A1/en
Priority to EP10824754A priority patent/EP2493195A1/en
Priority to JP2011537183A priority patent/JPWO2011048903A1/ja
Priority to CN201080046998.9A priority patent/CN102577392A/zh
Publication of WO2011048903A1 publication Critical patent/WO2011048903A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/553Motion estimation dealing with occlusions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/56Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving picture coding apparatus that codes a moving picture and generates coded data.
  • the present invention also relates to a moving picture decoding apparatus that decodes encoded data generated using such a moving picture encoding apparatus.
  • a moving picture coding apparatus is used to efficiently transmit or record moving pictures. Also, motion-compensated prediction using a motion vector is used for coding a moving image in a moving-image coding apparatus.
  • H264 / AVC etc. are mentioned as a moving image coding system using motion compensation prediction.
  • an input moving image is divided into a plurality of partitions for each frame, and the left side of a partition to be encoded (hereinafter referred to as a "target partition") among the plurality of partitions.
  • a target partition the left side of a partition to be encoded
  • Estimate the prediction vector to be assigned to the target partition using the median (median) of the motion vector assigned to each of the adjacent partition, the partition adjacent to the upper side of the target partition, and the upper right partition of the target partition.
  • Non-Patent Document 1 as a technique for encoding a motion vector more efficiently, in a frame before a frame including a partition to be encoded, co-locate is a partition that occupies the same position as the target partition.
  • the candidate of the prediction vector (referred to as “temporal prediction vector candidate”) to be allocated to the target partition using the motion vector allocated to the partition and the median of the motion vector allocated to each of the partitions around the co-located partition
  • a prediction vector with good coding efficiency among the candidate and a prediction vector candidate (referred to as “spatial prediction vector candidate”) estimated based on the technology described as the above-mentioned conventional general technology.
  • MV Com with candidate as prediction vector Technique called etition is disclosed.
  • Non-Patent Document 1 even when the accuracy of the temporal motion vector is not high, that is, even when the temporal prediction vector candidate becomes dissimilar to the motion vector allocated to the target partition, prediction is performed. It is used as one of vector candidates.
  • MV Competition a flag indicating which prediction vector candidate is selected as a prediction vector to be used for encoding from a plurality of prediction vector candidates is encoded, and therefore, when using a motion vector candidate with low accuracy, the code amount of the flag As a result, the coding efficiency may be reduced.
  • the prediction accuracy of the above temporally predicted vector candidate tends to decrease. Such a tendency is not used.
  • the present invention has been made in view of the above problems, and an object thereof is to increase the accuracy of prediction vector candidates by narrowing down prediction vector candidates without requiring a flag among a plurality of prediction vector candidates. This is to realize a moving picture coding apparatus with high coding efficiency.
  • the moving picture coding apparatus is configured to calculate a difference between a motion vector and a prediction vector allocated to each of a plurality of partitions obtained by dividing a frame constituting a moving picture.
  • the predicted vector is adjacent to the left side of the target partition, the upper partition adjacent to the upper side of the target partition, and the right side of the upper partition.
  • First target vector candidate which is the median of the motion vector allocated to each of the upper right partitions, or the second target vector candidate which is the motion vector allocated to the left partition, or the above target in the decoded frame Coloke occupying the same position as partition
  • third prediction vector candidates which are motion vectors allocated to the target partition, among any one of the prediction vector candidates selected according to the prediction accuracy of the third prediction vector candidate, according to the coding cost It is characterized in that it is any one prediction vector selected.
  • the moving picture coding apparatus configured as described above includes the second prediction according to the prediction accuracy of the third prediction vector candidate corresponding to the temporal prediction vector candidate in Non-Patent Document 1. Any one of the vector candidate and the third prediction vector candidate is selected, and the first corresponding to the spatial prediction vector candidate in Non-Patent Document 1 is selected according to the coding cost.
  • One of the prediction vector candidates or the prediction vector selected from the second prediction vector candidate or the third prediction vector candidate is selected and set as the prediction vector to be allocated to the target partition Accuracy of the third predicted vector candidate corresponding to the temporally predicted vector candidate in Non-Patent Document 1 Even in the case of a decrease, even if the coding cost of the first prediction vector candidate corresponding to the spatial prediction vector candidate in Non-Patent Document 1 increases, coded data with high coding efficiency is obtained. The effect is that it can be generated.
  • the moving picture decoding apparatus encodes, together with the moving picture, a difference vector between a motion vector and a prediction vector allocated to each of a plurality of partitions obtained by dividing a frame constituting the moving picture.
  • a moving image decoding apparatus for decoding encoded data obtained in the above process, the left partition adjacent to the left side of the target partition, the upper partition adjacent to the upper side of the target partition, and the upper right partition adjacent to the right side of the upper partition First calculating means for setting the median of the motion vector assigned to each of the first prediction vector candidates as candidates for the prediction vector to be assigned to the target partition, and the motion vector assigned to the left partition Prediction vector candidate to be assigned to partition
  • Calculation means for setting a second predicted vector candidate, and a candidate for a predicted vector for allocating to the target partition a motion vector allocated to a co-located partition occupying the same position as the target partition in a decoded frame Among the second predicted vector candidate or the third predicted vector candidate according to the third calculation means for setting the third predicted vector candidate
  • the second predicted vector candidate or the third predicted vector candidate is selected according to the prediction accuracy of the third predicted vector candidate. Since the first selection means for selecting any one of the prediction vector candidates is provided, the second prediction vector candidate or the second prediction vector candidate may be selected according to the prediction accuracy of the third prediction vector candidate. Among the three predicted vector candidates, any one predicted vector candidate can be selected.
  • the moving picture decoding apparatus configured as described above refers to the flag included in the encoded data and selects the first predicted vector candidate or the first selection means. And second selecting means for selecting any one of the predicted vector candidates and setting the selected candidate vector as the predicted vector to be allocated to the target partition, so that the prediction of the third predicted vector candidate is performed. Even in the case where the accuracy decreases and the coding cost in the case of using the first prediction vector candidate increases, the coded data generated with high coding efficiency can be decoded. It plays an effect.
  • the prediction vector has a left partition adjacent to the left side of the target partition, an upper partition adjacent to the upper side of the target partition, and an upper right adjacent to the right side of the upper partition.
  • the same position as the target partition in the first predicted vector candidate which is the median of the motion vector allocated to each of the partitions, or the second predicted vector candidate or decoded frame which is the motion vector allocated to the left partition Occupying Among the third prediction vector candidates that are motion vectors allocated to the partition, among any one of the prediction vector candidates selected according to the prediction accuracy of the third prediction vector candidate, according to the coding cost It is characterized in that it is any one selected prediction vector.
  • any one of the second predicted vector candidate and the third predicted vector candidate is selected as the predicted vector candidate.
  • And can be selected according to the prediction accuracy of the third prediction vector candidate. Therefore, according to the above configuration, it is possible to realize encoded data with high decoding efficiency.
  • a difference vector between a motion vector and a prediction vector allocated to each of a plurality of partitions obtained by dividing a frame constituting the moving picture is the moving picture
  • the prediction vector includes a left partition adjacent to the left side of the target partition, an upper partition adjacent to the upper side of the target partition, and an upper right partition adjacent to the right side of the upper partition.
  • FIG. 1 is a block diagram showing a configuration of a video encoding device according to an embodiment. It is a figure for demonstrating the operation
  • A) shows a motion vector allocated to each of the partitions around the target partition and a prediction vector allocated to the target partition.
  • (B) shows a target partition, a prediction vector assigned to the target partition, a co-located partition, and a motion vector assigned to the co-located partition.
  • FIG. 17 is a view for explaining an operation of a motion vector redundancy reduction unit in a moving picture decoding apparatus according to a third modified example of the embodiment, and showing a GOP structure configured by hierarchy B pictures.
  • the configuration of the moving picture coding apparatus 1 according to the present embodiment will be described with reference to FIGS. 1 to 5.
  • FIG. 2 is a block diagram showing the configuration of the moving picture coding apparatus 1.
  • the moving picture coding apparatus 1 includes a transform / quantization unit 11, a variable length coding unit 12, an inverse quantization / inverse transform unit 13, a buffer memory 14, an intra predicted image generation unit 15, and prediction.
  • An image generation unit 16 a motion vector estimation unit 17, a prediction scheme control unit 18, a motion vector redundancy reduction unit 19, an adder 21, and a subtractor 22 are provided.
  • An input image # 1 is sequentially input to the video encoding device 1.
  • the input image # 1 is an image signal corresponding to each frame of video data, and is an image signal corresponding to each frame of a 60 Hz progressive signal, for example.
  • the moving picture coding apparatus 1 performs coding processing of an input image # 1 and outputs coded data # 2.
  • the transformation / quantization unit 11 uses the input image # 1 divided into block images (hereinafter referred to as “macroblocks”) composed of a plurality of adjacent pixels, and the prediction output from the prediction method control unit 18 described later.
  • the differential image # 22 with the image # 18a is converted to a frequency component by DCT (Discrete Cosine Transform) conversion, and then the frequency component is quantized to generate quantized prediction residual data # 11.
  • the quantization is an operation of associating the frequency component with an integer value.
  • the macro block to be processed is referred to as a “target macro block”.
  • the size of the macro block is, for example, 16 ⁇ 16 pixels, but the present invention is not limited by the specific size of the macro block.
  • the inverse quantization / inverse transform unit 13 decodes the quantized prediction residual data # 11 to generate a prediction residual # 13. Specifically, the inverse quantization / inverse transform unit 13 inversely quantizes the quantized prediction residual data # 11, that is, associates the integer values constituting the quantized prediction residual data # 11 with frequency components. And inverse DCT transform of the frequency component, that is, the target macroblock based on the frequency component is decoded to generate a prediction residual # 13.
  • the adder 21 adds the prediction residual # 13 and the predicted image # 18a to generate a decoded image # 21.
  • the generated decoded image # 21 is stored in the buffer memory 14.
  • the intra prediction image generation unit 15 extracts the local decoded image # 14a from the decoded image # 21 stored in the buffer memory 14, performs intraframe prediction based on the local decoded image # 14a, and generates an intra prediction image # 15. Do.
  • the size of the local decoded image # 14a is, for example, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, or 4 ⁇ 4 pixels, but the present invention is limited by the specific size of the local decoded image # 14a is not.
  • the motion vector estimation unit 17 divides the target macroblock into one or more partitions, and sequentially assigns a motion vector to each partition. Specifically, based on the input image # 1 and an image (hereinafter referred to as a reference image # 14b) in which the entire frame has already been decoded and stored in the buffer memory 14, the motion vector estimation unit 17 Among the partitions, a motion vector # 17 is calculated and allocated to a partition to be processed (hereinafter referred to as "target partition"). Further, relative position information (hereinafter referred to as reference image relative position) of a reference image with reference to a frame to which each partition belongs is calculated and allocated. The calculated motion vector # 17 is output to the predicted image generation unit 16 and the motion vector redundancy reduction unit 19, and is stored in the buffer memory 14.
  • the size of the partition is 16 ⁇ 16 pixels, 16 ⁇ 8 pixels, 8 ⁇ 16 pixels, 8 ⁇ 8 pixels, 8 ⁇ 4 pixels, 4 ⁇ 8 pixels, or 4 ⁇ 4 pixels.
  • the invention is not limited by the specific partition size.
  • the motion vector estimation unit 17 selects, from among the sizes of the partitions forming the target macroblock, the size of the partition with the lowest coding cost.
  • RD cost and M cost are mentioned as an example of the above-mentioned coding cost.
  • D represents the residual between the locally decoded image and the input image
  • R represents the code amount of the inter prediction parameter .
  • the coefficient ⁇ may be a constant or may be a function of a quantization parameter that controls the roughness of the quantization.
  • the motion vector estimation unit 17 outputs the size of the target partition and an index indicating the image number of the frame in which the target partition is included. The motion vector and the index are determined for each target partition and output.
  • the motion vector estimation unit 17 determines whether to apply a coding mode called skip mode to the target partition.
  • the skip mode is a mode in which the quantized prediction residual data # 11 is not coded.
  • the motion vector estimation unit 17 has a coding cost that is higher than the skip threshold, which is a predetermined threshold. When it is smaller, the skip mode is applied to the target partition (target macro block).
  • the prediction image generation unit 16 performs motion compensation based on the motion vector # 17 for each partition on the reference image # 14b stored in the buffer memory 14 to generate an inter prediction image # 16.
  • the prediction method control unit 18 compares the intra prediction image # 15, the inter prediction image # 16, and the input image # 1, and selects one of the intra prediction image # 15 and the inter prediction image # 16. Is selected and output as a predicted image # 18a. Further, the prediction method control unit 18 outputs a prediction mode # 18b, which is information indicating which one of the intra prediction image # 15 and the inter prediction image # 16 is selected. The predicted image # 18a is input to the subtractor 22.
  • the prediction mode # 18 b is stored in the buffer memory 14 and input to the variable-length coding unit 12.
  • the motion vector redundancy reduction unit 19 is allocated to another partition before the motion vector # 17 is allocated to the target partition in the motion vector estimation unit 17, and based on the motion vector group # 14 c stored in the buffer memory 14. Calculate the prediction vector. Also, the motion vector redundancy reduction unit 19 takes the difference between the prediction vector and the motion vector # 17 to generate a difference motion vector # 19a. The generated differential motion vector # 19a is output to the variable-length coding unit 12. In addition, when there are a plurality of prediction vectors, the motion vector redundancy reduction unit 19 outputs a flag # 19 b indicating which prediction vector was used to generate the differential motion vector # 19 a. The details of the motion vector redundancy reduction unit 19 will not be described here because they will be described in detail below.
  • variable-length coding unit 12 performs variable-length coding on the quantized prediction residual data # 11, the difference motion vector # 19a, the prediction mode # 18b, and the flag # 19b, and generates the coded data # 2 Do. However, when the skip mode is applied, the variable-length coding unit 12 does not encode the quantized prediction residual data # 11.
  • variable-length coding unit 12 embeds information indicating whether or not the skip mode is applied in block mode information which is a header of the coded data # 2.
  • the subtractor 22 obtains the difference between the input image # 1 and the predicted image # 18a, and outputs a difference image # 22.
  • the prediction vector to be calculated with reference to a spatial motion vector group consisting of motion vectors allocated to encoded partitions around the target partition in the target frame is hereinafter referred to as a spatial prediction vector.
  • the left partition adjacent to the left side of the target partition, the upper partition adjacent to the upper side of the target partition, and the right side of the upper partition as one of methods for calculating the spatial prediction vector with reference to the above spatial motion vector group
  • the motion vector assigned to the left partition adjacent to the left side of the target partition may be used,
  • the motion vector assigned to the upper partition adjacent to the upper edge of the target partition may be used,
  • An average of motion vectors allocated to each of the left partition adjacent to the left side of the target partition, the upper partition adjacent to the upper side of the target partition, and the upper right partition adjacent to the right side of the upper partition may be used.
  • a motion vector with the largest difference between the motion vector and the median may be used.
  • Temporal prediction vector Calculated with reference to a temporal motion vector group including a partition occupying the same position as the target partition in the encoded frame (hereinafter referred to as a co-located partition) and a motion vector allocated to a partition around the co-located partition
  • the prediction vector is hereinafter referred to as a temporal prediction vector.
  • One of the methods of calculating a temporal prediction vector with reference to the above-mentioned temporal motion vector group is a method of using a motion vector of a co-located partition which occupies the same position as a target partition in a coded frame.
  • the median of motion vectors assigned to each of the left partition adjacent to the left side of the co-located partition, the upper partition adjacent to the upper side of the co-located partition, and the upper right partition adjacent to the right side of the upper partition may be used. You may use the average of From the co-located partition, it is possible to use a motion vector allocated to a spatially displaced position partition by the median of the spatial prediction vector group or the average motion vector.
  • the method of calculating the temporal prediction vector is not limited to the method described above.
  • Motion vector redundancy reduction unit 19 Motion vector redundancy reduction unit 19
  • the configuration of the motion vector redundancy reduction unit will be described with reference to FIGS. 1 and 3A to 3B.
  • FIG. 1 is a block diagram showing the configuration of the motion vector redundancy reduction unit 19.
  • the motion vector redundancy reduction unit 19 includes a prediction vector candidate generation unit 31, a prediction vector selection unit 32, a PMV flag generation unit 33, and a subtractor 34.
  • the predicted motion vector candidate generation unit 31 calculates motion vector candidates, which are motion vector candidates to be assigned to the target partition, based on the motion vector group # 14c stored in the buffer memory. Further, the prediction vector candidate generation unit 31 outputs a first spatial prediction vector candidate # 311 and a second prediction vector candidate # 314. The configuration of the prediction vector candidate generation unit 31 will not be described here because it will be described in detail below.
  • the second prediction vector candidate # 314 is a prediction vector selected from the spatial prediction vector candidate and the temporal prediction vector candidate in consideration of the prediction accuracy of the temporal prediction vector candidate, and, semantically, It can also be called a space-time selection prediction vector.
  • the selection of the second predicted vector candidate # 314 is selected by the same method in the encoding device and the decoding device, and is not switched by the flag 19b added to the partition.
  • the number of secondary prediction vector candidates # 314 is described as 1, the number of secondary prediction vector candidates # 314 may be more than one as shown in the supplementary item 1 described later.
  • the prediction vector selection unit 32 compares the first spatial prediction vector candidate # 311 output from the prediction vector candidate generation unit 31 with the second prediction vector candidate # 314, and selects any one prediction vector candidate. It selects and sets to prediction vector # 32a allocated to an object partition.
  • the prediction vector selection unit 32 calculates the coding cost for each of the first spatial prediction vector candidate # 311 and the second prediction vector candidate # 314, and the coding A prediction vector candidate with a smaller cost is selected and set as a prediction vector # 32a.
  • the prediction vector selection unit 32 is selection information # which is information indicating which prediction vector candidate has been selected among the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314. 32 b is generated and output to the PMV flag generation unit 33.
  • the PMV flag generation unit 33 selects any prediction vector candidate by the prediction vector selection unit 32 among the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314 based on the selection information # 32b. Is generated to indicate whether or not is selected.
  • the generated flag # 19 b is output to the variable length coding unit 12.
  • the prediction vector selection unit 32 selects the prediction vector # 32a from the two prediction vector candidates (the first spatial prediction vector candidate # 311 and the second prediction vector candidate # 314). Therefore, the flag # 19 b is a 1-bit flag.
  • the flag # 19 b is a flag of 2 bits or more. is there.
  • the flag # 19b may be coded by fixed-length coding or may be coded using arithmetic coding.
  • the PMV flag generation unit 33 is shown as a means different from the variable length coding unit 12 in order to explicitly show the encoding of the flag # 19 b.
  • the selection information # 32b may be directly encoded.
  • the PMV flag generator 33 is positioned to be included in the variable-length coding unit 12.
  • a subtractor 34 is a difference motion vector that is a difference vector between the prediction vector # 32a assigned to the target partition set by the prediction vector selection unit 32 and the motion vector # 17 assigned to the target partition by the motion vector estimation unit 17 Generate 19a.
  • the generated differential motion vector is output to the variable length coding unit 12.
  • the prediction vector candidate generation unit 31 includes a first spatial prediction vector calculation unit 311, a second spatial prediction vector calculation unit 312, a temporal prediction vector calculation unit 313, and a prediction vector candidate selection unit. It has 314.
  • the first spatial prediction vector calculation unit 311 is adjacent to the upper side of the target block, the motion vector allocated to the partition adjacent to the left side of the target block, the motion vector allocated to the partition adjacent to the upper side of the target block, and the upper side
  • the first spatial prediction vector candidate # 311 is calculated by taking the median with the motion vector allocated to the partition adjacent to the right side of the partition (hereinafter, referred to as “upper right partition of target partition”).
  • the first spatial prediction vector calculation unit 311 calculates the motion vector MVa allocated to the partition A adjacent to the left side of the target block and the partition adjacent to the upper side of the target block.
  • the first spatial prediction vector candidate # 311 is calculated.
  • the median is an arithmetic operation which takes the median value of elements
  • the median of a vector is a vector which takes the median value for each corresponding component.
  • the motion vector assigned to partition A is (MVax, MVay)
  • the motion vector assigned to partition B is (MVbx, MVby)
  • the motion vector assigned to partition C is (MVcx, MVcy)
  • median means taking the median value of the elements in parentheses.
  • the second spatial prediction vector calculation unit 312 sets the motion vector allocated to the partition adjacent to the left side of the target partition as the second spatial prediction vector candidate # 312. That is, the second spatial prediction vector calculation unit 312 sets the motion vector MVa allocated to the partition A in (a) of FIG. 3 as the second spatial prediction vector candidate # 312.
  • the temporal prediction vector calculation unit 313 assigns a motion vector allocated to a partition (hereinafter referred to as “colocate partition”) that occupies the same position as the target partition. It sets to temporal prediction vector candidate # 313.
  • (B) of FIG. 3 is a diagram showing a target partition, a prediction vector assigned to the target partition, a co-located partition, and a motion vector assigned to the co-located partition.
  • the prediction vector candidate selection unit 314 internally estimates the prediction accuracy of the temporal prediction vector candidate, and based on the estimation result, from the spatial prediction vector candidate and the temporal prediction vector candidate, a second prediction vector candidate # 314 The motion vector candidate used as is selected.
  • any one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 is selected and set as the second prediction vector candidate # 314.
  • the prediction vector candidate selection unit 314 selects any one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 according to the size of the target partition. It is selected and set as a second predicted vector candidate # 314.
  • the predicted vector candidate selection unit 314 selects the temporally predicted vector candidate # 313, and the size of the target partition is greater than the above reference size. When it is smaller, the second spatial prediction vector candidate # 312 is selected.
  • the size of the target partition can also be represented by using the number of pixels included in the target partition as an index, or the sum of the lengths of two adjacent sides of the target partition can also be represented as an index.
  • the target partition may have a length of one of the two adjacent sides (for example, the larger one).
  • the size of the target partition can also be represented by an index other than the above index.
  • the motion vector assigned to the co-located partition is similar to the motion vector allocated to the target partition. That is, when the size of the target partition is large, the prediction accuracy of the motion vector allocated to the co-located partition is high.
  • the motion vector assigned to the co-located partition is not similar to the motion vector assigned to the target partition. That is, when the size of the target partition is small, the prediction accuracy of the motion vector allocated to the co-located partition is low.
  • the predicted vector candidate selection unit 314 selects the temporally predicted vector candidate # 313, and the size of the target partition is smaller than the above reference size
  • the second spatial prediction vector candidate # 312 it is possible to select prediction vector candidates more similar to the motion vector assigned to the target partition, so that it is possible to improve the coding efficiency.
  • the temporal prediction vector calculation unit 313 sets the median of the motion vector allocated to the co-located partition and the motion vector allocated to each of the partitions around the co-located partition to the temporal prediction vector candidate # 313. It may be set. More specifically, the temporal prediction vector calculation unit 313 calculates a median of the motion vector allocated to the co-located partition and the motion vector allocated to each of the partitions adjacent to the co-located partition as temporal prediction vector candidates. It may be set to # 313. In addition, the temporal prediction vector calculation unit 313 further includes each of the motion vector allocated to the co-located partition, the motion vector allocated to each of the partitions adjacent to the co-located partition, and each of the partitions sharing the vertex with the co-located partition. The median of the motion vector allocated to may be set as temporal prediction vector candidate # 313.
  • the prediction vector candidate generation unit 31 is configured to calculate the first spatial prediction vector and the second prediction vector candidate # 314, the other motion vector candidates including the second prediction vector candidate # 314 are It does not matter as a structure to calculate. For example, a global motion vector to be assigned to each frame as another prediction vector candidate may be calculated as a motion vector candidate.
  • the coding device since calculation of the second predicted vector candidate # 314 may increase the operation load of the encoding apparatus, information indicating whether to use the second predicted vector candidate # 314 is encoded in the encoded data It is also preferable that the coding device be switchable.
  • the position in the coded data may be any of a sequence header, a frame header, a slice header, and a macroblock header, and further, coded data for controlling the configuration of coded data of a sequence and a picture, H .
  • encoding may be performed using a sequence parameter set and a picture parameter set.
  • FIG. 4 is a flowchart showing a first example of the operation of the motion vector redundancy reduction unit 19.
  • the first spatial prediction vector calculation unit 311, the second spatial prediction vector calculation unit 312, and the temporal prediction vector calculation unit 313 are respectively the first spatial prediction vector candidate # 311 and the second space.
  • a target predictive vector candidate # 312 and a temporally predicted vector candidate # 313 are calculated (step S1).
  • the predicted vector candidate selection unit 314 sets the second spatial predicted vector candidate # 312 to the second predicted vector candidate # 314, and the size of the target partition Is equal to or larger than the reference size, the temporal prediction vector candidate # 313 is set as the second prediction vector candidate # 314 (step S2).
  • the prediction vector selection unit 32 calculates a coding cost for each of the first spatial prediction vector candidate # 311 and the second prediction vector candidate # 314 (step S3).
  • the prediction vector selection unit 32 sets, as a prediction vector # 32a, a motion vector candidate having a smaller coding cost among the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314. (Step S4).
  • the PMV flag generation unit 33 sets a flag # 19b indicating which one of the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314 is set to the prediction vector # 32a. Generate (step S5).
  • the flag # 19b is set to the prediction vector # 32a among the first spatial prediction vector candidate # 311, the second spatial prediction vector candidate # 312, or the second prediction vector candidate # 314. It may be a flag indicating whether it has been done.
  • the subtractor 34 generates a differential motion vector # 19a which is a difference vector between the prediction vector # 32a and the motion vector # 17 allocated to the target partition (step S6).
  • step S11 to step S19 in the motion vector redundancy reduction unit 19 are repeated for each target partition.
  • the motion vector redundancy reduction unit 19 selects any one of the second spatial prediction vector candidate or the temporal prediction vector candidate according to the size of the target partition. By selecting according to the size of the target partition, it is possible to select, among the second spatial prediction vector candidates or temporal prediction vector candidates, prediction vector candidates that are more similar to the motion vector allocated to the target partition .
  • Coding efficiency can be further improved by using prediction vector candidates that are more similar to the motion vector generally assigned to the target partition.
  • the motion vector redundancy reduction unit 19 sets the selected prediction vector candidate as the second prediction vector candidate.
  • the motion vector redundancy reduction unit 19 sets a prediction vector candidate having a small coding cost among the second prediction vector candidate or the first spatial prediction vector candidate as a prediction vector to be allocated to a target partition.
  • coding efficiency can be further improved by using a prediction vector with lower coding cost.
  • the candidate can be set to a motion vector to be assigned to the target partition.
  • the prediction vector candidate selection unit 314 sets any one of the second spatial prediction vector candidate or the temporal prediction vector candidate as a second prediction vector candidate according to the size of the target partition. In order to select, the flag indicating which prediction vector candidate has been selected as the second prediction vector candidate is unnecessary.
  • the decoding device that decodes the image based on the encoded data # 2 generated by the moving image encoding device 1 is the second one corresponding to the size of the target partition, as in the motion vector redundancy reduction unit 19. Since any one of the spatial prediction vector candidate or the temporal prediction vector candidate can be selected as the second prediction vector candidate according to the size of the target partition, the flag is referred to. Instead, it can be reproduced which prediction vector candidate has been selected as the second prediction vector candidate.
  • the motion vector redundancy reduction unit 19 not only can the coding efficiency be further improved by using a prediction vector with a smaller coding cost, but any prediction vector candidate becomes a prediction vector. Since the code amount of the flag indicating whether it is selected can be reduced, the coding efficiency can be further enhanced.
  • FIG. 5 is a flowchart showing a second example of the operation of the motion vector redundancy reduction unit 19.
  • the first spatial prediction vector calculation unit 311 calculates a first spatial prediction vector candidate # 311 (step S11).
  • the motion vector redundancy reduction unit 19 determines whether the skip mode is applied to the target partition (step S12).
  • the prediction vector candidate selection unit 314 determines whether the size of the target partition is equal to or larger than a predetermined reference size (step S12). Step S13).
  • the prediction vector candidate selection unit 314 causes the temporal prediction vector calculation unit 313 to calculate the temporal prediction vector candidate # 313.
  • the temporal prediction vector candidate # 313 is set as a second prediction vector candidate # 314 (step S14).
  • the prediction vector candidate selection unit 314 calculates the second spatial prediction vector candidate # 312, and sets the second spatial prediction vector candidate # 312 as the second prediction vector candidate # 314 ( Step S15).
  • the prediction vector selection unit 32 calculates a coding cost for each of the first spatial prediction vector candidate # 311 and the second prediction vector candidate # 314 (step S16).
  • the prediction vector selection unit 32 sets, as a prediction vector # 32a, a motion vector candidate having a smaller coding cost among the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314. (Step S17).
  • the PMV flag generation unit 33 sets a flag # 19b indicating which one of the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314 is set to the prediction vector # 32a. It generates (step S18).
  • the flag # 19b is set to the prediction vector # 32a among the first spatial prediction vector candidate # 311, the second spatial prediction vector candidate # 312, or the second prediction vector candidate # 314. It may be a flag indicating whether it has been done.
  • the subtractor 34 generates a differential motion vector # 19a which is a difference vector between the prediction vector # 32a and the motion vector # 17 allocated to the target partition (step S19).
  • step S11 to step S19 in the motion vector redundancy reduction unit 19 are repeated for each target partition.
  • the motion vector redundancy reduction unit 19 calculates the temporal prediction vector candidate # 313, and the temporal prediction vector candidate # 313 is If the size of the target partition is smaller than the reference size, the second spatial prediction vector candidate # 312 is calculated, and the second spatial prediction vector candidate # 312 is calculated. Is set as the second predicted vector candidate # 314.
  • the motion vector redundancy reduction unit 19 does not calculate the second spatial prediction vector candidate # 312, and the size of the target partition. Is smaller than the reference size, the temporally predicted vector candidate # 313 is not calculated.
  • the motion vector redundancy reduction unit 19 determines whether the size of the target partition is equal to or greater than a predetermined reference size. Instead, the second spatial prediction vector candidate # 312 is set as a second prediction vector candidate # 314.
  • the motion vector redundancy reduction unit 19 can not only calculate a prediction vector with high coding efficiency, but also calculates the calculation cost for calculating such a prediction vector. It can be minimized. Therefore, the motion vector redundancy reduction unit 19 can not only calculate a prediction vector high in coding efficiency, but also can calculate such a prediction vector at high speed.
  • FIG. 6 is a block diagram showing the configuration of the moving picture decoding apparatus 2 according to the present invention.
  • the moving picture decoding apparatus 2 includes a variable-length code decoding unit 23, a motion vector restoring unit 24, a buffer memory 25, a predicted image generating unit 26, an intra predicted image generating unit 27, and a prediction scheme determining unit 28.
  • An inverse quantization / inverse transform unit 29 and an adder 30 are provided.
  • the video decoding device 2 receives the encoded data # 2 and sequentially outputs an output image # 3.
  • variable-length code decoding unit 23 performs variable-length decoding on the encoded data # 2, and outputs a differential motion vector # 23a, a prediction mode # 23b, a quantized prediction residual data # 23c, and a PMV flag 23d.
  • the motion vector restoration unit 24 decodes the motion vector # 24 of the target macroblock from the motion vector # 25a that has already been decoded and is stored in the buffer memory 25.
  • the motion vector restoration unit 24 will not be described here because it will be described in detail below.
  • the buffer memory 25 stores a later-described decoded image # 3, motion vector # 24, and prediction mode # 23b.
  • the predicted image generation unit 26 generates an inter predicted image # 26 from the motion vector # 25a and the decoded image # 3 stored in the buffer memory 25.
  • the intra predicted image generation unit 27 generates an intra predicted image # 27 from the locally decoded image # 25 b in the same image as the target macroblock stored in the buffer memory 25.
  • the prediction method determination unit 28 selects one of the intra prediction image # 27 and the inter prediction image # 26 based on the prediction mode # 23 b, and outputs it as a prediction image # 28.
  • the inverse quantization / inverse transform unit 29 performs inverse quantization and inverse DCT transform on the quantized prediction residual data # 23c, and outputs a prediction residual # 29.
  • the adder 30 adds the quantized prediction residual data # 23c and the predicted image # 28 and outputs the result as a decoded image # 3. Also, the output decoded image # 3 is stored in the buffer memory 25.
  • FIG. 7 is a block diagram showing the configuration of the motion vector restoration unit 24. As shown in FIG.
  • the motion vector restoration unit 24 includes a prediction vector candidate generation unit 31, a prediction vector determination unit 35, and an adder 36.
  • the prediction vector candidate generation unit 31 receives the motion vector # 25a accumulated in the buffer memory 25 and outputs a first spatial prediction vector candidate # 311 and a second prediction vector candidate # 314 for the target partition. .
  • the specific configuration and operation of the predicted vector candidate generation unit 31 have already been described, so the description will be omitted here.
  • the prediction vector determination unit 35 selects one of the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314 based on the PMV flag # 23d output from the variable-length code decoding unit 23. One prediction vector candidate is selected as the prediction vector # 35 to be allocated to the target partition. The selected prediction vector # 35 is output to the adder.
  • the PMV flag # 23d is the same flag as the PMV flag # 19b generated in the video encoding device 1.
  • variable length code decoding unit 23 decodes the PMV flag # 23 d in order to clarify the correspondence with the moving picture encoding device 1, either of the direct The selection information (described as # 32b in the moving picture coding apparatus), which is information indicating whether or not the predicted vector candidate is selected, may be directly decoded.
  • the prediction vector # 35 selected by the prediction vector determination unit 35 is predicted by the video encoding device 1 This is a prediction vector identical to the prediction vector # 32a selected by the vector selection unit 32.
  • the adder 36 adds the difference motion vector # 23a output from the variable-length code decoding unit 23 and the prediction vector # 35 output from the prediction vector determination unit 35, and restores the motion vector # 24.
  • FIG. 8 is a flowchart showing the operation of the motion vector restoration unit 24.
  • the motion vector restoration unit 24 analyzes information indicating whether or not the skip mode is applied, which is embedded in the block mode information of the encoded data # 2 (step S21).
  • the first spatial prediction vector calculation unit 311 calculates a first spatial prediction vector candidate # 311 (step S22).
  • the motion vector restoration unit 24 determines whether the skip mode is applied to the target partition (step S23).
  • the prediction vector candidate selection unit 314 determines whether the size of the target partition is equal to or greater than a predetermined reference size (step S23). Step S24).
  • the prediction vector candidate selection unit 314 causes the temporal prediction vector calculation unit 313 to calculate the temporal prediction vector candidate # 313.
  • the temporal prediction vector candidate # 313 is set as the second prediction vector candidate # 314 (step S26).
  • the prediction vector candidate selection unit 314 calculates the second spatial prediction vector candidate # 312, and sets the second spatial prediction vector candidate # 312 as the second prediction vector candidate # 314 ( Step S25).
  • the prediction vector determination unit 35 analyzes the PMV flag # 23 d (step 27), and among the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 314, the PMV flag # 23 d Is selected and set as a prediction vector # 35 (step S28).
  • the prediction vector # 35 is output to the adder # 36.
  • the adder 36 adds the prediction vector # 35 output from the prediction vector determination unit 35 and the differential motion vector # 23a output from the variable length code decoding unit 23 to generate a motion vector # 24. (Step 29).
  • steps S21 to S29 in the motion vector restoration unit 24 are repeated for each target partition.
  • the prediction vector # 35 can be generated.
  • the generated predicted vector # 35 is the same vector as the predicted vector # 32a used in the encoding process in the video encoding device 1. Therefore, the motion vector # 24 generated by the motion vector restoration unit 24 is the same motion vector as the motion vector # 17 generated in the video encoding device 1.
  • the motion vector restoration unit 24 it is possible to restore the same motion vector # 24 as the motion vector # 17 generated in the video encoding device 1.
  • the output picture # 3 can be generated based on the coded data # 2 with high coding efficiency.
  • the prediction vector candidate selection unit 314 sets any one of the second spatial prediction vector candidate or the temporal prediction vector candidate as a second prediction vector candidate according to the size of the target partition. For selection, the second predicted vector can be restored without referring to a flag indicating which predicted vector candidate has been selected as the second predicted vector candidate.
  • the moving picture decoding apparatus 2 that decodes an image based on the encoded data # 2 generated by the moving picture encoding apparatus 1 is a second spatial prediction vector candidate or Since any one of temporal prediction vector candidates can be selected as a second prediction vector candidate according to the size of the target partition, any prediction vector candidate can be selected without referring to the flag. It can be reproduced whether it is selected as a second order predicted vector candidate.
  • the code amount of the flag indicating which prediction vector candidate is selected as the prediction vector can be reduced, the coding efficiency can be further enhanced.
  • FIG. 9 is a diagram showing a bit stream #MB for each macroblock of the encoded data # 2.
  • N represents the number of partitions included in a macroblock.
  • the flag # 19b is included in the bitstream #MB only when it is necessary to select a prediction vector of each partition.
  • the block mode information Mod includes the prediction mode # 18 b of the macro block, partition division information, and the like. Further, the block mode information Mod includes information indicating whether or not the skip mode is applied to each partition.
  • the index information Idxi includes a reference picture number referred to by each partition, which is required when performing motion compensation.
  • the motion vector information MVi includes a differential motion vector # 19a for each partition.
  • the moving picture decoding apparatus 2 can restore the same prediction vector # 24 as the prediction vector # 19a based on the encoded data # 2 configured by the bit stream #MB. Also, the moving picture decoding apparatus 2 can generate an output image # 3 based on such a predicted vector # 24.
  • bit stream #MB has the above-described structure, it is possible to realize the coded data # 2 that can be decoded by the moving picture decoding apparatus 2 and has high coding efficiency.
  • FIG. 10 is a block diagram showing a configuration of the motion vector redundancy reduction unit 19 included in the moving picture decoding apparatus according to the present modification.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • the prediction vector candidate generation unit 31 includes a prediction vector candidate selection unit 315 instead of the prediction vector candidate selection unit 314.
  • the prediction vector candidate selection unit 315 selects any one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 according to the length of the motion vector allocated to the target partition. A prediction vector candidate is selected and set as a second prediction vector candidate # 315.
  • the prediction vector candidate selection unit 315 selects the temporal prediction vector candidate # 313, and selects the target partition.
  • the second spatial prediction vector candidate # 312 is selected.
  • the second predicted vector candidate # 315 is output to the predicted vector selection unit 32.
  • the prediction vector selection unit 32 selects any one of the first spatial prediction vector candidate # 311 or the second prediction vector candidate # 315, which has high coding efficiency, Set to prediction vector # 32a.
  • the motion of the image represented by the target partition is large. In such a case, the correlation between the image represented by the co-located partition and the image represented by the target partition is low.
  • the motion vector allocated to the co-located partition is not similar to the motion vector allocated to the target partition. In other words, when the length of the motion vector allocated to the target partition is large, the prediction accuracy of the motion vector allocated to the co-located partition is low.
  • the motion vector allocated to the target partition when the motion vector allocated to the target partition is short, the correlation between the image represented by the co-located partition and the image represented by the target partition is high, and the motion vector allocated to the co-located partition is Similar to the motion vector assigned to the target partition. In other words, when the length of the motion vector allocated to the target partition is short, the prediction accuracy of the motion vector allocated to the co-located partition is high.
  • the prediction vector candidate selection unit 315 selects the temporal prediction vector candidate # 313 and sets it as the target partition.
  • the second spatial prediction vector candidate # 312 can be selected, so that the coding efficiency can be improved.
  • the motion vector redundancy reduction unit 19 in the present modification performs substantially the same operation as the motion vector redundancy reduction unit 19 in the first embodiment except for the above point.
  • the moving picture coding apparatus according to the modification of the present invention includes a predicted vector candidate selection section 315 ′ in place of the predicted vector candidate selection section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • the prediction vector candidate selection unit 315 ′ selects one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 according to the length of the spatial prediction vector allocated to the target partition. One prediction vector candidate is selected and set as a secondary prediction vector candidate # 315.
  • the prediction vector candidate selection unit 315 ′ selects the temporal prediction vector candidate # 313. If the length of the spatial prediction vector assigned to the target partition is larger than a predetermined reference interval, the second spatial prediction vector candidate # 312 is selected.
  • the motion of the image represented by the target partition is large. In such a case, the correlation between the image represented by the co-located partition and the image represented by the target partition is low.
  • the motion vector allocated to the co-located partition is not similar to the motion vector allocated to the target partition. In other words, when the length of the spatial prediction vector allocated to the target partition is large, the prediction accuracy of the motion vector allocated to the co-located partition is low.
  • the spatial prediction vector allocated to the target partition is short, the correlation between the image represented by the co-located partition and the image represented by the target partition is high, and the motion vector allocated to the co-located partition is Is similar to the motion vector assigned to the target partition. In other words, when the length of the spatial prediction vector assigned to the target partition is short, the prediction accuracy of the motion vector assigned to the co-located partition is high.
  • the prediction vector candidate selection unit 315 ′ selects the temporal prediction vector candidate # 313, Since the second spatial prediction vector candidate # 312 can be selected when the length of the spatial prediction vector allocated to the target partition is larger than a predetermined reference value, the coding efficiency can be improved. it can.
  • the motion vector redundancy reduction unit 19 in the present modification performs substantially the same operation as the motion vector redundancy reduction unit 19 in the first embodiment except for the above point.
  • the prediction vector candidate selection unit 315 ′ does not depend on the length of the spatial prediction vector allocated to the target partition, but instead on the second spatial prediction vector according to the length of the temporal prediction vector candidate # 313. It is also possible to select any one prediction vector candidate from among the candidate # 312 or the temporal prediction vector candidate # 313 and set it as the secondary prediction vector candidate # 315.
  • the moving picture coding apparatus according to the second modified example of the present invention includes a predicted vector candidate selection section 316 instead of the predicted vector candidate selection section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • the prediction vector candidate selection unit 316 selects either the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 according to the frame interval between the frame including the target partition and the frame including the co-located partition. One of the prediction vector candidates is selected and set as a second prediction vector candidate # 316.
  • the prediction vector candidate selection unit 316 determines that the temporal prediction vector candidate # If the frame interval between the frame including the target partition and the frame including the co-located partition is larger than a predetermined reference interval, the second spatial prediction vector candidate # 312 is selected.
  • the frame interval of each frame can be detected by referring to the relative position of the reference image given to each frame.
  • (A) of FIG. 11 is a figure which shows the reference image relative position provided to the flame
  • FIG. 11 is a diagram illustrating a target frame and an image number assigned to a frame near the target frame.
  • the correlation between the image represented by the target partition and the image represented by the co-located partition is low.
  • the motion vector allocated to the co-located partition is not similar to the motion vector allocated to the target partition. In other words, when the frame interval between the frame including the target partition and the frame including the co-located partition is long, the prediction accuracy of the motion vector allocated to the co-located partition is low.
  • the motion vector allocated to the co-located partition is similar to the motion vector allocated to the target partition.
  • the prediction accuracy of the motion vector allocated to the co-located partition is high.
  • the prediction vector candidate selection unit 316 selects the temporally predicted vector candidate # 313. And select the second spatial prediction vector candidate # 312 if the frame interval between the frame including the target partition and the frame including the co-located partition is greater than a predetermined reference interval. Since it is possible, it is possible to select a second prediction vector candidate with high coding efficiency.
  • the motion vector redundancy reduction unit 19 in the present modification performs substantially the same operation as the motion vector redundancy reduction unit 19 in the first embodiment except for the above point.
  • the moving picture decoding apparatus includes the above-described predicted vector candidate selection section 316 instead of the predicted vector candidate selection section 314 in the moving picture decoding apparatus 2 according to the first embodiment. That is, when the moving picture decoding apparatus according to the present modification determines that the frame interval between the frame including the target partition and the frame including the co-located partition is equal to or less than a predetermined reference interval, the temporal prediction vector candidate # 313 Is selected, and if the frame interval between the frame including the target partition and the frame including the co-located partition is larger than a predetermined reference interval, the second spatial prediction vector candidate # 312 is selected.
  • the moving picture coding apparatus according to the third modification of the present invention is provided with a predicted motion vector candidate selecting section 317 instead of the predicted motion vector candidate selecting section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • the predicted vector candidate selection unit 317 has a GOP (Group of Picture) structure in which one or both of the frame including the target partition and the frame including the co-located partition are configured by a picture including B picture. If it belongs to (Picture group structure), the second spatial prediction vector candidate # 312 is selected, and a frame containing the target partition and a frame containing the co-located partition do not belong to the above GOP structure. , Temporally-prediction vector candidate # 313 is selected.
  • GOP Group of Picture
  • any one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 is selected and set as a secondary prediction vector candidate # 317.
  • FIG. 12 is a diagram showing a GOP structure configured by, in particular, layer B pictures among GOP structures including B pictures. As shown in FIG. 12, the GOP structure is composed of I picture (Intra picture), P picture (Predictive picture), and B picture (Bi-directional predictive picture).
  • the frame interval tends to be long. Therefore, if any one or both of the frame including the target partition and the frame including the co-located partition belong to the above GOP structure, the temporal prediction vector candidate # 313 is allocated to the target partition It is likely not to be similar to the motion vector being That is, when one or both of the frame including the target partition and the frame including the co-located partition belong to the above GOP structure, the prediction accuracy of the temporal prediction vector candidate # 313 is low.
  • the moving picture coding apparatus of the present modification when one or both of the frame including the target partition and the frame including the co-located partition belong to the above GOP structure, 2 spatial prediction vector candidate # 312 is selected, and if the frame including the target partition and the frame including the co-located partition do not belong to the above GOP structure, temporal prediction vector candidate # 313 is selected Therefore, it is possible to select a second prediction vector candidate with high coding efficiency.
  • the motion vector redundancy reduction unit 19 in the present modification performs substantially the same operation as the motion vector redundancy reduction unit 19 in the first embodiment except for the above point.
  • coding in which the above GOP structure is applied to one or both of the frame including the target partition and the frame including the co-located partition is used. It is preferable to generate a flag #BC as to whether or not it has been sent and send it to the decoding device.
  • the moving picture decoding apparatus also includes a predicted vector candidate selection unit 317 instead of the predicted vector candidate selection unit 314 in the moving picture decoding apparatus 2. That is, also in the moving picture decoding apparatus according to the present modification, when one or both of the frame including the target partition and the frame including the co-located partition belong to the above GOP structure, As the spatial prediction vector candidate # 312 is selected, and the frame including the target partition and the frame including the co-located partition do not belong to the above GOP structure, the temporal prediction vector candidate # 313 is selected. , It is possible to select a second prediction vector candidate with high coding efficiency. Note that the moving picture decoding apparatus according to the present modification can determine whether or not the GOP structure is applied by referring to the flag #BC.
  • coded data with high coding efficiency can be decoded by using the moving picture decoding apparatus according to the present modification.
  • a moving picture coding apparatus according to a third modified example of the present invention will be described.
  • the moving picture coding apparatus according to the third modified example of the present invention is provided with a predicted motion vector candidate selection section 317 ′ instead of the predicted motion vector candidate selection section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • a moving picture coding apparatus according to a third modified example of the present invention will be described.
  • the prediction vector candidate selection unit 317 ′ selects the second spatial prediction vector candidate # 312, and the frame containing the target partition is not a B picture. , Select the temporal prediction vector candidate # 313.
  • the frame interval tends to be wide. In this modification, it is possible to use this tendency without encoding the flag #BC as to whether or not the GOP structure is applied.
  • the motion vector of the target partition is more similar to the motion vector of the target partition by determining the prediction accuracy of the temporal prediction motion vector # 313 and changing the selection to the second prediction vector candidate # 314 according to the type of frame. It is possible to use motion vector candidates that are highly likely to
  • the moving picture decoding apparatus according to the present modification is also the same as the moving picture decoding apparatus 2 according to the first embodiment except that a prediction vector candidate selection unit 317 'is provided instead of the prediction vector candidate selection unit 314. .
  • coded data with high coding efficiency can be decoded by using the moving picture decoding apparatus according to the present modification.
  • the moving picture coding apparatus according to the third ′ ′ modification of the present invention includes a prediction vector candidate selection section 317 ′ ′ instead of the prediction vector candidate selection section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • a moving picture coding apparatus according to a third variation of the present invention will be described.
  • the predicted vector candidate selection unit 317 selects the second spatial predicted vector candidate # when the frame including the target partition is a B picture and the size of the target partition is equal to or larger than a predetermined reference size. In step S 312, the temporal prediction vector candidate # 313 is selected.
  • the predicted vector candidate selection unit 317 determines whether the frame including the target partition is a B picture or the size of the target partition is equal to or greater than a predetermined reference size in the second spatial
  • the prediction vector candidate # 312 may be selected, and in other cases, the temporal prediction vector candidate # 313 may be selected.
  • the prediction accuracy of the temporal motion vector predictor # 313 is determined according to the type of the frame and the size of the target partition, and the selection of the second predicted vector candidate # 314 is changed to further increase the target partition. It is possible to use motion vector candidates that are likely to be similar to motion vectors of.
  • the moving picture decoding apparatus is the same as the moving picture decoding apparatus 2 according to the first embodiment except that a prediction vector candidate selection unit 317 '' is provided instead of the prediction vector candidate selection unit 314. is there.
  • coded data with high coding efficiency can be decoded by using the moving picture decoding apparatus according to the present modification.
  • the moving picture coding apparatus according to the fourth modification of the present invention includes a predicted vector candidate selection section 318 in place of the predicted vector candidate selection section 314 in the moving picture coding apparatus 1.
  • the other configuration of the moving picture coding apparatus according to the present modification is the same as that of the moving picture coding apparatus 1 according to the first embodiment.
  • the prediction vector candidate selection unit 318 selects the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 according to the size of the target partition and the length of the motion vector allocated to the target partition. One of the prediction vector candidates is selected and set as a second prediction vector candidate # 318.
  • the predicted vector candidate selection unit 318 sets the length of the motion vector allocated to the target partition to a predetermined reference. If it is equal to or less than the value, the temporal prediction vector candidate # 313 is selected, and otherwise, the second spatial prediction vector candidate # 312 is selected.
  • the temporal prediction vector # 313 is similar to the motion vector allocated to the target partition. Also, even when the length of the motion vector allocated to the target partition is small, the temporal prediction vector # 313 is similar to the motion vector allocated to the target partition. In other words, when the size of the target partition is large, the prediction accuracy of the temporal prediction vector # 313 is high, and even when the size of the target partition is small, the prediction accuracy of the temporal prediction vector # 313 is high.
  • the motion vector redundancy reduction unit 19 in the present modification performs substantially the same operation as the motion vector redundancy reduction unit 19 in the first embodiment except for the above point.
  • the moving picture decoding apparatus also includes the above-described predicted vector candidate selection unit 318 instead of the predicted vector candidate selection unit 314 in the moving picture decoding apparatus 2 according to the first embodiment. That is, the moving picture decoding apparatus according to the present modification is also a case where the size of the target partition is equal to or larger than a predetermined reference size, and the length of the motion vector allocated to the target partition is predetermined. If it is equal to or less than the value, the temporal prediction vector candidate # 313 is selected, and otherwise, the second spatial prediction vector candidate # 312 is selected.
  • the prediction vector candidate selection unit 318 selects the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate according to the size of the target partition or the length of the motion vector allocated to the target partition. It is also possible to select any one prediction vector candidate from # 313 and set it as the second prediction vector candidate # 315.
  • the predicted vector candidate selection unit 315 determines the length of the motion vector allocated to the target partition in advance.
  • the temporal prediction vector candidate # 313 may be selected, and in the other cases, the second spatial prediction vector candidate # 312 may be selected.
  • the prediction vector candidate selection unit 318 selects the length of the first spatial prediction vector candidate # 311 and the second spatial prediction vector candidate # 312. According to the length of L or the length of temporal prediction vector candidate # 313, any one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313 May be selected.
  • the predicted vector candidate selection unit 318 selects the temporally predicted vector candidate # 313, and selects the target partition. If the length of the motion vector allocated to is larger than the side length of the target partition, the second spatial prediction vector candidate # 312 may be selected.
  • the prediction vector candidate selection unit 314 (also 315, 316, 317, 318, etc.) is one of the second spatial prediction vector candidate # 312 or the temporal prediction vector candidate # 313. Although one is selected, both may be selected. More specifically, when it is determined in the prediction vector candidate selection unit 314 that the prediction accuracy of the temporal prediction vector candidate # 313 of the target partition is high, the second spatial prediction vector candidate # 312 and time are determined. In the case where both of the target predictive vector candidate # 313 are selected and it is determined that the prediction accuracy of the temporal predicted vector candidate # 313 of the target partition is low, the second spatial predicted vector candidate # 312 is selected.
  • both the temporal prediction vector candidate and the spatial prediction vector candidate are selected, and the size of the target partition is smaller than the reference size
  • the temporal prediction vector candidate # 313 is selected when it is determined that the prediction accuracy of the temporal prediction vector candidate # 313 is high, particularly because the spatial correlation of motion is large in the skip block. Not only that, but it is preferable to simultaneously select the second spatial prediction vector candidate # 312.
  • the prediction of the temporal prediction vector is based on the frame interval, the type and structure of the frame, the length of the motion vector, and both the length of the motion vector and the size of the target partition.
  • a method of estimating and determining the accuracy is also preferable.
  • the first spatial prediction vector # 311 and the second prediction vector candidate # 314 are selected in the coding device by the prediction vector selection unit 32 and the decoding device in the prediction vector determination unit 35.
  • the second prediction vector candidate # 314 (which may be plural as shown in the supplementary item 1) is as it is, the prediction vector selection unit 32 and the prediction vector determination It is also possible to use as a prediction vector candidate used in the part 35.
  • the flag # 19b indicating which prediction vector was used to generate the differential motion vector # 19a is unnecessary, and the number of secondary prediction vector candidates is In the case where there are plural, the flag # 19b is required.
  • the second spatial prediction vector # 312 used for calculation of the second prediction vector candidate # 314 is the median of the motion vector allocated to each of the left partition, upper partition, and upper right partition of the target partition It is preferable to use
  • the temporal prediction vector # 313 is used as a prediction vector candidate when the prediction accuracy of the temporal prediction vector # 313 is high, and otherwise the spatial prediction vector # 312 (
  • the above-mentioned median is used as a prediction vector candidate. It is said that.
  • the temporal prediction vector candidate # 313 should be added to the option even in the skip block. Is considered suitable.
  • the size of the target partition is large, a large improvement in image quality can be expected by increasing the choice of prediction vectors as compared to the case where the size is small, so that temporal prediction vector candidate # 313 may be added in the skip block. It is suitable.
  • motion vector candidates for which the size of the target partition is equal to or larger than the reference size are the first spatial prediction vector candidate # 311 and the second spatial prediction vector candidate # 312.
  • the temporal vector predictor candidate # 313 is a motion vector candidate when the size of the target partition is smaller than the reference size, the first spatial vector predictor candidate # 311 and the second spatial vector predictor candidate # 312 .
  • motion vector candidates when the size of the target partition is equal to or larger than the reference size are the first spatial prediction vector candidate # 311 and the temporal prediction vector candidate # 313, and the size of the target partition is the reference size
  • the motion vector candidates in the case of being smaller than the first spatial prediction vector candidate # 311 and the second spatial prediction vector candidate # 312 are used.
  • the determination based on the size of the target partition is to determine the prediction accuracy of the temporally-predicted vector candidate # 313, and another determination such as a frame interval may be used.
  • the moving picture coding apparatus includes a median of motion vectors allocated to each of a left partition adjacent to the left side of the target partition, an upper partition adjacent to the upper side of the target partition, and an upper right partition adjacent to the right side of the upper partition.
  • a first calculation means for setting the first prediction vector candidate as a candidate of a prediction vector to be allocated to the target partition, and a candidate of a prediction vector to allocate a motion vector allocated to the left partition to the object partition A second calculation means for setting 2 predicted vector candidates, and a predicted vector for allocating a motion vector allocated to the co-located partition occupying the same position as the target partition in the encoded frame to the target partition.
  • the image processing apparatus further comprises second selecting means for selecting any one of the prediction vector candidates and setting it as the prediction vector to be allocated to the target partition.
  • any one of the second prediction vector candidate or the third prediction vector candidate is selected. Since the first selecting means is provided, any one of the second predicted vector candidate and the third predicted vector candidate is selected according to the prediction accuracy of the third predicted vector candidate. Predictive vector candidates can be selected.
  • the first prediction vector candidate or the prediction vector candidate selected by the first selection means may be selected according to the coding cost.
  • the present invention includes the second selecting means for selecting any one predicted vector candidate from among the above and setting the selected predicted vector as the predicted vector to be allocated to the target partition.
  • the second selection means selects a prediction vector candidate having a smaller coding cost among the first prediction vector candidate or the prediction vector candidate selected by the first selection means, It is preferable to set to the prediction vector allocated to the said object partition.
  • the second selection unit is a prediction vector whose coding cost is smaller among the first prediction vector candidate or the prediction vector candidate selected by the first selection unit. Since a candidate can be selected and set as a prediction vector to be assigned to the target partition, it is possible to generate a prediction vector with high coding efficiency, which has a further effect of generating a prediction vector.
  • the first selecting means selects the third predicted vector candidate when the size of the target partition is equal to or larger than a predetermined reference size, and when the size of the target partition is smaller than the reference size.
  • the second prediction vector candidate is selected.
  • the prediction accuracy of the third predicted vector is lower, and when the size of the target partition is larger, the prediction accuracy of the third predicted vector is higher. is there.
  • the third predicted vector candidate when the size of the target partition is equal to or larger than a predetermined reference size, the third predicted vector candidate is selected, and when the size of the target partition is smaller than the reference size, the third predicted vector candidate is selected. Since two prediction vector candidates can be selected, prediction vector candidates with higher coding efficiency can be selected even when the size of the target partition is small or when the size of the target partition is large. The additional effect of being able to be selected is achieved.
  • the first selection means selects the third predicted vector candidate and allocates the selected candidate to the target partition.
  • the length of the motion vector is longer than the predetermined length, it is preferable to select the second prediction vector candidate.
  • the prediction accuracy of the third prediction vector is higher, and the length of the motion vector allocated to the target partition is longer, the above There is a tendency that the prediction accuracy of the third prediction vector is lower.
  • the third predicted vector candidate is selected and the motion allocated to the target partition
  • the second predicted vector candidate can be selected, so even if the length of the motion vector allocated to the target partition is short, Even if it is long, there is a further effect that it is possible to select a prediction vector candidate with higher coding efficiency.
  • the first selection means determines the third predicted vector when the frame interval between the frame including the target partition and the frame including the co-located partition is equal to or less than a predetermined reference frame interval.
  • the candidate is selected, and when the frame interval between the frame including the target partition and the frame including the co-located partition is larger than the reference frame interval, the second predicted vector candidate is selected.
  • the prediction accuracy of the third predicted vector candidate is higher, and the frame interval is longer. There is a tendency that the prediction accuracy of the third prediction vector candidate is lower.
  • the third predicted vector candidate is selected.
  • the second predicted vector candidate can be selected, so the target partition Further, it is possible to select a candidate for a prediction vector with higher coding efficiency even if the frame interval between the frame including the frame and the frame including the co-located partition is long or short. Play an effect.
  • the first selection unit determines that at least one of the frame including the target partition or the frame including the co-located partition belongs to a picture group structure configured by a hierarchy B picture
  • the second prediction vector candidate is selected, and when both the frame including the target partition and the frame including the co-located partition do not belong to the picture group structure configured by the layer B picture, the third prediction It is preferable to select vector candidates.
  • the prediction accuracy of the third prediction vector candidate Tend decrease.
  • the second prediction is performed when at least one of the frame including the target partition or the frame including the co-located partition belongs to the picture group structure configured by the layer B picture. If the vector candidate is selected and both the frame including the target partition and the frame including the co-located partition do not belong to the picture group structure configured by the layer B picture, the third predicted vector candidate is selected. Since it is possible to select, even if at least one of the frame including the target partition or the frame including the co-located partition belongs to the picture group structure configured by the layer B picture, the code A further effect of being able to choose a higher vector predictor candidate of efficiency.
  • the first selecting means is a case where the size of the target partition is equal to or larger than a predetermined reference size, and the length of the motion vector allocated to the target partition is a predetermined length. In the following cases, it is preferable to select the third predicted vector candidate, and in other cases, to select the second predicted vector candidate.
  • the prediction accuracy of the third predicted vector is lower, and when the size of the target partition is larger, the prediction accuracy of the third predicted vector is higher. is there. Also, in general, when the length of the motion vector allocated to the target partition is shorter, the prediction accuracy of the third prediction vector is higher, and the length of the motion vector allocated to the target partition is longer. There is a tendency that the prediction accuracy of the third prediction vector is lower.
  • the size of the target partition is equal to or larger than the predetermined reference size, and the length of the motion vector allocated to the target partition is equal to or smaller than the predetermined length.
  • the third predicted vector candidate is selected, and in the other cases, the second predicted vector candidate can be selected, Even when the size of the target partition is small, or even when the size of the target partition is large, it is possible to select a prediction vector candidate with higher coding efficiency, and it is allocated to the target partition. Even when the length of the motion vector is short or long, a prediction vector candidate with higher coding efficiency can be selected.
  • the first selection means selects the third predicted vector candidate when the size of the target partition is equal to or greater than a predetermined reference size, and the target partition is selected. It is preferable to select the second predicted vector candidate when the size of is smaller than the reference size.
  • the third predicted vector candidate when the size of the target partition is equal to or larger than a predetermined reference size, the third predicted vector candidate is selected, and when the size of the target partition is smaller than the reference size, the third predicted vector candidate is selected. Since it is possible to select two prediction vector candidates, it is possible to select a code without requiring a flag as to which one of the second prediction vector candidate and the third prediction vector candidate is to be selected. This has the further effect of being able to select a prediction vector candidate with higher conversion efficiency.
  • the first selection means selects the third predicted vector candidate when the length of the motion vector allocated to the target partition is equal to or less than a predetermined length. It is preferable to select the second prediction vector candidate when the length of the motion vector allocated to the target partition is longer than the predetermined length.
  • the third predicted vector candidate is selected and the motion allocated to the target partition
  • the second predicted vector candidate can be selected, so that, among the second predicted vector candidate or the third predicted vector candidate, This has the further effect of being able to select a candidate for a prediction vector with higher coding efficiency without requiring a flag as to which to select.
  • the first selection means determines that a frame interval between a frame including the target partition and a frame including the co-located partition is equal to or less than a predetermined reference frame interval.
  • the third prediction vector candidate is selected and the frame interval between the frame including the target partition and the frame including the co-located partition is larger than the reference frame interval, the second prediction vector is selected. It is preferable to select a candidate.
  • the third predicted vector candidate is selected.
  • the second predicted vector candidate can be selected. Further, it is possible to select a candidate with higher coding efficiency without requiring a flag as to which of the above candidate predictor candidates or the above third candidate predictor candidate to select. Play an effect.
  • the first selection means includes a flag indicating that the encoded image belongs to a picture group structure constituted by hierarchy B pictures in the encoded data. In the above case, it is preferable to select the second prediction vector candidate.
  • the encoded data includes a flag indicating that the encoded image belongs to a picture group structure configured by layer B pictures
  • the second predicted vector Since a candidate can be selected, even when the encoded image belongs to a picture group structure configured by layer B pictures, encoded data generated with high encoding efficiency can be decoded. It plays an effect.
  • the first selection unit is a case where the size of the target partition is equal to or larger than a predetermined reference size, and the motion vector allocated to the target partition. If the length is equal to or less than a predetermined length, it is preferable to select the third predicted vector candidate, and in other cases, select the second predicted vector candidate.
  • the size of the target partition is equal to or larger than the predetermined reference size, and the length of the motion vector allocated to the target partition is equal to or smaller than the predetermined length.
  • the third prediction vector candidate can be selected, and in the other cases, the second prediction vector candidate can be selected, so that the second prediction vector candidate or the third prediction vector candidate can be selected.
  • the prediction vector candidate having higher coding efficiency can be selected without requiring a flag as to which of the three prediction vector candidates is to be selected.
  • the present invention can be suitably applied to a moving picture coding apparatus for coding moving pictures. Further, the present invention can be suitably applied to a moving picture decoding apparatus that restores a moving picture based on encoded data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

 対象パーティションの周辺のパーティションに割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、対象パーティションの左辺に隣接するパーティションに割り付けられた動きベクトルである第2の予測ベクトル候補若しくは復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補のうち、符号化コストに応じて選択された何れか一つの予測ベクトル候補を予測ベクトルとする。

Description

動画像符号化装置、動画像復号装置、および、データ構造
 本発明は、動画像を符号化し符号化データを生成する動画像符号化装置に関する。また、そのような動画像符号化装置を用いて生成された符号化データを復号する動画像復号装置に関する。
 動画像を効率的に伝送または記録するために、動画像符号化装置が用いられている。また、動画像符号化装置における動画像の符号化には、動きベクトルを用いた動き補償予測が用いられている。動き補償予測を用いた動画像符号化方式としては、H264/AVCなどが挙げられる。
 従来の一般的な技術として、入力される動画像をフレームごとに複数のパーティションに分割し、当該複数のパーティションのうち、符号化の対象となるパーティション(以下、「対象パーティション」と呼ぶ)の左辺に隣接するパーティション、対象パーティションの上辺に隣接するパーティション、および、対象パーティションの右上のパーティションの各々に割り付けられた動きベクトルのメジアン(中央値)を用いて対象パーティションに割り付ける予測ベクトルを推定し、対象パーティションとの動きベクトルの差分を符号化する手法が知られている。
 また、非特許文献1には、動きベクトルをより効率的に符号化する技術として、符号化の対象となるパーティションを含むフレームの前のフレームにおいて、当該対象パーティションと同じ位置を占めるパーティションであるコロケートパーティションに割り付けられた動きベクトル、および、コロケートパーティションの周辺のパーティションの各々に割り付けられた動きベクトルのメジアンを用いて当該対象パーティションに割り付ける予測ベクトルの候補(「時間的予測ベクトル候補」と呼ぶ)を生成したうえで、当該候補と、上記従来の一般的な技術として記載の技術に基づいて推定された予測ベクトル候補(「空間的予測ベクトル候補」と呼ぶ)のうち、符号化効率のよい予測ベクトル候補を予測ベクトルとする、MV Competitionと呼ばれる技術が開示されている。
 しかしながら、非特許文献1に開示された技術においては、時間的動きベクトルの精度が高くない場合、すなわち、時間的予測ベクトル候補が、対象パーティションに割り付けられる動きベクトルに類似しなくなる場合においても、予測ベクトル候補の一つとして用いられる。MV Competitionでは、複数の予測ベクトル候補から符号化に用いる予測ベクトルとして、どの予測ベクトル候補を選択したのかを示すフラグを符号化するため、精度の低い動きベクトル候補を用いる場合にはフラグの符号量の分、符号化効率が低下することがある。
 例えば、対象パーティションのサイズが小さい場合、もしくは、対象パーティションに割り付けられた動きベクトルの長さが長い場合などには、上記時間的予測ベクトル候補の予測精度が低下する傾向があるが、従来技術ではこのような傾向が用いられていない。
 本発明は、上記の問題に鑑みてなされたものであり、その目的は、複数の予測ベクトル候補の中から、フラグを必要とせずに予測ベクトル候補を絞り込むことにより、予測ベクトル候補の精度を高めることで、符号化効率の高い動画像符号化装置を実現することにある。
 上記の課題を解決するために、本発明に係る動画像符号化装置は、動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化する動画像符号化装置において、上記予測ベクトルは、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、上記左パーティションに割り付けられた動きベクトルである第2の予測ベクトル候補、若しくは、復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち、上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補のうち、符号化コストに応じて選択された何れか一つの予測ベクトルである、ことを特徴としている。
 上記のように構成された本発明に係る動画像符号化装置は、非特許文献1における時間的予測ベクトル候補に対応する上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、符号化コストに応じて、非特許文献1における空間的予測ベクトル候補に対応する上記第1の予測ベクトル候補、または、上記第2の予測ベクトル候補若しくは上記第3の予測ベクトル候補から選択された予測ベクトルのうち、何れか一つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定することができるため、非特許文献1における時間的予測ベクトル候補に対応する上記第3の予測ベクトル候補の予測精度が低下する場合であっても、非特許文献1における空間的予測ベクトル候補に対応する上記第1の予測ベクトル候補の符号化コストが増大する場合であっても、符号化効率の高い符号化データを生成することができるという効果を奏する。
 また、本発明に係る動画像復号装置は、動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化して得られた符号化データを復号する動画像復号装置であって、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンを、上記対象パーティションに割り付ける予測ベクトルの候補となる第1の予測ベクトル候補に設定する第1の算出手段と、上記左パーティションに割り付けられた動きベクトルを対象パーティションに割り付ける予測ベクトルの候補となる第2の予測ベクトル候補に設定する第2の算出手段と、復号済フレームにおいて、上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルを上記対象パーティションに割り付ける予測ベクトルの候補となる第3の予測ベクトル候補に設定する第3の算出手段と、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段と、上記符号化データに含まれるフラグを参照して、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段と、を備えていることを特徴としている。
 上記のように構成された本発明に係る動画像復号装置によれば、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段を備えているため、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択することができる。
 また、上記のように構成された本発明に係る動画像復号装置は、上記符号化データに含まれるフラグを参照して、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段とを備えているため、上記第3の予測ベクトル候補の予測精度が低下する場合であって、上記第1の予測ベクトル候補を用いた場合の符号化コストが増大する場合であっても、高い符号化効率で生成された符号化データを復号することができるという効果を奏する。
 また、本発明に係る符号化データのデータ構造は、動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化して得られた符号化データのデータ構造において、上記予測ベクトルは、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、上記左パーティションに割り付けられた動きベクトルである第2の予測ベクトル候補若しくは復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち、上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補のうち、符号化コストに応じて選択された何れか一つの予測ベクトルである、ことを特徴としている。
 上記の符号化データのデータ構造によれば、上記符号化データを復号する復号装置において、上記第2の予測ベクトル候補、若しくは、上記第3の予測ベクトル候補のうち何れか一つの予測ベクトル候補を、上記第3の予測ベクトル候補の予測精度に応じて選択することができる。したがって、上記の構成によれば、復号効率のよい符号化データを実現することができるという効果を奏する。
 以上のように、本発明に係る動画像符号化装置は、動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化する動画像符号化装置において、上記予測ベクトルは、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、上記左パーティションに割り付けられた動きベクトルである第2の予測ベクトル候補、若しくは、復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち、上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補のうち、符号化コストに応じて選択された何れか一つの予測ベクトルである、ことを特徴としている。
 上記の構成によれば、非特許文献1における時間的予測ベクトル候補に対応する上記第3の予測ベクトル候補の予測精度が低下する場合であっても、非特許文献2における空間的予測ベクトル候補に対応する上記第1の予測ベクトル候補の符号化コストが増大する場合であっても、符号化効率の高い符号化データを生成することができる。
実施形態に係る動画像符号化装置における動きベクトル冗長性削減部の構成を示すブロック図である。 実施形態に係る動画像符号化装置の構成を示すブロック図である。 実施形態に係る動画像符号化装置における動きベクトル冗長性削減部の動作を説明するための図である。(a)は、対象パーティションの周辺のパーティションの各々に割り付けられた動きベクトル、および、対象パーティションに割り付けられる予測ベクトルを示している。(b)は、対象パーティション、対象パーティションに割り付けられる予測ベクトル、コロケートパーティション、および、コロケートパーティションに割り付けられた動きベクトルを示している。 実施形態に係る動画像符号化装置における動きベクトル冗長性削減部の動作の第1の例を示すフローチャートである。 実施形態に係る動画像符号化装置における動きベクトル冗長性削減部の動作の第2の例を示すフローチャートである。 実施形態に係る動画像復号装置の構成を示すブロック図である。 実施形態に係る動画像復号装置における動きベクトル復元部の構成を示すブロック図である。 実施形態に係る動画像復号装置における動きベクトル復元部の動作を示すフローチャートである。 本発明に係る符号化データのマクロブロックごとのビットストリームを示す図である。 実施形態の第1の変形例に係る動画像復号装置における動きベクトル冗長性削減部の構成を示すブロック図である。 実施形態の第1の変形例に係る動画像復号装置における動きベクトル冗長性削減部の動作を説明するための図である。(a)は、対象フレームよりも以前に符号化されたフレームに付与された参照画像相対位置を示している。(b)は、対象フレーム、および、対象フレーム近傍のフレームに付与された画像番号を示している。 実施形態の第3の変形例に係る動画像復号装置における動きベクトル冗長性削減部の動作を説明するためのものであって、階層Bピクチャによって構成されるGOP構造を示す図である。
 本実施形態に係る動画像符号化装置1の構成について図1~図5を参照して説明する。
 図2は動画像符号化装置1の構成を示すブロック図である。
 図2に示すように、動画像符号化装置1は、変換・量子化部11、可変長符号化部12、逆量子化・逆変換部13、バッファメモリ14、イントラ予測画像生成部15、予測画像生成部16、動きベクトル推定部17、予測方式制御部18、動きベクトル冗長性削減部19、加算器21、および、減算器22を備えている。
 動画像符号化装置1には、入力画像#1が逐次的に入力される。入力画像#1は、映像データの各フレームに対応する画像信号であり、例えば、60Hzのプログレッシブ信号の各フレームに対応する画像信号である。
 動画像符号化装置1は、入力画像#1の符号化処理を行い、符号化データ#2を出力する。
 変換・量子化部11は、隣接する複数の画素から構成されるブロック画像(以下「マクロブロック」と呼ぶ)に分割された入力画像#1と、後述する予測方式制御部18から出力される予測画像#18aとの差分画像#22を、DCT(Discrete Cosine Transform)変換により、周波数成分へ変換した後、当該周波数成分の量子化を行い、量子化予測残差データ#11を生成する。ここで、上記量子化とは、上記周波数成分を整数値に対応付ける演算のことである。以下では、処理の対象となるマクロブロックを「対象マクロブロック」と呼ぶ。
 なお、上記マクロブロックのサイズは、例えば、16×16画素であるが、本発明は、マクロブロックの具体的なサイズによって、限定されるものではない。
 逆量子化・逆変換部13は、量子化予測残差データ#11の復号を行い、予測残差#13を生成する。具体的には、逆量子化・逆変換部13は、量子化予測残差データ#11の逆量子化、すなわち、量子化予測残差データ#11を構成する整数値の周波数成分への対応付け、および、当該周波数成分の逆DCT変換、すなわち、当該周波数成分に基づいた対象マクロブロックの復号を行い、予測残差#13を生成する。
 加算器21は、予測残差#13と、予測画像#18aとを加算し、復号画像#21を生成する。生成された復号画像#21は、バッファメモリ14に格納される。
 イントラ予測画像生成部15は、バッファメモリ14に格納された復号画像#21から局所復号画像#14aを抽出し、局所復号画像#14aに基づいてフレーム内予測を行い、イントラ予測画像#15を生成する。局所復号画像#14aのサイズは、例えば、16×16画素、8×8画素、又は、4×4画素であるが、本発明は、具体的な局所復号画像#14aのサイズによって限定されるものではない。
 動きベクトル推定部17は、対象マクロブロックを1つ若しくは複数のパーティションに分割し、各々のパーティションに対して、順次、動きベクトルを割り付ける。具体的には、動きベクトル推定部17は、入力画像#1と、既にフレーム全体が復号され、バッファメモリ14に格納された画像(以下、参照画像#14bと呼ぶ)とに基づき、上記複数のパーティションのうち、処理の対象となるパーティション(以下、「対象パーティション」と呼ぶ)に対し、動きベクトル#17を算出し、割り付ける。また、各パーティションが属するフレームを基準とした参照画像の相対的な位置情報(以下、参照画像相対位置と呼ぶ)を算出し、割り付ける。算出された動きベクトル#17は、予測画像生成部16、動きベクトル冗長性削減部19に対して出力されると共に、バッファメモリ14に格納される。
 なお、本実施形態においては、上記パーティションのサイズは、16×16画素、16×8画素、8×16画素、8×8画素、8×4画素、4×8画素、又は、4×4画素であるが、本発明は、具体的なパーティションのサイズによって限定されるものではない。
 また、動きベクトル推定部17は、対象マクロブロックを構成する上記パーティションのサイズのうち、符号化コストが最小となるパーティションのサイズを選択する。ここで、上記符号化コストの例としては、RDコスト、および、Mコストが挙げられる。RDコストとは、(RDコスト)=D+λ×Rによって算出される量であり、Dは、局所復号画像と入力画像との残差を表し、Rは、インター予測パラメータの符号量を表している。また、係数λは、定数であってもよいし、量子化の粗さを制御する量子化パラメータの関数であってもよい。また、Mコストとは、(Mコスト)=PD+λ×Rによって算出される量であり、PDは予測残差を表している。
 また、動きベクトル推定部17は、対象パーティションのサイズ、および、対象パーティションが含まれるフレームの画像番号を表すインデクスを出力する。なお、動きベクトル、および、上記インデクスは、対象パーティションごとに決定され、出力される。
 また、動きベクトル推定部17は、対象パーティションに対して、スキップモードと呼ばれる符号化モードを適用するか否かを決定する。ここで、スキップモードとは、量子化予測残差データ#11を符号化しないモードのことである。
 具体的には、動きベクトル推定部17は、対象パーティションのサイズがマクロブロックサイズと同じ16×16画素である場合であって、上述した符号化コストが予め定められた閾値であるスキップ閾値よりも小さい場合に、当該対象パーティション(対象マクロブロック)に対して、スキップモードを適用する。
 予測画像生成部16は、バッファメモリ14に格納された参照画像#14bに対し、パーティションごとに、動きベクトル#17に基づいた動き補償を行い、インター予測画像#16を生成する。
 予測方式制御部18は、イントラ予測画像#15と、インター予測画像#16と、入力画像#1とを比較し、イントラ予測画像#15、または、インター予測画像#16のうち、何れか一つを選択し、予測画像#18aとして出力する。また、予測方式制御部18は、イントラ予測画像#15、または、インター予測画像#16のうち、何れを選択したのかを表す情報である予測モード#18bを出力する。予測画像#18aは減算器22に入力される。
 予測モード#18bは、バッファメモリ14に格納されると共に、可変長符号化部12に入力される。
 動きベクトル冗長性削減部19は、動きベクトル推定部17において上記対象パーティションに動きベクトル#17が割り付けられる以前に他のパーティションに割り付けられ、バッファメモリ14に格納された動きベクトル群#14cに基づいて予測ベクトルを算出する。また、動きベクトル冗長性削減部19は、当該予測ベクトルと、動きベクトル#17との差分をとり、差分動きベクトル#19aを生成する。生成された差分動きベクトル#19aは、可変長符号化部12に出力される。また、動きベクトル冗長性削減部19は、上記予測ベクトルが複数ある場合には、どの予測ベクトルを用いて差分動きベクトル#19aを生成したかを示すフラグ#19bを出力する。動きベクトル冗長性削減部19の詳細については、以下で詳述するため、ここでは説明を省略する。
 可変長符号化部12は、量子化予測残差データ#11、差分動きベクトル#19a、予測モード#18b、および、フラグ#19bに対し、可変長符号化を行い、符号化データ#2を生成する。ただし、可変長符号化部12は、スキップモードが適用されているときには、量子化予測残差データ#11の符号化を行わない。
 なお、可変長符号化部12は、スキップモードが適用されているか否かを示す情報を、符号化データ#2のヘッダであるブロックモード情報に埋め込む。
 減算器22は、入力画像#1と、予測画像#18aとの差分をとり、差分画像#22を出力する。
 (空間的予測ベクトル)
 対象フレームにおいて対象パーティション周辺の符号化済パーティションに割り付けられた動きベクトルからなる空間的動きベクトル群を参照し、算出する予測ベクトルを以下、空間的予測ベクトルと呼ぶ。上記空間的動きベクトル群を参照して空間的予測ベクトルを算出する方法の一つとして、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンをとる方法が挙げられる。
 また、空間的予測ベクトルを算出する方法としては、例えば、
 対象パーティションの左辺に隣接する左パーティションに割り付けられた動きベクトルを用いても良いし、
 対象パーティションの上辺に隣接する上パーティションに割り付けられた動きベクトルを用いても良いし、
 対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルの平均を用いても良い。
 また、(1)対象パーティションの左辺に隣接する左パーティション、および、対象パーティションの上辺に隣接する上パーティション、の各々に割り付けられた動きベクトルの平均(第1の平均)、(2)対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティション、の各々に割り付けられた動きベクトルの平均(第2の平均)、および、(3)対象パーティションの左辺に隣接する左パーティション、および、対象パーティションの上辺に隣接する上パーティションの右辺に隣接する右上パーティション、の各々に割り付けられた動きベクトルの平均(第3の平均)、のメジアン(第1の平均、第2の平均、および、第3の平均のメジアン)を用いても良い。
 また、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた複数の動きベクトルのうち、当該複数の動きベクトルのメジアンとの差分が最も大きな動きベクトルを用いても良い。
 なお、上記空間的予測ベクトルを算出する方法としては、上記の方法に限定されるものではない。
 (時間的予測ベクトル)
 符号化済フレームにおいて対象パーティションと同じ位置を占めるパーティション(以下、コロケートパーティションと呼ぶ)、及び、コロケートパーティション周辺のパーティションに割り付けられた動きベクトルからなる時間的動きベクトル群を参照して、算出する、予測ベクトルを以下、時間的予測ベクトルと呼ぶ。上記時間的動きベクトル群を参照して時間的予測ベクトルを算出する方法の一つには、符号化済フレームにおいて対象パーティションと同じ位置を占めるコロケートパーティションの動きベクトルを用いる方法がある。時間的予測ベクトルを算出する方法としては、
 例えば、
 コロケートパーティションの左辺に隣接する左パーティション、コロケートパーティションの上辺に隣接する上パーティション、および、上記上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンを用いても良いし、それらの平均を用いても良いし、
 コロケートパーティションから、空間的予測ベクトル群のメジアン、もしくは、平均の動きベクトルの分、空間的に変位させた位置のパーティションに割り付けられた動きベクトルを用いても良い。
 なお、上記時間的予測ベクトルを算出する方法としては、上記の方法に限定されるものではない。
 (動きベクトル冗長性削減部19)
 以下では、動きベクトル冗長性削減部の構成について、図1および図3の(a)~図3の(b)を参照して説明する。
 以下では、各フレームの符号化処理が、各フレームの左上から横方向に、順次下側に向かって行われる場合について説明を行うが、本発明は具体的な符号化処理の方向に限定されるものではない。例えば、各フレームの符号化処理が、各フレームの左上から縦方向に、順次右側に向かって行われるような場合には、下記の説明における「左辺」を「上辺」に、下記の説明における「上辺」を「左辺」に、下記の説明における「右辺」を「下辺」に、下記の説明における「右側」を「下側」に、それぞれ置き換えることによって、本発明を容易に適用することができる。また、その他の符号化処理の方向の場合にも、ほぼ同様の置き換えにより、本発明を容易に適用することができる。
 図1は、動きベクトル冗長性削減部19の構成を示すブロック図である。図1に示すように、動きベクトル冗長性削減部19は、予測ベクトル候補生成部31、予測ベクトル選択部32、PMVフラグ生成部33、および、減算器34を備えている。
 予測ベクトル候補生成部31は、バッファメモリに格納された動きベクトル群#14cに基づいて、対象パーティションに割り付ける動きベクトルの候補である動きベクトル候補を算出する。また、予測ベクトル候補生成部31は、第1の空間的予測ベクトル候補#311と、第2次予測ベクトル候補#314とを出力する。予測ベクトル候補生成部31の構成については、以下に詳述するため、ここでは説明を省略する。
 なお、第2次予測ベクトル候補#314は、空間的予測ベクトル候補と時間的予測ベクトル候補から、時間的予測ベクトル候補の予測精度を考慮して選択された予測ベクトルであり、意味的には、時空間選択予測ベクトルと呼ぶこともできる。第2次予測ベクトル候補#314の選択は符号化装置と復号装置で同一の手法で選択するものであり、パーティションに付加されるフラグ19bで切り替えるものではない。なお、本実施形態では、第2次予測ベクトル候補#314の数は1として説明するが、後述の付記事項1に示すように、第2次予測ベクトル候補#314の数は複数でも構わない。
 予測ベクトル選択部32は、予測ベクトル候補生成部31から出力される第1の空間的予測ベクトル候補#311と、第2次予測ベクトル候補#314とを比較し、何れか一つの予測ベクトル候補を選択し、対象パーティションに割り付ける予測ベクトル#32aに設定する。
 より具体的には、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、および、第2次予測ベクトル候補#314の各々に対して、符号化コストを計算し、当該符号化コストがより小さくなる予測ベクトル候補を選択し、予測ベクトル#32aに設定する。
 なお、上記符号化コストの例としては、上述したRDコスト、および、Mコストが挙げられるが、本発明は、具体的な符号化コストの算出方法によって限定されるものではない。
 また、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、何れの予測ベクトル候補を選択したかを示す情報である選択情報#32bを生成し、PMVフラグ生成部33に対して出力する。
 PMVフラグ生成部33は、選択情報#32bに基づき、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、予測ベクトル選択部32によって、何れの予測ベクトル候補が選択されたかを示すフラグ#19bを生成する。生成されたフラグ#19bは、可変長符号化部12に対して出力される。なお、本実施形態においては、予測ベクトル選択部32は、2つの予測ベクトル候補(第1の空間的予測ベクトル候補#311、および、第2次予測ベクトル候補#314)から予測ベクトル#32aを選択するため、フラグ#19bは1ビットのフラグである。
 また、第2次予測ベクトルが複数である場合など、予測ベクトル候補生成部31で算出される動きベクトル候補の数が複数(例えばm個)の場合、フラグ#19bは、2ビット以上のフラグである。
 可変長符号化部12では、フラグ#19bを固定長符号化で符号化しても構わないし、算術符号化を用い符号化しても構わない。
 なお、本実施形態では、フラグ#19bの符号化を明示的に示すために、PMVフラグ生成部33を可変長符号化部12とは別の手段として示しているが、可変長符号化部12で直接、選択情報#32bを符号化する構成としても構わない。この場合、PMVフラグ生成部33は可変長符号化部12に含まれるという位置づけになる。
 減算器34は、予測ベクトル選択部32によって設定された、対象パーティションに割り付ける予測ベクトル#32aと、動きベクトル推定部17によって対象パーティションに割り付けられた動きベクトル#17との差分ベクトルである差分動きベクトル19aを生成する。生成された差分動きベクトルは、可変長符号化部12に対して出力される。
 (予測ベクトル候補生成部31)
 以下では、予測ベクトル候補生成部31の構成について、図1および図3の(a)~図3の(b)を参照して説明する。図1に示すように、予測ベクトル候補生成部31は、第1空間的予測ベクトル算出部311、第2空間的予測ベクトル算出部312、時間的予測ベクトル算出部313、および、予測ベクトル候補選択部314を備えている。
 第1空間的予測ベクトル算出部311は、対象ブロックの左辺に隣接するパーティションに割り付けられた動きベクトルと、対象ブロックの上辺に隣接するパーティションに割り付けられた動きベクトルと、対象ブロックの上辺に隣接するパーティションの右辺に隣接するパーティション(以下、「対象パーティションの右上のパーティション」と呼ぶ)に割り付けられた動きベクトルとのメジアンをとることにより、第1の空間的予測ベクトル候補#311を算出する。
 すなわち、図3の(a)に示すように、第1空間的予測ベクトル算出部311は、対象ブロックの左辺に隣接するパーティションAに割り付けられた動きベクトルMVaと、対象ブロックの上辺に隣接するパーティションBに割り付けられた動きベクトルMVbと、パーティションBの右辺に隣接するパーティションCに割り付けられた動きベクトルMVcとのメジアンをとることにより、第1の空間的予測ベクトル候補#311を算出する。
 ここで、メジアンとは、要素の中央値をとる算術操作のことであり、ベクトルのメジアンとは、対応する成分ごとに中央値をとったベクトルのことである。
 上記の例では、パーティションAに割り付けられた動きベクトルを(MVax、MVay)、パーティションBに割り付けられた動きベクトルを(MVbx、MVby)、パーティションCに割り付けられた動きベクトルを(MVcx、MVcy)と表すことにすると、第1の空間的予測ベクトル候補#311(PMVx、PMVy)は、PMVx=median(MVax、MVbx、MVcx)、および、PMVy=median(MVay、MVby、MVcy)によって算出される。ここで、median(…)は、括弧内の要素の中央値をとることを意味する。
 第2空間的予測ベクトル算出部312は、対象パーティションの左辺に隣接するパーティションに割り付けられた動きベクトルを、第2の空間的予測ベクトル候補#312に設定する。すなわち、第2空間的予測ベクトル算出部312は、図3の(a)におけるパーティションAに割り付けられた動きベクトルMVaを第2の空間的予測ベクトル候補#312に設定する。
 時間的予測ベクトル算出部313は、対象パーティションを含むフレームよりも前に符号化されたフレームにおいて、当該対象パーティションと同じ位置を占めるパーティション(以下「コロケートパーティション」と呼ぶ)に割り付けられた動きベクトルを時間的予測ベクトル候補#313に設定する。
 図3の(b)は、対象パーティション、対象パーティションに割り付けられる予測ベクトル、コロケートパーティション、および、コロケートパーティションに割り付けられた動きベクトルを示す図である。
 予測ベクトル候補選択部314は、内部で時間的予測ベクトル候補の予測精度を推定し、その推定結果に基づいて、空間的予測ベクトル候補と時間的予測ベクトル候補から、第2次予測ベクトル候補#314として用いる動きベクトル候補を選択する。ここでは、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つを選択し、第2次予測ベクトル候補#314に設定する。
 本実施形態においては、予測ベクトル候補選択部314は、対象パーティションのサイズに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つを選択し、第2次予測ベクトル候補#314に設定する。
 より具体的には、予測ベクトル候補選択部314は、対象パーティションのサイズが予め定められた基準サイズ以上であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションのサイズが上記基準サイズより小さいときには、第2の空間的予測ベクトル候補#312を選択する。
 なお、対象パーティションのサイズとは、当該対象パーティションに含まれる画素数を指標として表すこともできるし、対象パーティションの隣り合う2辺の長さの和を指標として表すこともできる。また、対象パーティションは隣り合う2辺のうちの一方(例えば大きい方)の長さとすることもできる。また、対象パーティションのサイズは、上記の指標以外の指標によって表すこともできる。
 一般に、上記対象パーティションのサイズが大きい場合には、上記対象パーティションが表す画像と、上記コロケートパーティションが表す画像との間には高い相関がある。したがって、上記コロケートパーティションに割り付けられた動きベクトルと、上記対象パーティションに割り付けられる動きベクトルとの間には高い相関がある。すなわち、上記対象パーティションのサイズが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似している。すなわち、上記対象パーティションのサイズが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は高い。
 一方で、上記対象パーティションのサイズが小さい場合には、上記対象パーティションが表す画像と、上記コロケートパーティションが表す画像との相関は低い。したがって、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似しない。すなわち、上記対象パーティションのサイズが小さい場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は低い。
 上記のように、予測ベクトル候補選択部314が、対象パーティションのサイズが予め定められた基準サイズ以上であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションのサイズが上記基準サイズより小さいときには、第2の空間的予測ベクトル候補#312を選択することによって、対象パーティションに割り付けられる動きベクトルにより類似した予測ベクトル候補を選択することができるので、符号化効率を向上させることができる。
 なお、時間的予測ベクトル算出部313は、上記コロケートパーティションに割り付けられた動きベクトル、および、上記コロケートパーティションの周辺のパーティションの各々に割り付けられた動きベクトルのメジアンを、時間的予測ベクトル候補#313に設定するようにしてもよい。より具体的には、時間的予測ベクトル算出部313は、上記コロケートパーティションに割り付けられた動きベクトル、および、上記コロケートパーティションに隣接するパーティションの各々に割り付けられた動きベクトルのメジアンを時間的予測ベクトル候補#313に設定してもよい。また、時間的予測ベクトル算出部313は、上記コロケートパーティションに割り付けられた動きベクトル、上記コロケートパーティションに隣接するパーティションの各々に割り付けられた動きベクトル、および、上記コロケートパーティションと頂点を共有するパーティションの各々に割り付けられた動きベクトルのメジアンを時間的予測ベクトル候補#313に設定してもよい。
 上記、予測ベクトル候補生成部31は、第1の空間的予測ベクトルと第2次予測ベクトル候補#314を算出する構成としているが、第2次予測ベクトル候補#314を含む他の動きベクトル候補を算出する構成としても構わない。例えば、他の予測ベクトル候補としてフレーム毎に割り当てるグローバル動きベクトルを動きベクトル候補として算出しても構わない。
 また、第2次予測ベクトル候補#314の算出は符号化装置の演算負荷を増大することもあるので、第2次予測ベクトル候補#314を用いるかどうかを示す情報を符号化データ中に符号化し、符号化装置で切り替え可能とすることも好適である。この場合符号化データ中の位置としては、シーケンスヘッダ、フレームヘッダ、スライスヘッダ、マクロブロックヘッダのいずれでも構わず、また、シーケンス及びピクチャの符号化データの構成を制御するための符号化データ、H.264/AVCではシーケンスパラメータセット及びピクチャパラメータセットで符号化しても構わない。
 (動きベクトル冗長性削減部19の動作例1)
 以下では、動きベクトル冗長性削減部19の動作の第1の例について、図4を参照しつつ説明する。図4は、動きベクトル冗長性削減部19の動作の第1の例を示すフローチャートである。
 まず、第1空間的予測ベクトル算出部311、第2空間的予測ベクトル算出部312、および、時間的予測ベクトル算出部313は、それぞれ、第1の空間的予測ベクトル候補#311、第2の空間的予測ベクトル候補#312、および、時間的予測ベクトル候補#313を算出する(ステップS1)。
 続いて、予測ベクトル候補選択部314は、対象パーティションのサイズが基準サイズより小さいときに、第2の空間的予測ベクトル候補#312を第2次予測ベクトル候補#314に設定し、対象パーティションのサイズが基準サイズ以上であるときに、時間的予測ベクトル候補#313を第2次予測ベクトル候補#314に設定する(ステップS2)。
 続いて、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、および、第2次予測ベクトル候補#314の各々について、符号化コストを計算する(ステップS3)。
 また、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、符号化コストがより小さい動きベクトル候補を予測ベクトル#32aに設定する(ステップS4)。
 続いて、PMVフラグ生成部33は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、何れが予測ベクトル#32aに設定されたかを示すフラグ#19bを生成する(ステップS5)。なお、フラグ#19bは、第1の空間的予測ベクトル候補#311、第2の空間的予測ベクトル候補#312、または、第2次予測ベクトル候補#314のうち、何れが予測ベクトル#32aに設定されたかを示すフラグであってもよい。
 続いて、減算器34は、予測ベクトル#32aと、対象パーティションに割り付けられた動きベクトル#17との差分ベクトルである差分動きベクトル#19aを生成する(ステップS6)。
 動きベクトル冗長性削減部19における、上記ステップS11からステップS19の動作は対象パーティションごとに繰り返される。
 以上のように、動きベクトル冗長性削減部19は、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、何れか一つを、対象パーティションのサイズに応じて選択する。対象パーティションのサイズに応じて選択することにより、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、対象パーティションに割り付けられる動きベクトルにより類似する予測ベクトル候補を選択することができる。
 一般に対象パーティションに割り付けられる動きベクトルにより類似した予測ベクトル候補を用いることによって、符号化効率をより高めることができる。
 また、動きベクトル冗長性削減部19は、そのように選択された予測ベクトル候補を第2次予測ベクトル候補に設定する。
 さらに、動きベクトル冗長性削減部19は、第2次予測ベクトル候補、または、第1の空間的予測ベクトル候補のうち、符号化コストの小さい予測ベクトル候補を対象パーティションに割り付ける予測ベクトルに設定する。
 一般に、符号化コストのより小さい予測ベクトルを用いることにより、符号化効率をより高めることができる。
 したがって、動きベクトル冗長性削減部19によれば、第1の空間的予測ベクトル候補、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、最も符号化効率が高くなる予測ベクトル候補を、対象パーティションに割り付ける動きベクトルに設定することができる。
 したがって、動きベクトル冗長性削減部19を用いることによって、高い符号化効率を実現することができる。
 また、予測ベクトル候補選択部314は、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、何れか一つを、対象パーティションのサイズに応じて、第2次予測ベクトル候補に選択するため、何れの予測ベクトル候補が第2次予測ベクトル候補に選択されたかを表すフラグが不要である。
 すなわち、動画像符号化装置1によって生成された符号化データ#2に基づいて画像の復号を行う復号装置は、動きベクトル冗長性削減部19と同様に、対象パーティションのサイズに応じて、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、何れか一つを、対象パーティションのサイズに応じて、第2次予測ベクトル候補に選択することができるため、フラグを参照することなく、何れの予測ベクトル候補が第2次予測ベクトル候補に選択されたかを再現することができる。
 このように、動きベクトル冗長性削減部19によれば、符号化コストのより小さい予測ベクトルを用いることにより、符号化効率をより高めることができるのみならず、何れの予測ベクトル候補が予測ベクトルに選択されたかを示すフラグの符号量を削減することができるので、符号化効率をより一層高めることができる。
 (動きベクトル冗長性削減部19の動作例2)
 動きベクトル冗長性削減部19の動作は、上記の動作例に限定されるものではない。以下では、動きベクトル冗長性削減部19の動作の第2の例について、図5を参照しつつ説明する。図5は、動きベクトル冗長性削減部19の動作の第2の例を示すフローチャートである。
 まず、第1空間的予測ベクトル算出部311は、第1の空間的予測ベクトル候補#311を算出する(ステップS11)。
 続いて、動きベクトル冗長性削減部19は、対象パーティションにスキップモードが適用されているか否かを判別する(ステップS12)。
 対象パーティションにスキップモードが適用されていない場合(ステップS12のNo)には、予測ベクトル候補選択部314は、対象パーティションのサイズが予め定められた基準サイズ以上であるか否かの判定を行う(ステップS13)。
 続いて、対象パーティションのサイズが上記基準サイズ以上である場合(ステップS13のYes)には、予測ベクトル候補選択部314は、時間的予測ベクトル算出部313に、時間的予測ベクトル候補#313の算出を行わせ、時間的予測ベクトル候補#313を第2次予測ベクトル候補#314に設定する(ステップS14)。
 また、対象パーティションのサイズが上記基準サイズより小さい場合(ステップS13のNo)、または、対象パーティションにスキップモードが適用されている場合(ステップS12のYes)には、予測ベクトル候補選択部314は、第2空間的予測ベクトル算出部312に、第2の空間的予測ベクトル候補#312の算出を行わせ、第2の空間的予測ベクトル候補#312を第2次予測ベクトル候補#314に設定する(ステップS15)。
 続いて、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、および、第2次予測ベクトル候補#314の各々について、符号化コストを計算する(ステップS16)。
 また、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、符号化コストがより小さい動きベクトル候補を予測ベクトル#32aに設定する(ステップS17)。
 続いて、PMVフラグ生成部33は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、何れが予測ベクトル#32aに設定されたかを示すフラグ#19bを生成する(ステップS18)。なお、フラグ#19bは、第1の空間的予測ベクトル候補#311、第2の空間的予測ベクトル候補#312、または、第2次予測ベクトル候補#314のうち、何れが予測ベクトル#32aに設定されたかを示すフラグであってもよい。
 続いて、減算器34は、予測ベクトル#32aと、対象パーティションに割り付けられた動きベクトル#17との差分ベクトルである差分動きベクトル#19aを生成する(ステップS19)。
 動きベクトル冗長性削減部19における、上記ステップS11からステップS19の動作は対象パーティションごとに繰り返される。
 以上のように、動きベクトル冗長性削減部19は、対象パーティションのサイズが上記基準サイズ以上である場合には、時間的予測ベクトル候補#313の算出を行い、時間的予測ベクトル候補#313を第2次予測ベクトル候補#314に設定し、対象パーティションのサイズが上記基準サイズより小さい場合には、第2の空間的予測ベクトル候補#312の算出を行い、第2の空間的予測ベクトル候補#312を第2次予測ベクトル候補#314に設定する。
 換言すれば、動きベクトル冗長性削減部19は、対象パーティションのサイズが上記基準サイズ以上である場合には、第2の空間的予測ベクトル候補#312の算出を行わず、また、対象パーティションのサイズが上記基準サイズより小さい場合には、時間的予測ベクトル候補#313の算出を行わない。
 また、上記のように、動きベクトル冗長性削減部19は、対象パーティションにスキップモードが適用されている場合には、対象パーティションのサイズが予め定められた基準サイズ以上であるか否かの判定を行わず、第2の空間的予測ベクトル候補#312を第2次予測ベクトル候補#314に設定する。
 このような動作の流れをとることによって、動きベクトル冗長性削減部19は、符号化効率の高い予測ベクトルを算出することができるのみならず、そのような予測ベクトルを算出するための計算コストを最小限に抑えることができる。したがって、動きベクトル冗長性削減部19によれば、符号化効率に高い予測ベクトルを算出することができるのみならず、そのような予測ベクトルを高速に算出することができる。
 (動画像復号装置2)
 以下では、本発明に係る動画像復号装置2について、図6~図9を参照して説明する。図6は、本発明に係る動画像復号装置2の構成を示すブロック図である。
 図6に示すように、動画像復号装置2は、可変長符号復号部23、動きベクトル復元部24、バッファメモリ25、予測画像生成部26、イントラ予測画像生成部27、予測方式決定部28、逆量子化・逆変換部29、および、加算器30を備えている。
 動画像復号装置2は、符号化データ#2を受け、出力画像#3を逐次的に出力する。
 可変長符号復号部23は、符号化データ#2を可変長復号し、差分動きベクトル#23a、予測モード#23b、量子化予測残差データ#23c、および、PMVフラグ23dを出力する。
 また、動きベクトル復元部24は、差分動きベクトル#23a、PMVフラグ#23d、および、すでに復号され、バッファメモリ25に格納された動きベクトル#25aから対象マクロブロックの動きベクトル#24を復号する。動きベクトル復元部24については、以下に詳述するため、ここでは説明を省略する。
 バッファメモリ25には、後述する復号画像#3、動きベクトル#24、および、予測モード#23bが格納される。
 予測画像生成部26は、動きベクトル#25a、および、バッファメモリ25に格納された復号画像#3からインター予測画像#26を生成する。
 イントラ予測画像生成部27は、バッファメモリ25に格納された、対象マクロブロックと同じ画像内の局所復号画像#25bから、イントラ予測画像##27を生成する。
 予測方式決定部28は、予測モード#23bに基づいて、イントラ予測画像#27、または、インター予測画像#26のうち、何れか一方を選択し、予測画像#28として出力する。
 逆量子化・逆変換部29は、量子化予測残差データ#23cに対し、逆量子化、および、逆DCT変換を行い、予測残差#29を出力する。
 加算器30は、量子化予測残差データ#23c、および、予測画像#28を加算し、復号画像#3として出力する。また、出力された復号画像#3は、バッファメモリ25に格納される。
 (動きベクトル復元部24)
 続いて、動きベクトル復元部24の構成について、図7を参照して説明する。図7は、動きベクトル復元部24の構成を示すブロック図である。
 図7に示すように、動きベクトル復元部24は、予測ベクトル候補生成部31、予測ベクトル決定部35、および、加算器36を備えている。予測ベクトル候補生成部31は、バッファメモリ25に蓄積された動きベクトル#25aを受け、対象パーティションに対する、第1の空間的予測ベクトル候補#311、および、第2次予測ベクトル候補#314を出力する。予測ベクトル候補生成部31の具体的な構成および動作については、すでに説明したので、ここでは説明を省略する。
 予測ベクトル決定部35は、可変長符号復号部23から出力されるPMVフラグ#23dに基づき、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、何れか一つの予測ベクトル候補を対象パーティションに割り付ける予測ベクトル#35に選択する。選択された予測ベクトル#35は、加算器36に対して出力される。
 PMVフラグ#23dは、動画像符号化装置1において生成されたPMVフラグ#19bと同一のフラグである。
 また、上記では動画像符号化装置1との対応関係を明確にするため、可変長符号復号部23でPMVフラグ#23dを復号する構成を示したが、可変長符号復号部23で直接、何れの予測ベクトル候補を選択したかを示す情報である選択情報(動画像符号化装置では#32bとして説明)を直接復号しても構わない。
 上述したように、PMVフラグ#23dは、より符号化効率の高い予測ベクトル候補を示すフラグであるので、予測ベクトル決定部35によって選択された予測ベクトル#35は、動画像符号化装置1の予測ベクトル選択部32において選択された予測ベクトル#32aと同一の予測ベクトルである。
 加算器36は、可変長符号復号部23から出力される差分動きベクトル#23aと予測ベクトル決定部35から出力される予測ベクトル#35とを加算し、動きベクトル#24を復元する。
 (動きベクトル復元部24の動作例)
 以下では、動きベクトル復元部24の動作の例について、図8を参照して説明する。図8は、動きベクトル復元部24の動作を示すフローチャートである。
 まず、動きベクトル復元部24は、符号化データ#2のブロックモード情報に埋め込まれた、スキップモードが適用されているか否かを示す情報を解析する(ステップS21)。
 続いて、第1空間的予測ベクトル算出部311は、第1の空間的予測ベクトル候補#311を算出する(ステップS22)。
 続いて、動きベクトル復元部24は、対象パーティションにスキップモードが適用されているか否かを判別する(ステップS23)。
 対象パーティションにスキップモードが適用されていない場合(ステップS23のNo)には、予測ベクトル候補選択部314は、対象パーティションのサイズが予め定められた基準サイズ以上であるか否かの判定を行う(ステップS24)。
 続いて、対象パーティションのサイズが上記基準サイズ以上である場合(ステップS24のYes)には、予測ベクトル候補選択部314は、時間的予測ベクトル算出部313に、時間的予測ベクトル候補#313の算出を行わせ、時間的予測ベクトル候補#313を第2次予測ベクトル候補#314に設定する(ステップS26)。
 また、対象パーティションのサイズが上記基準サイズより小さい場合(ステップS24のNo)、または、対象パーティションにスキップモードが適用されている場合(ステップS23のYes)には、予測ベクトル候補選択部314は、第2空間的予測ベクトル算出部312に、第2の空間的予測ベクトル候補#312の算出を行わせ、第2の空間的予測ベクトル候補#312を第2次予測ベクトル候補#314に設定する(ステップS25)。
 続いて、予測ベクトル決定部35は、PMVフラグ#23dを解析し(ステップ27)、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#314のうち、PMVフラグ#23dによって示される何れか一つの予測ベクトル候補を選択し、予測ベクトル#35に設定する(ステップS28)。予測ベクトル#35は、加算器#36に対して出力される。
 続いて、加算器36は、予測ベクトル決定部35から出力される予測ベクトル#35と、可変長符号復号部23から出力される差分動きベクトル#23aとを加算し、動きベクトル#24を生成する(ステップ29)。
 動きベクトル復元部24における、上記ステップS21からステップS29の動作は対象パーティションごとに繰り返される。
 以上のように、動きベクトル復元部24を用いることによって、予測ベクトル#35を生成することができる。生成された予測ベクトル#35は、動画像符号化装置1において、符号化処理に用いられた予測ベクトル#32aと同一のベクトルである。したがって、動きベクトル復元部24によって生成される動きベクトル#24は、動画像符号化装置1において生成された動きベクトル#17と同一の動きベクトルである。
 このように、動きベクトル復元部24によれば、動画像符号化装置1において生成された動きベクトル#17と同一の動きベクトル#24を復元することができる。
 したがって、したがって、動きベクトル復元部24を含む動画像復号装置2によれば、符号化効率の高い符号化データ#2に基づいて出力画像#3生成することができる。
 また、予測ベクトル候補選択部314は、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、何れか一つを、対象パーティションのサイズに応じて、第2次予測ベクトル候補に選択するため、何れの予測ベクトル候補が第2次予測ベクトル候補に選択されたかを表すフラグを参照することなく、第2次予測ベクトルを復元することができる。
 すなわち、動画像符号化装置1によって生成された符号化データ#2に基づいて画像の復号を行う動画像復号装置2は、対象パーティションのサイズに応じて、第2の空間的予測ベクトル候補、または、時間的予測ベクトル候補のうち、何れか一つを、対象パーティションのサイズに応じて、第2次予測ベクトル候補に選択することができるため、フラグを参照することなく、何れの予測ベクトル候補が第2次予測ベクトル候補に選択されたかを再現することができる。
 したがって、何れの予測ベクトル候補が予測ベクトルに選択されたかを示すフラグの符号量を削減することができるので、符号化効率をより一層高めることができる。
 (符号化データ#2のデータ構造)
 続いて、本発明に係る符号化データ#2のデータ構造について、図9を参照して説明する。
 図9は、符号化データ#2のマクロブロックごとのビットストリーム#MBを示す図である。図9に示すように、ビットストリーム#MBは、ブロックモード情報Mod、インデクス情報Idxi、フラグ#19b、および、動きベクトル情報MVi(i=1~N)を含んでいる。ここで、Nは、マクロブロックに含まれるパーティションの数を表している。なお、フラグ#19bは、各パーティションの予測ベクトルを選択するために必要な場合にのみ、ビットストリーム#MB中に含まれる。
 ブロックモード情報Modには、マクロブロックの予測モード#18b、パーティション分割情報などが含まれている。また、ブロックモード情報Modには、各パーティションにスキップモードが適用されているか否かを示す情報が含まれている。
 インデクス情報Idxiには、動き補償を行う際に必要になる、各パーティションが参照する参照ピクチャ番号が含まれている。
 動きベクトル情報MViには、各パーティションに対する差分動きベクトル#19aが含まれている。
 すでに述べたように、動画像復号装置2は、上記ビットストリーム#MBによって構成された符号化データ#2に基づいて、予測ベクトル#19aと同一の予測ベクトル#24を復元することができる。また、動画像復号装置2は、そのような予測ベクトル#24に基づいて、出力画像#3を生成することができる。
 すなわち、ビットストリーム#MBが上記のような構造をとることによって、動画像復号装置2にて復号可能な、符号化効率の高い符号化データ#2を実現することができる。
 <変形例1>
 本発明は上記の実施形態に限定されるものではない。以下では、本発明の第1の変形例に係る動画像符号化装置について図10を参照して説明する。
 図10は、本変形例に係る動画像復号装置が備える動きベクトル冗長性削減部19の構成を示すブロック図である。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。
 図10に示すように、本変形例においては、予測ベクトル候補生成部31は、予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部315を備えている。
 予測ベクトル候補選択部315は、対象パーティションに割り付けられた動きベクトルの長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#315に設定する。
 より具体的には、予測ベクトル候補選択部315は、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値より大きいときには、第2の空間的予測ベクトル候補#312を選択する。
 また、図10に示すように、第2次予測ベクトル候補#315は、予測ベクトル選択部32に対して出力される。また、予測ベクトル選択部32は、第1の空間的予測ベクトル候補#311、または、第2次予測ベクトル候補#315のうち、符号化効率が高くなる何れか一つの予測ベクトル候補を選択し、予測ベクトル#32aに設定する。
 一般に、対象パーティションに割り付けられた動きベクトルの長さが大きい場合には、対象パーティションが表す画像の動きが大きい。また、そのような場合には、コロケートパーティションの表す画像と、対象パーティションの表す画像との相関が低い。
 すなわち、上記対象パーティションに割り付けられた動きベクトルの長さが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似しない。換言すれば、上記対象パーティションに割り付けられた動きベクトルの長さが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は低い。
 一方で、上記対象パーティションに割り付けられた動きベクトルの長さが短い場合には、コロケートパーティションの表す画像と、対象パーティションの表す画像との相関が高く、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似する。換言すれば、上記対象パーティションに割り付けられた動きベクトルの長さが短い場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は高い。
 上記のように、予測ベクトル候補選択部315は、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値より大きいときには、第2の空間的予測ベクトル候補#312を選択することができるので、符号化効率を向上させることができる。
 なお、本変形例における動きベクトル冗長性削減部19は、上記の点を除き、第1の実施形態における動きベクトル冗長性削減部19の動作とほぼ同様の動作を行う。
 <変形例1’>
 以下では、本発明の変形例に係る動画像符号化装置について説明する。本発明の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部315’を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。
 予測ベクトル候補選択部315’は、対象パーティションに割り付けられた空間的予測ベクトルの長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#315に設定する。
 より具体的には、予測ベクトル候補選択部315’は、対象パーティションに割り付けられた空間的予測ベクトルの長さが、予め定められた基準間隔以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションに割り付けられた空間的予測ベクトルの長さが、予め定められた基準間隔より大きい場合には、第2の空間的予測ベクトル候補#312を選択する。
 一般に、対象パーティションに割り付けられた空間的予測ベクトルの長さが大きい場合には、対象パーティションが表す画像の動きが大きい。また、そのような場合には、コロケートパーティションの表す画像と、対象パーティションの表す画像との相関が低い。
 すなわち、上記対象パーティションに割り付けられた空間的予測ベクトルの長さが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似しない。換言すれば、上記対象パーティションに割り付けられた空間的予測ベクトルの長さが大きい場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は低い。
 一方で、上記対象パーティションに割り付けられた空間的予測ベクトルの長さが短い場合には、コロケートパーティションの表す画像と、対象パーティションの表す画像との相関が高く、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似する。換言すれば、上記対象パーティションに割り付けられた空間的予測ベクトルの長さが短い場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は高い。
 上記のように、予測ベクトル候補選択部315’は、対象パーティションに割り付けられた空間的予測ベクトルの長さが予め定められた基準値以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションに割り付けられた空間的予測ベクトルの長さが予め定められた基準値より大きいときには、第2の空間的予測ベクトル候補#312を選択することができるので、符号化効率を向上させることができる。
 なお、本変形例における動きベクトル冗長性削減部19は、上記の点を除き、第1の実施形態における動きベクトル冗長性削減部19の動作とほぼ同様の動作を行う。
 また、予測ベクトル候補選択部315’は、対象パーティションに割り付けられた空間的予測ベクトルの長さに応じる代わりに、時間的予測ベクトル候補#313の長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#315に設定するようにしても良い。
 <変形例2>
 以下では、本発明の第2の変形例に係る動画像符号化装置について説明する。本発明の第2の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部316を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。
 予測ベクトル候補選択部316は、対象パーティションが含まれるフレームと、コロケートパーティションが含まれるフレームとのフレーム間隔に応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#316に設定する。
 より具体的には、予測ベクトル候補選択部316は、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔より大きい場合には、第2の空間的予測ベクトル候補#312を選択する。
 なお、各フレームのフレーム間隔は、各フレームに付与された参照画像相対位置を参照することにより検出することができる。図11の(a)は、対象フレームよりも以前に符号化されたフレームに付与された参照画像相対位置を示す図である。図11の(a)に示すように、参照画像相対位置を示すインデクスが大きければ大きいほど、対象フレームとのフレーム間隔が大きくなる。
 また、各フレームに、それぞれのフレームの時間的位置に対応する画像番号が付与されている場合には、上記対象パーティションが含まれるフレームに付与された画像番号と、上記コロケートパーティションが含まれるフレームに付与された画像番号との差によって、上記フレーム間隔を表すことができる。図11の(b)は、対象フレーム、および、対象フレーム近傍のフレームに付与された画像番号を示す図である。
 一般に、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が長い場合には、上記対象パーティションが表す画像と、コロケートパーティションが表す画像との間の相関は低い。
 すなわち、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が長い場合には、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似しない。換言すれば、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が長い場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は低い。
 一方で、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が短い場合には、上記対象パーティションが表す画像と、コロケートパーティションが表す画像との間の相関は高い。
 すなわち、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が短い場合には、上記コロケートパーティションに割り付けられた動きベクトルは、上記対象パーティションに割り付けられる動きベクトルに類似する。換言すれば、上記対象パーティションを含むフレームと上記コロケートパーティションを含むフレームとのフレーム間隔が短い場合には、上記コロケートパーティションに割り付けられた動きベクトルの予測精度は高い。
 上記のように、予測ベクトル候補選択部316は、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔より大きい場合には、第2の空間的予測ベクトル候補#312を選択することができるので、符号化効率の高い第2次予測ベクトル候補を選択することができる。
 なお、本変形例における動きベクトル冗長性削減部19は、上記の点を除き、第1の実施形態における動きベクトル冗長性削減部19の動作とほぼ同様の動作を行う。
 また、本変形例に係る動画像復号装置は、第1の実施形態に係る動画像復号装置2における予測ベクトル候補選択部314に代えて、上述した予測ベクトル候補選択部316を備えている。すなわち、本変形例に係る動画像復号装置は、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔以下であるときには、時間的予測ベクトル候補#313を選択し、対象パーティションが含まれるフレームとコロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準間隔より大きい場合には、第2の空間的予測ベクトル候補#312を選択する。
 <変形例3>
 以下では、本発明の第3の変形例に係る動画像符号化装置について説明する。本発明の第3の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部317を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。
 予測ベクトル候補選択部317は、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、Bピクチャを含むピクチャによって構成されるGOP(Group of Picture)構造(ピクチャ群構造)に属する場合には、第2の空間的予測ベクトル候補#312を選択し、対象パーティションが含まれるフレーム、および、コロケートパーティションが含まれるフレームが上記GOP構造に属さない場合には、時間的予測ベクトル候補#313を選択する。
 すなわち、予測ベクトル候補選択部317は、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造が適用された符号化をされているのか否かに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つを選択し、第2次予測ベクトル候補#317に設定する。
 図12は、Bピクチャを含むGOP構造のうち特に階層Bピクチャによって構成されるGOP構造を示す図である。図12に示すように、上記GOP構造は、Iピクチャ(Intra picture)、Pピクチャ(Predictive picture)、および、Bピクチャ(Bi-directional predictive picture)より構成されている。
 図12に示すように、上記GOP構造においては、フレーム間隔が長い傾向がある。したがって、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造に属する場合には、時間的予測ベクトル候補#313が、対象パーティションに割り付けられる動きベクトルに類似しない可能性が高い。すなわち、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造に属する場合には、時間的予測ベクトル候補#313の予測精度は低い。
 本変形例に係る動画像符号化装置によれば、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造に属する場合には、第2の空間的予測ベクトル候補#312を選択し、対象パーティションが含まれるフレーム、および、コロケートパーティションが含まれるフレームが、上記GOP構造に属さない場合には、時間的予測ベクトル候補#313を選択するので、符号化効率の高い第2次予測ベクトル候補を選択することができる。
 なお、本変形例における動きベクトル冗長性削減部19は、上記の点を除き、第1の実施形態における動きベクトル冗長性削減部19の動作とほぼ同様の動作を行う。
 なお、本変形例に係る動画像符号化装置は、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造が適用された符号化をされているのか否かについてのフラグ#BCを生成し、復号装置に送ることが好ましい。
 また、本変形例に係る動画像復号装置も、動画像復号装置2における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部317を備えている。すなわち、本変形例に係る動画像復号装置も、対象パーティションが含まれるフレーム、または、コロケートパーティションが含まれるフレームのうちいずれか一方か、または双方が、上記GOP構造に属する場合には、第2の空間的予測ベクトル候補#312を選択し、対象パーティションが含まれるフレーム、および、コロケートパーティションが含まれるフレームが、上記GOP構造に属さない場合には、時間的予測ベクトル候補#313を選択するので、符号化効率の高い第2次予測ベクトル候補を選択することができる。なお、本変形例に係る動画像復号装置は、上記フラグ#BCを参照することにより、上記GOP構造が適用されているか否かを判別することができる。
 したがって、本変形例に係る動画像復号装置を用いることによって、符号化効率の高い符号化データを復号することができる。
 <変形例3’>
 以下では、本発明の第3’の変形例に係る動画像符号化装置について説明する。本発明の第3’の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部317’を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。以下では、本発明の第3’の変形例に係る動画像符号化装置について説明する。
 予測ベクトル候補選択部317’は、対象パーティションが含まれるフレームがBピクチャである場合には、第2の空間的予測ベクトル候補#312を選択し、対象パーティションが含まれるフレームがBピクチャではない場合には、時間的予測ベクトル候補#313を選択する。
 変形例3で示したように、Bフレームを含むGOP構造の場合には、フレーム間隔が広くなること傾向にある。本変形例では、上記GOP構造が適用された符号化をされているのか否かについてのフラグ#BCを符号化することなしに、この傾向を用いることが可能である。
 このようにフレームの種類に応じて、時間的予測動きベクトル#313の予測精度を判定し、第2次予測ベクトル候補#314に選択することを変更することによって、より対象パーティションの動きベクトルに類似する可能性の高い動きベクトル候補を用いることができる。
また、本変形例に係る動画像復号装置も、予測ベクトル候補選択部314に換えて予測ベクトル候補選択部317’を備えることを除き、第1の実施形態における動画像復号装置2と同様である。
 したがって、本変形例に係る動画像復号装置を用いることによって、符号化効率の高い符号化データを復号することができる。
 <変形例3’’>
 以下では、本発明の第3’’の変形例に係る動画像符号化装置について説明する。本発明の第3’’の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部317’’を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。以下では、本発明の第3’’の変形例に係る動画像符号化装置について説明する。
 予測ベクトル候補選択部317は、対象パーティションが含まれるフレームがBピクチャである場合でありかつ、対象パーティションのサイズが、予め定められた基準サイズ以上である場合に第2の空間的予測ベクトル候補#312を選択し、それ以外の場合には、時間的予測ベクトル候補#313を選択する。
 なお、予測ベクトル候補選択部317は、対象パーティションが含まれるフレームがBピクチャである場合であるか、あるいは、対象パーティションのサイズが、予め定められた基準サイズ以上である場合に第2の空間的予測ベクトル候補#312を選択し、それ以外の場合には、時間的予測ベクトル候補#313を選択する構成としても良い。
 このようにフレームの種類及び対象パーティションのサイズに応じて、時間的予測動きベクトル#313の予測精度を判定し、第2次予測ベクトル候補#314に選択することを変更することによって、より対象パーティションの動きベクトルに類似する可能性の高い動きベクトル候補を用いることができる。
 また、本変形例に係る動画像復号装置も、予測ベクトル候補選択部314に換えて予測ベクトル候補選択部317’’を備えることを除き、第1の実施形態における動画像復号装置2と同様である。
 したがって、本変形例に係る動画像復号装置を用いることによって、符号化効率の高い符号化データを復号することができる。
 <変形例4>
 以下では、本発明の第4の変形例に係る動画像符号化装置について説明する。本発明の第4の変形例に係る動画像符号化装置は、動画像符号化装置1における予測ベクトル候補選択部314に代えて、予測ベクトル候補選択部318を備えている。本変形例に係る動画像符号化装置のその他の構成は、第1の実施形態における動画像符号化装置1と同様である。
 予測ベクトル候補選択部318は、対象パーティションのサイズ、および、対象パーティションに割り付けられた動きベクトルの長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#318に設定する。
 具体的には、予測ベクトル候補選択部318は、対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値以下である場合には、時間的予測ベクトル候補#313を選択し、それ以外の場合には、第2の空間的予測ベクトル候補#312を選択する。
 上述のように、対象パーティションのサイズが大きい場合には、時間的予測ベクトル#313は、対象パーティションに割り付けられる動きベクトルに類似する。また、対象パーティションに割り付けられた動きベクトルの長さが小さい場合にも、時間的予測ベクトル#313は、対象パーティションに割り付けられる動きベクトルに類似する。換言すれば、対象パーティションのサイズが大きい場合には、時間的予測ベクトル#313の予測精度は高く、対象パーティションのサイズが小さい場合にも、時間的予測ベクトル#313の予測精度は高い。
 したがって、上記のような構成をとることにより、符号化効率がさらに向上する。
 なお、本変形例における動きベクトル冗長性削減部19は、上記の点を除き、第1の実施形態における動きベクトル冗長性削減部19の動作とほぼ同様の動作を行う。
 また、本変形例に係る動画像復号装置も、第1の実施形態に係る動画像復号装置2における予測ベクトル候補選択部314に代えて、上述した予測ベクトル候補選択部318を備えている。すなわち、本変形例に係る動画像復号装置も、対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値以下である場合には、時間的予測ベクトル候補#313を選択し、それ以外の場合には、第2の空間的予測ベクトル候補#312を選択する。
 なお、予測ベクトル候補選択部318は、対象パーティションのサイズ、または、対象パーティションに割り付けられた動きベクトルの長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択し、第2次予測ベクトル候補#315に設定するようにしてもよい。
 具体的には、予測ベクトル候補選択部315は、対象パーティションのサイズが、予め定められた基準サイズ以上である場合、または、対象パーティションに割り付けられた動きベクトルの長さが予め定められた基準値以下である場合には、時間的予測ベクトル候補#313を選択し、それ以外の場合には、第2の空間的予測ベクトル候補#312を選択するようにしてもよい。
 また、予測ベクトル候補選択部318は、対象パーティションに割り付けられた動きベクトルの長さに応じる代わりに、第1の空間的予測ベクトル候補#311の長さ、第2の空間的予測ベクトル候補#312の長さ、または、時間的予測ベクトル候補#313の長さに応じて、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つの予測ベクトル候補を選択するようにしても良い。
 また、予測ベクトル候補選択部318は、対象パーティションに割り付けられた動きベクトルの長さが、対象パーティションの辺の長さ以下である場合には、時間的予測ベクトル候補#313を選択し、対象パーティションに割り付けられた動きベクトルの長さが、対象パーティションの辺の長さより大きい場合には、第2の空間的予測ベクトル候補#312を選択するようにしてもよい。
 上記のような構成をとることにより、上記予め定められた基準値を参照することなく、適切な2次予測ベクトル候補を選択することができる。
 (付記事項1)
 上記、実施形態及び変形例では、予測ベクトル候補選択部314(また315、316、317、318など)は、第2の空間的予測ベクトル候補#312、または、時間的予測ベクトル候補#313のうち、何れか一つを選択するとしているが、両者を選択しても構わない。より、具体的には、予測ベクトル候補選択部314において、対象パーティションの時間的予測ベクトル候補#313の予測精度が高いと判定される場合には、第2の空間的予測ベクトル候補#312と時間的予測ベクトル候補#313の両者を選択し、対象パーティションの時間的予測ベクトル候補#313の予測精度が低いと判定される場合には、第2の空間的予測ベクトル候補#312を選択する。
 より具体的には、対象パーティションのサイズが予め定められた基準サイズ以上であるときには、時間的予測ベクトル候補と空間的予測ベクトル候補の両者を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、空間的予測ベクトル候補を選択する。
 付記事項3でも後述するが、特にスキップブロックにおいては、動きの空間的相関が大きいため、時間的予測ベクトル候補#313の予測精度が高いと判定される場合に時間的予測ベクトル候補#313を選択するだけでなく、第2の空間的予測ベクトル候補#312も同時に選択することが好ましい。
 また、対象パーティションのサイズが大きい場合には、サイズが小さい場合に比べ、予測ベクトルの選択肢を増やすことにより大きな画質向上が期待できるため、時間的予測ベクトル候補#313を選択するだけでなく、第2の空間的予測ベクトル候補#312も選択することが好ましい。
 なお、変形例1から4に示したように、フレーム間隔、フレームの種類及びフレーム構造、動きベクトルの長さ、また、動きベクトルの長さと対象パーティションのサイズの両方から、時間的予測ベクトルの予測精度を推定して判定する方法も好適である。
 (付記事項2)
 なお、上記、実施形態及び変形例では、第1の空間的予測ベクトル#311と第2次予測ベクトル候補#314を、符号化装置では予測ベクトル選択部32、復号装置では予測ベクトル決定部35において選択する構成としているが、このような構成とせず、第2次予測ベクトル候補#314(これは付記事項1に示したように複数もありうる)をそのまま、予測ベクトル選択部32及び予測ベクトル決定部35で用いる予測ベクトル候補とすることも可能である。
 この場合、第2次予測ベクトル候補の数が1であれば、どの予測ベクトルを用いて差分動きベクトル#19aを生成したかを示すフラグ#19bは不用であり、第2次予測ベクトル候補の数が複数の場合にはフラグ#19bを必要とする。
 なお、この場合、第2次予測ベクトル候補#314の算出に用いる第2の空間的予測ベクトル#312は対象パーティションの左パーティション、上パーティション、および、右上パーティションの各々に割り付けられた動きベクトルのメジアンを用いることが好ましい。
 より具体的な構成例は、時間的予測ベクトル#313の予測精度が高い場合には時間的予測ベクトル#313が予測ベクトル候補として用いられ、そうではない場合には、空間的予測ベクトル#312(ここでは上述のメジアン)が予測ベクトル候補として用いられる。というものである。
 (付記事項3)
 なお、上記、実施形態及び変形例では、スキップブロックでは第2次予測ベクトル候補#314として、常に、第1の空間的予測ベクトル候補#311を用いる構成を説明したがスキップブロックに対してもスキップブロック以外のブロックと同様、時間的予測ベクトル候補#313の予測精度の判定により、第2の空間的予測ベクトル候補#312と時間的予測ベクトル候補#313から選択する構成としても良い。また、付記事項2に示すように第2の空間的予測ベクトル候補#312と時間的予測ベクトル候補#313の両者を選択する構成も構わない。
 実際、対象パーティションのサイズが基準サイズ以上の場合に代表される時間的予測ベクトル候補#313の予測精度が高くなる場合には、スキップブロックにおいても、時間的予測ベクトル候補#313を選択肢に加えることが好適であると考えられる。また、対象パーティションのサイズが大きい場合には、サイズが小さい場合に比べ、予測ベクトルの選択肢を増やすことにより大きな画質向上が期待できるため、スキップブロックにおいて、時間的予測ベクトル候補#313を加えることが好適である。
 より具体的な構成を示すと、スキップブロックにおいて、対象パーティションのサイズが基準サイズ以上の場合の動きベクトル候補は、第1の空間的予測ベクトル候補#311、第2の空間的予測ベクトル候補#312、時間的予測ベクトル候補#313とし、対象パーティションのサイズが基準サイズよりも小さい場合の動きベクトル候補は、第1の空間的予測ベクトル候補#311と第2の空間的予測ベクトル候補#312とする。また、スキップブロック以外において、対象パーティションのサイズが基準サイズ以上の場合の動きベクトル候補は、第1の空間的予測ベクトル候補#311、時間的予測ベクトル候補#313とし、対象パーティションのサイズが基準サイズよりも小さい場合の動きベクトル候補は、第1の空間的予測ベクトル候補#311と第2の空間的予測ベクトル候補#312とする。
 繰り返しになるが上記の対象パーティションのサイズによる判定は、時間的予測ベクトル候補#313の予測精度を判定するものであり、フレーム間隔などの他の判定を用いても構わない。
 (付記事項4)
 時間的予測ベクトル候補#313の予測精度の判定の当たりやすさは、シーケンスによって異なることも考えられるため、符号化データ中にどの判定を用いたかを示す情報を符号化する構成とすることも好適である。すなわち、パーティションサイズ、動きベクトル長、フレーム間隔、フレームタイプのどの判定を用いたかを示す情報を符号化する。なお、変形例3’’、変形例4に一例として示したように、複数の判定を組み合わせることも適当である。この場合も組合せを示す情報を符号化する。復号装置では、判定を示す情報を復号し、予測動きベクトル候補の算出、及び、フラグ#19bの復号に利用する。
 (付記事項5)
 上記動画像符号化装置は、対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンを、上記対象パーティションに割り付ける予測ベクトルの候補となる第1の予測ベクトル候補に設定する第1の算出手段と、上記左パーティションに割り付けられた動きベクトルを対象パーティションに割り付ける予測ベクトルの候補となる第2の予測ベクトル候補に設定する第2の算出手段と、符号化済フレームにおいて、上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルを上記対象パーティションに割り付ける予測ベクトルの候補となる第3の予測ベクトル候補に設定する第3の算出手段と、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段と、符号化コストに応じて、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段とを備えている、ことが好ましい。
 上記の構成によれば、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段を備えているため、上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択することができる。
 また、上記のように構成された本発明に係る動画像符号化装置は、符号化コストに応じて、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段とを備えているため、上記第3の予測ベクトル候補の予測精度が低下する場合であって、上記第1の予測ベクトル候補を用いた場合の符号化コストが増大する場合であっても、符号化効率の高い符号化データを生成することができるという効果を奏する。
 また、上記第2の選択手段は、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、符号化コストがより小さくなる予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する、ことが好ましい。
 上記の構成によれば、上記第2の選択手段は、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、符号化コストがより小さくなる予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定することができるので、符号化効率の高い予測ベクトルを生成することができるという更なる効果を奏する。
 また、上記第1の選択手段は、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 一般に、上記対象パーティションのサイズがより小さいときには、上記第3の予測ベクトルの予測精度がより低く、上記対象パーティションのサイズがより大きいときには、上記第3の予測ベクトルの予測精度がより高いという傾向がある。
 上記の構成によれば、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、ことができるので、上記対象パーティションのサイズが小さい場合であっても、上記対象パーティションのサイズが大きい場合であっても、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、上記第1の選択手段は、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 一般に、上記対象パーティションに割り付けられた動きベクトルの長さがより短いときには、上記第3の予測ベクトルの予測精度がより高く、上記対象パーティションに割り付けられた動きベクトルの長さがより長いときには、上記第3の予測ベクトルの予測精度がより低いという傾向がある。
 上記の構成によれば、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択することができるので、上記対象パーティションに割り付けられた動きベクトルの長さが短い場合であっても、長い場合であっても、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、上記第1の選択手段は、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 一般に、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔がより短いときには、上記第3の予測ベクトル候補の予測精度がより高く、上記フレーム間隔がより長いときには、上記第3の予測ベクトル候補の予測精度がより低いという傾向がある。
 上記の構成によれば、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択することができるので、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が長い場合であっても、短い場合であっても、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、上記第1の選択手段は、上記対象パーティションが含まれるフレーム、または、上記コロケートパーティションが含まれるフレームのうち、少なくとも一方が、階層Bピクチャによって構成されるピクチャ群構造に属するときには、上記第2の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレーム、および、上記コロケートパーティションが含まれるフレームの双方が、階層Bピクチャによって構成されるピクチャ群構造に属さないときには、上記第3の予測ベクトル候補を選択する、ことが好ましい。
 一般に、上記対象パーティションが含まれるフレーム、または、上記コロケートパーティションが含まれるフレームのうち、少なくとも一方が、階層Bピクチャによって構成されるピクチャ群構造に属するときには、上記第3の予測ベクトル候補の予測精度が低下するという傾向がある。
 上記の構成によれば、上記対象パーティションが含まれるフレーム、または、上記コロケートパーティションが含まれるフレームのうち、少なくとも一方が、階層Bピクチャによって構成されるピクチャ群構造に属するときには、上記第2の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレーム、および、上記コロケートパーティションが含まれるフレームの双方が、階層Bピクチャによって構成されるピクチャ群構造に属さないときには、上記第3の予測ベクトル候補を選択することができるので、上記対象パーティションが含まれるフレーム、または、上記コロケートパーティションが含まれるフレームのうち、少なくとも一方が、階層Bピクチャによって構成されるピクチャ群構造に属するときであっても、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、上記第1の選択手段は、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 一般に、上記対象パーティションのサイズがより小さいときには、上記第3の予測ベクトルの予測精度がより低く、上記対象パーティションのサイズがより大きいときには、上記第3の予測ベクトルの予測精度がより高いという傾向がある。また、一般に、上記対象パーティションに割り付けられた動きベクトルの長さがより短いときには、上記第3の予測ベクトルの予測精度がより高く、上記対象パーティションに割り付けられた動きベクトルの長さがより長いときには、上記第3の予測ベクトルの予測精度がより低いという傾向がある。
 上記の構成によれば、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択することができるので、
 上記対象パーティションのサイズが小さい場合であっても、上記対象パーティションのサイズが大きい場合であっても、符号化効率のより高い予測ベクトル候補を選択することができ、また、上記対象パーティションに割り付けられた動きベクトルの長さが短い場合であっても、長い場合であっても、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、本発明に係る上記復号装置において、上記第1の選択手段は、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 上記の構成によれば、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、ことができるので、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れを選択すべきかについてのフラグを必要とすることなく、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、本発明に係る上記復号装置において、上記第1の選択手段は、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 上記の構成によれば、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択することができるので、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れを選択すべきかについてのフラグを必要とすることなく、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、本発明に係る上記復号装置において、上記第1の選択手段は、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 上記の構成によれば、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択することができるので、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れを選択すべきかについてのフラグを必要とすることなく、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 また、本発明に係る上記復号装置において、上記第1の選択手段は、上記符号化データに、符号化された画像が階層Bピクチャによって構成されるピクチャ群構造に属することを示すフラグが含まれている場合には、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 上記の構成によれば、上記符号化データに、符号化された画像が階層Bピクチャによって構成されるピクチャ群構造に属することを示すフラグが含まれている場合には、上記第2の予測ベクトル候補を選択することができるので、符号化された画像が階層Bピクチャによって構成されるピクチャ群構造に属する場合であっても、高い符号化効率で生成された符号化データを復号することができるという効果を奏する。
 また、本発明に係る上記復号装置において、上記第1の選択手段は、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択する、ことが好ましい。
 上記の構成によれば、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択する、ことができるので、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れを選択すべきかについてのフラグを必要とすることなく、符号化効率のより高い予測ベクトル候補を選択することができるという更なる効果を奏する。
 本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
 本発明は、動画像を符号化する動画像符号化装置に好適に適用することができる。また、符号化データに基づき動画像を復元する動画像復号装置に好適に適用することができる。
1 動画像符号化装置
11 変換・量子化部
12 可変長符号化部
13 逆量子化・逆変換部
14 バッファメモリ
15 イントラ予測画像生成部
16 予測画像生成部
17 動きベクトル推定部
18 予測方式制御部
19 動きベクトル冗長性削減部
21 加算器
22 減算器
31 予測ベクトル候補生成部
311 第1空間的予測ベクトル算出部(第1の算出手段)
312 第2空間的予測ベクトル算出部(第2の算出手段)
313 時間的予測ベクトル算出部(第3の算出手段)
314 予測ベクトル候補選択部(第1の選択手段)
32 予測ベクトル選択部(第2の選択手段)
33 PMVフラグ生成部
34 減算器
2 動画像復号装置
24 動きベクトル復元部

Claims (15)

  1.  動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化する動画像符号化装置において、
     上記予測ベクトルは、
      対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、
      上記左パーティションに割り付けられた動きベクトルである第2の予測ベクトル候補、若しくは、復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち、上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補、
    のうち、符号化コストに応じて選択された何れか一つの予測ベクトルである、
    ことを特徴とする動画像符号化装置。
  2.  請求項1に記載の動画像符号化装置であって、
     対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンを、上記対象パーティションに割り付ける予測ベクトルの候補となる第1の予測ベクトル候補に設定する第1の算出手段と、
     上記左パーティションに割り付けられた動きベクトルを対象パーティションに割り付ける予測ベクトルの候補となる第2の予測ベクトル候補に設定する第2の算出手段と、
     符号化済フレームにおいて、上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルを上記対象パーティションに割り付ける予測ベクトルの候補となる第3の予測ベクトル候補に設定する第3の算出手段と、
     上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段と、
     符号化コストに応じて、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段と、を備えている、
    ことを特徴とする動画像符号化装置。
  3.  請求項2に記載の動画像符号化装置であって、
     上記第2の選択手段は、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、符号化コストがより小さくなる予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する、
    ことを特徴とする動画像符号化装置。
  4.  請求項2または3に記載の動画像符号化装置であって、
     上記第1の選択手段は、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像符号化装置。
  5.  請求項2または3に記載の動画像符号化装置であって、
     上記第1の選択手段は、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像符号化装置。
  6.  請求項2または3に記載の動画像符号化装置であって、
     上記第1の選択手段は、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像符号化装置。
  7.  請求項2または3に記載の動画像符号化装置であって、
     上記第1の選択手段は、上記対象パーティションが含まれるフレーム、または、上記コロケートパーティションが含まれるフレームのうち、少なくとも一方が、階層Bピクチャによって構成されるピクチャ群構造に属するときには、上記第2の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレーム、および、上記コロケートパーティションが含まれるフレームの双方が、階層Bピクチャによって構成されるピクチャ群構造に属さないときには、上記第3の予測ベクトル候補を選択する、
    ことを特徴とする動画像符号化装置。
  8.  請求項2または3に記載の動画像符号化装置であって、
     上記第1の選択手段は、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像符号化装置。
  9.  動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化して得られた符号化データを復号する動画像復号装置であって、
     対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンを、上記対象パーティションに割り付ける予測ベクトルの候補となる第1の予測ベクトル候補に設定する第1の算出手段と、
     上記左パーティションに割り付けられた動きベクトルを対象パーティションに割り付ける予測ベクトルの候補となる第2の予測ベクトル候補に設定する第2の算出手段と、
     復号済フレームにおいて、上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルを上記対象パーティションに割り付ける予測ベクトルの候補となる第3の予測ベクトル候補に設定する第3の算出手段と、
     上記第3の予測ベクトル候補の予測精度に応じて、上記第2の予測ベクトル候補、または、上記第3の予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択する第1の選択手段と、
     上記符号化データに含まれるフラグを参照して、上記第1の予測ベクトル候補、または、上記第1の選択手段によって選択された予測ベクトル候補のうち、何れか1つの予測ベクトル候補を選択し、上記対象パーティションに割り付ける予測ベクトルに設定する第2の選択手段と、を備えている、
    ことを特徴とする動画像復号装置。
  10.  請求項9に記載の動画像復号装置であって、
     上記第1の選択手段は、上記対象パーティションのサイズが予め定められた基準サイズ以上であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションのサイズが上記基準サイズより小さいときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像復号装置。
  11.  請求項9に記載の動画像復号装置であって、
     上記第1の選択手段は、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションに割り付けられた動きベクトルの長さが上記予め定められた長さより長いときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像復号装置。
  12.  請求項9に記載の動画像復号装置であって、
     上記第1の選択手段は、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、予め定められた基準フレーム間隔以下であるときには、上記第3の予測ベクトル候補を選択し、上記対象パーティションが含まれるフレームと、上記コロケートパーティションが含まれるフレームとのフレーム間隔が、上記基準フレーム間隔より大きいときには、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像復号装置。
  13.  請求項9に記載の動画像復号装置であって、
     上記第1の選択手段は、上記符号化データに、符号化された画像が階層Bピクチャによって構成されるピクチャ群構造に属することを示すフラグが含まれている場合には、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像復号装置。
  14.  請求項9に記載の動画像復号装置であって、
     上記第1の選択手段は、上記対象パーティションのサイズが、予め定められた基準サイズ以上である場合であって、上記対象パーティションに割り付けられた動きベクトルの長さが予め定められた長さ以下である場合には、上記第3の予測ベクトル候補を選択し、それ以外の場合には、上記第2の予測ベクトル候補を選択する、
    ことを特徴とする動画像復号装置。
  15.  動画像を構成するフレームを分割して得られた複数のパーティションの各々に割り付けられた動きベクトルと予測ベクトルとの差分ベクトルを上記動画像と共に符号化して得られた符号化データのデータ構造において、
     上記予測ベクトルは、
      対象パーティションの左辺に隣接する左パーティション、対象パーティションの上辺に隣接する上パーティション、および、当該上パーティションの右辺に隣接する右上パーティションの各々に割り付けられた動きベクトルのメジアンである第1の予測ベクトル候補、または、
      上記左パーティションに割り付けられた動きベクトルである第2の予測ベクトル候補、若しくは、復号済フレームにおいて上記対象パーティションと同じ位置を占めるコロケートパーティションに割り付けられた動きベクトルである第3の予測ベクトル候補のうち、上記第3の予測ベクトル候補の予測精度に応じて選択された何れか一つの予測ベクトル候補、
    のうち、符号化コストに応じて選択された何れか一つの予測ベクトルである、
    ことを特徴とする符号化データのデータ構造。
PCT/JP2010/066245 2009-10-20 2010-09-17 動画像符号化装置、動画像復号装置、および、データ構造 WO2011048903A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/502,684 US20120213288A1 (en) 2009-10-20 2010-09-17 Video encoding device, video decoding device, and data structure
EP10824754A EP2493195A1 (en) 2009-10-20 2010-09-17 Video encoding device, video decoding device, and data structure
JP2011537183A JPWO2011048903A1 (ja) 2009-10-20 2010-09-17 動画像符号化装置、動画像復号装置、および、データ構造
CN201080046998.9A CN102577392A (zh) 2009-10-20 2010-09-17 运动图像编码装置、运动图像解码装置以及数据结构

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-241827 2009-10-20
JP2009241827 2009-10-20

Publications (1)

Publication Number Publication Date
WO2011048903A1 true WO2011048903A1 (ja) 2011-04-28

Family

ID=43900143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/066245 WO2011048903A1 (ja) 2009-10-20 2010-09-17 動画像符号化装置、動画像復号装置、および、データ構造

Country Status (5)

Country Link
US (1) US20120213288A1 (ja)
EP (1) EP2493195A1 (ja)
JP (1) JPWO2011048903A1 (ja)
CN (1) CN102577392A (ja)
WO (1) WO2011048903A1 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
WO2012173022A1 (ja) * 2011-06-14 2012-12-20 ソニー株式会社 画像処理装置および方法
JP2013012961A (ja) * 2011-06-29 2013-01-17 Jvc Kenwood Corp 画像復号装置、画像復号方法、および画像復号プログラム
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
JP2013517734A (ja) * 2010-01-19 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
JP2013517669A (ja) * 2010-01-14 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 動きベクトルを符号化/復号化する方法及び装置
JP2013528992A (ja) * 2010-04-22 2013-07-11 聯發科技股▲ふん▼有限公司 動き予測方法
WO2013153778A1 (ja) * 2012-04-09 2013-10-17 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2014097937A1 (ja) * 2012-12-20 2014-06-26 ソニー株式会社 画像処理装置および画像処理方法
JP2014209762A (ja) * 2010-12-17 2014-11-06 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunicationsresearch Institute 映像復号化方法
JP2015228680A (ja) * 2011-09-28 2015-12-17 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2016106486A (ja) * 2011-09-28 2016-06-16 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法、及び送信プログラム
TWI569634B (zh) * 2011-10-31 2017-02-01 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
JP2017510115A (ja) * 2014-01-03 2017-04-06 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化/デコーディングにおけるブロックベクトル予測
CN107347160A (zh) * 2011-11-18 2017-11-14 谷歌技术控股有限责任公司 针对高效率视频代码化用信号发送并置图片的显式方式
JP2018026726A (ja) * 2016-08-10 2018-02-15 日本放送協会 符号化装置及びプログラム
JP2018088715A (ja) * 2018-02-23 2018-06-07 マイクロソフト テクノロジー ライセンシング,エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード
JP2018093504A (ja) * 2010-01-19 2018-06-14 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2493755B (en) * 2011-08-17 2016-10-19 Canon Kk Method and device for encoding a sequence of images and method and device for decoding a sequence of images
GB2556489B (en) 2011-11-08 2018-11-21 Kt Corp A method of decoding a video signal using a merge mode
CN111526360A (zh) * 2016-02-06 2020-08-11 华为技术有限公司 图像编解码方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765963B2 (en) * 2001-01-03 2004-07-20 Nokia Corporation Video decoder architecture and method for using same
EP1378124B1 (en) * 2001-02-13 2005-06-01 Koninklijke Philips Electronics N.V. Motion information coding and decoding method
CN100493201C (zh) * 2002-01-24 2009-05-27 株式会社日立制作所 运动图像的解码方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008283490A (ja) * 2007-05-10 2008-11-20 Ntt Docomo Inc 動画像符号化装置、方法及びプログラム、並びに動画像復号化装置、方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOEL JUNG ET AL.: "Competition-Based Scheme for Motion Vector Selection and Coding", ITU-TELECOMMUNICATIONS STANDARDIZATION SECTOR STUDY GROUP 16 QUESTION 6 VIDEO CODING EXPERTS GROUP (VCEG) 29TH MEETING VCEG-AC06,ITU, - 17 July 2006 (2006-07-17), XP030003490 *

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013517669A (ja) * 2010-01-14 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 動きベクトルを符号化/復号化する方法及び装置
US9131237B2 (en) 2010-01-14 2015-09-08 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
US9106924B2 (en) 2010-01-14 2015-08-11 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
US8995529B2 (en) 2010-01-14 2015-03-31 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector by predicting motion vector according to mode
JP2013517734A (ja) * 2010-01-19 2013-05-16 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
JP2016007065A (ja) * 2010-01-19 2016-01-14 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
JP2019146252A (ja) * 2010-01-19 2019-08-29 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
US10057597B2 (en) 2010-01-19 2018-08-21 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
JP2018093504A (ja) * 2010-01-19 2018-06-14 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
JP2017108423A (ja) * 2010-01-19 2017-06-15 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
US10484709B2 (en) 2010-01-19 2019-11-19 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
US10708616B2 (en) 2010-01-19 2020-07-07 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
JP2020182236A (ja) * 2010-01-19 2020-11-05 サムスン エレクトロニクス カンパニー リミテッド 縮小された予測動きベクトルの候補に基づいて、動きベクトルを符号化/復号化する方法及び装置
US9571853B2 (en) 2010-01-19 2017-02-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
US9565447B2 (en) 2010-01-19 2017-02-07 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding motion vector based on reduced motion vector predictor candidates
JP2013528992A (ja) * 2010-04-22 2013-07-11 聯發科技股▲ふん▼有限公司 動き予測方法
US10708614B2 (en) 2010-12-17 2020-07-07 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
JP2018038050A (ja) * 2010-12-17 2018-03-08 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像復号化方法
JP2016158296A (ja) * 2010-12-17 2016-09-01 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像復号化方法
US10397599B2 (en) 2010-12-17 2019-08-27 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
JP2022040120A (ja) * 2010-12-17 2022-03-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像復号化方法
JP2020174362A (ja) * 2010-12-17 2020-10-22 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像復号化方法
JP6992128B2 (ja) 2010-12-17 2022-01-13 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像復号化方法
JP2014209762A (ja) * 2010-12-17 2014-11-06 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunicationsresearch Institute 映像復号化方法
JP2019110595A (ja) * 2010-12-17 2019-07-04 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute 映像復号化方法
US11206424B2 (en) 2010-12-17 2021-12-21 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
JP7448694B2 (ja) 2010-12-17 2024-03-12 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像復号化方法
JP7210687B2 (ja) 2010-12-17 2023-01-23 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 映像復号化方法
US11743486B2 (en) 2010-12-17 2023-08-29 Electronics And Telecommunications Research Institute Method and apparatus for inter prediction using motion vector candidate based on temporal motion prediction
WO2012090397A1 (ja) * 2010-12-28 2012-07-05 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム、並びに動画像復号装置、動画像復号方法及び動画像復号プログラム
CN103597836A (zh) * 2011-06-14 2014-02-19 索尼公司 图像处理设备和方法
WO2012173022A1 (ja) * 2011-06-14 2012-12-20 ソニー株式会社 画像処理装置および方法
JP2013012961A (ja) * 2011-06-29 2013-01-17 Jvc Kenwood Corp 画像復号装置、画像復号方法、および画像復号プログラム
WO2013035452A1 (ja) * 2011-09-05 2013-03-14 シャープ株式会社 画像符号化方法、画像復号方法、並びにそれらの装置及びプログラム
JP2015228680A (ja) * 2011-09-28 2015-12-17 株式会社Jvcケンウッド 動画像復号装置、動画像復号方法、動画像復号プログラム、受信装置、受信方法及び受信プログラム
JP2016106486A (ja) * 2011-09-28 2016-06-16 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、送信装置、送信方法、及び送信プログラム
TWI597973B (zh) * 2011-10-31 2017-09-01 Jvc Kenwood Corp Video encoding device, video encoding method and recording medium
TWI569634B (zh) * 2011-10-31 2017-02-01 Jvc Kenwood Corp Dynamic image decoding device, dynamic image decoding method and dynamic image decoding program
CN107347160A (zh) * 2011-11-18 2017-11-14 谷歌技术控股有限责任公司 针对高效率视频代码化用信号发送并置图片的显式方式
CN107347160B (zh) * 2011-11-18 2020-04-28 谷歌技术控股有限责任公司 针对高效率视频代码化用信号发送并置图片的显式方式
US10075708B2 (en) 2012-04-09 2018-09-11 Sun Patent Trust Image encoding method and image decoding method
JPWO2013153778A1 (ja) * 2012-04-09 2015-12-17 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America 画像符号化方法および画像復号化方法
WO2013153778A1 (ja) * 2012-04-09 2013-10-17 パナソニック株式会社 画像符号化方法および画像復号化方法
WO2014097937A1 (ja) * 2012-12-20 2014-06-26 ソニー株式会社 画像処理装置および画像処理方法
US11109036B2 (en) 2013-10-14 2021-08-31 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
US10582213B2 (en) 2013-10-14 2020-03-03 Microsoft Technology Licensing, Llc Features of intra block copy prediction mode for video and image coding and decoding
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
JP2017510115A (ja) * 2014-01-03 2017-04-06 マイクロソフト テクノロジー ライセンシング,エルエルシー ビデオ及び画像符号化/デコーディングにおけるブロックベクトル予測
US10469863B2 (en) 2014-01-03 2019-11-05 Microsoft Technology Licensing, Llc Block vector prediction in video and image coding/decoding
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
US10368091B2 (en) 2014-03-04 2019-07-30 Microsoft Technology Licensing, Llc Block flipping and skip mode in intra block copy prediction
US10785486B2 (en) 2014-06-19 2020-09-22 Microsoft Technology Licensing, Llc Unified intra block copy and inter prediction modes
US10812817B2 (en) 2014-09-30 2020-10-20 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
JP2018026726A (ja) * 2016-08-10 2018-02-15 日本放送協会 符号化装置及びプログラム
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
JP2018088715A (ja) * 2018-02-23 2018-06-07 マイクロソフト テクノロジー ライセンシング,エルエルシー イントラブロックコピー予測におけるブロック反転及びスキップモード

Also Published As

Publication number Publication date
US20120213288A1 (en) 2012-08-23
EP2493195A1 (en) 2012-08-29
CN102577392A (zh) 2012-07-11
JPWO2011048903A1 (ja) 2013-03-07

Similar Documents

Publication Publication Date Title
WO2011048903A1 (ja) 動画像符号化装置、動画像復号装置、および、データ構造
US8873633B2 (en) Method and apparatus for video encoding and decoding
JP6558477B2 (ja) 映像符号化装置及び映像復号装置
KR101383540B1 (ko) 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법
JP6100240B2 (ja) 多視点ビデオの動きベクトル符号化方法及び装置、その復号化方法及び装置
JP5061179B2 (ja) 照明変化補償動き予測符号化および復号化方法とその装置
US20120207221A1 (en) Video coding device and video decoding device
KR20080088040A (ko) 영상의 부호화, 복호화 방법 및 장치
TW202017379A (zh) 動態影像編碼裝置及動態影像編碼方法
JP2013225892A (ja) 直接モード符号化及び復号化装置
JP2007329693A (ja) 画像符号化装置、及び画像符号化方法
JPWO2010070818A1 (ja) 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
KR101238012B1 (ko) 예측 움직임 벡터 부호화 방법 및 이를 수행하는 부호화 장치
JP2009005217A (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP4865767B2 (ja) スケーラブル動画像符号化方法、スケーラブル動画像符号化装置、スケーラブル動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4243205B2 (ja) 動画像符号化装置、その方法及びそのプログラム
KR101315295B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
JP2002232892A (ja) 画像符号化装置
JP2018026726A (ja) 符号化装置及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080046998.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824754

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011537183

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 13502684

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010824754

Country of ref document: EP