WO2010052838A1 - 動画像符号化装置及び動画像復号装置 - Google Patents

動画像符号化装置及び動画像復号装置 Download PDF

Info

Publication number
WO2010052838A1
WO2010052838A1 PCT/JP2009/005486 JP2009005486W WO2010052838A1 WO 2010052838 A1 WO2010052838 A1 WO 2010052838A1 JP 2009005486 W JP2009005486 W JP 2009005486W WO 2010052838 A1 WO2010052838 A1 WO 2010052838A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vector
motion
unit
vector
area
Prior art date
Application number
PCT/JP2009/005486
Other languages
English (en)
French (fr)
Inventor
出原優一
関口俊一
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US13/128,101 priority Critical patent/US20110211641A1/en
Priority to BRPI0922119A priority patent/BRPI0922119A2/pt
Priority to EP09824539A priority patent/EP2346257A4/en
Priority to MX2011004849A priority patent/MX2011004849A/es
Priority to CA 2742240 priority patent/CA2742240A1/en
Priority to RU2011122803/07A priority patent/RU2011122803A/ru
Priority to JP2010536647A priority patent/JP5213964B2/ja
Priority to CN2009801442158A priority patent/CN102210150A/zh
Publication of WO2010052838A1 publication Critical patent/WO2010052838A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/55Motion estimation with spatial constraints, e.g. at image or region borders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding device that compresses and encodes moving image data, which is a digital video signal, and outputs moving image compression encoded data, and moving image compression encoded data output from the moving image encoding device And a moving picture decoding apparatus for restoring a digital video signal.
  • MPEG and ITU-T H.264 In an international standard video coding scheme such as 26x, when encoding each frame of a video signal, block data (hereinafter referred to as a luminance signal 16 ⁇ 16 pixels) and a color difference signal 8 ⁇ 8 pixels corresponding to the luminance signal are collected. , Described as “macroblock”) as a unit, and a method of encoding by compressing based on motion search / compensation technology and orthogonal transform / transform coefficient quantization technology is employed (for example, Patent Documents) 1). Also when decoding a bitstream, processing is performed with macroblocks as a unit, and finally all macroblocks of one image are decoded and then output as decoded images.
  • the motion search in the moving image encoding apparatus is performed on the vicinity of the macroblock to be encoded. Therefore, the effective search area is inevitably narrow for the macroblock located at the edge of the screen, and in the coding for the macroblock at such a position, motion compensation prediction is performed more than the macroblocks at other positions. It is inevitable that the accuracy will decrease. Therefore, it is known that the image block degradation problem occurs in the macroblock at the end of the screen to be encoded.
  • the quantization parameter of the macroblock at the screen end is adjusted in order to suppress the deterioration of the image quality in the macroblock at the screen end.
  • the conventional moving image encoding apparatus is configured as described above, it is possible to prevent deterioration in image quality in the macroblock at the screen end.
  • the quantization parameter of the macroblock at the screen end is adjusted, Since the code amount of the macroblocks of the above becomes larger than the code amount of the macroblocks of other portions, there is a problem that the compression rate is lowered.
  • the present invention has been made to solve the above-described problems, and provides a moving image encoding apparatus capable of preventing deterioration in image quality in a macroblock at the screen edge without causing a reduction in compression rate. With the goal. It is another object of the present invention to obtain a moving picture decoding apparatus capable of restoring a digital video signal by decoding the moving picture compression coded data output from the moving picture coding apparatus as described above. And
  • the moving picture encoding apparatus is temporally mixed with the motion vector of the encoded unit area existing in the vicinity of the encoding target unit area in the encoding target picture and the picture.
  • the motion vector predictor predicts one or more motion vectors of the unit area to be encoded from the motion vectors of the unit area at the same position as the unit area in the encoded picture, and is predicted by the motion vector predictor.
  • the motion vector selecting means for excluding the motion vector from the addition average target vector, and the motion vector selecting means A unit area based on the pixel position indicated by one or more motion vectors remaining without being excluded from the vector
  • Motion-compensated predicted image generation means for generating a motion-compensated predicted image by taking an average of pixel values, and an encoding means for the motion-compensated predicted image generated by the motion-compensated predicted image generator and the moving image A difference image is obtained, and the difference image is encoded.
  • the motion vector of the encoded unit region existing in the vicinity of the unit region to be encoded in the encoding target picture and the encoded picture that is temporally around the above picture The motion vector predicting means for predicting one or more motion vectors of the unit area to be encoded from the motion vector of the unit area at the same position as the unit area in FIG. 4 and the motion vector predicted by the motion vector predicting means
  • the motion vector selecting means for excluding the motion vector from the addition target vector and the motion vector selecting means are not excluded from the addition average target vector.
  • a motion compensated prediction image generation means for generating a motion compensated prediction image by taking the image, and an encoding means obtains a difference image between the motion compensation prediction image generated by the motion compensation prediction image generation means and the moving image, Since the difference image is configured to be encoded, there is an effect that it is possible to prevent the deterioration of the image quality in the macroblock at the screen end without causing a reduction in the compression rate.
  • FIG. H. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC.
  • H. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC.
  • H. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC.
  • H. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC.
  • FIG. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC. It is explanatory drawing which shows the case where the front-end
  • FIG. 1 is a configuration diagram showing a connection relationship between a video encoding device and a video decoding device according to Embodiment 1 of the present invention.
  • the moving image encoding apparatus 1 is, for example, H.264. H.264 / AVC encoding system, when moving image data (video signal) of a moving image is input, a plurality of pictures constituting the moving image data are divided into predetermined unit areas.
  • a moving picture decoding device that determines a motion vector of a unit area and performs compression coding of the moving picture data using the motion vector of each unit area, thereby converting a bit stream that is compression coded data of the moving picture data 2 to send.
  • the moving image decoding apparatus 2 receives the bit stream transmitted from the moving image encoding apparatus 1, the moving image decoding apparatus 2 performs a decoding process on the bit stream using the motion vector of each unit region, thereby moving the moving image data of the moving image.
  • Restore video signal
  • FIG. 3 is a block diagram showing the inside of the motion compensation unit 26 in the moving picture coding apparatus 1 of FIG.
  • the basic configuration of the moving image encoding apparatus 1 in FIG. The configuration is the same as that of a moving image encoding apparatus generally used in H.264 / AVC.
  • H. H.264 / AVC does not include the direct vector determination unit 34 of FIG. 3 in the motion compensation unit 26, but the motion compensation unit 26 of the moving image encoding device 1 in FIG. Only in this respect.
  • the subtractor 11 obtains a difference between the moving image data and the image data of the intra predicted image generated by the intra prediction compensation unit 23, and sends the intra difference data that is the difference data to the encoding mode determination unit 13. Perform the output process.
  • the subtractor 12 obtains a difference between the moving image data and the image data of the motion compensated prediction image generated by the motion compensation unit 26 and outputs inter difference data, which is the difference data, to the encoding mode determination unit 13. carry out.
  • the encoding mode determination unit 13 employs an encoding mode in which compression is performed based on intra prediction by comparing the intra difference data output from the subtractor 11 and the inter difference data output from the subtractor 12. , Determining whether to adopt a coding mode for performing compression based on motion prediction, and performing a process of notifying the determined coding mode to the switches 19, 28, the motion compensation unit 26, and the variable length coding unit 16 To do.
  • the encoding mode determination unit 13 employs an encoding mode in which compression is performed based on intra prediction
  • the intra difference data output from the subtractor 11 is output to the conversion unit 14 and compressed based on motion prediction.
  • the process of outputting the inter difference data output from the subtractor 12 to the conversion unit 14 is performed.
  • the conversion unit 14 performs an integer conversion on the intra difference data or the inter difference data output from the encoding mode determination unit 13 and outputs the integer conversion data to the quantization unit 15.
  • the quantization unit 15 performs a process of quantizing the integer transform data output from the transform unit 14 and outputting the quantized data to the variable length coding unit 16 and the inverse quantization unit 17.
  • the variable length encoding unit 16 outputs the quantized data output from the quantization unit 15, the encoding mode determined by the encoding mode determination unit 13, and the intra prediction mode or vector information (motion prediction) output from the switch 28.
  • the vector information on the optimal motion vector determined by the unit 27 is variable-length encoded, and a bit stream that is the variable-length encoded data (compressed encoded data) is transmitted to the video decoding device 2. .
  • the subtractors 11 and 12, the encoding mode determination unit 13, the conversion unit 14, the quantization unit 15, and the variable length encoding unit 16 constitute encoding means.
  • the inverse quantization unit 17 performs a process of inversely quantizing the quantized data output from the quantization unit 15 and outputting the inversely quantized data to the inverse transform unit 18.
  • the inverse transform unit 18 performs a process of performing inverse integer transform on the inverse quantized data output from the inverse quantization unit 17 and outputting the difference data of the pixel domain, which is the inverse integer transform data, to the adder 20.
  • the switch 19 selects the image data of the intra prediction image generated by the intra prediction compensation unit 23. If the coding mode is output to the adder 20 and compression is performed based on motion prediction, a process of outputting the image data of the motion compensated predicted image generated by the motion compensation unit 26 to the adder 20 is performed.
  • the adder 20 performs a process of adding the image data of the intra prediction image or motion compensated prediction image output from the switch 19 and the pixel domain difference data output from the inverse transform unit 18.
  • the intra prediction memory 21 is a memory that stores the addition data output from the adder 20 as image data of an intra prediction image.
  • the intra prediction unit 22 compares the moving image data with the image data of the surrounding pixels stored in the intra prediction memory 21 (image data of the intra prediction image), and performs a process of determining an optimal intra prediction mode.
  • the intra prediction compensation unit 23 obtains an intra prediction image in the optimal intra prediction mode determined by the intra prediction unit 22 from the image data of peripheral pixels (image data of the intra prediction image) stored in the intra prediction memory 21. Perform the process to generate.
  • the loop filter 24 performs a filtering process such as removing a noise component in the prediction loop included in the addition data output from the adder 20.
  • the frame memory 25 is a memory for storing the added data after the filtering process by the loop filter 24 as the image data of the reference image.
  • the motion compensation unit 26 divides a plurality of pictures constituting the moving image data into predetermined unit regions, predicts one or more prediction vectors or direct vectors of each unit region, and determines the 1 determined by the motion prediction unit 27. A process of generating a motion compensated prediction image from one or more optimum motion vectors and image data of a reference image stored in the frame memory 25 is performed.
  • the motion prediction unit 27 includes moving image data, reference image image data stored in the frame memory 25, a prediction vector predicted by the prediction vector calculation unit 32 of the motion compensation unit 26, and a direct vector of the motion compensation unit 26.
  • the determination unit 34 performs a process of determining one or more optimum motion vectors from one or more direct vectors remaining without being excluded from the addition average target vectors. For example, if a motion vector is a P picture, one motion vector is determined as an optimal motion vector, and if a motion vector is a B picture, two motion vectors are determined as optimal motion vectors. That is, the motion prediction unit 27 is a technique generally called RD optimization (not only minimizing the difference between the moving image data and the image data of the reference image stored in the frame memory 25, but also the motion vector).
  • the processing for determining one or more optimum motion vectors is performed using a motion vector determination technique that also takes into account the amount of codes.
  • the switch 28 changes the optimum intra prediction mode determined by the intra prediction unit 22 to a variable length. If it is an encoding mode that is output to the encoding unit 16 and performs compression based on motion prediction, the vector information regarding the optimal motion vector determined by the motion prediction unit 27 (the optimal motion vector is stored in the motion compensation unit 26). When it is determined from the prediction vector predicted by the prediction vector calculation unit 32, the difference vector indicating the difference between the motion vector and the prediction vector, and the optimal motion vector are predicted by the direct vector calculation unit 33 of the motion compensation unit 26. If determined from a direct vector, the optimal motion vector from that direct vector There carries out a process of outputting information) indicating that has been determined in the variable length coding unit 16.
  • a vector map storage memory 31 of the motion compensation unit 26 is a memory for storing the optimal motion vector determined by the motion prediction unit 27, that is, the motion vector of the encoded unit region in each picture.
  • the coding mode determined by the coding mode determination unit 13 is a coding mode in which compression is performed based on motion prediction
  • the motion vector is stored, but the coding mode determination unit 13
  • the prediction vector calculation unit 32 refers to the motion vector stored in the vector map storage memory 31 and performs a process of predicting one or more prediction vectors based on a predetermined rule.
  • the direct vector calculation unit 33 stores the motion vector stored in the vector map storage memory 31, that is, the motion vector of the encoded unit region existing in the vicinity of the unit region to be encoded in the encoding target picture.
  • One or more motion vectors of the unit area to be encoded are predicted as direct vectors from the motion vectors of the unit area at the same position as the unit area in the encoded picture that is temporally mixed with the picture. Perform the process.
  • the direct vector calculation unit 33 constitutes a motion vector prediction unit.
  • the direct vector determination section 34 If the unit area based on the pixel position indicated by the direct vector predicted by the direct vector calculation section 33 does not include an area outside the screen, the direct vector determination section 34 outputs the direct vector to the motion prediction section 27. When an area outside the screen is included, a process of excluding the direct vector from the vector to be added and averaged is performed.
  • the direct vector determination unit 34 constitutes a motion vector selection unit.
  • the motion-compensated predicted image generation unit 35 generates a motion-compensated predicted image by taking the addition average of the pixel values of the unit region based on the pixel position indicated by one or more optimal motion vectors determined by the motion prediction unit 27. Perform the process.
  • the motion compensated predicted image generation unit 35 constitutes a motion compensated predicted image generation unit.
  • the processing units other than the direct vector determination unit 34 of the motion compensation unit 26 are H.264. Since it is equivalent to processing generally used in H.264 / AVC, the operation of the processing units other than the direct vector determination unit 34 will be briefly described.
  • the subtractor 11 When the moving image data of the moving image is input, the subtractor 11 obtains a difference between the moving image data and the image data of the intra predicted image generated by the intra prediction compensation unit 23 described later, and the intra data that is the difference data. The difference data is output to the encoding mode determination unit 13. Further, when the moving image data of the moving image is input, the subtracter 12 obtains a difference between the moving image data and the image data of the motion compensated prediction image generated by the motion compensation unit 26 described later, and the difference data is used as the difference data. Certain inter difference data is output to the encoding mode determination unit 13.
  • the encoding mode determination unit 13 When the encoding mode determination unit 13 receives the intra difference data from the subtractor 11 and receives the inter difference data from the subtractor 12, the encoding mode determination unit 13 compares the intra difference data with the inter difference data and performs compression based on the intra prediction. It is determined whether to use an encoding mode to be implemented or to adopt an encoding mode to perform compression based on motion prediction.
  • the coding mode determination method by comparing the intra difference data and the inter difference data is generally a technique called RD optimization (not simply selecting the one with the smaller difference, but also the code amount. A technique for determining the coding mode in consideration.
  • the coding mode determination unit 13 determines the coding mode
  • the coding mode determination unit 13 notifies the coding modes to the switches 19 and 28, the motion compensation unit 26, and the variable length coding unit 16.
  • the coding mode determination unit 13 outputs the intra difference data output from the subtractor 11 to the conversion unit 14, and based on motion prediction.
  • the inter difference data output from the subtracter 12 is output to the conversion unit 14.
  • the variable length encoding unit 16 includes the quantized data output from the quantization unit 15, the encoding mode determined by the encoding mode determination unit 13, and the intra prediction mode or vector information output from the switch 28 described later. (Vector information relating to the optimal motion vector determined by the motion prediction unit 27) is variable-length encoded, and a bit stream that is the variable-length encoded data is transmitted to the video decoding device 2.
  • the dequantizing unit 17 dequantizes the quantized data and outputs the dequantized data to the inverse transform unit 18.
  • the inverse transforming unit 18 performs inverse integer transformation on the inversely quantized data and outputs the difference data of the pixel domain that is the inverse integer transformed data to the adder 20. To do.
  • the switch 19 uses the intra prediction image generated by the intra prediction compensation unit 23 described later. If the coding mode is to output the image data to the adder 20 and perform compression based on the motion prediction, the image data of the motion compensated predicted image generated by the motion compensation unit 26 described later is output to the adder 20. .
  • the adder 20 adds the image data of the intra prediction image or motion compensated prediction image output from the switch 19 and the pixel domain difference data output from the inverse transform unit 18, and adds the addition data to the intra prediction memory 21 and Output to the loop filter 24.
  • the intra prediction unit 22 compares the input moving image data with the image data of peripheral pixels stored in the intra prediction memory 21 (image data of the intra prediction image), and performs optimal intra prediction. Determine the mode. Since a technique called RD optimization is generally used as a method for determining the optimal intra prediction mode, detailed description thereof is omitted.
  • the intra prediction compensation unit 23 calculates the intra prediction from image data of peripheral pixels (image data of the intra prediction image) stored in the intra prediction memory 21.
  • the mode intra prediction image is generated, and the image data of the intra prediction image is output to the subtractor 11 and the switch 19.
  • the method for generating the intra predicted image is described in H.264. Since it is disclosed in H.264 / AVC, detailed description is omitted.
  • the loop filter 24 receives addition data (image data of motion compensated prediction image + pixel domain difference data) from the adder 20, filtering such as removal of noise components in the prediction loop included in the addition data is performed. Processing is performed, and the added data after the filtering processing is stored in the frame memory 25 as image data of the reference image.
  • the motion compensation unit 26 divides a plurality of pictures constituting moving image data into predetermined unit regions, predicts one or more prediction vectors and direct vectors of each unit region, and is determined by the motion prediction unit 27 A process of generating a motion compensated prediction image from one or more optimal motion vectors and a reference image stored in the frame memory 25 is performed.
  • the processing content of the motion compensation part 26 is demonstrated concretely.
  • the vector map storage memory 31 of the motion compensation unit 26 stores the optimal motion vector previously determined by the motion prediction unit 27, that is, the motion vector of the encoded unit region in each picture. However, if the encoding mode determined by the encoding mode determination unit 13 is an encoding mode in which compression is performed based on motion prediction, the motion vector is continuously stored, but the encoding mode determination unit 13 If the coding mode determined by (1) is a coding mode in which compression is performed based on intra prediction, the motion vector is excluded from the vector to be added and averaged.
  • the prediction vector calculation unit 32 of the motion compensation unit 26 refers to the motion vector of the encoded unit area in each picture stored in the vector map storage memory 31 and determines one or more based on a predetermined rule. The prediction vector is calculated. However, the calculation rule of the prediction vector is H.264. Since it is disclosed in H.264 / AVC, detailed description is omitted.
  • the direct vector calculation unit 33 of the motion compensation unit 26 is a motion vector stored in the vector map storage memory 31, that is, an encoded image that exists in the vicinity of the unit region to be encoded in the encoding target picture.
  • the motion vector of the unit area to be encoded is directly derived from the motion vector of the unit area of the current image and the motion vector of the unit area of the same position as the unit area in the encoded picture that is temporally mixed with the picture. Predict one or more vectors.
  • FIGS. 2 is an explanatory diagram illustrating processing contents of a direct vector calculation unit 33 disclosed in H.264 / AVC.
  • the direct vector in H.264 / AVC is a vector used in the B picture
  • FIGS. 4 to 7 show examples of the temporal direct method.
  • the direct vector calculation unit 33 calculates two direct vectors (see B picture vector) as shown in FIG.
  • the motion compensated prediction image generation unit 35 to be described later generates a motion compensated prediction image
  • the image position as shown in FIG. 8 is referred to, and one of the direct vectors includes a reference including a region outside the screen. (Refer to the dotted line part of the P picture).
  • the direct vector points outside the screen. To do.
  • the image shown in this example is H.264.
  • the direct vector is determined by the algorithm shown in FIG.
  • the algorithm shown in FIG. 10 is an algorithm that does not employ a direct vector indicating an area including the outside of the screen, and the direct vector determination unit 34 described later executes the algorithm. If the direct vector indicating the area including the outside of the screen is not adopted, the unidirectional reference is made and the direct mode predicted image matches the encoding target image, so that the prediction efficiency is remarkably improved. In the example of the first embodiment, it is sufficient to encode B_Skip (B_Skip is a variable-length code, but is generally known to have an average of about 1 bit or less).
  • the direct vector determination unit 34 of the motion compensation unit 26 does not include an area outside the screen as a unit area based on the pixel position indicated by the direct vector.
  • the direct vector is output to the motion prediction unit 27.
  • the direct vector is excluded from the addition average target vector.
  • the direct vector determination unit 34 exceptionally applies an averaging target.
  • the motion prediction unit 27 includes moving image data of a moving image, image data of a reference image stored in the frame memory 25, a prediction vector predicted by the prediction vector calculation unit 32 of the motion compensation unit 26, and a motion compensation unit.
  • 26 direct vector determination units 34 determine one or more optimal motion vectors from one or more direct vectors remaining without being excluded from the vectors to be added and averaged. For example, if a motion vector is a P picture, one motion vector is determined as an optimal motion vector, and if a motion vector is a B picture, two motion vectors are determined as optimal motion vectors.
  • one or more optimum motion vector determination methods are generally performed by a technique called RD optimization (simply minimizing the difference between moving image data and image data of a reference image stored in the frame memory 25).
  • a process for determining one or more optimal motion vectors is performed by a motion vector determination technique that takes into account the amount of code of the motion vectors.
  • the motion prediction unit 27 When the optimal motion vector is determined, the motion prediction unit 27 outputs vector information regarding the optimal motion vector to the switch 28. That is, if the motion prediction unit 27 determines an optimal motion vector using the prediction vector predicted by the prediction vector calculation unit 32 of the motion compensation unit 26, the difference between the motion vector and the prediction vector is determined. Is output to the switch 28 as vector information. If the motion prediction unit 27 determines the optimal motion vector using the direct vector predicted by the direct vector calculation unit 33 of the motion compensation unit 26, the optimal motion vector is determined from the direct vector. Is output to the switch 28 as vector information.
  • the motion compensated prediction image generation unit 35 of the motion compensation unit 26 performs motion compensation prediction on the pixel value of the unit region with the pixel position indicated by the motion vector as a base point. Generate as an image.
  • the motion compensated prediction image generation unit 35 adds the pixel values of the unit region based on the pixel position indicated by the two or more optimal motion vectors. A motion compensated prediction image is generated by taking the average.
  • the direct vector determination unit 34 of the motion compensation unit 26 excludes the direct vector indicating the unit region including the region outside the screen from the addition average target vector, so that the motion compensated prediction image generation unit 35
  • the generated motion compensated prediction image is as shown in FIG.
  • H.C. In H.264 / AVC, B_Skip cannot be used, and in this first embodiment, B_Skip can be used in the first embodiment, so that only 1 bit of code is required, and the advantage of improved prediction efficiency is obtained.
  • the switch 28 changes the optimum intra prediction mode determined by the intra prediction unit 22. If the encoding mode is output to the long encoding unit 16 and compression is performed based on the motion prediction, the vector information regarding the optimal motion vector determined by the motion prediction unit 27 is output to the variable length encoding unit 16. .
  • FIG. 11 is a block diagram showing the video decoding device 2 according to Embodiment 1 of the present invention
  • FIG. 12 is a block diagram showing the inside of the motion compensation unit 50 in the video decoding device 2 of FIG.
  • the basic configuration of the video decoding device 2 in FIG. The configuration is the same as that of a video decoding device generally used in H.264 / AVC.
  • the direct vector determination unit 66 in FIG. 12 is not implemented in the motion compensation unit 50, but the direct vector determination unit 66 is implemented in the motion compensation unit 50 in the video decoding device 2 in FIG. Only in this respect.
  • variable length decoding unit 41 when the variable length decoding unit 41 receives the bit stream transmitted from the moving image encoding device 1, the variable length decoding unit 41 performs syntax analysis of the bit stream and performs the analysis from the quantization unit 15 of the moving image encoding device 1.
  • the prediction residual signal encoded data corresponding to the output quantized data is output to the inverse quantization unit 42, and the encoding mode determined by the encoding mode determination unit 13 of the moving image encoding device 1 is set to the switch 46, To 51.
  • the intra prediction mode output from the intra prediction unit 22 of the video encoding device 1 or the vector information output from the motion prediction unit 27 is output to the switch 46, and the vector information output from the motion prediction unit 27 is used as the motion.
  • a process of outputting to the compensation unit 50 is performed.
  • the inverse quantization unit 42 performs a process of inversely quantizing the prediction residual signal encoded data output from the variable length decoding unit 41 and outputting the inversely quantized data to the inverse transform unit 43.
  • the inverse transform unit 43 performs an inverse integer transform on the inversely quantized data output from the inverse quantizer 42 and outputs a prediction residual signal decoded value that is the inverse integer transform data to the adder 44.
  • the adder 44 performs a process of adding the image data of the intra prediction image or motion compensated prediction image output from the switch 51 and the prediction residual signal decoded value output from the inverse transform unit 43.
  • the loop filter 45 performs a filtering process such as removing a noise component in the prediction loop included in the addition data output from the adder 44, and uses the added data after the filtering process as a moving image of a decoded image (moving image). A process of outputting as image data is performed.
  • the variable length decoding unit 41, the inverse quantization unit 42, the inverse transform unit 43, the adder 44, and the loop filter 45 constitute decoding means.
  • the switch 46 changes the intra-prediction mode output from the variable-length decoding unit 41 to the intra-prediction compensation unit. If it is an encoding mode which outputs to 48 and performs compression based on motion prediction, the process which outputs the vector information output from the variable-length decoding part 41 to the motion compensation part 50 is implemented.
  • the intra prediction memory 47 is a memory that stores the addition data output from the adder 44 as image data of an intra prediction image.
  • the intra prediction compensation unit 48 performs a process of generating an intra prediction image of the intra prediction mode output from the switch 46 from the image data of peripheral pixels (image data of the intra prediction image) stored in the intra prediction memory 47. carry out.
  • the frame memory 49 is a memory that stores moving image data output from the loop filter 45 as image data of a reference image.
  • the motion compensation unit 50 divides a plurality of pictures constituting moving image data into predetermined unit areas, predicts one or more prediction vectors or direct vectors of each unit area, and stores the reference stored in the frame memory 49 A process of generating a motion compensated prediction image from the image data of the image is performed.
  • the switch 51 adds the image data of the intra prediction image generated by the intra prediction compensation unit 48 if the encoding mode output from the variable length decoding unit 41 is an encoding mode that performs compression based on intra prediction. If the encoding mode is output to the unit 44 and compression is performed based on the motion prediction, a process of outputting the image data of the motion compensated predicted image generated by the motion compensation unit 50 to the adder 44 is performed.
  • a vector map storage memory 61 of the motion compensation unit 50 is a memory for storing the motion vector output from the switch 67, that is, the motion vector of the decoded unit area in each picture. If the vector information output from the variable length decoding unit 41 corresponds to the difference vector, the switch 62 activates the prediction vector calculation unit 63, and that the vector information has determined the optimum motion vector from the direct vector. Indicates that the direct vector calculation unit 65 is activated.
  • the prediction vector calculation unit 63 refers to the motion vector stored in the vector map storage memory 61 and performs a process of predicting one or more prediction vectors based on a predetermined rule.
  • the adder 64 outputs the prediction vector predicted by the prediction vector calculation unit 63 and the difference vector output from the variable length decoding unit 41 (in the situation where the prediction vector calculation unit 63 is activated, it is output from the variable length decoding unit 41).
  • Vector information corresponds to a difference vector), and a process of outputting a motion vector as a result of the addition to the switch 67 is performed.
  • the direct vector calculation unit 65 stores the motion vector stored in the vector map storage memory 61, that is, the motion vector of the decoded unit region existing in the vicinity of the unit region to be decoded in the decoding target picture and the picture. A process of predicting one or more motion vectors of the unit area to be decoded from the motion vectors of the unit area at the same position as the unit area in the decoded picture that is temporally mixed.
  • the direct vector calculation unit 65 constitutes a motion vector prediction unit.
  • the direct vector determination unit 66 outputs the direct vector to the switch 67. Is included, the direct vector is excluded from the vector to be subjected to the averaging process.
  • the direct vector determining unit 66 constitutes a motion vector selecting unit.
  • the switch 67 outputs the motion vector output from the adder 64 to the motion compensated prediction image generation unit 68 and the vector map storage memory 61. If the vector information indicates that the optimal motion vector is determined from the direct vector, the direct vector that is the motion vector output from the direct vector determination unit 66 is used as the motion compensated prediction image generation unit 68 and the vector. Processing to output to the map storage memory 61 is performed.
  • the motion compensated predicted image generation unit 68 performs a process of generating a motion compensated predicted image by taking an average of pixel values of unit regions with the pixel position indicated by one or more motion vectors output from the switch 67 as a base point. To do.
  • the motion compensation predicted image generation unit 68 constitutes a motion compensation predicted image generation unit.
  • variable length decoding unit 41 receives the bit stream transmitted from the video encoding device 1, the variable length decoding unit 41 performs syntax analysis of the bit stream. Thereby, the prediction residual signal encoded data corresponding to the quantized data output from the quantization unit 15 of the moving image encoding device 1 is output to the inverse quantization unit 42, and the encoding of the moving image encoding device 1 is performed.
  • the encoding mode determined by the mode determination unit 13 is output to the switches 46 and 51.
  • the intra prediction mode output from the intra prediction unit 22 of the video encoding device 1 or the difference vector (vector information) output from the motion prediction unit 27 is output to the switch 46 and output from the motion prediction unit 27.
  • Vector information is output to the motion compensation unit 50.
  • the inverse quantization unit 42 When the inverse quantization unit 42 receives the prediction residual signal encoded data from the variable length decoding unit 41, the inverse quantization unit 42 inversely quantizes the prediction residual signal encoded data and outputs the inverse quantization data to the inverse conversion unit 43. To do.
  • the inverse transform unit 43 receives the inverse quantized data from the inverse quantization unit 42, the inverse transform unit 43 performs inverse integer transform on the inverse quantized data and supplies the predicted residual signal decoded value, which is the inverse integer transform data, to the adder 44. Output.
  • the switch 46 converts the intra prediction mode output from the variable length decoding unit 41 to intra prediction compensation. If the encoding mode is output to the unit 48 and compression is performed based on motion prediction, the vector information output from the variable length decoding unit 41 is output to the motion compensation unit 50.
  • the intra prediction compensation unit 48 uses the intra prediction mode intra prediction mode from the image data of the surrounding pixels (image data of the intra prediction image) stored in the intra prediction memory 47. An image is generated, and the image data of the intra predicted image is output to the switch 51.
  • the method for generating the intra predicted image is described in H.264. Since it is disclosed in H.264 / AVC, detailed description is omitted.
  • the motion compensation unit 50 When the motion compensation unit 50 receives vector information from the switch 46, the motion compensation unit 50 divides a plurality of pictures constituting moving image data into predetermined unit regions, and predicts one or more prediction vectors or direct vectors of each unit region. Then, a motion compensated prediction image is generated from the image data of the reference image stored in the frame memory 49.
  • the processing content of the motion compensation part 50 is demonstrated concretely.
  • the vector map storage memory 61 of the motion compensation unit 50 stores previously calculated motion vectors, that is, motion vectors of decoded unit areas in each picture.
  • the switch 62 of the motion compensation unit 50 receives the vector information from the variable length decoding unit 41, whether the vector information corresponds to the difference vector, the vector information is determined from the direct vector, and the optimal motion vector is determined. It is determined whether or not the information indicates that there is. If the vector information corresponds to the difference vector, the switch 62 activates the prediction vector calculation unit 63, and if the vector information is information indicating that the optimal motion vector is determined from the direct vector, The direct vector calculation unit 65 is activated.
  • the prediction vector calculation unit 63 of the motion compensation unit 50 When the prediction vector calculation unit 63 of the motion compensation unit 50 receives an activation command from the switch 62, the prediction vector calculation unit 63 refers to the motion vector of the decoded unit area in each picture stored in the vector map storage memory 61, and performs predetermined processing. One or more prediction vectors are calculated based on the rules. However, the calculation method of the prediction vector is H.264. Since it is disclosed in H.264 / AVC, detailed description is omitted.
  • the adder 64 of the motion compensation unit 50 receives one or more prediction vectors from the prediction vector calculation unit 63, each of the prediction vectors and the difference vector output from the variable length decoding unit 41 (the prediction vector calculation unit 63 is activated). In this situation, the vector information output from the variable length decoding unit 41 is equivalent to a difference vector), and a motion vector as a result of the addition is output to the switch 67.
  • the direct vector calculation unit 65 of the motion compensation unit 50 receives an activation command from the switch 62, the motion vector stored in the vector map storage memory 61, that is, in the vicinity of the decoding target unit region in the decoding target picture. From the motion vector of the existing decoded unit region and the motion vector of the unit region in the same position as the unit region in the decoded picture temporally preceding and following the picture, the unit region of the decoding target One or more motion vectors are predicted as direct vectors. Note that the processing content of the direct vector calculation unit 65 is the same as the processing content of the direct vector calculation unit 33 in FIG. 3, and thus detailed description thereof is omitted (see FIGS. 4 to 7).
  • the direct vector determination unit 66 of the motion compensation unit 50 does not include an area outside the screen as a unit area based on the pixel position indicated by the direct vector.
  • the direct vector is output to the switch 67. If the unit area having the pixel position indicated by the direct vector as a base point includes an area outside the screen, the direct vector is excluded from the addition average target vectors. However, in the case where all the direct vectors predicted by the direct vector calculation unit 65 correspond to direct vectors indicating unit regions including the region outside the screen, the direct vector determination unit 66 is exceptionally subject to addition averaging. These direct vectors are output to the switch 67 without being excluded from the vectors. Note that the processing content of the direct vector determination unit 66 is the same as the processing content of the direct vector determination unit 34 of FIG.
  • the switch 67 of the motion compensation unit 50 indicates whether the vector information output from the variable length decoding unit 41 corresponds to a difference vector, or the vector information indicates that an optimal motion vector is determined from the direct vector. Determine if it is information. If the vector information corresponds to the difference vector, the switch 67 outputs the motion vector output from the adder 64 to the motion compensated prediction image generation unit 68 and the vector map storage memory 61, and the vector information is directly If it is information indicating that the optimal motion vector is determined from the vector, the direct vector that is the motion vector output from the direct vector determination unit 66 is stored in the motion compensated prediction image generation unit 68 and the vector map storage memory 61. Output.
  • the motion compensated prediction image generation unit 68 of the motion compensation unit 50 When only one motion vector is received from the switch 67, the motion compensated prediction image generation unit 68 of the motion compensation unit 50 generates a pixel value of a unit region based on the pixel position indicated by the motion vector as a motion compensation prediction image. .
  • the motion compensated prediction image generation unit 68 receives two or more motion vectors from the switch 67, the motion compensated prediction image generation unit 68 takes an addition average of the pixel values of the unit region based on the pixel position indicated by the two or more optimal motion vectors. Thus, a motion compensated prediction image is generated.
  • the processing content of the motion compensation predicted image generation unit 68 is the same as the processing content of the motion compensation prediction image generation unit 35 of FIG.
  • the direct vector determination unit 66 of the motion compensation unit 50 excludes the direct vector indicating the unit region including the region outside the screen from the addition average target vector, so that the motion compensated prediction image generation unit 68
  • the generated motion compensated prediction image is as shown in FIG.
  • H.C. In H.264 / AVC, B_Skip cannot be used, and in this first embodiment, B_Skip can be used in the first embodiment, so that only 1 bit of code is required, and the advantage of improved prediction efficiency is obtained.
  • the switch 51 converts the image data of the intra prediction image generated by the intra prediction compensation unit 48. If the encoding mode is output to the adder 44 and compression is performed based on motion prediction, the image data of the motion compensated prediction image generated by the motion compensation unit 50 is output to the adder 44.
  • the adder 44 receives the predicted residual signal decoded value from the inverse transform unit 43 and receives the image data of the intra predicted image or motion compensated predicted image from the switch 51, the adder 44 receives the predicted residual signal decoded value and the intra predicted image or motion.
  • the image data of the compensated prediction image is added, and the added data is output to the loop filter 45.
  • the adder 44 stores the added data in the intra prediction memory 47 as image data of the intra prediction image.
  • the loop filter 45 When the loop filter 45 receives the addition data from the adder 44, the loop filter 45 performs a filtering process such as removing a noise component in the prediction loop included in the addition data, and converts the added data after the filtering process into a decoded image ( (Moving image) as moving image data.
  • the loop filter 45 stores the moving image data of the decoded image in the frame memory 49 as the image data of the reference image.
  • the motion vector of the unit area to be encoded is one direct vector from the motion vector of the unit area in the same position as the unit area in the encoded picture that is temporally mixed with the motion vector of
  • the direct vector is calculated from the vector of the addition average target Direct vector determination unit 34 to be excluded and addition by direct vector determination unit 34
  • Motion compensated prediction image generation that generates a motion compensated prediction image by taking an average of pixel values of unit regions based on pixel positions indicated by one or more direct vectors remaining without being excluded from the average vector Since the difference image between the motion compensated prediction image generated by the motion compensated prediction image generation unit 35 and the moving image is obtained and the difference image is encoded, the compression
  • the motion vector of the decoded unit area existing in the vicinity of the unit area to be decoded in the picture to be decoded, or the decoded picture temporally surrounding the above picture
  • the direct vector calculation unit 65 that predicts one or more motion vectors of the unit region to be decoded as a direct vector from the motion vectors of the unit region at the same position as the unit region in the above, and the direct vector predicted by the direct vector calculation unit 65
  • the direct vector determination unit 66 that excludes the direct vector from the addition average target vector, and the direct vector determination unit 66 performs the addition average target vector.
  • a motion-compensated prediction image generation unit 68 that generates a motion-compensated prediction image by taking an average of pixel values in a unit region with the pixel position indicated by the correct vector as a base point. Since the difference signal is decoded and the prediction residual signal decoded value is added to the motion compensated prediction image generated by the motion compensated prediction image generation unit 68, the difference signal is output from the moving picture encoding device 1 of FIG. The bit stream can be decoded to restore the moving image data of the moving image.
  • the video encoding method is H.264.
  • An example using H.264 / AVC has been shown.
  • the present invention can be similarly applied to an encoding method similar to H.264 / AVC (for example, MPEG-2, MPEG-4 Visual, SMPTE VC-1, etc.).
  • FIG. 13 is a block diagram showing a moving picture encoding apparatus 1 according to Embodiment 2 of the present invention.
  • the same reference numerals as those in FIG. 14 is a block diagram showing the inside of the motion compensation unit 71 in the moving picture coding apparatus 1 of FIG. 13.
  • the same reference numerals as those in FIG. 13 are identical to FIG. 13 and the same reference numerals as those in FIG. 14 .
  • the motion compensation unit 71 divides a plurality of pictures constituting moving image data into predetermined unit regions, predicts one or more prediction vectors or direct vectors of each unit region, and performs motion prediction. A process of generating a motion compensated prediction image from one or more optimal motion vectors determined by the unit 72 and the image data of the reference image stored in the frame memory 25 is performed.
  • the motion compensation unit 71 includes not only one or more direct vectors remaining without being excluded from the addition average target vector by the internal direct vector determination unit 34, but also an internal All direct vectors predicted by the direct vector calculation unit 33 are output to the motion prediction unit 72.
  • the motion prediction unit 72 determines an optimal motion vector using a direct vector or a prediction vector, but the motion vector from the motion compensation unit 71 by the direct vector determination unit 34 Since all direct vectors predicted by the direct vector calculation unit 33 are received in addition to one or more remaining direct vectors that are not excluded from the direct, the direct having the higher prediction efficiency near the screen edge A vector is selected. Further, the motion prediction unit 72 includes information indicating which direct vector is selected in the vector information and outputs the information to the switch 28.
  • the motion compensation unit 71 outputs one or more prediction vectors predicted by the internal prediction vector calculation unit 32 to the motion prediction unit 72 and is not excluded from the addition average target vector by the internal direct vector determination unit 34.
  • the one or more direct vectors (hereinafter referred to as “direct vector A”) remaining in the are output to the motion prediction unit 72.
  • the motion compensation unit 71 outputs all the direct vectors predicted by the internal direct vector calculation unit 33 (hereinafter referred to as “direct vector B”) to the motion prediction unit 72.
  • the motion prediction unit 72 determines an optimal motion vector in the same manner as the motion prediction unit 27 in FIG.
  • the direct vector B since the direct vector B is also received, it is determined which of the direct vectors is used to increase the prediction efficiency near the screen edge, and the direct vector A or the direct vector B is selected.
  • the direct vector A is more preferable than the direct vector B.
  • the prediction efficiency near the screen edge is high. For example, when the area of the area outside the screen included in the unit area is small, the prediction efficiency near the screen edge is better when the direct vector B is used. May be higher.
  • the direct vector selection method having the highest prediction efficiency generally uses a technique called RD optimization, and performs the process of determining the optimum direct vector.
  • the motion prediction unit 72 When the motion prediction unit 72 determines an optimal motion vector, the motion prediction unit 72 outputs vector information regarding the optimal motion vector to the switch 28. That is, if the motion prediction unit 72 determines an optimum motion vector using the prediction vector predicted by the prediction vector calculation unit 32 of the motion compensation unit 71, the difference between the motion vector and the prediction vector is determined. Is output to the switch 28 as vector information.
  • the motion prediction unit 72 determines the optimal motion vector using the direct vector A output from the direct vector determination unit 34 of the motion compensation unit 71, the optimal motion vector is determined from the direct vector.
  • the information indicating that the direct vector A has been selected and the information indicating that the direct vector A output from the direct vector determination unit 34 is selected are output to the switch 28 as vector information.
  • the motion prediction unit 72 determines an optimal motion vector using the direct vector B output from the direct vector calculation unit 33 of the motion compensation unit 71, the optimal motion vector is determined from the direct vector.
  • the information indicating that the direct vector B is selected and the information indicating that the direct vector B output from the direct vector calculation unit 33 is selected are output to the switch 28 as vector information.
  • FIG. 15 is a block diagram showing a moving picture decoding apparatus 2 according to Embodiment 2 of the present invention.
  • the same reference numerals as those in FIG. FIG. 16 is a block diagram showing the inside of the motion compensation unit 80 in the moving picture decoding apparatus 2 of FIG. 15.
  • the motion compensation unit 80 divides a plurality of pictures constituting moving image data into predetermined unit areas, predicts one or more prediction vectors or direct vectors of each unit area, and 49, a process for generating a motion compensated prediction image from the image data of the reference image stored in 49 is performed.
  • the motion compensation unit 80 is an internal direct vector according to the selection information of the direct vector A or the direct vector B included in the vector information output from the variable length decoding unit 41.
  • the direct vector output from the determination unit 66 or the direct vector calculation unit 65 is selected.
  • the switch 81 of the motion compensation unit 80 indicates that the direct vector determination unit If the direct vector output from 66 is selected and output to the switch 67, indicating that the direct vector B is selected, the direct vector output from the direct vector calculating unit 65 is selected and sent to the switch 67. Perform the output process.
  • the motion compensation unit 80 divides a plurality of pictures constituting moving image data into predetermined unit regions, and predicts one or more prediction vectors or direct vectors of each unit region. At the same time, a motion compensated prediction image is generated from the image data of the reference image stored in the frame memory 49.
  • the motion compensation unit 80 is an internal direct unit according to the selection information of the direct vector A or the direct vector B included in the vector information output from the variable length decoding unit 41. A direct vector output from the vector determination unit 66 or the direct vector calculation unit 65 is selected.
  • the direct vector selection information included in the vector information indicates that the direct vector A is selected. If the direct vector output from the direct vector determination unit 66 is selected and output to the switch 67, indicating that the direct vector B is selected, the direct vector output from the direct vector calculation unit 65 is selected. Is output to the switch 67.
  • the direct vector A or the direct vector B is selected to generate the motion compensated prediction image, so that the prediction efficiency near the screen edge is improved. The effect which can raise the possibility to do is produced.
  • the moving picture decoding apparatus 2 can obtain the direct vector selection result intended by the moving picture encoding apparatus 1. I can tell you.
  • Embodiment 3 FIG.
  • the unit region including the pixel position indicated by the direct vector predicted by the direct vector calculation unit 33 as a base point includes a region outside the screen.
  • the direct vector is excluded from the addition target vector, but the unit area based on the pixel position indicated by the direct vector predicted by the direct vector calculation unit 33 includes an area outside the screen.
  • the direct vector determination unit 34 determines whether or not the unit area whose base point is the pixel position indicated by the direct vector includes an outer area of the allowable range area adjacent to the screen, and the direct vector indicates The unit area based on the pixel position is outside the permissible area If the unit area does not include the area, the direct vector is not excluded from the addition target vector. If the unit area based on the pixel position indicated by the direct vector includes the external area of the permissible range area, the direct vector is added. You may make it exclude from the vector of an average object.
  • FIG. 17 is an explanatory diagram showing the processing contents of the direct vector determination unit 34.
  • the processing content of the direct vector determination part 34 is demonstrated concretely.
  • an allowable range area an area adjacent to the screen
  • the direct vector determination unit 34 uses the pixel location indicated by the direct vector as a base point. Whether or not includes an outer area of the allowable range area.
  • the direct vector determination unit 34 does not include an outer area of the allowable range area with the unit area based on the pixel position indicated by the direct vector (the pixel position indicated by the direct vector is allowable). If it is within the range area, the direct vector is output to the motion prediction unit 27 (or 72) without being excluded from the vector of the averaging target. As shown in FIG. 17C, the direct vector determination unit 34 includes an external area that is an allowable range area in which the unit area that is based on the pixel position indicated by the direct vector (the pixel position indicated by the direct vector is within the allowable range). If it is outside the region, the direct vector is excluded from the vector of the addition average target.
  • the direct vector determination unit 66 determines whether or not the unit area whose base point is the pixel position indicated by the direct vector includes an outer area of the allowable range area adjacent to the screen, and the pixel indicated by the direct vector The unit area based on the position is outside the tolerance area If the unit area does not include the area, the direct vector is not excluded from the addition average target vector, and if the unit area based on the pixel position indicated by the direct vector includes the external area of the permissible area, the direct vector is added. You may make it exclude from the vector of an average object.
  • the processing content of the direct vector determination part 66 is demonstrated concretely.
  • the same allowable range area as that of the direct vector determination unit 34 of the moving image encoding device 1 is set in advance.
  • the direct vector determination unit 66 has a unit region whose base point is the pixel position indicated by the direct vector. Whether or not includes an outer area of the allowable range area.
  • the direct vector determination unit 66 does not include an outer area of the allowable range area, where the unit area based on the pixel position indicated by the direct vector (the pixel position indicated by the direct vector is allowable). If it is within the range area, the direct vector is output to the switch 67 (or 81) without being excluded from the vector of the averaging target. As illustrated in FIG. 17C, the direct vector determination unit 66 includes an external area that is an allowable range area in a unit area that is based on the pixel position indicated by the direct vector (the pixel position indicated by the direct vector indicates the allowable range). If it is outside the region, the direct vector is excluded from the vector of the addition average target.
  • the direct vector is calculated from the vector to be added and averaged. If the unit area that is based on the pixel position indicated by the direct vector does not exclude the external area of the allowable range area, the direct vector is excluded from the addition target vector. It is possible to increase the possibility of improving the prediction efficiency.
  • the direct vector determination unit 34 of the video encoding device 1 and the direct vector determination unit 66 of the video decoding device 2 are set in advance with the same allowable range region.
  • the information indicating the permissible range set by the direct vector determination unit 34 of the video encoding device 1 is encoded, and the encoded data is included in the bit stream and transmitted to the video decoding device 2. Also good.
  • the direct vector determination unit 66 of the video decoding device 2 can use the same allowable range region as the allowable range region set in the direct vector determination unit 34 of the video encoding device 1. .
  • the units for encoding the information indicating the allowable range area include various encoding units (for each encoding target block, slice (set of encoding target blocks) unit, picture unit, sequence (picture set) unit). It goes without saying that it is possible.
  • the information indicating the allowable range area is encoded as a parameter of the above various encoding units and encoded on the bitstream, whereby the allowable range area intended by the moving picture encoding apparatus 1 is given to the moving picture decoding apparatus 2. Can be communicated.
  • the unit region including the pixel position indicated by the direct vector predicted by the direct vector calculation unit 33 as a base point includes a region outside the screen.
  • the direct vector is excluded from the vector to be added and averaged, but the direct vector determination unit 34 constitutes a motion vector correction unit, and the pixel indicated by the direct vector predicted by the direct vector calculation unit 33 indicates If the unit area based on the position does not include an area outside the screen, the direct vector is output to the motion prediction unit 27 (or 72), and the unit area based on the pixel position indicated by the direct vector is outside the screen. If the region is included, the direct vector points to it. A unit region that originates the prime position to correct the area of the screen, the direct vector after correction may be output to the motion prediction unit 27 (or 72).
  • FIG. 18 is an explanatory diagram showing the processing contents of the direct vector determination unit 34.
  • the direct vector determination unit 34 determines whether or not the unit region based on the pixel position indicated by the direct vector predicted by the direct vector calculation unit 33 includes a region outside the screen.
  • the direct vector determination unit 34 uses the direct vector as the motion prediction unit 27 (or the same as in the first and second embodiments). 72). As shown in FIG. 18A, the direct vector determination unit 34 includes a region outside the screen that is based on the pixel position indicated by the direct vector (when the direct vector points outside the screen). As shown in FIGS. 18B and 18C, the unit area based on the pixel position indicated by the direct vector is corrected to an area in the screen, and the corrected direct vector is converted into the motion prediction unit 27 (or 72). Output to. FIG. 18B shows an example in which the horizontal and vertical components are independently corrected in the screen, and FIG. 18C corrects the horizontal and vertical components in the screen while maintaining the orientation. An example is shown.
  • the direct vector determination unit 66 in the video decoding device 2 of the first and second embodiments when the unit region including the pixel position indicated by the direct vector predicted by the direct vector calculation unit 65 includes a region outside the screen In FIG. 5, the direct vector is excluded from the vector to be averaged, but the direct vector determination unit 66 constitutes a motion vector correction unit, and the pixel position indicated by the direct vector predicted by the direct vector calculation unit 65 If the unit area having the base point does not include the area outside the screen, the direct vector is output to the switch 67 (or 81), and the unit area having the pixel position indicated by the direct vector as the base point includes the area outside the screen. For example, the image indicated by the direct vector Position to modify the unit region that originates in the area of the screen, the direct vector after correction may be output to the switch 67 (or 81).
  • the direct vector determination unit 66 determines whether or not the unit region based on the pixel position indicated by the direct vector predicted by the direct vector calculation unit 65 includes a region outside the screen.
  • the direct vector determination unit 66 switches the direct vector to the switch 67 (or 81) as in the first and second embodiments. Output to.
  • the direct vector determination unit 66 includes an area outside the screen, where the unit area based on the pixel position indicated by the direct vector includes the area outside the screen (when the direct vector points outside the screen).
  • the unit area based on the pixel position indicated by the direct vector is displayed on the screen by the same correction method as the correction method of the direct vector determination unit 34 in the moving image encoding device 1.
  • the corrected direct vector is output to the switch 67 (or 81).
  • the unit region whose base point is the pixel position indicated by the direct vector includes the region outside the screen, the unit region whose base point is the pixel position indicated by the direct vector Is modified to an area in the screen, so that it is possible to increase the possibility of improving the prediction efficiency in the vicinity of the screen edge.
  • the direct vector determination unit 34 of the video encoding device 1 and the direct vector determination unit 66 of the video decoding device 2 correct the direct vector using the same correction method.
  • the information indicating the correction method used by the direct vector determination unit 34 of the video encoding device 1 may be encoded, and the encoded data may be included in the bit stream and transmitted to the video decoding device 2.
  • the direct vector determination unit 66 of the video decoding device 2 can use the same correction method as the correction method used by the direct vector determination unit 34 of the video encoding device 1.
  • the unit for encoding the information indicating the vector correction method various encoding units (for each encoding target block, slice (a set of encoding target blocks), a picture unit, and a sequence (a set of pictures) are used. Needless to say, (unit) is conceivable.
  • the information indicating the vector correction method is encoded as one parameter of each of the various encoding units described above, and encoded on the bitstream. Can tell the correction method.
  • the moving image encoding device and the moving image decoding device according to the present invention can prevent the deterioration of the image quality in the macroblock at the end of the screen without causing a decrease in the compression rate.
  • a video encoding device that compresses and encodes data and outputs video compression encoded data, and decodes the video compression encoded data output from the video encoding device to restore a digital video signal It is suitable for use in a moving picture decoding apparatus.

Abstract

 ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該ダイレクトベクトルを加算平均対象のベクトルから除外するダイレクトベクトル判定部34と、ダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成部35とを設ける。

Description

動画像符号化装置及び動画像復号装置
 この発明は、ディジタルの映像信号である動画像データを圧縮符号化して、動画像圧縮符号化データを出力する動画像符号化装置と、動画像符号化装置から出力された動画像圧縮符号化データを復号処理して、ディジタルの映像信号を復元する動画像復号装置とに関するものである。
 MPEGやITU-T H.26x等の国際標準映像符号化方式では、映像信号の各フレームを符号化するに際して、輝度信号16×16画素と、その輝度信号に対応する色差信号8×8画素分をまとめたブロックデータ(以下、「マクロブロック」と記載する)を一単位として、動き探索/補償技術及び直交変換/変換係数量子化技術に基づいて圧縮することで、符号化する方法が採用されている(例えば、特許文献1を参照)。
 ビットストリームを復号する場合も、マクロブロックを一単位にして処理を実施し、最終的に1画像全部のマクロブロックを復号した後、復号画像として出力する。
 一般に、動画像符号化装置における動き探索は、符号化対象のマクロブロックの近傍に対して実施される。
 そのため、画面の端に位置するマクロブロックについては、有効な探索領域が必然的に狭くなり、そのような位置でのマクロブロックについての符号化においては、他の位置のマクロブロックより動き補償予測の精度が低下することが避けられない。
 したがって、符号化対象の画面端のマクロブロックにおいては、画質劣化の問題が発生することが知られている。
 そこで、以下の特許文献1に開示されている動画像符号化装置では、画面端のマクロブロックにおける画質の劣化を抑制するために、画面端のマクロブロックの量子化パラメータを調整するようにしている。
特開2000-059779号公報(図1)
 従来の動画像符号化装置は以上のように構成されているので、画面端のマクロブロックにおける画質の劣化を防止することができるが、画面端のマクロブロックの量子化パラメータを調整すると、画面端のマクロブロックの符号量が他の部分のマクロブロックの符号量より多くなってしまうため、圧縮率の低下を招いてしまうなどの課題があった。
 この発明は上記のような課題を解決するためになされたもので、圧縮率の低下を招くことなく、画面端のマクロブロックにおける画質の劣化を防止することができる動画像符号化装置を得ることを目的とする。
 また、この発明は、上記のような動画像符号化装置から出力された動画像圧縮符号化データを復号処理して、ディジタルの映像信号を復元することができる動画像復号装置を得ることを目的とする。
 この発明に係る動画像符号化装置は、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段とを設け、符号化手段が上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化するようにしたものである。
 この発明によれば、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段とを設け、符号化手段が上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化するように構成したので、圧縮率の低下を招くことなく、画面端のマクロブロックにおける画質の劣化を防止することができる効果がある。
この発明の実施の形態1による動画像符号化装置と動画像復号装置間の接続関係を示す構成図である。 この発明の実施の形態1による動画像符号化装置1を示す構成図である。 図2の動画像符号化装置1における動き補償部26の内部を示す構成図である。 H.264/AVCに開示されているダイレクトベクトル算出部33の処理内容を示す説明図である。 H.264/AVCに開示されているダイレクトベクトル算出部33の処理内容を示す説明図である。 H.264/AVCに開示されているダイレクトベクトル算出部33の処理内容を示す説明図である。 H.264/AVCに開示されているダイレクトベクトル算出部33の処理内容を示す説明図である。 片方のダイレクトベクトルの先端が画面外の領域を指し示す場合を示す説明図である。 画面端画素を画面外に引き伸ばす「画面端拡張」と呼ばれる技術を示す説明図である。 画面外部の領域を含む単位領域を指し示すダイレクトベクトルを加算平均対象のベクトルから除外することで、動き補償予測画像生成部35により生成される動き補償予測画像を示す説明図である。 この発明の実施の形態1による動画像復号装置2を示す構成図である。 図11の動画像復号装置2における動き補償部50の内部を示す構成図である。 この発明の実施の形態2による動画像符号化装置1を示す構成図である。 図13の動画像符号化装置1における動き補償部71の内部を示す構成図である。 この発明の実施の形態2による動画像復号装置2を示す構成図である。 図15の動画像復号装置2における動き補償部80の内部を示す構成図である。 ダイレクトベクトル判定部34の処理内容を示す説明図である。 ダイレクトベクトル判定部34の処理内容を示す説明図である。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1はこの発明の実施の形態1による動画像符号化装置と動画像復号装置間の接続関係を示す構成図である。
 図1において、動画像符号化装置1は例えばH.264/AVCの符号化方式を用いる符号化装置であり、動画像の動画像データ(映像信号)を入力すると、その動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の動きベクトルを決定し、各単位領域の動きベクトルを用いて、その動画像データの圧縮符号化を行うことで、その動画像データの圧縮符号化データであるビットストリームを動画像復号装置2に送信する。
 動画像復号装置2は動画像符号化装置1から送信されたビットストリームを受信すると、各単位領域の動きベクトルを用いて、そのビットストリームに対する復号処理を実施することで、動画像の動画像データ(映像信号)を復元する。
<動画像符号化装置1の構成>
 図2はこの発明の実施の形態1による動画像符号化装置1を示す構成図であり、図3は図2の動画像符号化装置1における動き補償部26の内部を示す構成図である。
 図2の動画像符号化装置1における基本的な構成は、H.264/AVCで一般に用いられる動画像符号化装置の構成と同じである。
 ただし、H.264/AVCには、図3のダイレクトベクトル判定部34が動き補償部26に実装されていないが、図2の動画像符号化装置1の動き補償部26には、ダイレクトベクトル判定部34が実装されており、この点においてのみ相違している。
 図2において、減算器11は動画像データとイントラ予測補償部23により生成されたイントラ予測画像の画像データとの差分を求め、その差分のデータであるイントラ差分データを符号化モード判定部13に出力する処理を実施する。
 減算器12は動画像データと動き補償部26により生成された動き補償予測画像の画像データとの差分を求め、その差分のデータであるインター差分データを符号化モード判定部13に出力する処理を実施する。
 符号化モード判定部13は減算器11から出力されたイントラ差分データと減算器12から出力されたインター差分データとを比較して、イントラ予測に基いて圧縮を実施する符号化モードを採用するのか、動き予測に基いて圧縮を実施する符号化モードを採用するのかを決定し、その決定した符号化モードをスイッチ19,28、動き補償部26及び可変長符号化部16に通知する処理を実施する。また、符号化モード判定部13はイントラ予測に基いて圧縮を実施する符号化モードを採用する場合、減算器11から出力されたイントラ差分データを変換部14に出力し、動き予測に基いて圧縮を実施する符号化モードを採用する場合、減算器12から出力されたインター差分データを変換部14に出力する処理を実施する。
 変換部14は符号化モード判定部13から出力されたイントラ差分データ又はインター差分データを整数変換して、その整数変換データを量子化部15に出力する処理を実施する。
 量子化部15は変換部14から出力された整数変換データを量子化して、その量子化データを可変長符号化部16及び逆量子化部17に出力する処理を実施する。
 可変長符号化部16は量子化部15から出力された量子化データと、符号化モード判定部13により決定された符号化モードと、スイッチ28から出力されたイントラ予測モード又はベクトル情報(動き予測部27により決定された最適な動きベクトルに関するベクトル情報)とを可変長符号化し、その可変長符号化データ(圧縮符号化データ)であるビットストリームを動画像復号装置2に送信する処理を実施する。
 なお、減算器11,12、符号化モード判定部13、変換部14、量子化部15及び可変長符号化部16から符号化手段が構成されている。
 逆量子化部17は量子化部15から出力された量子化データを逆量子化して、その逆量子化データを逆変換部18に出力する処理を実施する。
 逆変換部18は逆量子化部17から出力された逆量子化データを逆整数変換して、その逆整数変換データである画素ドメインの差分データを加算器20に出力する処理を実施する。
 スイッチ19は符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、イントラ予測補償部23により生成されたイントラ予測画像の画像データを加算器20に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、動き補償部26により生成された動き補償予測画像の画像データを加算器20に出力する処理を実施する。
 加算器20はスイッチ19から出力されたイントラ予測画像又は動き補償予測画像の画像データと逆変換部18から出力された画素ドメインの差分データを加算する処理を実施する。
 イントラ予測用メモリ21は加算器20から出力された加算データをイントラ予測用画像の画像データとして格納するメモリである。
 イントラ予測部22は動画像データとイントラ予測用メモリ21に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)を比較して、最適なイントラ予測モードを決定する処理を実施する。
 イントラ予測補償部23はイントラ予測用メモリ21に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)から、イントラ予測部22により決定された最適なイントラ予測モードのイントラ予測画像を生成する処理を実施する。
 ループフィルタ24は加算器20から出力された加算データに含まれている予測ループ内の雑音成分を除去するなどのフィルタリング処理を実施する。
 フレームメモリ25はループフィルタ24によるフィルタリング処理後の加算データを参照画像の画像データとして格納するメモリである。
 動き補償部26は動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、動き予測部27により決定された1つ以上の最適な動きベクトルとフレームメモリ25に格納されている参照画像の画像データから動き補償予測画像を生成する処理を実施する。
 動き予測部27は動画像データと、フレームメモリ25に格納されている参照画像の画像データと、動き補償部26の予測ベクトル算出部32により予測された予測ベクトルと、動き補償部26のダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルとから、1つ以上の最適な動きベクトルを決定する処理を実施する。例えば、Pピクチャの動きベクトルであれば、最適な動きベクトルとして、1つの動きベクトルを決定し、Bピクチャの動きベクトルであれば、最適な動きベクトルとして、2つの動きベクトルを決定する。
 即ち、動き予測部27は一般にR-Dオプティマイゼイションと呼ばれる技術(単に、動画像データとフレームメモリ25に格納されている参照画像の画像データとの差分を最小にするだけでなく、動きベクトルの符号量も加味した形の動きベクトルの決定技術)によって、1つ以上の最適な動きベクトルを決定する処理を実施する。
 スイッチ28は符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、イントラ予測部22により決定された最適なイントラ予測モードを可変長符号化部16に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、動き予測部27により決定された最適な動きベクトルに関するベクトル情報(最適な動きベクトルが動き補償部26の予測ベクトル算出部32により予測された予測ベクトルから決定されている場合、その動きベクトルと予測ベクトルの差分を示す差分ベクトル、最適な動きベクトルが動き補償部26のダイレクトベクトル算出部33により予測されたダイレクトベクトルから決定されている場合、そのダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報)を可変長符号化部16に出力する処理を実施する。
 図3において、動き補償部26のベクトルマップ保存用メモリ31は動き予測部27により決定された最適な動きベクトル、即ち、各ピクチャにおける符号化済みの単位領域の動きベクトルを保存するメモリである。ただし、符号化モード判定部13により決定された符号化モードが、動き予測に基いて圧縮を実施する符号化モードであれば、その動きベクトルの保存を継続するが、符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、その動きベクトルを加算平均対象のベクトルから除外する。
 予測ベクトル算出部32はベクトルマップ保存用メモリ31に保存されている動きベクトルを参照し、所定の規則に基づいて、1つ以上の予測ベクトルを予測する処理を実施する。
 ダイレクトベクトル算出部33はベクトルマップ保存用メモリ31に保存されている動きベクトル、即ち、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルをダイレクトベクトルとして1つ以上予測する処理を実施する。なお、ダイレクトベクトル算出部33は動きベクトル予測手段を構成している。
 ダイレクトベクトル判定部34はダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルを動き予測部27に出力するが、画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外する処理を実施する。なお、ダイレクトベクトル判定部34は動きベクトル選別手段を構成している。
 動き補償予測画像生成部35は動き予測部27により決定された1つ以上の最適な動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する処理を実施する。なお、動き補償予測画像生成部35は動き補償予測画像生成手段を構成している。
 次に動作について説明する。
 ただし、図2の動画像符号化装置1において、動き補償部26のダイレクトベクトル判定部34以外の処理部については、H.264/AVCで一般に用いられる処理と同等であるため、ダイレクトベクトル判定部34以外の処理部の動作については簡単に説明する。
 減算器11は、動画像の動画像データを入力すると、その動画像データと後述するイントラ予測補償部23により生成されたイントラ予測画像の画像データとの差分を求め、その差分のデータであるイントラ差分データを符号化モード判定部13に出力する。
 また、減算器12は、動画像の動画像データを入力すると、その動画像データと後述する動き補償部26により生成された動き補償予測画像の画像データとの差分を求め、その差分のデータであるインター差分データを符号化モード判定部13に出力する。
 符号化モード判定部13は、減算器11からイントラ差分データを受け、減算器12からインター差分データを受けると、そのイントラ差分データとインター差分データとを比較して、イントラ予測に基いて圧縮を実施する符号化モードを採用するのか、動き予測に基いて圧縮を実施する符号化モードを採用するのかを決定する。ただし、イントラ差分データとインター差分データを比較することによる符号化モードの決定方法は、一般にR-Dオプティマイゼイションと呼ばれる技術(単に差分が小さい方を選択する、というわけではなく、符号量も加味した形の符号化モードの決定技術)を用いる。
 符号化モード判定部13は、符号化モードを決定すると、その符号化モードをスイッチ19,28、動き補償部26及び可変長符号化部16に通知する。
 また、符号化モード判定部13は、イントラ予測に基いて圧縮を実施する符号化モードを採用する場合、減算器11から出力されたイントラ差分データを変換部14に出力し、動き予測に基いて圧縮を実施する符号化モードを採用する場合、減算器12から出力されたインター差分データを変換部14に出力する。
 変換部14は、符号化モード判定部13からイントラ差分データ又はインター差分データを受けると、そのイントラ差分データ又はインター差分データを整数変換して、その整数変換データを量子化部15に出力する。
 量子化部15は、変換部14から整数変換データを受けると、その整数変換データを量子化して、その量子化データを可変長符号化部16及び逆量子化部17に出力する。
 可変長符号化部16は、量子化部15から出力された量子化データと、符号化モード判定部13により決定された符号化モードと、後述するスイッチ28から出力されたイントラ予測モード又はベクトル情報(動き予測部27により決定された最適な動きベクトルに関するベクトル情報)とを可変長符号化し、その可変長符号化データであるビットストリームを動画像復号装置2に送信する。
 逆量子化部17は、量子化部15から量子化データを受けると、その量子化データを逆量子化して、その逆量子化データを逆変換部18に出力する。
 逆変換部18は、逆量子化部17から逆量子化データを受けると、その逆量子化データを逆整数変換して、その逆整数変換データである画素ドメインの差分データを加算器20に出力する。
 スイッチ19は、符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、後述するイントラ予測補償部23により生成されたイントラ予測画像の画像データを加算器20に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、後述する動き補償部26により生成された動き補償予測画像の画像データを加算器20に出力する。
 加算器20は、スイッチ19から出力されたイントラ予測画像又は動き補償予測画像の画像データと逆変換部18から出力された画素ドメインの差分データを加算し、その加算データをイントラ予測用メモリ21及びループフィルタ24に出力する。
 イントラ予測部22は、入力された動画像の動画像データと、イントラ予測用メモリ21に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)を比較して、最適なイントラ予測モードを決定する。最適なイントラ予測モードの決定方法は、一般にR-Dオプティマイゼイションと呼ばれる技術を用いるので、詳細な説明を省略する。
 イントラ予測補償部23は、イントラ予測部22が最適なイントラ予測モードを決定すると、イントラ予測用メモリ21に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)から、そのイントラ予測モードのイントラ予測画像を生成し、そのイントラ予測画像の画像データを減算器11及びスイッチ19に出力する。ただし、イントラ予測画像の生成方法は、H.264/AVCに開示されているので、詳細な説明を省略する。
 ループフィルタ24は、加算器20から加算データ(動き補償予測画像の画像データ+画素ドメインの差分データ)を受けると、その加算データに含まれている予測ループ内の雑音成分を除去するなどのフィルタリング処理を実施し、フィルタリング処理後の加算データを参照画像の画像データとしてフレームメモリ25に格納する。
 動き補償部26は、動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、動き予測部27により決定された1つ以上の最適な動きベクトルとフレームメモリ25に格納されている参照画像から動き補償予測画像を生成する処理を実施する。
 以下、動き補償部26の処理内容を具体的に説明する。
 動き補償部26のベクトルマップ保存用メモリ31には、以前、動き予測部27により決定された最適な動きベクトル、即ち、各ピクチャにおける符号化済みの単位領域の動きベクトルが保存されている。ただし、符号化モード判定部13により決定された符号化モードが、動き予測に基いて圧縮を実施する符号化モードであれば、その動きベクトルの保存が継続されるが、符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、その動きベクトルは加算平均対象のベクトルから除外される。
 動き補償部26の予測ベクトル算出部32は、ベクトルマップ保存用メモリ31に保存されている各ピクチャにおける符号化済みの単位領域の動きベクトルを参照して、所定の規則に基づいて、1つ以上の予測ベクトルを算出する。ただし、予測ベクトルの算出規則は、H.264/AVCに開示されているので、詳細な説明を省略する。
 動き補償部26のダイレクトベクトル算出部33は、ベクトルマップ保存用メモリ31に保存されている動きベクトル、即ち、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや、上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルをダイレクトベクトルとして1つ以上予測する。
 ここで、図4から図7はH.264/AVCに開示されているダイレクトベクトル算出部33の処理内容を示す説明図である。
 H.264/AVCにおけるダイレクトベクトルは、Bピクチャで使われるベクトルであり、図4から図7では、時間ダイレクト方式の例を示している。
 この例では、ダイレクトベクトル算出部33により、図7に示すような2つのダイレクトベクトル(Bピクチャのベクトルを参照)が算出されることになる。
 このため、後述する動き補償予測画像生成部35が動き補償予測画像を生成する際、図8に示すような画像位置を参照することになり、片方のダイレクトベクトルが画面外の領域を含む参照を行うことになる(Pピクチャの点線部を参照)。
 ただし、ダイレクトベクトルの先端が画面内を指し示していても、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルは画面外を指し示していることとする。
 H.264/AVCには、一般に「画面端拡張」と呼ばれる技術が規格で定められている。即ち、図9に示すように、画面端画素を画面外に引き伸ばすような形で画面外画素を決定することが規格化されている。
 これにより、図9に示されている灰色の部分が、動き補償予測画像生成部35から動き補償予測画像の一部として、ダイレクトモード予測画像が出力されてしまうため、予測効率の低下につながる。
 因みに、この例に示す画像をH.264/AVCの一般の方法を用いて符号化した場合には、該当ブロックの符号化に約30bit必要とする((CAVLC、B_16x16_L0、動きベクトル(8.0,8.0)、係数ナシ)で符号化する必要がある)。
 この実施の形態1では、上記のようなダイレクトモード予測画像の出力を回避するために、ダイレクトベクトルの決定を図10に示すアルゴリズムで行うようにしている。
 図10に示すアルゴリズムは、画面外を含む領域を指し示すダイレクトベクトルを不採用とするアルゴリズムであり、後述するダイレクトベクトル判定部34が当該アルゴリズムを実行する。
 画面外を含む領域を指し示すダイレクトベクトルを不採用とすると、片方向の参照となり、ダイレクトモード予測画像が符号化対象画像と一致するため、予測効率が格段に向上する。
 この実施の形態1の例では、B_Skipを符号化すれば十分ということになる(B_Skipは可変長符号であるが、一般には平均1bit以下程度であることが知られている)。
 動き補償部26のダイレクトベクトル判定部34は、ダイレクトベクトル算出部33が1つ以上のダイレクトベクトルを予測すると、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルを動き予測部27に出力するが、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外する。
 ただし、ダイレクトベクトル算出部33により予測された全てのダイレクトベクトルが、画面外部の領域を含む単位領域を指し示すダイレクトベクトルに該当する場合には、例外的に、ダイレクトベクトル判定部34において加算平均対象のベクトルから除外せずに、それらのダイレクトベクトルを動き予測部27に出力するものとする。
 動き予測部27は、動画像の動画像データと、フレームメモリ25に格納されている参照画像の画像データと、動き補償部26の予測ベクトル算出部32により予測された予測ベクトルと、動き補償部26のダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルとから、1つ以上の最適な動きベクトルを決定する。
 例えば、Pピクチャの動きベクトルであれば、最適な動きベクトルとして、1つの動きベクトルを決定し、Bピクチャの動きベクトルであれば、最適な動きベクトルとして、2つの動きベクトルを決定する。ただし、1つ以上の最適な動きベクトルの決定方法は、一般にR-Dオプティマイゼイションと呼ばれる技術(単に、動画像データとフレームメモリ25に格納されている参照画像の画像データとの差分を最小にするだけでなく、動きベクトルの符号量も加味した形の動きベクトルの決定技術)によって、1つ以上の最適な動きベクトルを決定する処理を実施する。
 動き予測部27は、最適な動きベクトルを決定すると、その最適な動きベクトルに関するベクトル情報をスイッチ28に出力する。
 即ち、動き予測部27は、最適な動きベクトルを決定するに際して、動き補償部26の予測ベクトル算出部32により予測された予測ベクトルを用いて決定していれば、その動きベクトルと予測ベクトルの差分を示す差分ベクトルをベクトル情報としてスイッチ28に出力する。
 動き予測部27は、最適な動きベクトルを決定するに際して、動き補償部26のダイレクトベクトル算出部33により予測されたダイレクトベクトルを用いて決定していれば、ダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報をベクトル情報としてスイッチ28に出力する。
 動き補償部26の動き補償予測画像生成部35は、動き予測部27が最適な動きベクトルを1つだけ決定すると、その動きベクトルが指し示す画素位置を基点とする単位領域の画素値を動き補償予測画像として生成する。
 また、動き補償予測画像生成部35は、動き予測部27が最適な動きベクトルを2つ以上決定すると、2つ以上の最適な動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する。
 上記のようにして、動き補償部26のダイレクトベクトル判定部34が、画面外部の領域を含む単位領域を指し示すダイレクトベクトルを加算平均対象のベクトルから除外することで、動き補償予測画像生成部35により生成される動き補償予測画像は図10のようになる。
 このため、H.264/AVCでは、B_Skipにできず、約30bitの符号を要する部分において、この実施の形態1では、B_Skipにできるため、僅か1bit程度の符号で済み、予測効率が向上する利点が得られる。
 スイッチ28は、符号化モード判定部13により決定された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、イントラ予測部22により決定された最適なイントラ予測モードを可変長符号化部16に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、動き予測部27により決定された最適な動きベクトルに関するベクトル情報を可変長符号化部16に出力する。
<動画像復号装置2の構成>
 図11はこの発明の実施の形態1による動画像復号装置2を示す構成図であり、図12は図11の動画像復号装置2における動き補償部50の内部を示す構成図である。
 図11の動画像復号装置2における基本的な構成は、H.264/AVCで一般に用いられる動画像復号装置の構成と同じである。
 ただし、H.264/AVCには、図12のダイレクトベクトル判定部66が動き補償部50に実装されていないが、図11の動画像復号装置2の動き補償部50には、ダイレクトベクトル判定部66が実装されており、この点においてのみ相違している。
 図11において、可変長復号部41は動画像符号化装置1から送信されたビットストリームを受信すると、そのビットストリームのシンタックス解析を実施して、動画像符号化装置1の量子化部15から出力された量子化データに相当する予測残差信号符号化データを逆量子化部42に出力し、動画像符号化装置1の符号化モード判定部13により決定された符号化モードをスイッチ46,51に出力する。また、動画像符号化装置1のイントラ予測部22から出力されたイントラ予測モード又は動き予測部27から出力されたベクトル情報をスイッチ46に出力し、動き予測部27から出力されたベクトル情報を動き補償部50に出力する処理を実施する。
 逆量子化部42は可変長復号部41から出力された予測残差信号符号化データを逆量子化して、その逆量子化データを逆変換部43に出力する処理を実施する。
 逆変換部43は逆量子化部42から出力された逆量子化データを逆整数変換して、その逆整数変換データである予測残差信号復号値を加算器44に出力する処理を実施する。
 加算器44はスイッチ51から出力されたイントラ予測画像又は動き補償予測画像の画像データと逆変換部43から出力された予測残差信号復号値を加算する処理を実施する。
 ループフィルタ45は加算器44から出力された加算データに含まれている予測ループ内の雑音成分を除去するなどのフィルタリング処理を実施し、フィルタリング処理後の加算データを復号画像(動画像)の動画像データとして出力する処理を実施する。
 なお、可変長復号部41、逆量子化部42、逆変換部43、加算器44及びループフィルタ45から復号手段が構成されている。
 スイッチ46は可変長復号部41から出力された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、可変長復号部41から出力されたイントラ予測モードをイントラ予測補償部48に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、可変長復号部41から出力されたベクトル情報を動き補償部50に出力する処理を実施する。
 イントラ予測用メモリ47は加算器44から出力された加算データをイントラ予測用画像の画像データとして格納するメモリである。
 イントラ予測補償部48はイントラ予測用メモリ47に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)から、スイッチ46より出力されたイントラ予測モードのイントラ予測画像を生成する処理を実施する。
 フレームメモリ49はループフィルタ45から出力された動画像データを参照画像の画像データとして格納するメモリである。
 動き補償部50は動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、フレームメモリ49に格納されている参照画像の画像データから動き補償予測画像を生成する処理を実施する。
 スイッチ51は可変長復号部41から出力された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、イントラ予測補償部48により生成されたイントラ予測画像の画像データを加算器44に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、動き補償部50により生成された動き補償予測画像の画像データを加算器44に出力する処理を実施する。
 図12において、動き補償部50のベクトルマップ保存用メモリ61はスイッチ67から出力された動きベクトル、即ち、各ピクチャにおける復号済みの単位領域の動きベクトルを保存するメモリである。
 スイッチ62は可変長復号部41から出力されたベクトル情報が差分ベクトルに相当していれば、予測ベクトル算出部63を起動し、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示していれば、ダイレクトベクトル算出部65を起動する処理を実施する。
 予測ベクトル算出部63はベクトルマップ保存用メモリ61に保存されている動きベクトルを参照し、所定の規則に基づいて、1つ以上の予測ベクトルを予測する処理を実施する。
 加算器64は予測ベクトル算出部63により予測された予測ベクトルと可変長復号部41から出力された差分ベクトル(予測ベクトル算出部63が起動している状況では、可変長復号部41から出力されるベクトル情報は差分ベクトルに相当する)を加算し、その加算結果である動きベクトルをスイッチ67に出力する処理を実施する。
 ダイレクトベクトル算出部65はベクトルマップ保存用メモリ61に保存されている動きベクトル、即ち、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルを1つ以上予測する処理を実施する。なお、ダイレクトベクトル算出部65は動きベクトル予測手段を構成している。
 ダイレクトベクトル判定部66はダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルをスイッチ67に出力するが、画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外する処理を実施する。なお、ダイレクトベクトル判定部66は動きベクトル選別手段を構成している。
 スイッチ67は可変長復号部41から出力されたベクトル情報が差分ベクトルに相当していれば、加算器64から出力された動きベクトルを動き補償予測画像生成部68及びベクトルマップ保存用メモリ61に出力し、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示していれば、ダイレクトベクトル判定部66から出力された動きベクトルであるダイレクトベクトルを動き補償予測画像生成部68及びベクトルマップ保存用メモリ61に出力する処理を実施する。
 動き補償予測画像生成部68はスイッチ67から出力された1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する処理を実施する。なお、動き補償予測画像生成部68は動き補償予測画像生成手段を構成している。
 次に動作について説明する。
 可変長復号部41は、動画像符号化装置1から送信されたビットストリームを受信すると、そのビットストリームのシンタックス解析を実施する。
 これにより、動画像符号化装置1の量子化部15から出力された量子化データに相当する予測残差信号符号化データを逆量子化部42に出力し、動画像符号化装置1の符号化モード判定部13により決定された符号化モードをスイッチ46,51に出力する。
 また、動画像符号化装置1のイントラ予測部22から出力されたイントラ予測モード又は動き予測部27から出力された差分ベクトル(ベクトル情報)をスイッチ46に出力し、動き予測部27から出力されたベクトル情報を動き補償部50に出力する。
 逆量子化部42は、可変長復号部41から予測残差信号符号化データを受けると、その予測残差信号符号化データを逆量子化して、その逆量子化データを逆変換部43に出力する。
 逆変換部43は、逆量子化部42から逆量子化データを受けると、その逆量子化データを逆整数変換して、その逆整数変換データである予測残差信号復号値を加算器44に出力する。
 スイッチ46は、可変長復号部41から出力された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、可変長復号部41から出力されたイントラ予測モードをイントラ予測補償部48に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、可変長復号部41から出力されたベクトル情報を動き補償部50に出力する。
 イントラ予測補償部48は、スイッチ46からイントラ予測モードを受けると、イントラ予測用メモリ47に格納されている周辺画素の画像データ(イントラ予測用画像の画像データ)から、そのイントラ予測モードのイントラ予測画像を生成し、そのイントラ予測画像の画像データをスイッチ51に出力する。ただし、イントラ予測画像の生成方法は、H.264/AVCに開示されているので、詳細な説明を省略する。
 動き補償部50は、スイッチ46からベクトル情報を受けると、動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、フレームメモリ49に格納されている参照画像の画像データから動き補償予測画像を生成する。
 以下、動き補償部50の処理内容を具体的に説明する。
 動き補償部50のベクトルマップ保存用メモリ61には、以前算出された動きベクトル、即ち、各ピクチャにおける復号済みの単位領域の動きベクトルが保存されている。
 動き補償部50のスイッチ62は、可変長復号部41からベクトル情報を受けると、そのベクトル情報が差分ベクトルに相当するものであるのか、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報であるのかを判別する。
 スイッチ62は、そのベクトル情報が差分ベクトルに相当していれば、予測ベクトル算出部63を起動し、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報であれば、ダイレクトベクトル算出部65を起動する。
 動き補償部50の予測ベクトル算出部63は、スイッチ62から起動指令を受けると、ベクトルマップ保存用メモリ61に保存されている各ピクチャにおける復号済みの単位領域の動きベクトルを参照して、所定の規則に基づいて、1つ以上の予測ベクトルを算出する。ただし、予測ベクトルの算出方法は、H.264/AVCに開示されているので、詳細な説明を省略する。
 動き補償部50の加算器64は、予測ベクトル算出部63から1つ以上の予測ベクトルを受けると、各予測ベクトルと可変長復号部41から出力された差分ベクトル(予測ベクトル算出部63が起動している状況では、可変長復号部41から出力されるベクトル情報は差分ベクトルに相当する)を加算し、その加算結果である動きベクトルをスイッチ67に出力する。
 動き補償部50のダイレクトベクトル算出部65は、スイッチ62から起動指令を受けると、ベクトルマップ保存用メモリ61に保存されている動きベクトル、即ち、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや、上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルをダイレクトベクトルとして1つ以上予測する。
 なお、ダイレクトベクトル算出部65の処理内容は、図3のダイレクトベクトル算出部33の処理内容と同様であるため、詳細な説明を省略する(図4から図7を参照)。
 動き補償部50のダイレクトベクトル判定部66は、ダイレクトベクトル算出部65が1つ以上のダイレクトベクトルを予測すると、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルをスイッチ67に出力するが、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外する。
 ただし、ダイレクトベクトル算出部65により予測された全てのダイレクトベクトルが、画面外部の領域を含む単位領域を指し示すダイレクトベクトルに該当する場合には、例外的に、ダイレクトベクトル判定部66において加算平均対象のベクトルから除外せずに、それらのダイレクトベクトルをスイッチ67に出力するものとする。
 なお、ダイレクトベクトル判定部66の処理内容は、図3のダイレクトベクトル判定部34の処理内容と同様である。
 動き補償部50のスイッチ67は、可変長復号部41から出力されたベクトル情報が差分ベクトルに相当するものであるのか、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報であるのかを判別する。
 スイッチ67は、そのベクトル情報が差分ベクトルに相当していれば、加算器64から出力された動きベクトルを動き補償予測画像生成部68及びベクトルマップ保存用メモリ61に出力し、そのベクトル情報がダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報であれば、ダイレクトベクトル判定部66から出力された動きベクトルであるダイレクトベクトルを動き補償予測画像生成部68及びベクトルマップ保存用メモリ61に出力する。
 動き補償部50の動き補償予測画像生成部68は、スイッチ67から1つだけ動きベクトルを受けると、その動きベクトルが指し示す画素位置を基点とする単位領域の画素値を動き補償予測画像として生成する。
 また、動き補償予測画像生成部68は、スイッチ67から2つ以上の動きベクトルを受けると、2つ以上の最適な動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する。
 なお、動き補償予測画像生成部68の処理内容は、図3の動き補償予測画像生成部35の処理内容と同様である。
 上記のようにして、動き補償部50のダイレクトベクトル判定部66が、画面外部の領域を含む単位領域を指し示すダイレクトベクトルを加算平均対象のベクトルから除外することで、動き補償予測画像生成部68により生成される動き補償予測画像は図10のようになる。
 このため、H.264/AVCでは、B_Skipにできず、約30bitの符号を要する部分において、この実施の形態1では、B_Skipにできるため、僅か1bit程度の符号で済み、予測効率が向上する利点が得られる。
 スイッチ51は、可変長復号部41から出力された符号化モードが、イントラ予測に基いて圧縮を実施する符号化モードであれば、イントラ予測補償部48により生成されたイントラ予測画像の画像データを加算器44に出力し、動き予測に基いて圧縮を実施する符号化モードであれば、動き補償部50により生成された動き補償予測画像の画像データを加算器44に出力する。
 加算器44は、逆変換部43から予測残差信号復号値を受け、スイッチ51からイントラ予測画像又は動き補償予測画像の画像データを受けると、その予測残差信号復号値とイントラ予測画像又は動き補償予測画像の画像データを加算し、その加算データをループフィルタ45に出力する。
 また、加算器44は、その加算データをイントラ予測用画像の画像データとしてイントラ予測用メモリ47に格納する。
 ループフィルタ45は、加算器44から加算データを受けると、その加算データに含まれている予測ループ内の雑音成分を除去するなどのフィルタリング処理を実施し、フィルタリング処理後の加算データを復号画像(動画像)の動画像データとして出力する。
 また、ループフィルタ45は、復号画像の動画像データを参照画像の画像データとしてフレームメモリ49に格納する。
 以上で明らかなように、この実施の形態1によれば、動画像符号化装置1においては、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルをダイレクトベクトルとして1つ以上予測するダイレクトベクトル算出部33と、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該ダイレクトベクトルを加算平均対象のベクトルから除外するダイレクトベクトル判定部34と、ダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成部35とを設け、動き補償予測画像生成部35により生成された動き補償予測画像と動画像の差分画像を求め、その差分画像を符号化するように構成したので、圧縮率の低下を招くことなく、画面端のマクロブロックにおける画質の劣化を防止することができる効果を奏する。
 また、動画像復号装置2においては、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルをダイレクトベクトルとして1つ以上予測するダイレクトベクトル算出部65と、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該ダイレクトベクトルを加算平均対象のベクトルから除外するダイレクトベクトル判定部66と、ダイレクトベクトル判定部66により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成部68とを設け、動画像の圧縮符号化データから予測残差信号を復号し、その予測残差信号復号値と動き補償予測画像生成部68により生成された動き補償予測画像を加算するように構成したので、図2の動画像符号化装置1から出力されたビットストリームを復号処理して、動画像の動画像データを復元することができる効果を奏する。
 なお、この実施の形態1では、映像符号化方式として、H.264/AVCを用いる例を示したが、H.264/AVCと類似の符号化方式(例えば、MPEG-2、MPEG-4 Visual、SMPTE VC-1など)についても、同様に適用することができる。
実施の形態2.
<動画像符号化装置1の構成>
 図13はこの発明の実施の形態2による動画像符号化装置1を示す構成図であり、図において、図2と同一符号は同一又は相当部分を示すので説明を省略する。
 また、図14は図13の動画像符号化装置1における動き補償部71の内部を示す構成図であり、図において、図3と同一符号は同一又は相当部分を示すので説明を省略する。
 図13及び図14において、動き補償部71は動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、動き予測部72により決定された1つ以上の最適な動きベクトルとフレームメモリ25に格納されている参照画像の画像データから動き補償予測画像を生成する処理を実施する。
 ただし、動き補償部71は図2の動き補償部26と異なり、内部のダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルだけでなく、内部のダイレクトベクトル算出部33により予測された全てのダイレクトベクトルを動き予測部72に出力するようにしている。
 動き予測部72は図2の動き予測部27と同様に、ダイレクトベクトル又は予測ベクトルを用いて、最適な動きベクトルを決定するが、動き補償部71からダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトルだけでなく、ダイレクトベクトル算出部33により予測された全てのダイレクトベクトルを受けているので、画面端付近での予測効率が高くなる方のダイレクトベクトルを選択するようにしている。
 また、動き予測部72はどちらのダイレクトベクトルを選択したかを示す情報をベクトル情報に含めてスイッチ28に出力する。
 次に動作について説明する。
 動き補償部71は、内部の予測ベクトル算出部32により予測された1つ以上の予測ベクトルを動き予測部72に出力するとともに、内部のダイレクトベクトル判定部34により加算平均対象のベクトルから除外されずに残っている1つ以上のダイレクトベクトル(以下、「ダイレクトベクトルA」と称する)を動き予測部72に出力する。
 また、動き補償部71は、内部のダイレクトベクトル算出部33により予測された全てのダイレクトベクトル(以下、「ダイレクトベクトルB」と称する)を動き予測部72に出力する。
 動き予測部72は、動き補償部71からダイレクトベクトルと予測ベクトルを受けると、図2の動き予測部27と同様にして、最適な動きベクトルを決定するが、動き補償部71からダイレクトベクトルAだけでなく、ダイレクトベクトルBも受けているので、どちらのダイレクトベクトルを用いた方が、画面端付近での予測効率が高くなるかを判定して、ダイレクトベクトルA又はダイレクトベクトルBを選択する。
 ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、上記実施の形態1でも説明したように予測効率が低下するため、ダイレクトベクトルBよりダイレクトベクトルAを用いた方が、画面端付近での予測効率が高くなるが、例えば、単位領域が含んでいる画面外部の領域の面積が僅かな場合には、ダイレクトベクトルBを用いた方が、画面端付近での予測効率が高くなることがある。
 なお、予測効率が最も高いダイレクトベクトルの選択方法は、一般にR-Dオプティマイゼイションと呼ばれる技術を用い、最適なダイレクトベクトルを決定する処理を実施する。
 動き予測部72は、最適な動きベクトルを決定すると、その最適な動きベクトルに関するベクトル情報をスイッチ28に出力する。
 即ち、動き予測部72は、最適な動きベクトルを決定するに際して、動き補償部71の予測ベクトル算出部32により予測された予測ベクトルを用いて決定していれば、その動きベクトルと予測ベクトルの差分を示す差分ベクトルをベクトル情報としてスイッチ28に出力する。
 動き予測部72は、最適な動きベクトルを決定するに際して、動き補償部71のダイレクトベクトル判定部34から出力されたダイレクトベクトルAを用いて決定していれば、ダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報と、ダイレクトベクトル判定部34から出力されたダイレクトベクトルAを選択している旨を示す情報とをベクトル情報としてスイッチ28に出力する。
 動き予測部72は、最適な動きベクトルを決定するに際して、動き補償部71のダイレクトベクトル算出部33から出力されたダイレクトベクトルBを用いて決定していれば、ダイレクトベクトルから最適な動きベクトルが決定されている旨を示す情報と、ダイレクトベクトル算出部33から出力されたダイレクトベクトルBを選択している旨を示す情報とをベクトル情報としてスイッチ28に出力する。
<動画像復号装置2の構成>
 図15はこの発明の実施の形態2による動画像復号装置2を示す構成図であり、図において、図11と同一符号は同一又は相当部分を示すので説明を省略する。
 また、図16は図15の動画像復号装置2における動き補償部80の内部を示す構成図であり、図において、図12と同一符号は同一又は相当部分を示すので説明を省略する。
 図15及び図16において、動き補償部80は動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、フレームメモリ49に格納されている参照画像の画像データから動き補償予測画像を生成する処理を実施する。
 ただし、動き補償部80は図11の動き補償部50と異なり、可変長復号部41から出力されたベクトル情報に含まれているダイレクトベクトルA又はダイレクトベクトルBの選択情報にしたがって、内部のダイレクトベクトル判定部66又はダイレクトベクトル算出部65から出力されるダイレクトベクトルを選択するようにしている。
 動き補償部80のスイッチ81は可変長復号部41から出力されたベクトル情報に含まれているダイレクトベクトルの選択情報が、ダイレクトベクトルAを選択している旨を示していれば、ダイレクトベクトル判定部66から出力されたダイレクトベクトルを選択してスイッチ67に出力し、ダイレクトベクトルBを選択している旨を示していれば、ダイレクトベクトル算出部65から出力されたダイレクトベクトルを選択してスイッチ67に出力する処理を実施する。
 次に動作について説明する。
 動き補償部80は、図11の動き補償部50と同様に、動画像データを構成する複数のピクチャを所定の単位領域に分割して、各単位領域の予測ベクトルやダイレクトベクトルを1つ以上予測するとともに、フレームメモリ49に格納されている参照画像の画像データから動き補償予測画像を生成する。
 ただし、動き補償部80は、図11の動き補償部50と異なり、可変長復号部41から出力されたベクトル情報に含まれているダイレクトベクトルA又はダイレクトベクトルBの選択情報にしたがって、内部のダイレクトベクトル判定部66又はダイレクトベクトル算出部65から出力されるダイレクトベクトルを選択する。
 即ち、動き補償部80のスイッチ81は、可変長復号部41からベクトル情報を受けると、そのベクトル情報に含まれているダイレクトベクトルの選択情報が、ダイレクトベクトルAを選択している旨を示していれば、ダイレクトベクトル判定部66から出力されたダイレクトベクトルを選択してスイッチ67に出力し、ダイレクトベクトルBを選択している旨を示していれば、ダイレクトベクトル算出部65から出力されたダイレクトベクトルを選択してスイッチ67に出力する。
 以上で明らかなように、この実施の形態2によれば、ダイレクトベクトルA又はダイレクトベクトルBを選択して、動き補償予測画像を生成するようにしているので、画面端付近での予測効率が向上する可能性を高めることができる効果を奏する。
 なお、上記のベクトル情報を符号化する単位については、各種符号化単位(符号化対象ブロック毎、スライス(符号化対象ブロックの集合)単位、ピクチャ単位、シーケンス(ピクチャの集合)単位)が考えられるのは言うまでもない。ベクトル情報を上記の各種符号化単位の1パラメータとして符号化し、ビットストリーム上に符号化することで、動画像復号装置2に対して、動画像符号化装置1が意図するダイレクトベクトルの選択結果を伝えることができる。
実施の形態3.
 上記実施の形態1,2の動画像符号化装置1におけるダイレクトベクトル判定部34では、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外するものについて示したが、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、ダイレクトベクトル判定部34が、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該画面に隣接している許容範囲領域の外部領域を含むか否かを判定し、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含まなければ、そのダイレクトベクトルを加算平均対象のベクトルから除外せず、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含めば、そのダイレクトベクトルを加算平均対象のベクトルから除外するようにしてもよい。
 図17はダイレクトベクトル判定部34の処理内容を示す説明図である。
 以下、ダイレクトベクトル判定部34の処理内容を具体的に説明する。
 ダイレクトベクトル判定部34には、予め、図17に示すような許容範囲領域(画面に隣接している領域)が設定されている。
 ダイレクトベクトル判定部34は、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含むか否かを判定する。
 ダイレクトベクトル判定部34は、図17(b)に示すように、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含まなければ(ダイレクトベクトルが指し示す画素位置が許容範囲領域内であれば)、そのダイレクトベクトルを加算平均対象のベクトルから除外せずに、そのダイレクトベクトルを動き予測部27(または72)に出力する。
 ダイレクトベクトル判定部34は、図17(c)に示すように、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含めば(ダイレクトベクトルが指し示す画素位置が許容範囲領域外であれば)、そのダイレクトベクトルを加算平均対象のベクトルから除外する。
 上記実施の形態1,2の動画像復号装置2におけるダイレクトベクトル判定部66では、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外するものについて示したが、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、ダイレクトベクトル判定部66が、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該画面に隣接している許容範囲領域の外部領域を含むか否かを判定し、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含まなければ、そのダイレクトベクトルを加算平均対象のベクトルから除外せず、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含めば、そのダイレクトベクトルを加算平均対象のベクトルから除外するようにしてもよい。
 以下、ダイレクトベクトル判定部66の処理内容を具体的に説明する。
 ダイレクトベクトル判定部66には、予め、動画像符号化装置1のダイレクトベクトル判定部34と同一の許容範囲領域が設定されている。
 ダイレクトベクトル判定部66は、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含むか否かを判定する。
 ダイレクトベクトル判定部66は、図17(b)に示すように、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含まなければ(ダイレクトベクトルが指し示す画素位置が許容範囲領域内であれば)、そのダイレクトベクトルを加算平均対象のベクトルから除外せずに、そのダイレクトベクトルをスイッチ67(または81)に出力する。
 ダイレクトベクトル判定部66は、図17(c)に示すように、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含めば(ダイレクトベクトルが指し示す画素位置が許容範囲領域外であれば)、そのダイレクトベクトルを加算平均対象のベクトルから除外する。
 以上で明らかなように、この実施の形態3によれば、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含まなければ、そのダイレクトベクトルを加算平均対象のベクトルから除外せず、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が許容範囲領域の外部領域を含めば、そのダイレクトベクトルを加算平均対象のベクトルから除外するように構成したので、画面端付近での予測効率が向上する可能性を高めることができる効果を奏する。
 この実施の形態3では、動画像符号化装置1のダイレクトベクトル判定部34と、動画像復号装置2のダイレクトベクトル判定部66とが、予め、同一の許容範囲領域を設定されているものについて示したが、動画像符号化装置1のダイレクトベクトル判定部34により設定された許容範囲領域を示す情報を符号化し、その符号化データをビットストリームに含めて動画像復号装置2に送信するようにしてもよい。
 これにより、動画像復号装置2のダイレクトベクトル判定部66では、動画像符号化装置1のダイレクトベクトル判定部34に設定されている許容範囲領域と同一の許容範囲領域を使用することが可能になる。
 なお、許容範囲領域を示す情報を符号化する単位については、各種符号化単位(符号化対象ブロック毎、スライス(符号化対象ブロックの集合)単位、ピクチャ単位、シーケンス(ピクチャの集合)単位)が考えられるのは言うまでもない。許容範囲領域を示す情報を上記の各種符号化単位のパラメータとして符号化し、ビットストリーム上に符号化することで、動画像復号装置2に対して、動画像符号化装置1が意図した許容範囲領域を伝えることができる。
実施の形態4.
 上記実施の形態1,2の動画像符号化装置1におけるダイレクトベクトル判定部34では、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外するものについて示したが、ダイレクトベクトル判定部34が動きベクトル修正手段を構成し、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルを動き予測部27(または72)に出力し、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後のダイレクトベクトルを動き予測部27(または72)に出力するようにしてもよい。
 図18はダイレクトベクトル判定部34の処理内容を示す説明図である。
 以下、ダイレクトベクトル判定部34の処理内容を具体的に説明する。
 ダイレクトベクトル判定部34は、ダイレクトベクトル算出部33により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含むか否かを判定する。
 ダイレクトベクトル判定部34は、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、上記実施の形態1,2と同様に、そのダイレクトベクトルを動き予測部27(または72)に出力する。
 ダイレクトベクトル判定部34は、図18(a)に示すように、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば(ダイレクトベクトルが画面外部を指している場合)、図18(b)(c)に示すように、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後のダイレクトベクトルを動き予測部27(または72)に出力する。
 なお、図18(b)は水平及び垂直の各成分を独立に画面内に修正している例を示し、図18(c)は水平及び垂直の各成分を、向きを保ちつつ画面内に修正している例を示している。
 上記実施の形態1,2の動画像復号装置2におけるダイレクトベクトル判定部66では、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合には、そのダイレクトベクトルを加算平均対象のベクトルから除外するものについて示したが、ダイレクトベクトル判定部66が動きベクトル修正手段を構成し、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、そのダイレクトベクトルをスイッチ67(または81)に出力し、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後のダイレクトベクトルをスイッチ67(または81)に出力するようにしてもよい。
 以下、ダイレクトベクトル判定部66の処理内容を具体的に説明する。
 ダイレクトベクトル判定部66は、ダイレクトベクトル算出部65により予測されたダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含むか否かを判定する。
 ダイレクトベクトル判定部66は、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、上記実施の形態1,2と同様に、そのダイレクトベクトルをスイッチ67(または81)に出力する。
 ダイレクトベクトル判定部66は、図18(a)に示すように、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば(ダイレクトベクトルが画面外部を指している場合)、図18(b)(c)に示すように、動画像符号化装置1におけるダイレクトベクトル判定部34の修正方式と同一の修正方式で、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後のダイレクトベクトルをスイッチ67(または81)に出力する。
 以上で明らかなように、この実施の形態4によれば、ダイレクトベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば、そのダイレクトベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正するように構成したので、画面端付近での予測効率が向上する可能性を高めることができる効果を奏する。
 この実施の形態4では、動画像符号化装置1のダイレクトベクトル判定部34と、動画像復号装置2のダイレクトベクトル判定部66とが、同一の修正方式で、ダイレクトベクトルを修正するものについて示したが、動画像符号化装置1のダイレクトベクトル判定部34が使用する修正方式を示す情報を符号化し、その符号化データをビットストリームに含めて動画像復号装置2に送信するようにしてもよい。
 これにより、動画像復号装置2のダイレクトベクトル判定部66では、動画像符号化装置1のダイレクトベクトル判定部34が使用する修正方式と同一の修正方式を使用することが可能になる。
 なお、上記のベクトルの修正方式を示す情報を符号化する単位については、各種符号化単位(符号化対象ブロック毎、スライス(符号化対象ブロックの集合)単位、ピクチャ単位、シーケンス(ピクチャの集合)単位)が考えられるのは言うまでもない。ベクトルの修正方式を示す情報を上記の各種符号化単位の1パラメータとして符号化し、ビットストリーム上に符号化することで動画像復号装置2に対して、動画像符号化装置1が意図したベクトルの修正方式を伝えることができる。
 この発明に係る動画像符号化装置及び動画像復号装置は、圧縮率の低下を招くことなく、画面端のマクロブロックにおける画質の劣化を防止することができるため、ディジタルの映像信号である動画像データを圧縮符号化して、動画像圧縮符号化データを出力する動画像符号化装置と、動画像符号化装置から出力された動画像圧縮符号化データを復号処理して、ディジタルの映像信号を復元する動画像復号装置等に用いるのに適している。

Claims (12)

  1.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割して、各単位領域の動きベクトルを決定し、上記動きベクトルを用いて、上記映像信号の圧縮符号化を行う動画像符号化装置において、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化する符号化手段とを備えたことを特徴とする動画像符号化装置。
  2.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割して、各単位領域の動きベクトルを決定し、上記動きベクトルを用いて、上記映像信号の圧縮符号化を行う動画像符号化装置において、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトル又は上記動きベクトル予測手段により予測された1つ以上の動きベクトルを選択し、その選択した1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化するとともに、上記動き補償予測画像生成手段による動きベクトルの選択結果を示す情報を符号化し、上記情報の符号化データを上記差分画像の符号化データと多重化する符号化手段とを備えたことを特徴とする動画像符号化装置。
  3.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割して、各単位領域の動きベクトルを決定し、上記動きベクトルを用いて、上記映像信号の圧縮符号化を行う動画像符号化装置において、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該画面に隣接している許容範囲領域の外部領域を含むか否かを判定し、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含まなければ、当該動きベクトルを加算平均対象のベクトルから除外せず、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含めば、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化する符号化手段とを備えたことを特徴とする動画像符号化装置。
  4.  符号化手段は、動きベクトル選別手段の判定に用いられる許容範囲領域を示す情報を符号化し、上記情報の符号化データを差分画像の符号化データと多重化することを特徴とする請求項3記載の動画像符号化装置。
  5.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割して、各単位領域の動きベクトルを決定し、上記動きベクトルを用いて、上記映像信号の圧縮符号化を行う動画像符号化装置において、符号化対象のピクチャにおける符号化対象の単位領域の近傍に存在している符号化済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している符号化済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記符号化対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、上記動きベクトルを出力し、上記動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば、上記動きベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後の動きベクトルを出力する動きベクトル修正手段と、上記動きベクトル修正手段から出力された1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記動き補償予測画像生成手段により生成された動き補償予測画像と上記動画像の差分画像を求め、上記差分画像を符号化する符号化手段とを備えたことを特徴とする動画像符号化装置。
  6.  符号化手段は、動きベクトル修正手段による動きベクトルの修正方式を示す情報を符号化し、上記情報の符号化データを差分画像の符号化データと多重化することを特徴とする請求項5記載の動画像符号化装置。
  7.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割し、各単位領域の動きベクトルを用いて、圧縮符号化されている映像信号を復元する動画像復号装置において、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記映像信号の圧縮符号化データから予測残差信号を復号し、上記予測残差信号と上記動き補償予測画像生成手段により生成された動き補償予測画像を加算する復号手段とを備えたことを特徴とする動画像復号装置。
  8.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割し、各単位領域の動きベクトルを用いて、圧縮符号化されている映像信号を復元する動画像復号装置において、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記映像信号の圧縮符号化データと多重化されている動きベクトルの選択結果を示す情報の符号化データから動きベクトルの選択結果を認識し、その選択結果にしたがって上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトル又は上記動きベクトル予測手段により予測された1つ以上の動きベクトルを選択し、その選択した1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記映像信号の圧縮符号化データから予測残差信号を復号し、上記予測残差信号と上記動き補償予測画像生成手段により生成された動き補償予測画像を加算する復号手段とを備えたことを特徴とする動画像復号装置。
  9.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割し、各単位領域の動きベクトルを用いて、圧縮符号化されている映像信号を復元する動画像復号装置において、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含む場合、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該画面に隣接している許容範囲領域の外部領域を含むか否かを判定し、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含まなければ、当該動きベクトルを加算平均対象のベクトルから除外せず、上記動きベクトルが指し示す画素位置を基点とする単位領域が当該許容範囲領域の外部領域を含めば、当該動きベクトルを加算平均対象のベクトルから除外する動きベクトル選別手段と、上記動きベクトル選別手段により加算平均対象のベクトルから除外されずに残っている1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記映像信号の圧縮符号化データから予測残差信号を復号し、上記予測残差信号と上記動き補償予測画像生成手段から出力された動き補償予測画像を加算する復号手段とを備えたことを特徴とする動画像復号装置。
  10.  動きベクトル選別手段は、映像信号の圧縮符号化データと多重化されている許容範囲領域を示す情報の符号化データから上記許容範囲領域を認識して、上記許容範囲領域を判定に用いることを特徴とする請求項9記載の動画像復号装置。
  11.  動画像の映像信号を構成する複数のピクチャを所定の単位領域に分割し、各単位領域の動きベクトルを用いて、圧縮符号化されている映像信号を復元する動画像復号装置において、復号対象のピクチャにおける復号対象の単位領域の近傍に存在している復号済みの単位領域の動きベクトルや上記ピクチャと時間的に前後している復号済みのピクチャにおける上記単位領域と同一位置の単位領域の動きベクトルから、上記復号対象の単位領域の動きベクトルを1つ以上予測する動きベクトル予測手段と、上記動きベクトル予測手段により予測された動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含まなければ、上記動きベクトルを出力し、上記動きベクトルが指し示す画素位置を基点とする単位領域が画面外部の領域を含めば、上記動きベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正して、修正後の動きベクトルを出力する動きベクトル修正手段と、上記動きベクトル修正手段から出力された1つ以上の動きベクトルが指し示す画素位置を基点とする単位領域の画素値の加算平均を取ることで動き補償予測画像を生成する動き補償予測画像生成手段と、上記映像信号の圧縮符号化データから予測残差信号を復号し、上記予測残差信号と上記動き補償予測画像生成手段から出力された動き補償予測画像を加算する復号手段とを備えたことを特徴とする動画像復号装置。
  12.  動きベクトル修正手段は、映像信号の圧縮符号化データと多重化されている動きベクトルの修正方式を示す情報の符号化データから上記修正方式を認識し、上記修正方式にしたがって、動きベクトルが指し示す画素位置を基点とする単位領域を画面内の領域に修正することを特徴とする請求項11記載の動画像復号装置。
PCT/JP2009/005486 2008-11-07 2009-10-20 動画像符号化装置及び動画像復号装置 WO2010052838A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
US13/128,101 US20110211641A1 (en) 2008-11-07 2009-10-20 Image encoding device and image decoding device
BRPI0922119A BRPI0922119A2 (pt) 2008-11-07 2009-10-20 dispositivos de codificação e de decodificação de imagem que dividem uma pluralidade de imagens paradas que compõem um sinal de video
EP09824539A EP2346257A4 (en) 2008-11-07 2009-10-20 DEVICE FOR DYNAMIC IMAGE CODING AND DEVICE FOR DYNAMIC IMAGE DECODING
MX2011004849A MX2011004849A (es) 2008-11-07 2009-10-20 Dispositivo de codificacion de imagen y dispositivo de decodificacion de imagen.
CA 2742240 CA2742240A1 (en) 2008-11-07 2009-10-20 Image encoding device and image decoding device
RU2011122803/07A RU2011122803A (ru) 2008-11-07 2009-10-20 Устройство кодирования изображения и устройство декодирования изображения
JP2010536647A JP5213964B2 (ja) 2008-11-07 2009-10-20 動画像符号化装置及び動画像復号装置
CN2009801442158A CN102210150A (zh) 2008-11-07 2009-10-20 运动图像编码装置以及运动图像解码装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008286487 2008-11-07
JP2008-286487 2008-11-07

Publications (1)

Publication Number Publication Date
WO2010052838A1 true WO2010052838A1 (ja) 2010-05-14

Family

ID=42152651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/005486 WO2010052838A1 (ja) 2008-11-07 2009-10-20 動画像符号化装置及び動画像復号装置

Country Status (10)

Country Link
US (1) US20110211641A1 (ja)
EP (1) EP2346257A4 (ja)
JP (1) JP5213964B2 (ja)
KR (1) KR20110091748A (ja)
CN (1) CN102210150A (ja)
BR (1) BRPI0922119A2 (ja)
CA (1) CA2742240A1 (ja)
MX (1) MX2011004849A (ja)
RU (1) RU2011122803A (ja)
WO (1) WO2010052838A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086964A1 (ja) * 2010-01-18 2011-07-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2013088697A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化復号装置
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391829B1 (ko) * 2011-09-09 2014-05-07 주식회사 케이티 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
KR102349788B1 (ko) * 2015-01-13 2022-01-11 인텔렉추얼디스커버리 주식회사 영상의 부호화/복호화 방법 및 장치
WO2023171484A1 (en) * 2022-03-07 2023-09-14 Sharp Kabushiki Kaisha Systems and methods for handling out of boundary motion compensation predictors in video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059779A (ja) 1998-08-04 2000-02-25 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2006186979A (ja) * 2004-11-30 2006-07-13 Matsushita Electric Ind Co Ltd 動画像変換装置
JP2007097063A (ja) * 2005-09-30 2007-04-12 Fujitsu Ltd 動画像符号化プログラム、動画像符号化方法および動画像符号化装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983018B1 (en) * 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
JP2001251632A (ja) * 1999-12-27 2001-09-14 Toshiba Corp 動きベクトル検出方法および装置並びに動きベクトル検出プログラム
US7440500B2 (en) * 2003-07-15 2008-10-21 Lsi Logic Corporation Supporting motion vectors outside picture boundaries in motion estimation process
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7933335B2 (en) * 2004-11-30 2011-04-26 Panasonic Corporation Moving picture conversion apparatus
JP2007067731A (ja) * 2005-08-30 2007-03-15 Sanyo Electric Co Ltd 符号化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059779A (ja) 1998-08-04 2000-02-25 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP2006186979A (ja) * 2004-11-30 2006-07-13 Matsushita Electric Ind Co Ltd 動画像変換装置
JP2007097063A (ja) * 2005-09-30 2007-04-12 Fujitsu Ltd 動画像符号化プログラム、動画像符号化方法および動画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"ISO/IEC 14496-10", 1 October 2004, pages: 118 - 125, XP008137094 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011086964A1 (ja) * 2010-01-18 2011-07-21 ソニー株式会社 画像処理装置および方法、並びにプログラム
WO2013088697A1 (ja) * 2011-12-16 2013-06-20 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化復号装置
JP5364219B1 (ja) * 2011-12-16 2013-12-11 パナソニック株式会社 動画像符号化方法、および動画像符号化装置
US8867620B2 (en) 2011-12-16 2014-10-21 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US8885722B2 (en) 2011-12-16 2014-11-11 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US8917773B2 (en) 2011-12-16 2014-12-23 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US9094682B2 (en) 2011-12-16 2015-07-28 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10321133B2 (en) 2011-12-16 2019-06-11 Velos Media, Llc Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US10757418B2 (en) 2011-12-16 2020-08-25 Velos Media, Llc Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11356669B2 (en) 2011-12-16 2022-06-07 Velos Media, Llc Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11711521B2 (en) 2011-12-16 2023-07-25 Sun Patent Trust Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus, and moving picture coding and decoding apparatus
WO2015059880A1 (ja) * 2013-10-22 2015-04-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 動き補償方法、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置

Also Published As

Publication number Publication date
US20110211641A1 (en) 2011-09-01
RU2011122803A (ru) 2012-12-20
CN102210150A (zh) 2011-10-05
JPWO2010052838A1 (ja) 2012-03-29
EP2346257A1 (en) 2011-07-20
KR20110091748A (ko) 2011-08-12
EP2346257A4 (en) 2012-04-25
MX2011004849A (es) 2011-05-30
CA2742240A1 (en) 2010-05-14
BRPI0922119A2 (pt) 2016-01-05
JP5213964B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
EP1455536B1 (en) Video coding apparatus and decoding apparatus
KR100850706B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
EP2637409B1 (en) Motion vector sign bit hiding
US20150010243A1 (en) Method for encoding/decoding high-resolution image and device for performing same
CN107181951B (zh) 视频解码设备以及视频解码方法
WO2010001614A1 (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
JP2004336369A (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム及び動画像復号化プログラム
JP2005184042A (ja) 画像復号装置及び画像復号方法並びに画像復号プログラム
JP5213964B2 (ja) 動画像符号化装置及び動画像復号装置
KR20120039675A (ko) 이미지 시퀀스를 나타내는 코딩된 데이터의 스트림을 디코딩하는 방법 및 이미지 시퀀스를 코딩하는 방법
US7502415B2 (en) Range reduction
JP2005203905A (ja) 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US11936885B2 (en) Decoding device, program, and decoding method
JP2008004984A (ja) 画像理装置および方法、プログラム、並びに記録媒体
KR20040079084A (ko) 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치
JP2006279272A (ja) 動画像符号化装置およびその符号化制御方法
JP2005532716A (ja) 動画像符号化装置及び方法
KR20210099125A (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치, 화상 복호 방법, 및 컴퓨터 프로그램
RU2808075C1 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
KR100924779B1 (ko) 적응적 동영상 부호화 및 복호화 방법과 그 장치
JP2011166357A (ja) 画像符号化装置
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치
JP2020109959A (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2010011185A (ja) 動画像復号装置及び動画像復号方法
JP2006270181A (ja) 動き補償型時間方向フィルタ処理における残差成分の復号化および格納方法ならびに装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980144215.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09824539

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010536647

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2742240

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 13128101

Country of ref document: US

Ref document number: 2009824539

Country of ref document: EP

Ref document number: MX/A/2011/004849

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 3451/CHENP/2011

Country of ref document: IN

ENP Entry into the national phase

Ref document number: 20117012794

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011122803

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0922119

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110506