WO2007043613A1 - 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム - Google Patents

動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム Download PDF

Info

Publication number
WO2007043613A1
WO2007043613A1 PCT/JP2006/320384 JP2006320384W WO2007043613A1 WO 2007043613 A1 WO2007043613 A1 WO 2007043613A1 JP 2006320384 W JP2006320384 W JP 2006320384W WO 2007043613 A1 WO2007043613 A1 WO 2007043613A1
Authority
WO
WIPO (PCT)
Prior art keywords
reference image
image
information
unit
accompanying information
Prior art date
Application number
PCT/JP2006/320384
Other languages
English (en)
French (fr)
Inventor
Sadaatsu Kato
Choong Seng Boon
Tsutomu Horikoshi
Thiow Keng Tan
Original Assignee
Ntt Docomo, Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ntt Docomo, Inc. filed Critical Ntt Docomo, Inc.
Priority to CN200680037923.8A priority Critical patent/CN101288314B/zh
Priority to US12/090,154 priority patent/US8073266B2/en
Priority to EP06811680A priority patent/EP1950974A4/en
Publication of WO2007043613A1 publication Critical patent/WO2007043613A1/ja
Priority to US13/279,861 priority patent/US8351717B2/en
Priority to US13/668,895 priority patent/US20130064457A1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • Moving picture encoding apparatus moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding key program, and moving picture decoding program
  • the present invention relates to a moving image encoding device, a moving image decoding device, a moving image encoding method, a moving image decoding method, a moving image encoding program, and a moving image decoding program.
  • the input image is inverted symmetrically in the vertical direction, the horizontal direction, or the vertical and horizontal directions for each frame.
  • a moving image inversion coding apparatus that performs coding after that. This generally has non-uniform characteristics within the input image force S frame, so when performing predictive coding in which the upper left force is also direction-dependent to the lower right in raster scan order, the prediction efficiency is high! This is because it is possible to improve the code efficiency by inverting the image in the ⁇ direction.
  • Non-Patent Document 1 selects and inverts an input image from among four types: non-inversion, up-down inversion, left-right inversion, and up-down left-right inversion.
  • Fig. 1 (a) shows the input image
  • Fig. 1 (b) shows the input image without inversion
  • Fig. 1 (c) shows the input image upside down
  • Fig. 1 (d) shows it.
  • Fig. 1 (e) shows the input image inverted in the horizontal direction
  • Fig. 1 (e) shows the input image inverted in the vertical and horizontal directions.
  • the encoding device sets a reference image that is a locally decoded image of a previously encoded image in the same direction as the input image. Inversion is performed, and a prediction signal of the inverted input image to be encoded is generated using the inverted reference image and encoded.
  • the encoded compressed data is output together with an identifier indicating the reverse direction of the input image.
  • the encoded compressed data is locally decoded, inverted in the direction opposite to the direction of the input image, corrected in the same direction as the input image, and stored as a reference image for the next and subsequent frames.
  • Figure 1 (f) shows an image obtained by inverting the image without inversion of the input image (Fig.
  • FIG. 1 (b) shows an image obtained by inverting the input image vertically (Fig. 1 (c)).
  • Fig. 1 (h) shows an image obtained by inverting the input image in the horizontal direction (Fig. 1 (d)) in the reverse direction.
  • Figure l (i) shows an image obtained by inverting the input image vertically and horizontally ( Figure 1 (e)) in the reverse direction.
  • Non-Patent Document 1 is suitable for decoding of interlaced prediction in the inter prediction method.
  • An identifier indicating the reversal direction is taken out, the reversal direction is determined, and a reference image that is a past decoded image is reversed in the same direction as the reversal direction of the input image.
  • the decoding device decodes the inverted image using the compressed data extracted from the code camera transmitted from the encoding device camera and the inverted reference image, and then inputs the inverted image.
  • the image is reversed in the reverse direction of the image and corrected in the same direction as the input image to obtain a decoded image, and the decoded image is stored as a reference image for the next frame and thereafter.
  • Non-Patent Document 1 Murakami et al., “Extended coding method using direction dependency in H.264 / AVC Baseline Profile”, 2005 IEICE General Conference
  • the encoding device and the decoding device in the prior art invert the reference image in the same direction as the inversion direction of the input image in order to generate a prediction signal. For this reason, the prior art has the following problems. That is, when information associated with the reference image is required for generating the prediction signal, the information associated with the reference image does not correspond to the reference image that is inverted, and thus a correct prediction signal cannot be generated. Further, the coding apparatus and the decoding apparatus in the prior art cannot change the inversion direction for each slice or block obtained by further dividing the frame image into force for changing the inversion direction for each frame image.
  • the present invention has been made to solve the above-described problem, and a moving image encoding device and a moving image that encode image information more efficiently by generating an accurate prediction signal.
  • Coding method, moving picture coding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program for more efficiently decoding coded picture information The purpose is to provide gram.
  • the moving image encoding apparatus of the present invention stores input means for inputting an input image to be encoded, reference image storage means for storing a reference image, and reference image accompanying information accompanying the reference image.
  • an input unit inputs an input image to be encoded
  • a reference image storage unit stores a reference image
  • a reference image storage step stores the reference image accompanying information accumulating step for accumulating the reference image accompanying information accompanying the reference image
  • the encoding unit changes the reference image and the reference image accompanying information according to the input image.
  • the moving image encoding program of the present invention is a computer that uses an input unit to input an input image to be encoded, a reference image storage unit to store a reference image, and a reference image associated with the reference image.
  • Reference image accompanying information storage means for storing accompanying information
  • encoding means for changing the reference image and the reference image accompanying information according to the input image, generating a prediction signal of the input image, and encoding the input image
  • the compressed data encoded by the encoding means is combined with change method information indicating a reference image change method to function as output means for outputting as encoded data.
  • the reference image accumulating unit accumulates the reference image
  • the reference image incidental information accumulation unit accumulates the reference image incidental information. Therefore, information corresponding to the input image to be encoded is stored. Can be accumulated.
  • the encoding unit changes the reference image and the reference image accompanying information according to the input image, and the encoding unit generates a prediction signal. It is possible to change the image so that it can be easily encoded and generate a prediction signal corresponding to the changed input image. Therefore, the encoding means can generate the prediction signal more accurately by using the reference image and the reference image accompanying information, and the input image can be encoded more efficiently.
  • the moving image encoding apparatus of the present invention stores input means for inputting an input image to be encoded, reference image storage means for storing a reference image, and reference image accompanying information associated with the reference image.
  • Reference image accompanying information storage means an image changing means for changing the input image and the reference image, a reference image accompanying information changing means for changing the reference image accompanying information according to the input image and the reference image, and the changed reference Encoding means for generating a prediction signal of the input image using the image and the changed reference image accompanying information and encoding the input image; and the compressed data encoded by the encoding means as the reference image Output means for outputting the data together with the change method information indicating the change method information.
  • the input unit inputs an input image to be encoded
  • the reference image storage unit stores a reference image
  • the reference image storage step stores the reference image.
  • a reference image-accompanying information storage unit stores a reference image-accompanying information storage step that stores reference image-accompanying information that accompanies a reference image;
  • an image change unit changes an input image and a reference image;
  • the information changing means changes the reference image accompanying information in accordance with the input image and the reference image, and the encoding means includes the changed reference image and the changed reference image accompanying information.
  • the reference image accumulating unit accumulates the reference image
  • the reference image accompanying information accumulating unit accumulates the reference image accompanying information. Therefore, information corresponding to the input image to be encoded is stored. Can be accumulated.
  • the image changing means changes the input image and the reference image
  • the reference image accompanying information changing means changes the reference image accompanying information in combination with the input image and the reference image
  • the encoding means is changed. Since the prediction signal of the input image is generated using the image and the modified reference image accompanying information, it is easy to encode the input image. And a prediction signal corresponding to the changed input image can be generated. Therefore, the encoding means can generate the prediction signal more accurately by using the reference image and the reference image accompanying information. Therefore, the input image can be more efficiently encoded.
  • the moving picture encoding apparatus of the present invention includes an image reverse changing unit that reversely changes a locally decoded image that has been locally decoded by the encoding unit, and a local decoding signal that is output from the encoding unit.
  • a reference image accompanying information reverse changing unit that reversely changes information attached to the image
  • the reference image accumulating unit stores the information reversely changed by the image reverse changing unit as a reference image
  • the reference image accompanying information accumulating unit includes: It is also preferable to store the information reversely changed by the reference image accompanying information reverse changing means as reference image accompanying information.
  • the image reverse conversion means reversely changes the local decoded image that has been locally decoded by the encoding means, and the reference image accompanying information reverse
  • a changing means further comprising: a reference image accompanying information reverse changing step for reversely changing information attached to the locally decoded image output from the encoding means; and a reference image accumulating step, wherein the image reverse changing is performed.
  • the reversely changed information is accumulated as a reference image
  • the reference image accompanying information accumulating step the reversely changed information is accumulated as reference image accompanying information in the reference image accompanying information reverse changing step.
  • the reference image accompanying information of the video encoding device of the present invention is a motion vector of the reference image.
  • the reference image accompanying information in the moving image encoding method of the present invention is a motion vector of a reference image! /.
  • the moving picture decoding apparatus of the present invention includes a separating unit that separates input code data into compressed data and change method information, a reference image storage unit that stores a reference image, and a reference image.
  • the reference image accompanying information storage means for storing the reference image accompanying information accompanying the image, and the change method information is used to change the reference image and the reference image accompanying information, generate a prediction signal of the decoded image, and Decoding means for performing decoding.
  • the separation means compresses the input encoded data.
  • the reference image accompanying information accumulation step and the decoding means change the reference image and the reference image accompanying information using the change method information, generate a prediction signal of the decoded image, and decode the decoded image A decoding step.
  • a moving image decoding program of the present invention includes a computer that separates input encoded data into compressed data and change method information, reference image storage means for storing a reference image, and reference image.
  • the reference image associated information for accumulating the reference image associated information associated with the information is stored, and the reference image and the reference image associated information are changed using the change method information to generate a prediction signal of the decoded image, and the decoded image is decoded. It functions as a decoding means for performing the conversion.
  • the reference image accumulating unit accumulates the reference image
  • the reference image incidental information accumulation unit accumulates the reference image incidental information associated with the reference image. Can be stored.
  • the encoded data input by the separating unit is separated into compressed data and change method information, and the decoding unit uses the change method information to change the reference image and the reference image accompanying information to predict the decoded image. Since the signal is generated, the reference image and the reference image accompanying information can be changed corresponding to the compressed data, and a prediction signal corresponding to the compressed data can be generated. Therefore, the decoding unit can generate the prediction signal more accurately using the reference image and the reference image accompanying information, and can decode the compressed data more efficiently.
  • the moving picture decoding apparatus includes a separation unit that separates input encoded data into compressed data and change method information, a reference image storage unit that stores a reference image, and a reference image that accompanies the reference image.
  • Reference image accompanying information storage means for storing reference image accompanying information
  • image changing means for changing the reference image according to the changing method information
  • reference image accompanying information changing means for changing the reference image accompanying information according to the changing method information
  • a decoding unit that generates a prediction signal of the decoded image using the changed reference image and the changed reference image accompanying information, and decodes the decoded image.
  • the separating means compresses the input encoded data.
  • the reference image accumulating unit accumulates the reference image
  • the reference image accompaniment information accumulating unit accumulates the reference image incidental information associated with the reference image.
  • the separating means separates the input code data into compressed data and changing method information
  • the image changing means changes the reference image according to the changing method information
  • the reference image accompanying information changing means changes the reference image accompanying information. Since the prediction signal of the decoded image is generated using the reference image that has been changed according to the change method information and the decoding means has been changed and the changed reference image accompanying information, the reference image and the reference corresponding to the compressed data The image accompanying information can be changed and a prediction signal corresponding to the compressed data can be generated. Therefore, the decoding unit can generate the prediction signal more accurately using the reference image and the reference image accompanying information. Therefore, it is possible to decode the compressed data more efficiently.
  • the moving image encoding apparatus of the present invention is accompanied by an image reverse changing means for reversely changing a decoded image decoded by the decoding means, and a decoded image output from the decoding means.
  • a reference image accompanying information reverse changing means for reversely changing information wherein the reference image accumulating means accumulates the information reversely changed by the image reverse changing means as a reference image, and the reference image accompanying information accumulating means is associated with the reference image. It is also preferable to store information reversely changed by the information reverse change means as additional information with reference images.
  • the moving picture decoding method includes an image reverse changing step in which the image reverse changing means reversely changes the decoded image decoded in the decoding step, and a reference image accompanying information reverse changing means.
  • the information accompanying the decoded image decoded in the decoding step is inversely changed.
  • a reference image accompanying information reverse changing step wherein the reference image accumulating step stores the reversely changed information as a reference image and stores the reference image accompanying information accumulating.
  • V it is also preferable to store the reversely changed information as reference image accompanying information.
  • the reference image accompanying information of the moving image decoding apparatus of the present invention is a motion vector of the reference image.
  • the reference image accompanying information in the moving image decoding method of the present invention is a motion vector of the reference image! /.
  • Image information can be encoded and decoded more efficiently by generating an accurate prediction signal.
  • FIG. 1 is a diagram for explaining an input image processing method in a conventional encoding device.
  • FIG. 2 is a configuration diagram of a moving image encoding apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a configuration diagram of a code key unit included in the video code key device according to the first embodiment of the present invention.
  • FIG. 4 shows a modification of the code key unit included in the video code key device according to the first embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a processing method of reference image-accompanying information according to the first embodiment of the present invention.
  • FIG. 6 is a diagram for explaining the inverted local decoding image associated information according to the first embodiment of the present invention.
  • FIG. 7 is a flowchart showing a video encoding method according to the first embodiment of the present invention.
  • FIG. 8 is a configuration diagram of a video decoding apparatus according to the first embodiment of the present invention.
  • FIG. 9 is a configuration diagram of a decoding key unit included in the video decoding key device according to the first embodiment of the present invention.
  • FIG. 10 is a flowchart showing a video decoding method according to the first embodiment of the present invention.
  • Fig. 11 is a configuration diagram of a moving image encoding apparatus according to the second embodiment of the present invention.
  • FIG. 12 is a flowchart showing a moving image encoding method according to the second embodiment of the present invention.
  • FIG. 13 is a block diagram of a video decoding device according to a second embodiment of the present invention.
  • FIG. 14 is a flowchart showing a video decoding method according to the second embodiment of the present invention.
  • FIG. 15 is a configuration diagram of a moving image encoding device according to a first modification of the second embodiment of the present invention.
  • FIG. 16 is a flowchart showing a video encoding method according to a first modification of the second embodiment of the present invention.
  • FIG. 17 is a configuration diagram of a video decoding device according to a first modification of the second embodiment of the present invention.
  • FIG. 18 is a flowchart showing a video decoding method according to a first modification of the second embodiment of the present invention.
  • FIG. 19 is a diagram for explaining a case where an input image is inverted in slice units having a plurality of rows of block group forces according to the first embodiment of the present invention.
  • FIG. 20 is a diagram for explaining a case where an input image is inverted in units of slices that also have an arbitrarily-shaped block group force according to the first embodiment of the present invention.
  • FIG. 21 is a flowchart showing a method for creating inverted reference image-accompanying information.
  • FIG. 22 is a flowchart showing a method for creating image-accompanying information.
  • 20... Moving image encoding device 70... Moving image decoding device, 201... Input unit, 202 ... reference image storage unit, 203 ... reference image associated information storage unit, 204 ... image inversion unit, 205: Reference image accompanying information inversion unit, 206 ... Encoding unit, 207 ... Image reverse inversion unit, 208 ... Reference image accompanying information Report reverse inversion unit, 209 ⁇ Output unit, 210 ... Video signal, 211 ... Input image, 212 ... Reference image, 213 ... Inverted input image, 214 ... Inverted reference image, 215 ... Inverted direction information, 216 ... See Reference image accompanying information, 217 ... Inverted reference image accompanying information, 218 ... Compressed data, 219 ...
  • Inverted locally decoded image 220 ... Inverted locally decoded image accompanying information, 221 ... Locally decoded image, 222 ... Locally decoded image Accompanying information, 223 ... Encoded data, 701 ⁇ Separation unit, 702 ⁇ Reference image storage unit, 703 ⁇ Reference image accompanying information storage unit, 704 ⁇ Image inversion unit, 705 ⁇ Reference image Information inversion unit, 706 ... Decoding unit, 707 ... Image reverse inversion unit, 708 ... Reference information with optional information reverse inversion unit, 709 ... Encoded data, 710 ... Compression data, 711 ... Inversion direction information, 712 ... Reference image, 713 ... Inverted reference image, 714 ... Reference image associated information, 715 ... Inverted reference image associated information, 716 ... Inverted decoded image, 717... Inverted decoded image accompanying information, 718... Decoded image, 719.
  • the moving image coding apparatus 20 includes an input unit 201 as a functional component.
  • Reference image storage section 202 reference image storage means
  • reference image accompanying information storage section 203 reference image accompanying information storage means
  • image inversion section 204 image changing means
  • reference Image accompanying information inverting unit 205 reference image accompanying information changing unit
  • encoding unit 206 encoding unit
  • image reverse inverting unit 207 image reverse changing unit
  • reference image accompanying information reverse inverting unit 2 08 Reference image accompanying information reverse changing means
  • output unit 209 output means
  • the input unit 201 separates the input moving image signal 210 into frame images, and sends the frame image as the input image 211 to the image inversion unit 204.
  • the reference image storage unit 202 is a part that stores a reference image that is a locally decoded image of a previously encoded image.
  • the reference image storage unit 202 inverts the reference image 212. Send to part 204.
  • the image inversion unit 204 inverts the input image 211 sent from the input unit 201 by selecting from among four types of non-inversion, up-down inversion, left-right inversion, up-down, left-right inversion, and inversion.
  • An input image 213 is created and sent to the sign key unit 206.
  • the image inversion unit 204 inverts the reference image 212 sent from the reference image accumulation unit 202 in the same direction as the inversion direction of the input image 211 to create an inverted reference image 214 and sends it to the encoding unit 206. .
  • the image inversion unit 204 includes the inversion direction information 215 indicating the inversion direction of the input image 211, the reference image incidental information inversion unit 205, the image reverse inversion unit 207, the reference image incidental information reverse inversion unit 208, and the output unit. Send to 209.
  • the reference image-associated information storage unit 203 is a portion that accumulates reference image-associated information, which is information associated with a reference image that is a locally decoded image of a previously encoded image.
  • the reference image accompanying information storage unit 203 sends the reference image accompanying information 216 to the reference image accompanying information inverting unit 205.
  • the reference image accompanying information reversing unit 205 uses the reversal direction information 215 sent from the image reversing unit 204, and converts the reference image accompanying information 216 sent from the reference image accompanying information accumulating unit 203 into the input image. Inversion is performed in accordance with the same direction as the inversion direction, inversion reference image accompanying information 217 is generated, and is sent to the sign key unit 206.
  • the encoding unit 206 uses the inverted reference image 214 sent from the image inverting unit 204 and the inverted reference image accompanying information 217 sent from the reference image accompanying information inverting unit 205, from the image inverting unit 204. A prediction signal of the sent inverted input image 213 is generated, and the inverted input image is encoded.
  • the encoding unit 206 sends compressed data 218 obtained by encoding the inverted input image to the output unit 209. Also, the encoding unit 206 sends the inverted local decoded image 219 that has been inverted and locally decoded to the image reverse inversion unit 207. Further, the encoding unit 206 sends the inverted local decoded image accompanying information 220 to the reference image accompanying information reverse inverting unit 208.
  • the image reverse inversion unit 207 uses the inversion direction information 215 sent from the image inversion unit 204 to convert the inverted local decoded image 219 sent from the encoding unit 206 in the direction opposite to the inversion direction of the input image. And locally decoded image 221 is generated and sent to reference image storage section 202 for use as a reference image in subsequent frames.
  • the reference image accompanying information reverse inversion unit 208 receives the inversion direction information sent from the image inversion unit 204. 215 is used to invert the locally decoded image accompanying information 220 sent from the encoding unit 206 in the opposite direction to the inversion direction of the input image to generate locally decoded image accompanying information 222, and the subsequent frames Is sent to the reference image accompanying information storage unit 203 for use as reference image accompanying information.
  • the output unit 209 combines the inversion direction information 215 sent from the image inversion unit 204 and the compressed data 218 sent from the encoding unit 206 and transmits them as encoded data 223 to the outside.
  • the inversion direction information 215 is 2-bit information for each frame, such as “00” for no inversion, “01” for up / down inversion, “10” for left / right inversion, and “11” for up / down / left / right inversion.
  • any method for indicating the inversion direction other than the above can be used.
  • An example of the reference image accompanying information 216 is a motion vector used when generating a reference image.
  • the reference image accompanying information storage unit 203 stores the motion vector used when generating the reference image.
  • the reference image accompanying information reversing unit 205 uses the reversal direction information 215 sent from the image reversing unit 204, and the motion vector sent from the reference image accompanying information accumulating unit 203 is the same as the reversing direction of the input image.
  • the inverted reference image accompanying information 217 is generated by inverting according to the direction.
  • the reference image accompanying information inverting unit 205 does not invert the inverting direction information 215.
  • Inverted motion vector is (MVlx, MVly) as inverted reference image accompanying information
  • inverted direction information 215 is upside down
  • the inverted motion vector is (MVlx, -MVly) as inverted reference image accompanying information
  • the reversal direction information 215 is reversed in the left-right direction
  • the reversal motion vector is set as (-MVlx, MVly) as the reversal reference image accompanying information. Is generated as (-MVlx, -MVly).
  • the position of the motion vector in the frame is also inverted according to the inversion direction, like the positions of the pixels of the input image and the reference image.
  • FIG. 5 (a) shows a motion vector used when generating the reference image.
  • Figure 5 (b) shows the reversal motion vector without reversal. That is, Fig. 5 (b) is a motion vector in the same direction as Fig. 5 (a).
  • Figure 5 (c) shows the reversal motion vector in the case of vertical reversal.
  • Fig. 5 (d) Indicates a reversal motion vector in the case of left-right reversal.
  • Figure 5 (e) shows the reversal motion vector in the case of reversal in the vertical and horizontal directions.
  • the reference image accompanying information reverse inversion unit 208 uses the reverse direction information 215 sent from the image reverse unit 204 to convert the reverse motion vector sent from the encoding unit 206 in the direction opposite to the reverse direction of the input image.
  • the local decoding key image accompanying information 222 is generated by inverting. Specifically, the reference image accompanying information reverse inversion unit 208 performs local processing when the inversion direction information 215 is not inverted when the inversion motion vector sent from the sign unit 206 is (MV2x, MV2y).
  • the motion vector is (MV2x, MV2y) as the decoding key image accompanying information.
  • the motion vector is (-MV2x, MV2y) as the local decoding key image accompanying information.
  • FIG. 5 (f) shows the motion vector obtained by reversing the reversal motion vector without reversal ( Figure 5 (b)) in the reverse direction. That is, FIG. 5 (f) is a motion vector in the same direction as FIGS. 5 (a) and 5 (b).
  • Figure 5 (g) shows the motion vector inverted in the up-down direction (Fig. 5 (c)).
  • Figure 5 (h) shows the motion vector that is inverted in the opposite direction from the inverted motion vector inverted in the left-right direction ( Figure 5 (d)).
  • Figure 5 (i) shows the motion vector in which the inverted motion vector ( Figure 5 (e)) inverted in the vertical and horizontal directions is inverted in the reverse direction.
  • the reference image accompanying information is not limited to the motion vector described above, and any accompanying information used in generating the reference image can be used.
  • the H.264ZAVC encoding method (joint Video Team (JVT) of ISO / IEC MPEG and ITU—VCEG, “Editor's Prop osed Draft Text Modifications for Joint Video Specification (see ITU-T Rec. H.264
  • JVT Joint Video Team
  • Geneva modifications draft 37 Geneva modifications draft 37.
  • any other encoding method that generates the prediction signal of the input image from the reference image and the information accompanying the reference image and performs the encoding operation is applied. be able to.
  • the sign key unit 206 will be described in more detail with reference to FIG.
  • the code unit 206 includes, as functional components, a block division unit 301, a prediction signal generation unit 302, a subtractor 303, a conversion unit 304, a quantization unit 305, an entropy code It comprises a collar 306, an inverse quantization unit 307, an inverse transform unit 308, and an adder 309.
  • the block dividing unit 301 divides the inverted input image 213 into blocks of units for encoding processing, generates an inverted input image block 310, and sends it to the subtractor 303.
  • the prediction signal generation unit 302 generates the prediction signal 311 of the block to be encoded using the inverted reference image 214 and the inverted reference image accompanying information 217, and sends the prediction signal 311 to the subtracter 303 and the adder 309. Also, the predicted signal generation unit 302 sends the encoded information 312 used for generating the predicted signal to the entry port code unit 306. Furthermore, the prediction signal generation unit 302 outputs the inverted local decoded image accompanying information 220 determined by the generation of the prediction signal.
  • the subtractor 303 subtracts the prediction signal 311 sent from the prediction signal generation unit 302 from the inverted input image block 310 sent from the block division unit 301 to generate a residual signal 313, and a conversion unit 304 Send to.
  • Transform section 304 performs orthogonal transform on residual signal 313 sent from subtractor 303 to generate orthogonal transform coefficient 314 and sends it to quantization section 305.
  • the quantization unit 305 quantizes the orthogonal transform coefficient 314 sent from the transform unit 304, thereby generating a quantized orthogonal transform coefficient 315.
  • the entropy code key unit 306 combines the code key information 312 sent from the prediction signal generation unit 302 and the quantized orthogonal transform coefficient 315 sent from the quantization unit 305 into an entropy code, and compresses it. Data 218 is generated and output.
  • the inverse quantization unit 307 dequantizes the quantized orthogonal transform coefficient 315 sent from the quantization unit 305 to generate a local decoding / orthogonal transform coefficient 316, and sends it to the inverse transform unit 308.
  • the inverse transform unit 308 generates a local decoded residual signal 317 by performing inverse orthogonal transform on the local decoded orthogonal transform coefficient 316 sent from the inverse quantization unit 307, and sends it to the adder 309.
  • Adder 309 adds prediction signal 311 sent from prediction signal generating section 302 and local decoded residual signal 317 sent from inverse transform section 308 to generate inverted local decoded image 219 And output.
  • the prediction signal generation unit 302 uses the inverted reference image 214 and the inverted motion vector that is the inverted reference image accompanying information 217, as in the B picture temporal direct mode prediction method in the H.264ZAVC code method. Then, a prediction signal of the coding block is generated. Further, the prediction signal generation unit 302 may use any other method for generating a reference image and a motion vector force associated with the reference image to generate a prediction signal of the input image.
  • the sign key unit 206 may be a device as shown in FIG.
  • FIG. 3 The difference between FIG. 3 and FIG. 4 is that, in FIG. 3, the prediction signal generation unit 302 generates a prediction signal using the inverted reference image 214 and the inverted reference image associated information 217, whereas FIG. Is that the prediction signal generation unit 302 generates a prediction signal using the inverted reference image 214, the inverted reference image accompanying information 217, and the inverted input image block 310 sent from the block dividing unit 301. Everything else is the same.
  • a prediction signal of the encoding target block is generated from the inverted input image block 310 and the inverted reference image 214 using the inverted motion vector as the inverted reference image accompanying information 217.
  • the method is as follows. That is, as shown in FIG. 6, the prediction signal generation unit 302 refers to the inverted motion vector at the same position as the block to be encoded, and uses the point indicated by the inverted motion vector on the inverted reference image as the search center. Invert Searches the block having the signal pattern most similar to the input image block, and uses the signal pattern of that block as the prediction signal of the target block.
  • the prediction signal generation unit 302 calculates the displacement vector up to the block having the signal pattern that is most similar to the inverted input image block in terms of the positional force of the block to be encoded. Output as 220. Furthermore, a vector of displacement from the search center indicated by the inverted motion vector to the block having the signal pattern most similar to the inverted input image block is included in the encoded information 312 and encoded as a motion vector difference value. . Note that the prediction signal generation unit 302 may use any other method for generating a prediction signal of an input image using a reference image, a motion vector associated with the reference image, and the input image. [0067] Next, the operation of the moving picture coding apparatus 20 according to the present invention will be described with reference to FIG. The operation of the moving picture coding apparatus 20 according to the present invention can be executed by a program.
  • the moving image signal 210 input by the input unit 201 is separated into frame images (step S601).
  • the image reversing unit 204 selects the input image 211 sent from the input unit 201 from among four types: no reversal, vertical reversal, left-right reversal, vertical reversal reversal (step S602).
  • the inverted input image 213 is created (step S603).
  • the image inversion unit 204 inverts the reference image 212 sent from the reference image storage unit 202 in the same direction as the inversion direction of the input image 211 to create the inverted reference image 214 (step S604).
  • the image accompanying information inversion unit 205 uses the inversion direction information 215 sent from the image inversion unit 204 to invert the reference image accompanying information 216 in the same direction as the inversion direction of the input image, and inverts the reference image accompanying information. 217 is created (step S605).
  • the sign key unit 206 uses the inverted reference image 214 sent from the image inverting unit 204 and the inverted reference image accompanying information 217 sent from the reference image accompanying information inverting unit 205 to invert the image.
  • a prediction signal of the inverted input image 213 sent from the unit 204 is generated, and the inverted input image is encoded (step S606).
  • the image reverse inversion unit 207 uses the inversion direction information 215 sent from the image inversion unit 204 to convert the inverted local decoded image 219 sent from the encoding unit 206 into the inversion direction of the input image and Inverted in the reverse direction, a locally decoded image 221 is generated (step S607).
  • the reference image accompanying information reverse inverting unit 208 uses the reverse direction information 215 sent from the image inverting unit 204 and uses the inverted local decoded image accompanying information sent from the encoding unit 206 as the input image. Inverted in the direction opposite to the inversion direction to generate local decoding key image accompanying information 222 (step S608)
  • the output unit 209 combines the inversion direction information 215 sent from the image inversion unit 204 and the compressed data 218 sent from the encoding unit 206 (step S609), and outputs the encoded data 223 to the outside. Transmit (step S610).
  • a moving picture decoding apparatus 70 includes a separating unit 701 as its functional component.
  • Separation section 701 separates input encoded data 709 transmitted from the outside into compressed data 710 and inversion direction information 711.
  • the separation unit 701 sends the compressed data 710 to the decryption unit 706. Further, the separation unit 701 sends the inversion direction information 711 to the image inversion unit 704, the reference image accompanying information inversion unit 705, the image reverse inversion unit 707, and the reference image accompanying information reverse inversion unit 708.
  • the inversion direction information 711 includes 2-bit information for each frame, such as “00” for no inversion, “01” for up / down inversion, “10” for left / right inversion, and “11” for up / down / left / right inversion. To do.
  • any method for indicating the inversion direction can be used for the inversion direction.
  • the reference image storage unit 702 is a part that stores a reference image that is a past decoded image.
  • the reference image storage unit 702 sends the reference image 712 to the image inversion unit 704.
  • the image inversion unit 704 uses the inversion direction information 711 sent from the separation unit 701 to invert the reference image 712 sent from the reference image storage unit 702 to generate an inverted reference image 713, and Send to No. ⁇ ⁇ 706.
  • the reference image accompanying information storage unit 703 is a part that stores reference image accompanying information that is information accompanying a reference image that is a past decoded image.
  • the reference image accompanying information accumulating unit 703 sends the reference image accompanying information 714 to the reference image accompanying information inverting unit 705.
  • the reference image accompanying information reversing unit 705 reverses the reference image accompanying information 714 sent from the reference image accompanying information accumulating unit 703 by reversing the V for the reversal direction information 711 sent from the separating unit 701.
  • the image accompanying information 715 is created and sent to the decoding key unit 706.
  • the decoding unit 706 includes the compressed data 710 sent from the separation unit 701, the inverted reference image 713 sent from the image inversion unit 704, and the inversion reference sent from the reference image accompanying information inversion unit 705. Using the image-accompanying information 715, a prediction signal of the decoded key image is generated, and the decoded image that is the inverted decoding target is decoded.
  • the decoding unit 706 sends the inverted decoded image 716 that has been inverted and decoded to the image reverse inversion unit 707. Further, the decoding unit 706 sends the inverted decoded image accompanying information 717 to the reference image accompanying information reverse inverting unit 708.
  • the image reverse inversion unit 707 uses the reverse direction information 711 sent from the separation unit 701 to convert the reverse decoded image 716 sent from the decoding unit 706 to the reverse direction of the reverse direction information 711. Inverted to generate a decoded image 718, which is sent to the reference image storage unit 702 to be used as a reference image in subsequent frames.
  • the image reverse inversion unit 707 outputs the decoded image 718 to an external device (not shown) such as a moving image display device.
  • the reference image accompanying information reverse inversion unit 708 uses the inversion direction information 711 sent from the separation unit 701 to invert the inverted decoded image accompanying information 717 sent from the decoding unit 706 into the inversion direction information.
  • the decoded image accompanying information 719 is generated by inverting the direction opposite to the direction, and sent to the reference image accompanying information storage unit 703 to be used as the reference image accompanying information in the subsequent frames.
  • an example of the reference image-accompanying information is a moving screen used when generating the reference image.
  • the reference image accompanying information accumulation unit 703 accumulates the motion vector used when generating the reference image.
  • the reference image accompanying information reversing unit 705 uses the reversal direction information 711 sent from the separating unit 701 to convert the motion vector sent from the reference image accompanying information accumulating unit 703 into the same direction as the reversing direction of the reversing direction information. And invert reference image accompanying information 715 is generated.
  • the reference image accompanying information inversion unit 705 when the motion vector sent from the reference image accompanying information storage unit 703 is (MV3x, MV3y), the inversion direction information 711 has no inversion.
  • Inverted motion vector is (MV3x, MV3y) as inverted reference image accompanying information, and when inverted direction information 711 is upside down, the inverted motion vector is (MV3x, -MV3y) as inverted reference image accompanying information
  • the inversion motion vector is set as (_MV3x, MV3y) as inversion reference image accompanying information
  • the inversion direction information 711 is inverted in the up / down / left / right direction
  • the inversion motion vector is set as inversion reference image accompanying information.
  • the position of the motion vector in the frame is inverted according to the direction of inversion.
  • the reference image accompanying information reverse inversion unit 708 uses the reverse direction information 711 sent from the separation unit 701 to convert the reverse motion vector sent from the decoding unit 706 into the reverse direction of the reverse direction information. And the decoded image accompanying information 719 is generated. Specifically, When the inverted motion vector sent from the decoding unit 706 is (MV4x, MV4y) and the inverted direction information 711 is not inverted, the inverted image accompanying information reverse inversion unit 708 is a motion vector as decoded image accompanying information.
  • the motion vector when the inversion direction information 711 is inverted in the vertical direction, the motion vector is set as (MV4x, -MV4y) as decoded image accompanying information, and when the inversion direction information 711 is inverted in the left-right direction, it is decoded. ⁇ ⁇
  • the motion vector is set as (-MV4x, MV4y) as the image accompanying information, and the motion vector is generated as (-MV4x, -MV4y) as the locally decoded image accompanying information when the reversal direction information 711 is reversed vertically and horizontally To do.
  • the position of the motion vector in the frame is also reversed in the reverse direction according to the reverse direction.
  • the reference image accompanying information is not limited to the motion vector described above, and any accompanying information used when generating the reference image can be used.
  • the decoding key method used in the decoding key unit 706 there is an H.264ZAVC decoding method.
  • H.264ZAVC decoding method not only the above H.264ZAVC decoding method, but any decoding method that generates a prediction signal of a reference image and an information power decoding image attached to the reference image and performs decoding is applied. be able to.
  • the decryption key unit 706 will be described in more detail with reference to FIG.
  • Decoding unit 706 includes an entropy decoding unit 801, a prediction signal generation unit 802, an inverse quantization unit 803, an inverse transformation unit 804, and an adder 805 as functional components. Prepared.
  • the entropy decoding unit 801 decodes the quantized orthogonal transform coefficient 806 and the code key information 807 from the input compressed data 710, and sends the quantized orthogonal transform coefficient 806 to the inverse quantization unit 803. Send the sign key information 807 to the prediction signal generator 802.
  • the prediction signal generation unit 802 predicts a decoding target block using the code key information 807, the inverted reference image 713, and the inverted reference image associated information 715 sent from the entropy decoding unit 801.
  • a signal 808 is generated and sent to the adder 805. Further, the prediction signal generation unit 802 outputs the inverse decoding key image accompanying information 717.
  • Inverse quantization section 803 dequantizes quantized orthogonal transform coefficient 806 sent from entropy decoding section 801 to generate decoded orthogonal transform coefficient 809, and sends the result to inverse transform section 804.
  • Inverse transform section 804 inversely transforms decoded orthogonal transform coefficient 809 sent from inverse quantization section 803.
  • the decoded residual signal 810 is generated by cross conversion and sent to the adder 805.
  • Adder 805 adds predicted signal 808 sent from predicted signal generating section 802 and decoded residual signal 810 sent from inverse transform section 804 to generate inverted decoded image 716 for output.
  • an example of the inverted reference image-accompanying information is an inverted motion vector.
  • the prediction signal generation unit 802 uses a B picture temporal direct mode prediction scheme in the H.264ZAVC coding scheme and uses the inverted reference image and the inverted motion vector to determine the decoding target block. A predicted value may be generated. Also, as shown in FIG. 6, the prediction signal generation unit 802 uses the point indicated by the inverted motion vector at the same position as the decoding target block as the search center, and the code information from the search center on the inverted reference image. The signal pattern at the position moved by the vector of the motion vector difference value may be used as the prediction value of the decoding target block.
  • the prediction signal generation unit 802 may use any other method for generating a reference image and a motion vector force decoding signal associated with the reference image.
  • the operation of the moving picture decoding apparatus 70 according to the present invention will be described using FIG.
  • the operation of the moving picture decoding apparatus 70 according to the present invention can be executed by a program.
  • the separation unit 701 separates the input encoded data 709 transmitted from the outside into the compressed data 710 and the inversion direction information 711 (step S901), and determines the inversion direction (step) S902).
  • the image inversion unit 704 uses the inversion direction information 711 sent from the separation unit 701 to invert the reference image 712 sent from the reference image storage unit 702 to generate an inverted reference image 713.
  • the reference image accompanying information reversing unit 705 uses the reversal direction information 711 sent from the separating unit 701 to invert the reference image accompanying information 714 sent from the reference image accompanying information accumulating unit 703 to invert the reference image accompanying information. 715 is created (step S90 4).
  • the decoding unit 706 sends the compressed data 710 sent from the separation unit 701, the inverted reference image 713 sent from the image inversion unit 704, and the reference image associated information inversion unit 705. Using the inverted reference image accompanying information 715, a prediction signal of the decoded image is generated, and the inverted decoded image is decoded (step S905).
  • the image reverse inversion unit 707 uses the reverse direction information 711 sent from the separation unit 701 to convert the reverse decoded image 716 sent from the decoding unit 706 into the reverse direction of the reverse direction information 711 and Inverted in the reverse direction, a decoded image 718 is generated (step S906). In addition, the image reverse inversion unit 707 outputs the decoded image 718 to an external device (not shown) such as a moving image display device (step S907).
  • the reference image accompanying information reverse inversion unit 708 uses the inversion direction information 711 sent from the separation unit 701 to convert the inverted decoded image accompanying information sent from the decoding unit 706 into the inversion direction information.
  • the decoded image accompanying information 719 is generated by inverting in the reverse direction to the reverse direction (step S908).
  • reference image associated information inversion sections 205 and 705 invert reference image associated information 216 or 714 using inversion direction information 215 or 711, respectively, and invert reference image associated information 217 or A method of creating 715 will be described.
  • the reference image accompanying information inversion unit reads the reference image accompanying information and the inversion direction information (step S2101), and determines the value of the inversion direction information (step S2102).
  • the inversion direction information is “00”
  • the reference image accompanying information inverting unit does not invert the reference image accompanying information, and uses it as the inverted reference image accompanying information as it is (step S2103).
  • the inversion direction information is “01”
  • the reference image accompanying information inverting unit inverts the reference image accompanying information in the vertical direction to create inverted reference image accompanying information (step S2104).
  • the reference image accompanying information inverting unit inverts the reference image accompanying information in the left-right direction to create inverted reference image accompanying information (step S2105). If the inversion direction information is “11”, the reference image accompanying information inverting unit inverts the reference image accompanying information vertically and horizontally to create inverted reference image accompanying information (step S2106).
  • the reversal direction information indicating the reversal direction is not limited to the above value, and any blue and blue information for identifying the reversal direction can be used.
  • reference image-associated information reverse inverting sections 208 and 708 use inverted direction information 215 or 711, respectively, to invert local decoded image-accompanying information 220 or inverted decoded image-associated information.
  • a method of inverting 717 to create local decoded key image accompanying information 222 or decoded key image accompanying information 719 will be described.
  • the reference image accompanying information reverse inversion section reads (local) decoded image accompanying information and inversion direction information (step S2201), and determines the value of the inversion direction information (step S2202).
  • the reference image accompanying information reverse inverting unit does not invert the (local) decoded image accompanying information, but uses the inverted (local) decoded image accompanying information as it is (step S2203). ). If the inversion direction information is “01”, the reference image accompanying information reverse inverting unit reversely inverts the inverted (local) decoded image accompanying information in the vertical direction to create (local) decoded image accompanying information (step S2204). When the inversion direction information is “10”, the reference image accompanying information reverse inversion unit reversely inverts the inverted (local) decoded image accompanying information in the left and right directions (locally) to create decoded image accompanying information ( Step S2205). When the inversion direction information is “11”, the reference image accompanying information reverse inversion unit reversely inverts the transformed (local) decoded image accompanying information vertically and horizontally to create (local) decoded image accompanying information ( Step S2206).
  • the reversal direction information indicating the reversal direction is not limited to the above value, and any blue and blue information identifying the reversal direction can be used.
  • the video encoding device 20 generates the prediction signal by inverting the reference image and the information accompanying the reference image in accordance with the inverting direction of the input image.
  • the input image can be correctly encoded.
  • the decoded image is correctly decoded by generating the prediction signal by inverting the reference image and the information accompanying the reference image according to the transmitted reverse direction information. can do. In other words, it is possible to generate an accurate prediction signal and more efficiently perform image coding and decoding.
  • the locally decoded image is inversely changed and the information accompanying the locally decoded image is inversely changed, so that the input image to be input next is changed.
  • Corresponding reference images and reference image accompanying information can be generated.
  • the decoded image is reversely changed, and the information accompanying the decoded decoded image is reversely changed.
  • the reference image corresponding to the reference image and the reference image accompanying information can be generated.
  • the unit for inverting the input image may be every slice or every block in addition to each frame.
  • Figure 19 shows each slice that also has multiple rows of block group forces in the frame. An example when the force image is inverted is shown.
  • the slice composed of blocks 0 to 15 is flipped up and down, left and right
  • the slice composed of blocks 16 to 31 is flipped up and down
  • the slice composed of blocks 32 to 39 is flipped left and right.
  • the encoding device transmits the inversion direction information and the displacement amount in the vertical direction up to the corresponding slice position in the reference image for each slice unit.
  • the decoding device receives the inversion direction information and the vertical displacement amount up to the corresponding slice position in the reference image for each slice unit.
  • FIG. 20 shows an example in which the input image is inverted for each slice composed of a block group of an arbitrary shape in the frame.
  • the slices of blocks 12-14, 20-22, and 27-30 are flipped vertically, and the remaining slices of block force are flipped horizontally.
  • the coding apparatus transmits inversion direction information and information indicating the position and shape of the corresponding slice in the reference image based on the block number in the slice for each slice.
  • the decoding apparatus receives inversion direction information for each slice and information indicating the position and shape of the corresponding slice in the reference image based on the block number in the slice.
  • the encoding unit 206 may have the functions of the image inverting unit 204 and the reference image accompanying information inverting unit 205. Further, in the moving picture decoding apparatus 70, the decoding unit 706 may have the functions of the image inverting unit 704 and the reference image accompanying information inverting unit 705.
  • the moving image coding apparatus 100 includes, as its functional components, an input unit 1011 (input unit), a reference image storage unit 1002 (reference image storage unit), and a reference image attached.
  • Information storage unit 1003 reference image associated information storage unit
  • image change unit 1004 image change unit
  • reference image associated information change unit 1005 reference image associated information change unit
  • encoding unit 10 06 encoding
  • An image reverse change unit 1007 image reverse change unit
  • a reference image accompanying information reverse change unit 1008 reference image accompanying information reverse change unit
  • an output unit 1009 output unit.
  • the input unit 1001 separates the input moving image signal 1010 into frame images, and sends the frame images as input images 1011 to the image change unit 1004.
  • the reference image accumulation unit 1002 is a part that accumulates a reference image that is a locally decoded image of a previously encoded image.
  • the reference image storage unit 1002 sends the reference image 1012 to the image change unit 1004.
  • the image changing unit 1004 creates a changed input image 1013 by changing the input image 1011 sent from the input unit 1001, such as rotation, enlargement, and reduction, and sends it to the encoding unit 1006.
  • the image changing unit 1004 changes the reference image 1012 sent from the reference image storage unit 1002 in the same way as the method for changing the input image 1011, creates a changed reference image 1014, and sends it to the encoding unit 1006.
  • the image changing unit 1004 outputs change method information 1015 indicating how to change the input image 1011 to the reference image accompanying information changing unit 1005, the image reverse changing unit 1007, the reference image accompanying information reverse changing unit 1008, and the output. Send to part 1009.
  • Reference image associated information storage section 1003 is a portion for accumulating reference image associated information, which is information associated with a reference image, which is a locally decoded image of a previously encoded image.
  • the reference image accompanying information accumulating unit 1003 sends the reference image accompanying information 1016 to the reference image accompanying information changing unit 1005.
  • the reference image accompanying information changing unit 1005 changes the input image of the reference image accompanying information 10 16 sent from the reference image accompanying information accumulating unit 1003 using the change method information 1015 sent from the image changing unit 1004. Change in the same way as the method, create the change reference image accompanying information 1017, and send it to the encoder section 1006.
  • the encoding unit 1006 uses the changed reference image 1014 sent from the image changing unit 1004 and the changed reference image accompanying information 1017 sent from the reference image accompanying information changing unit 1005 to change the image changing unit 1004.
  • a prediction signal of the changed input image 1013 sent from is generated, and the changed input image is encoded.
  • the encoding unit 1006 sends the compressed data 1018 obtained by encoding the changed input image to the output unit 1009.
  • the code key unit 1006 sends the changed local decoded key image 1019 that has been changed and locally decoded to the image reverse changing unit 1007.
  • the sign key unit 1006 sends the modified local decoding key image accompanying information 1020 to the reference image accompanying information reverse changing unit 1008.
  • the image reverse change unit 1007 uses the change method information 1015 sent from the image change unit 1004 to reverse the changed local decoded image 1019 sent from the code key unit 1006 to the input image change method.
  • the local decoded key image 1021 is generated by changing the above method, and is sent to the reference image storage unit 1002 to be used as a reference image in the subsequent frames.
  • the reference image accompanying information reverse changing unit 1008 uses the changing method information 1015 sent from the image changing unit 1004 to input the modified local decoding key image accompanying information sent from the code key unit 1006.
  • the local decoding key image accompanying information 1022 is generated by changing the method opposite to the image changing method, and is sent to the reference image accompanying information accumulation unit 1003 to be used as the reference image accompanying information in the subsequent frames.
  • the output unit 1009 combines the change method information 1015 sent from the image change unit 1004 and the compressed data 1018 sent from the encoding unit 1006, and transmits them as encoded data 1023 to the outside.
  • the above change method is not limited to rotation, enlargement, and reduction of the image and the reference image accompanying information, and any change method including inversion of the image in the first embodiment can be used.
  • the changing method of the reverse method is not limited to the reverse rotation, reduction, and enlargement of the image and the reference image accompanying information, and any changing method that removes the effect of the change can be used.
  • the detailed description of the sign key unit 1006 is the same as the detailed description of the code key part 206 in the first embodiment.
  • the operation of the moving picture coding apparatus 100 according to the present invention can be executed by a program.
  • the moving image signal 1010 input by the input unit 1001 is separated into frame images (step S1101).
  • the image changing unit 1004 changes the input image 1011 sent from the input unit 1001 by determining a changing method such as rotation, enlargement, and reduction (step S1102).
  • a force image 1013 is created (step S1103).
  • the image changing unit 1004 changes the reference image 1012 sent from the reference image accumulating unit 1002 in the same way as the method for changing the input image 1011 to create a changed reference image 1014 (step S 1104).
  • the reference image accompanying information changing unit 1005 changes the reference image accompanying information 1016 in the same way as the input image changing method using the change method information 1015 sent from the image changing unit 1004, and the changed reference image accompanying information is changed. 1017 is created (step S1105).
  • the encoding unit 1006 changes the image using the changed reference image 1014 sent from the image changing unit 1004 and the changed reference image accompanying information 1017 sent from the reference image accompanying information changing unit 1005.
  • a prediction signal of the changed input image 1013 sent from the unit 1004 is generated, and the changed input image is encoded (step S 1106).
  • the image reverse change unit 1007 uses the change method information 1015 sent from the image change unit 1004 to change the modified local decoded image 1019 sent from the coding unit 1006 to the input image change method.
  • the local decoding key image 1021 is generated by changing the method in the reverse manner (step S1107).
  • the reference image accompanying information reverse changing unit 1008 uses the change method information 1015 sent from the image changing unit 1004 to change the local decoding decoded image accompanying information sent from the coding unit 1006 into the input image.
  • the local decoding key image accompanying information 1022 is generated by the reverse of the changing method (step S 1108).
  • output section 1009 combines change method information 1015 sent from image changing section 1004 and compressed data 1018 sent from coding section 1006 (step S1109), and transmits them as coded data 1023 to the outside. (Step SI 110).
  • the video decoding device 120 includes, as its functional components, a separation unit 1201 (separation unit), a reference image storage unit 1202 (reference image storage unit), and a reference image associated Information storage unit 1203 (reference image associated information storage unit), image change unit 1204 (image change unit), reference image associated information change unit 1205 (reference image associated information change unit), and decoding unit 12 06 (decoding Converting means), an image reverse changing unit 1207 (image reverse changing means), and a reference image accompanying information reverse changing unit 1208 (reference image accompanying information reverse changing means).
  • a separation unit 1201 separation unit
  • a reference image storage unit 1202 reference image storage unit
  • a reference image associated Information storage unit 1203 reference image associated information storage unit
  • image change unit 1204 image change unit
  • reference image associated information change unit 1205 reference image associated information change unit
  • decoding unit 12 06 decoding Converting means
  • an image reverse changing unit 1207 image reverse changing means
  • a reference image accompanying information reverse changing unit 1208 reference image accompanying information reverse changing
  • Separating section 1201 converts encoded data 1209 transmitted from the outside into compressed data Separated into 1210 and change method information 1211.
  • the separation unit 1201 sends the compressed data 1210 to the decryption unit 1206.
  • the separating unit 1201 also sends the change method information 1211 to the image changing unit 1204, the reference image accompanying information changing unit 1205, the image reverse changing unit 1207, and the reference image accompanying information reverse changing unit 1208.
  • the reference image storage unit 1202 is a unit that stores a reference image that is a past decoded image.
  • the reference image storage unit 1202 sends the reference image 1212 to the image change unit 1204.
  • the image changing unit 1204 uses the change method information 1211 sent from the separating unit 1201 to change the reference image 1212 sent from the reference image accumulating unit 1202 to generate a changed reference image 1213 for decoding. Sent to 1206.
  • the reference image accompanying information storage section 1203 is a part that stores reference image accompanying information that is information attached to a reference image that is a past decoded image.
  • the reference image accompanying information accumulation unit 1203 sends the reference image accompanying information 1214 to the reference image accompanying information changing unit 1205.
  • the reference image accompanying information changing unit 1205 uses the change method information 121 1 sent from the separating unit 1201 to change the reference image accompanying information 1214 sent from the reference image accompanying information accumulating unit 1203 to change the reference image.
  • the accompanying information 1215 is created and sent to the decryption unit 1206.
  • Decoding unit 1206 includes compressed data 1210 sent from separating unit 1201, changed reference image 1213 sent from image changing unit 1204, and changed reference sent from reference image accompanying information changing unit 1205. Using the image accompanying information 1215, a prediction signal of the decoded image is generated, and the modified decoded image is decoded. The decoding unit 1206 sends the modified decoded image 1216 that has been modified and decoded to the image reverse modification unit 1207. Further, the decoding key unit 1206 sends the changed decoded image accompanying information 1217 to the reference image accompanying information reverse changing unit 1208.
  • the image reverse changing unit 1207 uses the changing method information 1211 sent from the separating unit 1201 to change the changed decoding key image 1216 sent from the decoding key unit 1206 to the changing method information 1211
  • the decoded image 1218 is generated by changing in the reverse method, and sent to the reference image storage unit 1202 to be used as the reference image in the next frame.
  • the image reverse change unit 1207 outputs the decrypted image 1218 to an external device (not shown) such as a moving image display device.
  • the reference image accompanying information reverse changing unit 1208 uses the change method information 1211 sent from the separating unit 1201 to change the modified decoding key image accompanying information 1217 sent from the decoding unit 1206.
  • the decoded image associated information 1219 is generated by changing the method in reverse to the method of changing the legal information, and is sent to the reference image associated information storage unit 1203 to be used as the reference image associated information in the subsequent frames.
  • the above change method is not limited to rotation, enlargement, and reduction of the image and the reference image accompanying information, and any change method including inversion of the image in the first embodiment can be used.
  • the changing method of the reverse method is not limited to the reverse rotation, reduction, and enlargement of the image and the reference image accompanying information, and any changing method that removes the effect of the change can be used.
  • the decoding key method used in the decoding key unit 1206 there is an H.264ZAVC decoding method.
  • H.264ZAVC decoding method not only the above H.264ZAVC decoding method, but any decoding method that generates a prediction signal of a reference image and an information power decoding image attached to the reference image and performs decoding is applied. be able to.
  • decoding key unit 1206 is the same as the detailed description of the decoding key unit 706 in the first embodiment.
  • separation section 1201 separates input encoded data 1209 transmitted from the outside into compressed data 1210 and change method information 1211 (step S1301), and determines the change method (step S 1302). .
  • the image changing unit 1204 generates the changed reference image 12 13 by changing the reference image 1212 sent from the reference image storage unit 1202 using the change method information 1211 sent from the separating unit 1201. (Step S1303).
  • the reference image accompanying information changing unit 1205 changes the reference image accompanying information 1214 sent from the reference image accompanying information storage unit 1203 by using the change method information 1211 sent from the separating unit 1201 to change the reference image accompanying information attached.
  • Information 1215 is created (step S 1304).
  • the decoding key unit 1206 is sent from the compressed data 1210 sent from the separating unit 1201, the changed reference image 1213 sent from the image changing unit 1204, and the reference image accompanying information changing unit 1205.
  • the modified reference image accompanying information 1215 a prediction signal of the decoded image is generated,
  • the modified decoded image is decoded (step S 1305).
  • the image reverse change unit 1207 uses the change method information 1211 sent from the separation unit 1201 to change the change decoded information image 1216 sent from the decoding key unit 1206 to the change method information 1211.
  • the decrypted key image 1218 is generated by changing the method in reverse to the method (step S1306).
  • the image reverse changing unit 1207 outputs the decoded key image 1218 to an external device (not shown) such as a moving image display device (step S1307).
  • the reference image accompanying information reverse changing unit 1208 uses the changing method information 1211 sent from the separating unit 1201 to change the changed decoded key image accompanying information sent from the decoding key unit 1206.
  • Method information The decoded image-accompanying information 1219 is generated by the reverse of the above-described changing method (step S 1308).
  • the prediction image is generated by changing the reference image and the information accompanying the reference image in accordance with the method of changing the input image, so that the input image is correctly encoded. can do.
  • the decoded image can be correctly decoded by changing the reference image and the information accompanying the reference image in accordance with the transmitted change method information to generate a prediction signal. That is, it is possible to generate an accurate prediction signal and more efficiently encode and decode an image.
  • the unit for changing the input image may be a slice or a block.
  • the encoding apparatus transmits the change method information in each unit, and the decoding apparatus The change method information is received for each unit.
  • Modification Example 1 of the second embodiment when the direction and size of the input image and the reference image are different, the information accompanying the reference image and the reference image is matched with the direction and size of the input image to achieve high code efficiency.
  • a video encoding device and a video decoding device that perform decoding and decoding will be described.
  • the moving image coding apparatus 140 includes, as its functional components, an input unit 1401, a reference image storage unit 1402, a reference image associated information storage unit 1403, and an image change unit 14. 04, a reference image accompanying information changing unit 1405, an encoding unit 1406, and an output unit 1407. Configured.
  • the input unit 1401 separates the input moving image signal 1408 into frame images, and sends the frame image as the input image 1409 to the image change unit 1404 and the encoding unit 1406.
  • the reference image storage unit 1402 is a part that stores a reference image that is a locally decoded image of an image that has been encoded in the past.
  • the reference image storage unit 1402 sends the reference image 1410 to the image change unit 1404.
  • the image changing unit 1404 compares the input image 1409 sent from the input unit 1401 with the reference image 1410 sent from the reference image storage unit 1402, and changes the reference image 1410 to match the input image 1409.
  • the changed reference image 1411 is created and sent to the sign key unit 1406.
  • the image changing unit 1404 sends change method information 1412 indicating a method of changing the reference image 1410 to the reference image accompanying information changing unit 1405 and the output unit 1407. By doing so, the image reverse change unit can be omitted in the moving picture coding apparatus 140 of the present invention.
  • Reference image associated information storage section 1403 is a portion that accumulates reference image associated information that is information associated with a reference image that is a locally decoded image of an image encoded in the past.
  • the reference image accompanying information storage unit 1403 sends the reference image accompanying information 1413 to the reference image accompanying information changing unit 1405.
  • the reference image incidental information changing unit 1405 uses the change method information 1412 sent from the image changing unit 1404 to change and change the reference image incidental information 14 13 sent from the reference image accompanying information storage unit 1403.
  • the reference image accompanying information 1414 is created and sent to the sign key unit 1406. In this way, the reference image accompanying information changing unit 1405 creates the changed reference image accompanying information 1414 using the change method information 1412 sent from the image changing unit 1404. Therefore, the moving picture encoding device 140 of the present invention is used.
  • the reference image accompanying information reverse changing unit can be omitted.
  • the sign key unit 1406 includes an input image 1409 sent from the input unit 1401, a changed reference image 1411 sent from the image changing unit 1404, and a change reference sent from the reference image accompanying information changing unit 1405.
  • the image accompanying information 1414 is used to generate a prediction signal of the input image 1409 and encode the input image.
  • the encoding unit 1006 sends the compressed data 1415 obtained by encoding the input image to the output unit 1407.
  • the sign key unit 1406 generates a locally decoded image 14 16 that has been locally decoded, and is used as a reference image in the next frame and thereafter, so that the reference image storage unit 14 02 Send this.
  • the sign key unit 1406 generates the modified local decoded image accompanying information 1417 and sends it to the reference image accompanying information accumulation unit 1403 to be used as the reference image accompanying information in the subsequent frames.
  • the output unit 1407 combines the change method information 1412 sent from the image change unit 1404 and the compressed data 1415 sent from the encoding unit 1 406, and transmits them as encoded data 1418 to the outside.
  • the above change method is not limited to the rotation, enlargement, and reduction of the image and the reference image accompanying information, and any change method including inversion of the image in the first embodiment can be used.
  • the detailed description of the sign key portion 1406 is substantially the same as the detailed description of the sign key portion 206 in the first embodiment.
  • the only difference from the sign key unit 206 is that the coding unit 206 inputs the inverted input image 213 while the sign key unit 1406 inputs the input image 1409.
  • the operation of the moving picture coding apparatus 140 according to the present invention can be executed by a program.
  • the moving image signal 1408 input to the input unit 1401 is separated into frame images (step S1501).
  • the image changing unit 1404 compares the input image 1409 sent from the input unit 1401 with the reference image 1410 sent from the reference image storage unit 1402 (step S1502), and matches the reference image so as to match the input image 1409.
  • a change method for changing 1410 is determined (step S1503), and a change reference image 1411 is created (step S1504).
  • the reference image accompanying information changing unit 1405 changes the reference image accompanying information 1413 sent from the reference image accompanying information accumulating unit 1403 using the change method information 1412 sent from the image changing unit 1404 (step S 1505 ).
  • the encoding unit 1406 receives the input image 1409 sent from the input unit 1401, and the image changing unit. Using the changed reference image 1411 sent from 1404 and the changed reference image accompanying information 1414 sent from the reference image accompanying information changing unit 1405, a prediction signal of the input image 1409 is generated and the input image is encoded ( Step S 1506).
  • the output unit 1407 synthesizes the change method information 1412 sent from the image change unit 1404 and the compressed data 1415 sent from the encoding unit 1406 (step S 1507) to obtain encoded data 1 418. Transmit to the outside (step S 1508).
  • the video decoding device 150 includes, as its functional components, a separation unit 1601, a reference image storage unit 1602, a reference image associated information storage unit 1603, and an image change unit 16 04, a reference image associated information changing unit 1605, and a decoding unit 1606.
  • Separating section 1601 separates input encoded data 1607 transmitted from the outside into compressed data 1608 and change method information 1609.
  • the separation unit 1601 sends the compressed data 1608 to the decryption unit 1606. Further, the separation unit 1601 sends the change method information 1609 to the image change unit 1604 and the reference image accompanying information change unit 1605.
  • the reference image storage unit 1602 is a unit that stores a reference image that is a past decoded image.
  • the reference image storage unit 1602 sends the reference image 1610 to the image change unit 1604.
  • the image changing unit 1604 uses the change method information 1609 sent from the separating unit 1601, and changes the reference image 1610 sent from the reference image storage unit 1602 so as to match the input image.
  • An image 1611 is generated and sent to the decoding key unit 1606. In this way, the image reverse change unit can be omitted in the moving picture decoding apparatus 150 of the present invention.
  • Reference image associated information storage section 1603 is a portion that accumulates reference image associated information that is information associated with a reference image that is a past decoded image.
  • the reference image accompanying information accumulation unit 1603 sends the reference image accompanying information 1612 to the reference image accompanying information changing unit 1605.
  • the reference image accompanying information changing unit 1605 uses the changing method information 1609 sent from the separating unit 1601 to change the reference image accompanying information 1612 sent from the reference image accompanying information storage unit 1603 to change the reference image.
  • the accompanying information 1613 is created and sent to the decryption key unit 1606. In this way, the reference image accompanying information changing unit 1605 creates the changed reference image accompanying information 1613 using the change method information 1609 sent from the separating unit 1601, so that the moving picture decoding apparatus of the present invention In the apparatus 150, the reference image accompanying information reverse change unit can be omitted.
  • the decoding unit 1606 includes the compressed data 1608 sent from the separation unit 1601, the changed reference image 1611 sent from the image change unit 1604, and the change reference sent from the reference image accompanying information change unit 1605. Using the image accompanying information 1613, a prediction signal of the decoded image is generated, and the decoded image is decoded.
  • the decoding unit 1606 sends the decoded decoded image 1614 to the reference image storage unit 1602 for use as a reference image in the subsequent frames.
  • the decoding key unit 1206 outputs the decrypted decoded image 1614 to an external device (not shown) such as a moving image display device. Further, the decoding key unit 1606 sends the decoding key image accompanying information 1615 to the reference image accompanying information storage unit 1 603 to be used as the reference image accompanying information in the subsequent frames.
  • the above change method is not limited to rotation, enlargement, and reduction of the image and the reference image accompanying information, and any change method including inversion of the image in the first embodiment can be used.
  • the decoding key method used in the decoding key unit 1606 there is an H.264 / AVC decoding method.
  • H.264ZAVC decoding method not only the above H.264ZAVC decoding method, but any decoding method that generates a prediction signal of a reference image and an information power decoding image attached to the reference image and performs decoding is applied. be able to.
  • decoding key unit 1606 is the same as the detailed description of the decoding key unit 706 in the first embodiment.
  • the operation of the moving picture decoding apparatus 150 according to the present invention can be executed by a program.
  • separation section 1601 separates input encoded data 1607 transmitted from the outside into compressed data 1608 and change method information 1609 (step S1701), and determines the change method (step S 1702). .
  • the image changing unit 1604 generates the changed reference image 16 11 by changing the reference image 1610 sent from the reference image storage unit 1602 using the change method information 1609 sent from the separating unit 1601. (Step S 1703). Also, the reference image accompanying information changing unit 1605 uses the change method information 1609 sent from the separating unit 1601 to reference the accompanying image accompanying information accumulating unit 1603. The changed reference image accompanying information 1613 is generated by changing the reference image accompanying information 1612 to which the force is also sent (step S 1704).
  • the decoding key unit 1606 is sent from the compressed data 1608 sent from the separation unit 1601, the changed reference image 1611 sent from the image changing unit 1604, and the reference image accompanying information changing unit 1605. Using the modified reference image accompanying information 1613, a prediction signal of the decoded image is generated, and the decoded image is decoded (step S1705). Also, the decoding key unit 1606 outputs the decoded decoding image 1614 to an external device (not shown) such as a moving image display device (step 1706).
  • the image changing unit compares the input image with the reference image, and changes the reference image and the information associated with the reference image according to the input image for prediction. Since the signal is generated, the input image can be encoded with high efficiency.
  • the decoded image can be correctly decoded by changing the reference image and the information accompanying the reference image in accordance with the transmitted change method information to generate a prediction signal. In other words, it is possible to generate an accurate prediction signal and more efficiently encode and decode images.
  • moving image decoding apparatus moving image decoding apparatus, moving image encoding method, moving image decoding method, moving image encoding program, and moving image decoding program of the present invention, It is possible to generate an accurate prediction signal and more efficiently encode and decode image information.

Abstract

　本発明は、的確な予測信号を生成してより効率的に画像情報を符号化及び復号化することを目的とする。 　本発明の動画像符号化装置は、符号化対象となる入力画像を入力する入力部２０１と、参照画像を蓄積する参照画像蓄積部２０２と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積部２０３と、参照画像と参照画像付随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像の符号化を行う符号化部２０６と、符号化手段によって符号化された圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出力部２０９と、を備える。

Description

明 細 書
動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復 号化方法、動画像符号ィ匕プログラム、および動画像復号化プログラム
技術分野
[0001] 本発明は、動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像 復号化方法、動画像符号化プログラム、および動画像復号ィ匕プログラムに関するも のである。
背景技術
[0002] 動画像符号ィ匕装置の一つとして、下記非特許文献 1に記載のように、入力画像をあ らカじめフレームごとに上下方向、左右方向、または上下左右方向に対称に反転し た後に符号化する動画像反転符号化装置が存在する。これは、一般的に入力画像 力 Sフレーム内で不均一な特徴を持っため、ラスタスキャン順で左上力も右下へ方向 依存性のある予測符号化を行う場合、予測効率の高！ヽ方向に画像を反転することで 符号ィ匕効率の向上が可能になるためである。
[0003] 非特許文献 1に記載の符号ィヒ装置は、入力画像を反転なし、上下方向反転、左右 方向反転、上下左右方向反転の 4種類の中から選んで反転する。図 1 (a)は入力画 像を、図 1 (b)は入力画像の反転なしの画像を、図 1 (c)は入力画像を上下方向に反 転した画像を、図 1 (d)は入力画像を左右方向に反転した画像を、図 1 (e)は入力画 像を上下左右方向に反転した画像をそれぞれ示す。そして、符号化装置は、フレー ム間での予測を行うインター予測での符号ィ匕においては、過去に符号化された画像 の局所復号ィ匕済み画像である参照画像を入力画像と同じ方向に反転し、反転された 参照画像を用いて符号ィ匕対象である反転された入力画像の予測信号を生成して符 号化を行う。符号化された圧縮データは入力画像の反転方向を示す識別子と合わ せて出力される。また、符号化された圧縮データは局所復号化され、入力画像の反 転方向と逆方向に反転されて入力画像と同じ方向に直され、次フレーム以降の参照 画像として保存される。図 1 (f)は入力画像の反転なしの画像（図 1 (b) )を逆方向に 反転した画像を示す。すなわち、図 1 (f)、図 1 (b)は、図 1 (a)と同じ画像である。図 1 (g)は入力画像を上下方向に反転した画像（図 1 (c) )を逆方向に反転した画像を示 す。図 1 (h)は入力画像を左右方向に反転した画像（図 1 (d) )を逆方向に反転した 画像を示す。図 l(i)は入力画像を上下左右方向に反転した画像（図 1 (e) )を逆方向 に反転した画像を示す。
[0004] また、非特許文献 1に記載の復号ィ匕装置は、フレーム間での予測を行うインタ一予 測での復号ィ匕においては、符号ィ匕装置力 伝送された符号力 入力画像の反転方 向を示す識別子を取り出して反転方向を判別し、過去の復号化済み画像である参照 画像を入力画像の反転方向と同じ方向に反転する。そして、復号化装置は符号化装 置カゝら伝送された符号カゝら取り出した圧縮データと反転された参照画像を用いて、反 転された画像を復号化したのち、反転された画像を入力画像の反転方向と逆方向に 反転して入力画像と同じ方向に直して復号化画像とするとともに、復号化画像を次フ レーム以降の参照画像として保存する。
非特許文献 1 :村上他、「H.264/AVC Baseline Profileにおける方向依存性を利用し た拡張符号化方式」、 2005年電子情報通信学会総合大会
発明の開示
発明が解決しょうとする課題
[0005] 前記従来技術における符号化装置および復号化装置は、予測信号を生成するた めに参照画像を入力画像の反転方向と同じ方向に反転させている。そのため、前記 従来技術には以下のような問題がある。すなわち、予測信号の生成のために参照画 像に付随する情報を必要とする場合、参照画像に付随する情報が反転した参照画 面に対応しないため、正しい予測信号を生成することができない。また、前記従来技 術における符号ィ匕装置および復号ィ匕装置はフレーム画像ごとに反転方向を変更す る力 フレーム画像をさらに分割したスライスごとやブロックごとに反転方向を変更す ることができない。
[0006] 本発明は、上記問題を解決するために成されたものであり、的確な予測信号を生 成することにより、画像情報をより効率的に符号化する動画像符号化装置、動画像 符号化方法、および動画像符号化プログラムと、符号化された画像情報をより効率 的に復号化する動画像復号化装置、動画像復号化方法、および動画像復号化プロ グラムと、を提供することを目的とする。
課題を解決するための手段
[0007] 本発明の動画像符号化装置は、符号化対象となる入力画像を入力する入力手段 と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随 情報を蓄積する参照画像付随情報蓄積手段と、参照画像と参照画像付随情報とを 入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像の符号化を 行う符号化手段と、符号ィ匕手段によって符号化された圧縮データを参照画像の変更 方法を示す変更方法情報と合わせて符号化データとして出力する出力手段と、を備 える。
[0008] 本発明の動画像符号化方法は、入力手段が、符号化対象となる入力画像を入力 する入力ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステ ップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を 蓄積する参照画像付随情報蓄積ステップと、符号化手段が、参照画像と参照画像付 随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して入力画像 の符号化を行う符号化ステップと、出力手段が、符号化ステップにおいて符号化され た圧縮データを参照画像の変更方法を示す変更方法情報と合わせて符号化データ として出力する出力ステップと、を備える。
[0009] 本発明の動画像符号ィ匕プログラムは、コンピュータを、符号化対象となる入力画像 を入力する入力手段と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付 随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、参照画像と参 照画像付随情報とを入力画像に合わせて変更し、入力画像の予測信号を生成して 入力画像の符号化を行う符号化手段と、符号化手段によって符号化された圧縮デー タを参照画像の変更方法を示す変更方法情報と合わせて符号化データとして出力 する出力手段として機能させる。
[0010] 本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄 積手段が参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応し た情報を蓄積することができる。そして、符号化手段が参照画像と参照画像付随情 報とを入力画像に合わせて変更し、符号化手段が予測信号を生成するので、入力画 像を符号化しやすいように変更すると共に変更した入力画像に対応した予測信号を 生成することができる。よって、符号化手段が参照画像と参照画像付随情報とを用い て予測信号をより正確に生成することができ、より効率的に入力画像の符号ィ匕を行う ことができる。
[0011] 本発明の動画像符号化装置は、符号化対象となる入力画像を入力する入力手段 と、参照画像を蓄積する参照画像蓄積手段と、参照画像に付随する参照画像付随 情報を蓄積する参照画像付随情報蓄積手段と、入力画像と参照画像とを変更する 画像変更手段と、参照画像付随情報を入力画像と参照画像とに合わせて変更する 参照画像付随情報変更手段と、変更された参照画像と変更された参照画像付随情 報とを用いて入力画像の予測信号を生成して入力画像の符号ィ匕を行う符号ィ匕手段 と、符号化手段によって符号化された圧縮データを参照画像の変更方法を示す変更 方法情報と合わせて符号ィ匕データとして出力する出力手段と、を備える。
[0012] 本発明の動画像符号化方法は、入力手段が、符号化対象となる入力画像を入力 する入力ステップと、参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステ ップと、参照画像付随情報蓄積手段が、参照画像に付随する参照画像付随情報を 蓄積する参照画像付随情報蓄積ステップと、画像変更手段が、入力画像と参照画像 とを変更する画像変更ステップと、参照画像付随情報変更手段が、参照画像付随情 報を入力画像と参照画像とに合わせて変更する参照画像付随情報変更ステップと、 符号化手段が、変更された参照画像と変更された参照画像付随情報とを用いて入 力画像の予測信号を生成して入力画像の符号ィ匕を行う符号化ステップと、出力手段 力 符号化ステップにお!/ヽて符号化された圧縮データを参照画像の変更方法を示す 変更方法情報と合わせて符号ィ匕データとして出力する出力ステップと、を備える。
[0013] 本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄 積手段が参照画像付随情報を蓄積するので、符号化対象となる入力画像に対応し た情報を蓄積することができる。そして、画像変更手段が入力画像と参照画像とを変 更し、参照画像付随情報変更手段が参照画像付随情報を入力画像と参照画像と〖こ 合わせて変更し、符号化手段が変更された参照画像と変更された参照画像付随情 報とを用いて入力画像の予測信号を生成するので、入力画像を符号化しやすいよう に変更すると共に変更した入力画像に対応した予測信号を生成することができる。よ つて、符号化手段が参照画像と参照画像付随情報とを用いて予測信号をより正確に 生成することができる。よって、より効率的に入力画像の符号ィ匕を行うことができる。
[0014] また、本発明の動画像符号化装置は、符号化手段により局所復号化された局所復 号化画像を逆変更する画像逆変更手段と、符号化手段から出力された局所復号ィ匕 画像に付随する情報を逆変更する参照画像付随情報逆変更手段と、をさらに備え、 参照画像蓄積手段は画像逆変更手段が逆変更した情報を参照画像として蓄積し、 参照画像付随情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報 を参照画像付随情報として蓄積することも好まし 、。
[0015] また、本発明の動画像符号化方法は、画像逆変換手段が、符号化手段により局所 復号化された局所復号ィ匕画像を逆変更する画像逆変更ステップと、参照画像付随 情報逆変更手段が、符号化手段から出力された局所復号化画像に付随する情報を 逆変更する参照画像付随情報逆変更ステップと、をさらに備え、参照画像蓄積ステツ プにお 、て、前記画像逆変更ステップにお 、て逆変更した情報を参照画像として蓄 積し、参照画像付随情報蓄積ステップにおいて、参照画像付随情報逆変更ステップ にお 、て逆変更した情報を参照画像付随情報として蓄積することも好ま 、。
[0016] このようにすることにより、次に入力される入力画像に対応した参照画像と参照画像 付随情報とを生成することができる。
[0017] また、本発明の動画像符号ィ匕装置の参照画像付随情報は参照画像の動きべタト ルであることも好ましい。
[0018] また、本発明の動画像符号化方法における参照画像付随情報は参照画像の動き ベクトルであることも好まし！/、。
[0019] 本発明の動画像復号ィ匕装置は、入力された符号ィ匕データを圧縮データと変更方 法情報に分離する分離手段と、参照画像を蓄積する参照画像蓄積手段と、参照画 像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、変更方 法情報を用いて参照画像と参照画像付随情報とを変更し、復号画像の予測信号を 生成して、復号画像の復号化を行う復号化手段と、を備える。
[0020] 本発明の動画像復号化方法は、分離手段が、入力された符号化データを圧縮デ ータと変更方法情報に分離する分離ステップと、参照画像蓄積手段が、参照画像を 蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付 随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、復号化手 段が、変更方法情報を用いて参照画像と参照画像付随情報とを変更し、復号画像 の予測信号を生成して、復号画像の復号化を行う復号化ステップと、を備える。
[0021] 本発明の動画像復号ィ匕プログラムは、コンピュータを、入力された符号化データを 圧縮データと変更方法情報に分離する分離手段と、参照画像を蓄積する参照画像 蓄積手段と、参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報 蓄積手段と、変更方法情報を用いて参照画像と参照画像付随情報とを変更し、復号 画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、して機能させ る。
[0022] 本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄 積手段が参照画像に付随する参照画像付随情報を蓄積するので、符号化対象とな る入力画像に対応した情報を蓄積することができる。そして、分離手段が入力された 符号化データを圧縮データと変更方法情報とに分離し、復号化手段が変更方法情 報を用いて参照画像と参照画像付随情報とを変更して復号画像の予測信号を生成 するので、参照画像と参照画像付随情報とを圧縮データに対応して変更し、圧縮デ ータに対応した予測信号を生成することができる。よって、復号化手段が参照画像と 参照画像付随情報とを用いて予測信号をより正確に生成することができ、より効率的 に圧縮データの復号ィ匕を行うことができる。
[0023] 本発明の動画像復号化装置は、入力された符号化データを圧縮データと変更方 法情報に分離する分離手段と、参照画像を蓄積する参照画像蓄積手段と、参照画 像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積手段と、参照画 像を変更方法情報に従って変更する画像変更手段と、参照画像付随情報を変更方 法情報に従って変更する参照画像付随情報変更手段と、変更された参照画像と、変 更された参照画像付随情報を用いて、復号画像の予測信号を生成して、復号画像 の復号化を行う復号化手段と、を備える。
[0024] 本発明の動画像復号化方法は、分離手段が、入力された符号化データを圧縮デ ータと変更方法情報に分離する分離ステップと、参照画像蓄積手段が、参照画像を 蓄積する参照画像蓄積ステップと、参照画像付随情報蓄積手段が、参照画像に付 随する参照画像付随情報を蓄積する参照画像付随情報蓄積ステップと、画像変更 手段が、参照画像を変更方法情報に従って変更する画像変更ステップと、参照画像 付随情報変更手段が、参照画像付随情報を変更方法情報に従って変更する参照 画像付随情報変更ステップと、復号化手段が、変更された参照画像と変更された参 照画像付随情報とを用いて、復号画像の予測信号を生成して、復号画像の復号ィ匕 を行う復号化ステップと、を備える。
[0025] 本発明によれば、参照画像蓄積手段が参照画像を蓄積し、参照画像付随情報蓄 積手段が参照画像に付随する参照画像付随情報を蓄積するので、符号化対象とな る入力画像に対応した情報を蓄積することができる。そして、分離手段が入力された 符号ィ匕データを圧縮データと変更方法情報とに分離し、画像変更手段が参照画像 を変更方法情報に従って変更し、参照画像付随情報変更手段が参照画像付随情報 を変更方法情報に従って変更し、復号化手段が変更された参照画像と変更された参 照画像付随情報とを用いて復号画像の予測信号を生成するので、圧縮データに対 応して参照画像および参照画像付随情報を変更し、圧縮データに対応した予測信 号を生成することができる。よって、復号化手段が参照画像と参照画像付随情報とを 用いて予測信号をより正確に生成することができる。よって、より効率的に圧縮データ の復号ィ匕を行うことができる。
[0026] また、本発明の動画像符号化装置は、復号化手段により復号化された復号化画像 を逆変更する画像逆変更手段と、復号化手段から出力された復号化画像に付随す る情報を逆変更する参照画像付随情報逆変更手段と、をさらに備え、参照画像蓄積 手段は画像逆変更手段が逆変更した情報を参照画像として蓄積し、参照画像付随 情報蓄積手段は、参照画像付随情報逆変更手段が逆変更した情報を参照画像付 随情報として蓄積することも好ま 、。
[0027] また、動画像復号化方法は、画像逆変更手段が、復号化ステップにお ヽて復号ィ匕 された復号化画像を逆変更する画像逆変更ステップと、参照画像付随情報逆変更 手段が、復号化ステップにおいて復号化された復号ィ匕画像に付随する情報を逆変 更する参照画像付随情報逆変更ステップと、をさらに備え、参照画像蓄積ステップに お!、て、前記画像逆変更ステップにお 、て逆変更した情報を参照画像として蓄積し 、参照画像付随情報蓄積ステップにおいて、参照画像付随情報逆変更ステップにお
V、て逆変更した情報を参照画像付随情報として蓄積することも好ま 、。
[0028] このようにすることにより、次に入力される復号化画像に対応した参照画像と参照画 像付随情報とを生成することができる。
[0029] また、本発明の動画像復号ィ匕装置の参照画像付随情報は参照画像の動きべタト ルであることも好ましい。
[0030] また、本発明の動画像復号化方法における参照画像付随情報は参照画像の動き ベクトルであることも好まし！/、。
発明の効果
[0031] 的確な予測信号を生成してより効率的に画像情報の符号ィ匕及び復号ィ匕をすること ができる。
図面の簡単な説明
[0032] [図 1]図 1は従来の符号ィ匕装置における入力画像の処理方法について説明するため の図である。
[図 2]図 2は本発明の第 1実施形態に係る動画像符号ィ匕装置の構成図である。
[図 3]図 3は本発明の第 1実施形態に係る動画像符号ィ匕装置に含まれる符号ィ匕部の 構成図である。
圆 4]図 4は本発明の第 1実施形態に係る動画像符号ィ匕装置に含まれる符号ィ匕部の 変形例ある。
[図 5]図 5は本発明の第 1実施形態に係る参照画像付随情報の処理方法について説 明するための図である。
[図 6]図 6は本発明の第 1実施形態に係る反転局所復号ィ匕画像付随情報について説 明するための図である。
[図 7]図 7は本発明の第 1実施形態に係る動画像符号ィ匕方法を示すフローチャートで ある。
[図 8]図 8は本発明の第 1実施形態に係る動画像復号ィ匕装置の構成図である。 [図 9]図 9は本発明の第 1実施形態に係る動画像復号ィ匕装置に含まれる復号ィ匕部の 構成図である。
[図 10]図 10は本発明の第 1実施形態に係る動画像復号ィ匕方法を示すフローチヤ一 トである。
[図 11]図 11は本発明の第 2実施形態に係る動画像符号ィ匕装置の構成図である。
[図 12]図 12は本発明の第 2実施形態に係る動画像符号ィ匕方法を示すフローチヤ一 トである。
[図 13]図 13は本発明の第 2実施形態に係る動画像復号ィ匕装置の構成図である。
[図 14]図 14は本発明の第 2実施形態に係る動画像復号ィ匕方法を示すフローチヤ一 トである。
[図 15]図 15は本発明の第 2実施形態の第 1変形例に係る動画像符号ィ匕装置の構成 図である。
[図 16]図 16は本発明の第 2実施形態の第 1変形例に係る動画像符号ィ匕方法を示す フローチャートである。
[図 17]図 17は本発明の第 2実施形態の第 1変形例に係る動画像復号ィ匕装置の構成 図である。
[図 18]図 18は本発明の第 2実施形態の第 1変形例に係る動画像復号ィ匕方法を示す フローチャートである。
[図 19]図 19は本発明の第 1実施形態に係る、複数列のブロック群力もなるスライス単 位で入力画像を反転する場合について説明するための図である。
[図 20]図 20は本発明の第 1実施形態に係る、任意形状のブロック群力もなるスライス 単位で入力画像を反転する場合について説明するための図である。
[図 21]図 21は反転参照画像付随情報の作成方法を示すフローチャートである。
[図 22]図 22は画像付随情報の作成方法を示すフローチャートである。
符号の説明
20· ··動画像符号化装置、 70· ··動画像復号化装置、 201· ··入力部、 202…参照画 像蓄積部、 203…参照画像付随情報蓄積部、 204…画像反転部、 205…参照画像 付随情報反転部、 206…符号化部、 207…画像逆反転部、 208…参照画像付随情 報逆反転部、 209· ··出力部、 210…動画像信号、 211…入力画像、 212…参照画 像、 213…反転入力画像、 214…反転参照画像、 215…反転方向情報、 216…参 照画像付随情報、 217…反転参照画像付随情報、 218…圧縮データ、 219…反転 局所復号化画像、 220…反転局所復号化画像付随情報、 221…局所復号化画像、 222…局所復号ィ匕画像付随情報、 223…符号化データ、 701· ··分離部、 702· ··参 照画像蓄積部、 703· ··参照画像付随情報蓄積部、 704…画像反転部、 705· ··参照 画像付随情報反転部、 706…復号化部、 707…画像逆反転部、 708…参照画像付 随情報逆反転部、 709…符号化データ、 710…圧縮データ、 711…反転方向情報、 712…参照画像、 713…反転参照画像、 714…参照画像付随情報、 715…反転参 照画像付随情報、 716…反転復号化画像、 717…反転復号化画像付随情報、 718 …復号化画像、 719· ··復号ィ匕画像付随情報。
発明を実施するための最良の形態
[0034] 本発明の実施形態に係る動画像符号化装置および動画像復号化装置について図 面を参照して説明する。なお、各図において、同一要素には同一符号を付して重複 する説明を省略する。
[0035] (第 1実施形態）
図 2を用いて、本発明に係る動画像符号化装置を説明する。
[0036] 本発明に係る動画像符号ィ匕装置 20は、その機能的な構成要素として、入力部 201
(入力手段)と、参照画像蓄積部 202 (参照画像蓄積手段)と、参照画像付随情報蓄 積部 203 (参照画像付随情報蓄積手段)と、画像反転部 204 (画像変更手段)と、参 照画像付随情報反転部 205 (参照画像付随情報変更手段)と、符号化部 206 (符号 化手段)と、画像逆反転部 207 (画像逆変更手段)と、参照画像付随情報逆反転部 2 08 (参照画像付随情報逆変更手段)と、出力部 209 (出力手段)とを備えて構成され る。
[0037] 入力部 201は、入力された動画像信号 210をフレーム画像に分離し、フレーム画 像を入力画像 211として画像反転部 204に送る。
[0038] 参照画像蓄積部 202は、過去に符号化された画像の局所復号化済み画像である 参照画像を蓄積する部分である。参照画像蓄積部 202は参照画像 212を画像反転 部 204に送る。
[0039] 画像反転部 204は、入力部 201から送られた入力画像 211を、反転なし、上下方 向反転、左右方向反転、上下左右方向反転の 4種類の中から選んで反転して、反転 入力画像 213を作成し、符号ィ匕部 206に送る。また、画像反転部 204は参照画像蓄 積部 202から送られた参照画像 212を、入力画像 211の反転方向と同じ方向に反転 して、反転参照画像 214を作成し、符号化部 206に送る。また、画像反転部 204は、 入力画像 211の反転方向を示す反転方向情報 215を参照画像付随情報反転部 20 5と、画像逆反転部 207と、参照画像付随情報逆反転部 208と、出力部 209に送る。
[0040] 参照画像付随情報蓄積部 203は、過去に符号化された画像の局所復号化済み画 像である参照画像に付随する情報である、参照画像付随情報を蓄積する部分である 。参照画像付随情報蓄積部 203は参照画像付随情報 216を参照画像付随情報反 転部 205に送る。
[0041] 参照画像付随情報反転部 205は、画像反転部 204から送られた反転方向情報 21 5を用いて、参照画像付随情報蓄積部 203から送られた参照画像付随情報 216を入 力画像の反転方向と同じ方向に合わせて反転し、反転参照画像付随情報 217を作 成し、符号ィ匕部 206に送る。
[0042] 符号化部 206は、画像反転部 204から送られた反転参照画像 214と、参照画像付 随情報反転部 205から送られた反転参照画像付随情報 217を用いて、画像反転部 204から送られた反転入力画像 213の予測信号を生成し、反転された入力画像の符 号化を行う。符号化部 206は反転された入力画像を符号化した圧縮データ 218を出 力部 209に送る。また符号化部 206は、反転されて局所復号化された反転局所復号 化画像 219を画像逆反転部 207に送る。さらに符号化部 206は、反転局所復号化画 像付随情報 220を参照画像付随情報逆反転部 208に送る。
[0043] 画像逆反転部 207は、画像反転部 204から送られた反転方向情報 215を用いて、 符号化部 206から送られた反転局所復号化画像 219を入力画像の反転方向と逆方 向に反転して局所復号化画像 221を生成し、次フレーム以降で参照画像として用い られるために参照画像蓄積部 202に送る。
[0044] 参照画像付随情報逆反転部 208は、画像反転部 204から送られた反転方向情報 215を用いて、符号化部 206から送られた反転局所復号化画像付随情報 220を入 力画像の反転方向と逆方向に反転して局所復号ィ匕画像付随情報 222を生成し、次 フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積 部 203に送る。
[0045] 出力部 209は、画像反転部 204から送られた反転方向情報 215と符号化部 206か ら送られた圧縮データ 218を合わせて、符号化データ 223として外部へ伝送する。な お、反転方向情報 215は、反転なしが「00」、上下方向反転が「01」、左右方向反転 が「10」、上下左右方向反転が「11」のようにフレームごとに 2ビットの情報とする。ま た、反転方向情報 215は上記以外に反転方向を示すあらゆる方法を用いることがで きる。
[0046] なお、参照画像付随情報 216の一例としては、参照画像を生成する際に用いられ た動きベクトルが挙げられる。この場合、参照画像付随情報蓄積部 203は、参照画 像を生成する際に用いられた動きベクトルを蓄積する。また、参照画像付随情報反 転部 205は、画像反転部 204から送られた反転方向情報 215を用いて、参照画像付 随情報蓄積部 203から送られた動きベクトルを入力画像の反転方向と同じ方向に合 わせて反転し、反転参照画像付随情報 217を生成する。
[0047] 具体的には、参照画像付随情報反転部 205は、参照画像付随情報蓄積部 203か ら送られた動きベクトルが（MVlx、 MVly)であった場合、反転方向情報 215が反 転なしのときは反転参照画像付随情報として反転動きベクトルを (MVlx、 MVly)と し、反転方向情報 215が上下方向反転のときは反転参照画像付随情報として反転 動きベクトルを (MVlx、 -MVly)とし、反転方向情報 215が左右方向反転ときは反 転参照画像付随情報として反転動きベクトルを (-MVlx、 MVly)とし、反転方向情 報 215が上下左右方向反転ときは反転参照画像付随情報として反転動きベクトルを (-MVlx、 -MVly)として生成する。また、動きベクトルのフレーム内での位置も、入 力画像や参照画像の画素の位置と同様に、反転方向に応じて反転される。
[0048] 図 5 (a)は参照画像を生成する際に用いられた動きベクトルを示す。図 5 (b)は反転 なしの場合の反転動きベクトルを示す。すなわち、図 5 (b)は図 5 (a)と同じ向きの動き ベクトルである。図 5 (c)は上下方向反転の場合の反転動きベクトルを示す。図 5 (d) は左右方向反転の場合の反転動きベクトルを示す。図 5 (e)は上下左右方向反転の 場合の反転動きベクトルを示す。また、参照画像付随情報逆反転部 208は、画像反 転部 204から送られた反転方向情報 215を用いて、符号化部 206から送られた反転 動きベクトルを入力画像の反転方向と逆方向に反転して局所復号ィ匕画像付随情報 2 22を生成する。具体的には、参照画像付随情報逆反転部 208は、符号ィ匕部 206か ら送られた反転動きベクトルが（MV2x、 MV2y)であった場合、反転方向情報 215 が反転なしのときは局所復号ィ匕画像付随情報として動きベクトルを (MV2x、 MV2y )とし、反転方向情報 215が上下方向反転のときは局所復号ィ匕画像付随情報として 動きベクトルを (MV2x、 - MV2y)とし、反転方向情報 215が左右方向反転ときは局 所復号ィ匕画像付随情報として動きベクトルを (-MV2x、 MV2y)とし、反転方向情報 215が上下左右方向反転ときは局所復号ィ匕画像付随情報として動きベクトルを (-M V2x、 -MV2y)として生成する。
[0049] また、反転動きベクトルのフレーム内での位置も、反転局所復号化画像の画素の位 置と同様に、反転方向に応じて逆方向に反転される。図 5 (f)は反転なしの場合の反 転動きベクトル（図 5 (b) )を逆方向に反転した動きベクトルを示す。すなわち、図 5 (f) は、図 5 (a)及び (b)と同じ向きの動きベクトルである。図 5 (g)は上下方向反転した反 転動きベクトル（図 5 (c) )を逆方向に反転した動きベクトルを示す。図 5 (h)は左右方 向反転した反転動きベクトル（図 5 (d) )を逆方向に反転した動きベクトルを示す。図 5 (i)は上下左右方向反転した反転動きベクトル（図 5 (e) )を逆方向に反転した動きべ タトルを示す。但し、参照画像付随情報は上記の動きベクトルに限らず、参照画像を 生成する際に用いられたあらゆる付随情報を用いることができる。
[0050] また、符号ィ匕部 206で使用する符号ィ匕方式の一例としては、 H. 264ZAVC符号 化方式（joint Video Team (JVT) of ISO/IEC MPEG and ITU— VCEG, "Editor' s Prop osed Draft Text Modifications for Joint Video Specification (ITU-T Rec.H.264|lSO/I EC 14496-10 AVC") , Geneva modifications draft 37を参照)が挙げられる。但し、上 記の H. 264ZAVC符号化方式に限らず、参照画像と参照画像に付随する情報か ら入力画像の予測信号を生成して符号ィ匕を行うあらゆる方式の符号ィ匕法を適用する ことができる。 [0051] 図 3を用いて符号ィ匕部 206をさらに詳細に説明する。
[0052] 符号ィ匕部 206は、その機能的な構成要素として、ブロック分割部 301と、予測信号 生成部 302と、減算器 303と、変換部 304と、量子化部 305と、エントロピー符号ィ匕部 306と、逆量子化部 307と、逆変換部 308と、加算器 309とを備えて構成される。
[0053] ブロック分割部 301は、反転入力画像 213を符号化処理する単位のブロックに分 割して反転入力画像ブロック 310を生成し、減算器 303に送る。
[0054] 予測信号生成部 302は、反転参照画像 214と反転参照画像付随情報 217を用い て符号ィ匕対象のブロックの予測信号 311を生成し、減算器 303と加算器 309に送る 。また、予測信号生成部 302は、予測信号の生成に用いた符号化情報 312をェント 口ピー符号ィ匕部 306に送る。さらに、予測信号生成部 302は、予測信号の生成により 決定された反転局所復号化画像付随情報 220を出力する。
[0055] 減算器 303は、ブロック分割部 301から送られた反転入力画像ブロック 310から、 予測信号生成部 302から送られた予測信号 311を減算して残差信号 313を生成し、 変換部 304に送る。
[0056] 変換部 304は、減算器 303から送られた残差信号 313を直交変換して直交変換係 数 314を生成し、量子化部 305に送る。
[0057] 量子化部 305は、変換部 304から送られた直交変換係数 314を量子化することに より、量子化直交変換係数 315を生成し、エントロピー符号ィ匕部 306と逆量子化部 3
07に送る。
[0058] エントロピー符号ィ匕部 306は、予測信号生成部 302から送られた符号ィ匕情報 312 と、量子化部 305から送られた量子化直交変換係数 315を合わせてエントロピー符 号化し、圧縮データ 218を生成して出力する。
[0059] 逆量子化部 307は、量子化部 305から送られた量子化直交変換係数 315を逆量 子化して局所復号ィ匕直交変換係数 316を生成し、逆変換部 308に送る。
[0060] 逆変換部 308は、逆量子化部 307から送られた局所復号化直交変換係数 316を 逆直交変換して局所復号化残差信号 317を生成し、加算器 309に送る。
[0061] 加算器 309は、予測信号生成部 302から送られた予測信号 311と、逆変換部 308 から送られた局所復号化残差信号 317を加算して反転局所復号化画像 219を生成 し、出力する。
[0062] なお、反転参照画像付随情報 217の一例として、反転動きベクトルが挙げられる。
この場合、予測信号生成部 302は反転参照画像 214と、反転参照画像付随情報 21 7である反転動きベクトルを用いて、 H. 264ZAVC符号ィ匕方式における Bピクチャ の時間ダイレクトモードの予測方式と同様に、符号化ブロックの予測信号を生成する 。また、予測信号生成部 302は参照画像と参照画像に付随する動きベクトル力も入 力画像の予測信号を生成するその他のあらゆる方式を用いても良 、。
[0063] また、符号ィ匕部 206は図 4に示すような装置としても良い。
[0064] 図 3と図 4の違いは、図 3では予測信号生成部 302が、反転参照画像 214と、反転 参照画像付随情報 217を用いて予測信号を生成しているのに対し、図 4では予測信 号生成部 302が反転参照画像 214と、反転参照画像付随情報 217と、ブロック分割 部 301から送られた反転入力画像ブロック 310を用いて予測信号を生成している点 のみであり、その他は全て同一である。
[0065] 図 4に示す予測信号生成部 302において、反転参照画像付随情報 217として反転 動きベクトルを用いて、反転入力画像ブロック 310と反転参照画像 214から符号化対 象ブロックの予測信号を生成する方法は次の通りである。すなわち図 6のように、予 測信号生成部 302は、符号ィ匕対象のブロックと同一の位置の反転動きベクトルを参 照し、反転参照画像上において、反転動きベクトルの指す点を探索中心として反転 入力画像ブロックに最も類似する信号パターンを持つブロックを探索して、そのブロッ クの信号パターンを符号ィ匕対象ブロックの予測信号とする。
[0066] また、予測信号生成部 302は符号ィ匕対象のブロックの位置力も反転入力画像プロ ックに最も類似する信号パターンを持つブロックまでの変位のベクトルを、反転局所 復号ィ匕画像付随情報 220として出力する。さらに、反転動きベクトルの指す点である 探索中心から、反転入力画像ブロックに最も類似する信号パターンを持つブロックま での変位のベクトルを、動きベクトル差分値として符号化情報 312に含めて符号化す る。なお予測信号生成部 302は、参照画像と参照画像に付随する動きベクトルと入 力画像を用いて、入力画像の予測信号を生成するその他のあらゆる方式を用いても 良い。 [0067] 次に、図 7を用いて、本発明にかかわる動画像符号ィ匕装置 20の動作を説明する。 本発明に係る動画像符号ィ匕装置 20の動作は、プログラムにより実行可能である。
[0068] まず、入力部 201が入力された動画像信号 210をフレーム画像に分離する (ステツ プ S601)。次に、画像反転部 204が、入力部 201から送られた入力画像 211を、反 転なし、上下方向反転、左右方向反転、上下左右方向反転の 4種類の中から選んで (ステップ S602)反転し、反転入力画像 213を作成する (ステップ S603)。また、画像 反転部 204が参照画像蓄積部 202から送られた参照画像 212を、入力画像 211の 反転方向と同じ方向に反転して、反転参照画像 214を作成する (ステップ S604)ま た、参照画像付随情報反転部 205が、画像反転部 204から送られた反転方向情報 2 15を用いて、参照画像付随情報 216を入力画像の反転方向と同じ方向に合わせて 反転し、反転参照画像付随情報 217を作成する (ステップ S605)。
[0069] 次に、符号ィ匕部 206が、画像反転部 204から送られた反転参照画像 214と、参照 画像付随情報反転部 205から送られた反転参照画像付随情報 217を用いて、画像 反転部 204から送られた反転入力画像 213の予測信号を生成し、反転された入力 画像の符号化を行う（ステップ S606)。
[0070] 次に、画像逆反転部 207が、画像反転部 204から送られた反転方向情報 215を用 いて、符号化部 206から送られた反転局所復号化画像 219を入力画像の反転方向 と逆方向に反転して局所復号化画像 221を生成する (ステップ S607)。また、参照画 像付随情報逆反転部 208が、画像反転部 204から送られた反転方向情報 215を用 Vヽて、符号化部 206から送られた反転局所復号化画像付随情報を入力画像の反転 方向と逆方向に反転して局所復号ィ匕画像付随情報 222を生成する (ステップ S608)
[0071] また、出力部 209は、画像反転部 204から送られた反転方向情報 215と符号化部 206から送られた圧縮データ 218を合成し (ステップ S609)、符号化データ 223とし て外部へ伝送する (ステップ S 610)。
[0072] 次に、図 8を用いて、本発明に係る動画像復号化装置を説明する。
[0073] 本発明に係る動画像復号ィ匕装置 70は、その機能的な構成要素として、分離部 701
(分離手段)と、参照画像蓄積部 702 (参照画像蓄積手段)と、参照画像付随情報蓄 積部 703 (参照画像付随情報蓄積手段)と、画像反転部 704 (画像変更手段)と、参 照画像付随情報反転部 705 (参照画像付随情報変更手段)と、復号化部 706 (復号 化手段)と、画像逆反転部 707 (画像逆反転手段)と、参照画像付随情報逆反転部 7 08 (参照画像付随情報逆反転手段)とを備えて構成される。
[0074] 分離部 701は、外部から伝送された入力された符号化データ 709を圧縮データ 71 0と反転方向情報 711に分離する。分離部 701は、圧縮データ 710を復号化部 706 に送る。また、分離部 701は、反転方向情報 711を画像反転部 704と、参照画像付 随情報反転部 705と、画像逆反転部 707と、参照画像付随情報逆反転部 708に送 る。なお、反転方向情報 711は、反転なしが「00」、上下方向反転が「01」、左右方向 反転が「10」、上下左右方向反転が「11」のようにフレームごとに 2ビットの情報とする 。また、反転方向情報 711は反転方向を示すあらゆる方法を用いることができる。
[0075] 参照画像蓄積部 702は、過去の復号ィ匕済み画像である参照画像を蓄積する部分 である。参照画像蓄積部 702は参照画像 712を画像反転部 704に送る。
[0076] 画像反転部 704は、分離部 701から送られた反転方向情報 711を用いて、参照画 像蓄積部 702から送られた参照画像 712を反転して反転参照画像 713を生成し、復 号ィ匕部 706に送る。
[0077] 参照画像付随情報蓄積部 703は、過去の復号化済み画像である参照画像に付随 する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄積 部 703は参照画像付随情報 714を参照画像付随情報反転部 705に送る。
[0078] 参照画像付随情報反転部 705は、分離部 701から送られた反転方向情報 711用 V、て、参照画像付随情報蓄積部 703から送られた参照画像付随情報 714を反転し て反転参照画像付随情報 715を作成し、復号ィ匕部 706に送る。
[0079] 復号化部 706は、分離部 701から送られた圧縮データ 710と、画像反転部 704か ら送られた反転参照画像 713と、参照画像付随情報反転部 705から送られた反転参 照画像付随情報 715を用いて、復号ィ匕画像の予測信号を生成し、反転された復号 対象である復号化画像の復号化を行う。復号化部 706は、反転されて復号化された 反転復号化画像 716を画像逆反転部 707に送る。さらに復号化部 706は、反転復号 化画像付随情報 717を参照画像付随情報逆反転部 708に送る。 [0080] 画像逆反転部 707は、分離部 701から送られた反転方向情報 711を用いて、復号 化部 706から送られた反転復号化画像 716を反転方向情報 711の反転方向と逆方 向に反転して復号化画像 718を生成し、次フレーム以降で参照画像として用いられ るために参照画像蓄積部 702に送る。また、画像逆反転部 707は復号化画像 718を 動画像表示装置などの外部機器 (図示せず)へ出力する。
[0081] 参照画像付随情報逆反転部 708は、分離部 701から送られた反転方向情報 711 を用いて、復号化部 706から送られた反転復号化画像付随情報 717を反転方向情 報の反転方向と逆方向に反転して復号ィ匕画像付随情報 719を生成し、次フレーム 以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部 703に 送る。
[0082] なお、参照画像付随情報の一例としては、参照画像を生成する際に用いられた動 きべ外ルが挙げられる。この場合、参照画像付随情報蓄積部 703は参照画像を生 成する際に用いられた動きベクトルを蓄積する。また、参照画像付随情報反転部 70 5は、分離部 701から送られた反転方向情報 711を用いて、参照画像付随情報蓄積 部 703から送られた動きベクトルを反転方向情報の反転方向と同じ方向に合わせて 反転し、反転参照画像付随情報 715を生成する。
[0083] 具体的には、参照画像付随情報反転部 705は、参照画像付随情報蓄積部 703か ら送られた動きベクトルが（MV3x、 MV3y)であった場合、反転方向情報 711が反 転なしのときは反転参照画像付随情報として反転動きベクトルを (MV3x、 MV3y)と し、反転方向情報 711が上下方向反転のときは反転参照画像付随情報として反転 動きベクトルを (MV3x、 - MV3y)とし、反転方向情報 711が左右方向反転ときは反 転参照画像付随情報として反転動きベクトルを (_MV3x、 MV3y)とし、反転方向情 報 711が上下左右方向反転ときは反転参照画像付随情報として反転動きベクトルを (-MV3x、 - MV3y)として生成する。また、動きベクトルのフレーム内での位置も反 転方向に応じて反転される。
[0084] さらに、参照画像付随情報逆反転部 708は、分離部 701から送られた反転方向情 報 711を用いて、復号化部 706から送られた反転動きベクトルを反転方向情報の反 転方向と逆方向に反転して復号ィ匕画像付随情報 719を生成する。具体的には、参 照画像付随情報逆反転部 708は、復号化部 706から送られた反転動きベクトルが（ MV4x、 MV4y)であった場合、反転方向情報 711が反転なしのときは復号化画像 付随情報として動きベクトルを (MV4x、 MV4y)とし、反転方向情報 711が上下方向 反転のときは復号ィ匕画像付随情報として動きベクトルを (MV4x、 - MV4y)とし、反 転方向情報 711が左右方向反転ときは復号ィ匕画像付随情報として動きべ外ルを (- MV4x、 MV4y)とし、反転方向情報 711が上下左右方向反転ときは局所復号ィ匕画 像付随情報として動きベクトルを (-MV4x、 - MV4y)として生成する。また、動きべク トルのフレーム内での位置も反転方向に応じて逆方向に反転される。但し、参照画像 付随情報は上記の動きベクトルに限らず、参照画像を生成する際に用いられたあら ゆる付随情報を用いることができる。
[0085] また、復号ィ匕部 706で使用する復号ィ匕方式の一例としては、 H. 264ZAVC復号 化方式が挙げられる。但し、上記の H. 264ZAVC復号化方式に限らず、参照画像 と参照画像に付随する情報力 復号ィ匕画像の予測信号を生成して復号ィ匕を行うあら ゆる方式の復号化法を適用することができる。
[0086] 図 9を用いて復号ィ匕部 706をさらに詳細に説明する。
[0087] 復号ィ匕部 706は、その機能的な構成要素として、エントロピー復号化部 801と、予 測信号生成部 802と、逆量子化部 803と、逆変換部 804と加算器 805とを備えて構 成される。
[0088] エントロピー復号ィ匕部 801は、入力された圧縮データ 710から量子化直交変換係 数 806と符号ィ匕情報 807を復号ィ匕し、量子化直交変換係数 806を逆量子化部 803 に送り、符号ィ匕情報 807を予測信号生成部 802に送る。
[0089] 予測信号生成部 802は、エントロピー復号ィ匕部 801から送られた符号ィ匕情報 807 と、反転参照画像 713と、反転参照画像付随情報 715を用いて復号化対象のブロッ クの予測信号 808を生成し、加算器 805に送る。また、予測信号生成部 802は、反 転復号ィ匕画像付随情報 717を出力する。
[0090] 逆量子化部 803は、エントロピー復号化部 801から送られた量子化直交変換係数 806を逆量子化して復号ィ匕直交変換係数 809を生成し、逆変換部 804に送る。
[0091] 逆変換部 804は、逆量子化部 803から送られた復号化直交変換係数 809を逆直 交変換して復号化残差信号 810を生成し、加算器 805に送る。
[0092] 加算器 805は、予測信号生成部 802から送られた予測信号 808と、逆変換部 804 から送られた復号化残差信号 810を加算して反転復号化画像 716を生成し、出力す る。
[0093] なお、反転参照画像付随情報の一例として、反転動きベクトルが挙げられる。この 場合、予測信号生成部 802は、 H. 264ZAVC符号ィ匕方式における Bピクチャの時 間ダイレクトモードの予測方式を用いて、反転参照画像と反転動きベクトルを利用し て復号ィ匕対象のブロックの予測値を生成しても良い。また、図 6のように、予測信号生 成部 802は復号ィ匕対象のブロックと同一の位置の反転動きベクトルが指す点を探索 中心とし、反転参照画像上で探索中心から符号ィ匕情報 807に含まれる動きベクトル 差分値のベクトルだけ移動した位置の信号パターンを復号ィ匕対象のブロックの予測 値としてもよ 、。予測信号生成部 802は参照画像と参照画像に付随する動きベクトル 力 復号ィ匕画像の予測信号を生成するその他のあらゆる方式を用いることができる。
[0094] 次に、図 10を用いて、本発明に係る動画像復号ィ匕装置 70の動作を説明する。本 発明に係る動画像復号ィ匕装置 70の動作は、プログラムにより実行可能である。
[0095] まず、分離部 701が、外部から伝送された入力された符号化データ 709を圧縮デ ータ 710と反転方向情報 711とに分離し (ステップ S901)、反転方向を判別する (ス テツプ S902)。
[0096] 次に、画像反転部 704が、分離部 701から送られた反転方向情報 711を用いて、 参照画像蓄積部 702から送られた参照画像 712を反転して反転参照画像 713を生 成する (ステップ S903)。また、参照画像付随情報反転部 705が、分離部 701から送 られた反転方向情報 711用いて、参照画像付随情報蓄積部 703から送られた参照 画像付随情報 714を反転して反転参照画像付随情報 715を作成する (ステップ S90 4)。
[0097] 次に、復号ィ匕部 706が、分離部 701から送られた圧縮データ 710と、画像反転部 7 04から送られた反転参照画像 713と、参照画像付随情報反転部 705から送られた 反転参照画像付随情報 715を用いて、復号ィ匕画像の予測信号を生成し、反転され た復号化画像の復号化を行う（ステップ S905)。 [0098] 次に、画像逆反転部 707が、分離部 701から送られた反転方向情報 711を用いて 、復号化部 706から送られた反転復号化画像 716を反転方向情報 711の反転方向 と逆方向に反転して復号化画像 718を生成する (ステップ S906)。また、画像逆反転 部 707が復号ィ匕画像 718を動画像表示装置などの外部機器 (図示せず)へ出力する (ステップ S907)。
[0099] また、参照画像付随情報逆反転部 708が、分離部 701から送られた反転方向情報 711を用いて、復号化部 706から送られた反転復号化画像付随情報を反転方向情 報の反転方向と逆方向に反転して復号化画像付随情報 719を生成する (ステップ S 908)。
[0100] 次に図 21を用いて、参照画像付随情報反転部 205および 705が、それぞれ反転 方向情報 215または 711を用いて参照画像付随情報 216または 714を反転し、反転 参照画像付随情報 217または 715を作成する方法を説明する。
[0101] まず参照画像付随情報反転部が参照画像付随情報および反転方向情報を読み 込み (ステップ S2101)、反転方向情報の値を判断する (ステップ S2102)。反転方 向情報が「00」であった場合、参照画像付随情報反転部は参照画像付随情報を反 転せず、そのまま反転参照画像付随情報とする (ステップ S2103)。反転方向情報が 「01」であった場合、参照画像付随情報反転部は参照画像付随情報を上下方向反 転して反転参照画像付随情報を作成する (ステップ S2104)。反転方向情報が「10」 であった場合、参照画像付随情報反転部は参照画像付随情報を左右方向反転して 反転参照画像付随情報を作成する (ステップ S2105)。反転方向情報が「11」であつ た場合、参照画像付随情報反転部は参照画像付随情報を上下左右方向反転して 反転参照画像付随情報を作成する (ステップ S2106)。
[0102] なお、反転方向を示す反転方向情報は上記の値には限らず、反転方向を識別す るあらゆる†青報を用いることができる。
[0103] 次に図 22を用いて、参照画像付随情報逆反転部 208および 708が、それぞれ反 転方向情報 215または 711を用いて反転局所復号ィ匕画像付随情報 220または反転 復号化画像付随情報 717を逆反転し、局所復号ィ匕画像付随情報 222または復号ィ匕 画像付随情報 719を作成する方法を説明する。 [0104] まず参照画像付随情報逆反転部が (局所)復号化画像付随情報および反転方向 情報を読み込み (ステップ S2201)、反転方向情報の値を判断する (ステップ S2202 )。反転方向情報が「00」であった場合、参照画像付随情報逆反転部は (局所)復号 化画像付随情報を反転せず、そのまま反転 (局所)復号化画像付随情報とする (ステ ップ S2203)。反転方向情報が「01」であった場合、参照画像付随情報逆反転部は 反転 (局所)復号化画像付随情報を上下方向に逆反転して (局所)復号化画像付随 情報を作成する (ステップ S2204)。反転方向情報が「10」であった場合、参照画像 付随情報逆反転部は反転 (局所)復号化画像付随情報を左右方向に逆反転して (局 所)復号化画像付随情報を作成する (ステップ S2205)。反転方向情報が「11」であ つた場合、参照画像付随情報逆反転部は変転 (局所)復号化画像付随情報を上下 左右方向に逆反転して (局所)復号化画像付随情報を作成する (ステップ S2206)。
[0105] なお、反転方向を示す反転方向情報は上記の値には限らず、反転方向を識別す るあらゆる†青報を用いることができる。
[0106] 以上述べた第 1実施形態によれば、動画像符号化装置 20において、参照画像お よび参照画像に付随する情報を入力画像の反転方向に合わせて反転して予測信号 を生成するので、入力画像を正しく符号ィ匕することができる。また、動画像復号化装 置 70にお ヽて、参照画像および参照画像に付随する情報を伝送された反転方向情 報に合わせて反転して予測信号を生成することで復号化画像を正しく復号化するこ とができる。すなわち、的確な予測信号を生成してより効率的に画像の符号ィ匕及び 復号ィ匕を行うことができる。
[0107] また、動画像符号化装置 20において、局所復号化された局所復号化画像を逆変 更し、局所復号化画像に付随する情報を逆変更するので、次に入力される入力画像 に対応した参照画像と参照画像付随情報とを生成することができる。また、動画像復 号ィ匕装置 70において、復号化された復号化画像を逆変更し、復号化された復号ィ匕 画像に付随する情報を逆変更するので、次に入力される復号化画像に対応した参 照画像と参照画像付随情報とを生成することができる。
[0108] なお、入力画像を反転させる単位は、上記フレームごと以外に、スライスごと、ブロッ クごとでも良い。図 19に、フレーム内の複数列のブロック群力もなるスライスごとに入 力画像を反転させた場合の例を示す。ブロック 0〜 15で構成されるスライスは上下左 右方向に、ブロック 16〜31で構成されるスライスは上下方向に、ブロック 32〜39で 構成されるスライスは左右方向に反転されている。この場合、符号化装置は各スライ ス単位で反転方向情報、および参照画像での対応するスライスの位置までの垂直方 向の変位量を伝送する。また、復号ィ匕装置は各スライス単位で反転方向情報、およ び参照画像での対応するスライスの位置までの垂直方向の変位量を受信することと する。
[0109] さらに図 20に、フレーム内の任意形状のブロック群からなるスライスごとに入力画像 を反転させた場合の例を示す。ブロック 12〜14と 20〜22と 27〜30力らなるスライス は上下方向に、残りのブロック力 なるスライスは左右方向に反転されている。この場 合、符号ィ匕装置は各スライス単位で反転方向情報、およびスライス内のブロック番号 に基づく参照画像での対応するスライスの位置と形状を指示する情報を伝送する。ま た、復号化装置は各スライス単位で反転方向情報、およびスライス内のブロック番号 に基づく参照画像での対応するスライスの位置と形状を指示する情報を受信すること とする。
[0110] なお、動画像符号ィ匕装置 20において、符号化部 206が画像反転部 204および参 照画像付随情報反転部 205の機能を有していてもよい。また、動画像復号化装置 7 0にお ヽて、復号化部 706が画像反転部 704および参照画像付随情報反転部 705 の機能を有していてもよい。
[0111] (第 2実施形態）
図 11を用いて、本発明に係る動画像符号ィ匕装置を説明する。
[0112] 本発明に係る動画像符号ィ匕装置 100は、その機能的な構成要素として、入力部 10 01 (入力手段)と、参照画像蓄積部 1002 (参照画像蓄積手段)と、参照画像付随情 報蓄積部 1003 (参照画像付随情報蓄積手段)と、画像変更部 1004 (画像変更手段 )と、参照画像付随情報変更部 1005 (参照画像付随情報変更手段)と、符号化部 10 06 (符号化手段)と、画像逆変更部 1007 (画像逆変更部)と、参照画像付随情報逆 変更部 1008 (参照画像付随情報逆変更手段)と、出力部 1009 (出力手段)とを備え て構成される。 [0113] 入力部 1001は、入力された動画像信号 1010をフレーム画像に分離し、フレーム 画像を入力画像 1011として画像変更部 1004に送る。
[0114] 参照画像蓄積部 1002は、過去に符号ィ匕された画像の局所復号ィ匕済み画像である 参照画像を蓄積する部分である。参照画像蓄積部 1002は参照画像 1012を画像変 更部 1004に送る。
[0115] 画像変更部 1004は、入力部 1001から送られた入力画像 1011を、回転、拡大、縮 小などの変更を行って、変更入力画像 1013を作成し、符号ィ匕部 1006に送る。また 、画像変更部 1004は参照画像蓄積部 1002から送られた参照画像 1012を、入力 画像 1011の変更方法と同じ方法で変更して、変更参照画像 1014を作成し、符号 化部 1006に送る。また、画像変更部 1004は、入力画像 1011の変更方法を示す変 更方法情報 1015を参照画像付随情報変更部 1005と、画像逆変更部 1007と、参 照画像付随情報逆変更部 1008と、出力部 1009に送る。
[0116] 参照画像付随情報蓄積部 1003は、過去に符号化された画像の局所復号化済み 画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分であ る。参照画像付随情報蓄積部 1003は参照画像付随情報 1016を参照画像付随情 報変更部 1005に送る。
[0117] 参照画像付随情報変更部 1005は、画像変更部 1004から送られた変更方法情報 1015を用いて、参照画像付随情報蓄積部 1003から送られた参照画像付随情報 10 16を入力画像の変更方法と同じ方法で変更し、変更参照画像付随情報 1017を作 成し、符号ィヒ部 1006に送る。
[0118] 符号ィ匕部 1006は、画像変更部 1004から送られた変更参照画像 1014と、参照画 像付随情報変更部 1005から送られた変更参照画像付随情報 1017を用いて、画像 変更部 1004から送られた変更入力画像 1013の予測信号を生成し、変更された入 力画像の符号化を行う。符号化部 1006は変更された入力画像を符号化した圧縮デ ータ 1018を出力部 1009に送る。また符号ィ匕部 1006は、変更されて局所復号化さ れた変更局所復号ィ匕画像 1019を画像逆変更部 1007に送る。さらに符号ィ匕部 100 6は、変更局所復号ィ匕画像付随情報 1020を参照画像付随情報逆変更部 1008に 送る。 [0119] 画像逆変更部 1007は、画像変更部 1004から送られた変更方法情報 1015を用い て、符号ィ匕部 1006から送られた変更局所復号ィ匕画像 1019を入力画像の変更方法 と逆の方法で変更して局所復号ィ匕画像 1021を生成し、次フレーム以降で参照画像 として用いられるために参照画像蓄積部 1002に送る。
[0120] 参照画像付随情報逆変更部 1008は、画像変更部 1004から送られた変更方法情 報 1015を用いて、符号ィ匕部 1006から送られた変更局所復号ィ匕画像付随情報を入 力画像の変更方法と逆の方法で変更して局所復号ィ匕画像付随情報 1022を生成し 、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄 積部 1003に送る。
[0121] 出力部 1009は、画像変更部 1004から送られた変更方法情報 1015と符号化部 1 006から送られた圧縮データ 1018を合わせて、符号化データ 1023として外部へ伝 送する。
[0122] なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られ るものではなぐ第 1実施形態における画像の反転を含む、あらゆる変更方法を用い ることができる。また、上記逆の方法の変更方法は、画像および参照画像付随情報 の逆回転、縮小、拡大に限られるものではなぐ上記変更の効果を除去するあらゆる 変更方法を用いることができる。
[0123] また、符号ィ匕部 1006で使用する符号ィ匕方式の一例としては、 H. 264ZAVC符号 化方式が挙げられる。但し、上記の H. 264ZAVC符号化方式に限らず、参照画像 と参照画像に付随する情報力 入力画像の予測信号を生成して符号ィ匕を行うあらゆ る方式の符号化法を適用することができる。
[0124] さらに、符号ィ匕部 1006の詳細な説明は、第 1実施形態における符号ィ匕部 206の詳 細な説明と同一である。
[0125] 次に、図 12を用いて、本発明にかかわる動画像符号ィ匕装置 100の動作を説明する 。本発明に係る動画像符号ィ匕装置 100の動作は、プログラムにより実行可能である。
[0126] まず、入力部 1001が入力された動画像信号 1010をフレーム画像に分離する (ス テツプ S1101)。次に、画像変更部 1004が、入力部 1001から送られた入力画像 10 11を、回転、拡大、縮小などの変更法を決定して (ステップ S 1102)変更し、変更入 力画像 1013を作成する (ステップ S1103)。また、画像変更部 1004が参照画像蓄 積部 1002から送られた参照画像 1012を、入力画像 1011の変更方法と同じ方法で 変更して、変更参照画像 1014を作成する (ステップ S 1104)また、参照画像付随情 報変更部 1005が、画像変更部 1004から送られた変更方法情報 1015を用いて、参 照画像付随情報 1016を入力画像の変更方法と同じ方法で変更し、変更参照画像 付随情報 1017を作成する (ステップ S1105)。
[0127] 次に、符号ィ匕部 1006が、画像変更部 1004から送られた変更参照画像 1014と、 参照画像付随情報変更部 1005から送られた変更参照画像付随情報 1017を用い て、画像変更部 1004から送られた変更入力画像 1013の予測信号を生成し、変更さ れた入力画像の符号化を行う（ステップ S 1106)。
[0128] 次に、画像逆変更部 1007が、画像変更部 1004から送られた変更方法情報 1015 を用いて、符号化部 1006から送られた変更局所復号化画像 1019を入力画像の変 更方法と逆の方法で変更して局所復号ィ匕画像 1021を生成する (ステップ S1107)。 また、参照画像付随情報逆変更部 1008が、画像変更部 1004から送られた変更方 法情報 1015を用いて、符号ィ匕部 1006から送られた変更局所復号ィ匕画像付随情報 を入力画像の変更方法と逆の方法で変更して局所復号ィ匕画像付随情報 1022を生 成する（ステップ S 1108)。
[0129] また、出力部 1009は、画像変更部 1004から送られた変更方法情報 1015と符号 化部 1006から送られた圧縮データ 1018を合成し (ステップ S1109)、符号化データ 1023として外部へ伝送する (ステップ SI 110)。
[0130] 次に、図 13を用いて、本発明に係る動画像復号化装置を説明する。
[0131] 本発明に係る動画像復号ィ匕装置 120は、その機能的な構成要素として、分離部 12 01 (分離手段)と、参照画像蓄積部 1202 (参照画像蓄積手段)と、参照画像付随情 報蓄積部 1203 (参照画像付随情報蓄積手段)と、画像変更部 1204 (画像変更手段 )と、参照画像付随情報変更部 1205 (参照画像付随情報変更手段)と、復号化部 12 06 (復号化手段)と、画像逆変更部 1207 (画像逆変更手段)と、参照画像付随情報 逆変更部 1208 (参照画像付随情報逆変更手段)とを備えて構成される。
[0132] 分離部 1201は、外部から伝送されて入力された符号化データ 1209を圧縮データ 1210と変更方法情報 1211に分離する。分離部 1201は、圧縮データ 1210を復号 化部 1206に送る。また、分離部 1201は、変更方法情報 1211を画像変更部 1204と 、参照画像付随情報変更部 1205と、画像逆変更部 1207と、参照画像付随情報逆 変更部 1208とに送る。
[0133] 参照画像蓄積部 1202は、過去の復号化済み画像である参照画像を蓄積する部 分である。参照画像蓄積部 1202は参照画像 1212を画像変更部 1204に送る。
[0134] 画像変更部 1204は、分離部 1201から送られた変更方法情報 1211を用いて、参 照画像蓄積部 1202から送られた参照画像 1212を変更して変更参照画像 1213を 生成し、復号ィ匕部 1206に送る。
[0135] 参照画像付随情報蓄積部 1203は、過去の復号化済み画像である参照画像に付 随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄 積部 1203は参照画像付随情報 1214を参照画像付随情報変更部 1205に送る。
[0136] 参照画像付随情報変更部 1205は、分離部 1201から送られた変更方法情報 121 1用いて、参照画像付随情報蓄積部 1203から送られた参照画像付随情報 1214を 変更して変更参照画像付随情報 1215を作成し、復号化部 1206に送る。
[0137] 復号ィ匕部 1206は、分離部 1201から送られた圧縮データ 1210と、画像変更部 12 04から送られた変更参照画像 1213と、参照画像付随情報変更部 1205から送られ た変更参照画像付随情報 1215とを用いて、復号ィ匕画像の予測信号を生成し、変更 された復号化画像の復号化を行う。復号化部 1206は、変更されて復号化された変 更復号ィ匕画像 1216を画像逆変更部 1207に送る。さらに復号ィ匕部 1206は、変更復 号化画像付随情報 1217を参照画像付随情報逆変更部 1208に送る。
[0138] 画像逆変更部 1207は、分離部 1201から送られた変更方法情報 1211を用いて、 復号ィ匕部 1206から送られた変更復号ィ匕画像 1216を変更方法情報 1211の変更方 法と逆の方法で変更して復号ィ匕画像 1218を生成し、次フレーム以降で参照画像と して用いられるために参照画像蓄積部 1202に送る。また、画像逆変更部 1207は復 号ィ匕画像 1218を動画像表示装置などの外部機器 (図示せず)へ出力する。
[0139] 参照画像付随情報逆変更部 1208は、分離部 1201から送られた変更方法情報 12 11を用いて、復号化部 1206から送られた変更復号ィ匕画像付随情報 1217を変更方 法情報の変更方法と逆の方法で変更して復号化画像付随情報 1219を生成し、次フ レーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部 1 203に送る。
[0140] なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られ るものではなぐ第 1実施形態における画像の反転を含む、あらゆる変更方法を用い ることができる。また、上記逆の方法の変更方法は、画像および参照画像付随情報 の逆回転、縮小、拡大に限られるものではなぐ上記変更の効果を除去するあらゆる 変更方法を用いることができる。
[0141] また、復号ィ匕部 1206で使用する復号ィ匕方式の一例としては、 H. 264ZAVC復号 化方式が挙げられる。但し、上記の H. 264ZAVC復号化方式に限らず、参照画像 と参照画像に付随する情報力 復号ィ匕画像の予測信号を生成して復号ィ匕を行うあら ゆる方式の復号化法を適用することができる。
[0142] さらに、復号ィ匕部 1206の詳細な説明は、第 1実施形態における復号ィ匕部 706の詳 細な説明と同一である。
[0143] 次に、図 14を用いて、本発明に係る動画像復号ィ匕装置 120の動作を説明する。本 発明に係る動画像復号化装置 120の動作は、プログラムにより実行可能である。
[0144] まず、分離部 1201が、外部から伝送された入力された符号化データ 1209を圧縮 データ 1210と変更方法情報 1211とに分離し (ステップ S1301)、変更方法を判別 する（ステップ S 1302)。
[0145] 次に、画像変更部 1204が、分離部 1201から送られた変更方法情報 1211を用い て、参照画像蓄積部 1202から送られた参照画像 1212を変更して変更参照画像 12 13を生成する (ステップ S1303)。また、参照画像付随情報変更部 1205が、分離部 1201から送られた変更方法情報 1211用いて、参照画像付随情報蓄積部 1203か ら送られた参照画像付随情報 1214を変更して変更参照画像付随情報 1215を作成 する（ステップ S 1304)。
[0146] 次に、復号ィ匕部 1206が、分離部 1201から送られた圧縮データ 1210と、画像変更 部 1204から送られた変更参照画像 1213と、参照画像付随情報変更部 1205から送 られた変更参照画像付随情報 1215とを用いて、復号化画像の予測信号を生成し、 変更された復号化画像の復号化を行う（ステップ S 1305)。
[0147] 次に、画像逆変更部 1207が、分離部 1201から送られた変更方法情報 1211を用 いて、復号ィ匕部 1206から送られた変更復号ィ匕画像 1216を変更方法情報 1211の 変更方法と逆の方法で変更して復号ィ匕画像 1218を生成する (ステップ S1306)。ま た、画像逆変更部 1207が復号ィ匕画像 1218を動画像表示装置などの外部機器 (図 示せず)へ出力する (ステップ S1307)。
[0148] また、参照画像付随情報逆変更部 1208が、分離部 1201から送られた変更方法 情報 1211を用いて、復号ィ匕部 1206から送られた変更復号ィ匕画像付随情報を変更 方法情報の変更方法と逆の方法で変更して復号化画像付随情報 1219を生成する（ ステップ S 1308)。
[0149] 以上述べた第 2実施形態によれば、参照画像および参照画像に付随する情報を入 力画像の変更方法に合わせて変更して予測信号を生成するので、入力画像を正しく 符号ィ匕することができる。また、参照画像および参照画像に付随する情報を伝送され た変更方法情報に合わせて変更して予測信号を生成することで復号ィ匕画像を正しく 復号ィ匕することができる。すなわち、的確な予測信号を生成してより効率的に画像の 符号ィ匕及び復号ィ匕を行うことができる。
[0150] なお、入力画像を変更させる単位は上記のフレームごと以外に、スライスごとでも、 ブロックごとでも良ぐこの場合、符号化装置は各単位で変更方法情報を伝送し、復 号化装置は各単位で変更方法情報を受信することとする。
[0151] (第 2実施形態の変更例 1)
次に、第 2実施形態の変更例 1について説明する。本変更例は、入力画像と参照 画像の方向や大きさが異なる場合、参照画像および参照画像に付随する情報を入 力画像の方向や大きさに合わせることにより、高い符号ィ匕効率で符号ィ匕および復号 化する動画像符号化装置および動画像復号化装置について述べる。
[0152] 図 15を用いて、本発明に係る動画像符号化装置を説明する。
[0153] 本発明に係る動画像符号ィ匕装置 140は、その機能的な構成要素として、入力部 14 01と、参照画像蓄積部 1402と、参照画像付随情報蓄積部 1403と、画像変更部 14 04と、参照画像付随情報変更部 1405と、符号化部 1406と、出力部 1407とを備え て構成される。
[0154] 入力部 1401は、入力された動画像信号 1408をフレーム画像に分離し、フレーム 画像を入力画像 1409として画像変更部 1404と符号ィ匕部 1406に送る。
[0155] 参照画像蓄積部 1402は、過去に符号ィ匕された画像の局所復号ィ匕済み画像である 参照画像を蓄積する部分である。参照画像蓄積部 1402は参照画像 1410を画像変 更部 1404に送る。
[0156] 画像変更部 1404は、入力部 1401から送られた入力画像 1409と参照画像蓄積部 1402から送られた参照画像 1410を比較して、入力画像 1409に合うように参照画像 1410を変更して変更参照画像 1411を作成し、符号ィ匕部 1406に送る。また、画像 変更部 1404は参照画像 1410の変更方法を示す変更方法情報 1412を参照画像 付随情報変更部 1405と出力部 1407に送る。このようにすることにより、本発明の動 画像符号ィ匕装置 140において画像逆変更部を省くことができる。
[0157] 参照画像付随情報蓄積部 1403は、過去に符号化された画像の局所復号化済み 画像である参照画像に付随する情報である参照画像付随情報を蓄積する部分であ る。参照画像付随情報蓄積部 1403は参照画像付随情報 1413を参照画像付随情 報変更部 1405に送る。
[0158] 参照画像付随情報変更部 1405は、画像変更部 1404から送られた変更方法情報 1412を用いて、参照画像付随情報蓄積部 1403から送られた参照画像付随情報 14 13を変更し、変更参照画像付随情報 1414を作成し、符号ィ匕部 1406に送る。このよ うに参照画像付随情報変更部 1405は、画像変更部 1404から送られた変更方法情 報 1412を用いて変更参照画像付随情報 1414を作成するので、本発明の動画像符 号ィ匕装置 140において、参照画像付随情報逆変更部を省くことができる。
[0159] 符号ィ匕部 1406は、入力部 1401から送られた入力画像 1409と、画像変更部 140 4から送られた変更参照画像 1411と、参照画像付随情報変更部 1405から送られた 変更参照画像付随情報 1414を用いて、入力画像 1409の予測信号を生成し、入力 画像の符号化を行う。符号化部 1006は入力画像を符号化した圧縮データ 1415を 出力部 1407に送る。また符号ィ匕部 1406は、局所復号化された局所復号化画像 14 16を生成し、次フレーム以降で参照画像として用いられるために参照画像蓄積部 14 02〖こ送る。さらに符号ィ匕部 1406は、変更局所復号化画像付随情報 1417を生成し 、次フレーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄 積部 1403に送る。
[0160] 出力部 1407は、画像変更部 1404から送られた変更方法情報 1412と符号化部 1 406から送られた圧縮データ 1415を合わせて、符号化データ 1418として外部へ伝 送する。
[0161] なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られ るものではなぐ第 1実施形態における画像の反転を含む、あらゆる変更方法を用い ることがでさる。
[0162] また、符号ィ匕部 1406で使用する符号ィ匕方式の一例としては、 H. 264ZAVC符号 化方式が挙げられる。但し、上記の H. 264ZAVC符号化方式に限らず、参照画像 と参照画像に付随する情報力 入力画像の予測信号を生成して符号ィ匕を行うあらゆ る方式の符号化法を適用することができる。
[0163] さらに、符号ィ匕部 1406の詳細な説明は、第 1実施形態における符号ィ匕部 206の詳 細な説明とほぼ同一である。符号ィ匕部 206との違いは、符号化部 206が反転入力画 像 213を入力するのに対して、符号ィ匕部 1406が入力画像 1409を入力する点だけ である。
[0164] 次に、図 16を用いて、本発明にかかわる動画像符号ィ匕装置 140の動作を説明する 。本発明に係る動画像符号ィ匕装置 140の動作は、プログラムにより実行可能である。
[0165] まず、入力部 1401が入力された動画像信号 1408をフレーム画像に分離する (ス テツプ S1501)。次に、画像変更部 1404が、入力部 1401から送られた入力画像 14 09と参照画像蓄積部 1402から送られた参照画像 1410を比較し (ステップ S1502) 、入力画像 1409に合うように参照画像 1410を変更する変更法を決定して (ステップ S1503)、変更参照画像 1411を作成する (ステップ S1504)。また、参照画像付随 情報変更部 1405が、画像変更部 1404から送られた変更方法情報 1412を用いて、 参照画像付随情報蓄積部 1403から送られた参照画像付随情報 1413を変更する（ ステップ S 1505)。
[0166] 次に符号化部 1406が、入力部 1401から送られた入力画像 1409と、画像変更部 1404から送られた変更参照画像 1411と、参照画像付随情報変更部 1405から送ら れた変更参照画像付随情報 1414を用いて、入力画像 1409の予測信号を生成し、 入力画像の符号化を行う（ステップ S 1506)。
[0167] 次に出力部 1407が、画像変更部 1404から送られた変更方法情報 1412と符号ィ匕 部 1406から送られた圧縮データ 1415を合成し (ステップ S 1507)、符号化データ 1 418として外部へ伝送する（ステップ S 1508)。
[0168] 次に、図 17を用いて、本発明に係る動画像復号化装置を説明する。
[0169] 本発明に係る動画像復号ィ匕装置 150は、その機能的な構成要素として、分離部 16 01と、参照画像蓄積部 1602と、参照画像付随情報蓄積部 1603と、画像変更部 16 04と、参照画像付随情報変更部 1605と、復号化部 1606とを備えて構成される。
[0170] 分離部 1601は、外部から伝送された入力された符号化データ 1607を圧縮データ 1608と変更方法情報 1609に分離する。分離部 1601は、圧縮データ 1608を復号 化部 1606に送る。また、分離部 1601は、変更方法情報 1609を画像変更部 1604と 、参照画像付随情報変更部 1605に送る。
[0171] 参照画像蓄積部 1602は、過去の復号化済み画像である参照画像を蓄積する部 分である。参照画像蓄積部 1602は参照画像 1610を画像変更部 1604に送る。
[0172] 画像変更部 1604は、分離部 1601から送られた変更方法情報 1609を用いて、参 照画像蓄積部 1602から送られた参照画像 1610を入力画像に合うように変更して変 更参照画像 1611を生成し、復号ィ匕部 1606に送る。このようにすることにより、本発 明の動画像復号ィ匕装置 150において、画像逆変更部を省くことができる。
[0173] 参照画像付随情報蓄積部 1603は、過去の復号化済み画像である参照画像に付 随する情報である参照画像付随情報を蓄積する部分である。参照画像付随情報蓄 積部 1603は参照画像付随情報 1612を参照画像付随情報変更部 1605に送る。
[0174] 参照画像付随情報変更部 1605は、分離部 1601から送られた変更方法情報 160 9用いて、参照画像付随情報蓄積部 1603から送られた参照画像付随情報 1612を 変更して変更参照画像付随情報 1613を作成し、復号ィ匕部 1606に送る。このように 、参照画像付随情報変更部 1605は、分離部 1601から送られた変更方法情報 160 9用いて変更参照画像付随情報 1613を作成するので、本発明の動画像復号化装 置 150において、参照画像付随情報逆変更部を省くことができる。
[0175] 復号ィ匕部 1606は、分離部 1601から送られた圧縮データ 1608と、画像変更部 16 04から送られた変更参照画像 1611と、参照画像付随情報変更部 1605から送られ た変更参照画像付随情報 1613とを用いて、復号ィ匕画像の予測信号を生成し、復号 化画像の復号化を行う。復号化部 1606は、復号化された復号化画像 1614を次フレ ーム以降で参照画像として用いられるために参照画像蓄積部 1602に送る。さらに復 号ィ匕部 1206は、復号化された復号化画像 1614を動画像表示装置などの外部機器 (図示せず)へ出力する。また、復号ィ匕部 1606は、復号ィ匕画像付随情報 1615を次フ レーム以降で参照画像付随情報として用いられるために参照画像付随情報蓄積部 1 603に送る。
[0176] なお、上記変更方法は画像および参照画像付随情報の回転、拡大、縮小に限られ るものではなぐ第 1実施形態における画像の反転を含む、あらゆる変更方法を用い ることがでさる。
[0177] また、復号ィ匕部 1606で使用する復号ィ匕方式の一例としては、 H. 264/AVC復号 化方式が挙げられる。但し、上記の H. 264ZAVC復号化方式に限らず、参照画像 と参照画像に付随する情報力 復号ィ匕画像の予測信号を生成して復号ィ匕を行うあら ゆる方式の復号化法を適用することができる。
[0178] さらに、復号ィ匕部 1606の詳細な説明は、第 1実施形態における復号ィ匕部 706の詳 細な説明と同一である。
[0179] 次に、図 18を用いて、本発明にかかわる動画像復号ィ匕装置 150の動作を説明する 。本発明に係る動画像復号ィ匕装置 150の動作は、プログラムにより実行可能である。
[0180] まず、分離部 1601が、外部から伝送された入力された符号化データ 1607を圧縮 データ 1608と変更方法情報 1609とに分離し (ステップ S1701)、変更方法を判別 する（ステップ S 1702)。
[0181] 次に、画像変更部 1604が、分離部 1601から送られた変更方法情報 1609を用い て、参照画像蓄積部 1602から送られた参照画像 1610を変更して変更参照画像 16 11を生成する (ステップ S 1703)。また、参照画像付随情報変更部 1605が、分離部 1601から送られた変更方法情報 1609を用いて、参照画像付随情報蓄積部 1603 力も送られた参照画像付随情報 1612を変更して変更参照画像付随情報 1613を作 成する（ステップ S 1704)。
[0182] 次に、復号ィ匕部 1606が、分離部 1601から送られた圧縮データ 1608と、画像変更 部 1604から送られた変更参照画像 1611と、参照画像付随情報変更部 1605から送 られた変更参照画像付随情報 1613とを用いて、復号化画像の予測信号を生成し、 復号化画像の復号化を行う（ステップ S1705)。また、復号ィ匕部 1606が、復号化され た復号ィ匕画像 1614を動画像表示装置などの外部機器 (図示せず)へ出力する (ステ ップ 1706)。
[0183] 以上述べた第 2実施形態の変更例 1によれば、画像変更部が入力画像と参照画像 を比較し、参照画像および参照画像に付随する情報を入力画像に合わせて変更し て予測信号を生成するので、入力画像を高い効率で符号ィ匕することができる。また、 参照画像および参照画像に付随する情報を伝送された変更方法情報に合わせて変 更して予測信号を生成することで復号ィ匕画像を正しく復号ィ匕することができる。すな わち、的確な予測信号を生成してより効率的に画像の符号ィ匕及び復号ィ匕を行うこと ができる。
産業上の利用可能性
[0184] 本発明の動画像符号ィ匕装置、動画像復号化装置、動画像符号化方法、動画像復 号化方法、動画像符号化プログラム、および動画像復号ィ匕プログラムによれば、的 確な予測信号を生成してより効率的に画像情報の符号ィ匕及び復号ィ匕をすることがで きる。

Claims

請求の範囲
[1] 符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前 記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、 前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を 示す変更方法情報と合わせて符号化データとして出力する出力手段と、
を備える動画像符号化装置。
[2] 符号化対象となる入力画像を入力する入力手段と、
参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記入力画像と前記参照画像とを変更する画像変更手段と、
前記参照画像付随情報を前記入力画像と前記参照画像とに合わせて変更する参 照画像付随情報変更手段と、
前記変更された参照画像と前記変更された参照画像付随情報とを用いて前記入 力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、 前記符号化手段によって符号化された圧縮データを前記参照画像の変更方法を 示す変更方法情報と合わせて符号化データとして出力する出力手段と、
を備える動画像符号化装置。
[3] 前記符号化手段により局所復号化された局所復号化画像を逆変更する画像逆変 更手段と、
前記符号化手段から出力された局所復号化画像に付随する情報を逆変更する参 照画像付随情報逆変更手段と、
をさらに備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画 像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変 更した情報を前記参照画像付随情報として蓄積する
ことを特徴とする請求項 1又は 2に記載の動画像符号ィ匕装置。
[4] 前記参照画像付随情報は前記参照画像の動きベクトルであることを特徴とする請 求項 1〜3のいずれか 1項に記載の動画像符号ィ匕装置
[5] 入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、 参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、 復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
を備える動画像復号化装置。
[6] 入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、 参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記参照画像を前記変更方法情報に従って変更する画像変更手段と、 前記参照画像付随情報を前記変更方法情報に従って変更する参照画像付随情 報変更手段と、
前記変更された参照画像と、前記変更された参照画像付随情報を用いて、復号画 像の予測信号を生成して、復号画像の復号化を行う復号化手段と、
を備える動画像復号化装置。
[7] 前記復号化手段により復号化された復号化画像を逆変更する画像逆変更手段と、 前記復号化手段から出力された復号化画像に付随する情報を逆変更する参照画 像付随情報逆変更手段と、
をさらに備え、
前記参照画像蓄積手段は、前記画像逆変更手段が逆変更した情報を前記参照画 像として蓄積し、
前記参照画像付随情報蓄積手段は、前記参照画像付随情報逆変更手段が逆変 更した情報を前記参照画像付随情報として蓄積する
ことを特徴とする請求項 5又は 6に記載の動画像復号化装置。
[8] 前記参照画像付随情報は前記参照画像の動きベクトルであることを特徴とする請 求項 5〜7のいずれか 1項に記載の動画像復号ィ匕装置
[9] 入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、 参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄 積する参照画像付随情報蓄積ステップと、
符号化手段が、前記参照画像と前記参照画像付随情報とを前記入力画像に合わ せて変更し、前記入力画像の予測信号を生成して前記入力画像の符号化を行う符 号化ステップと、
出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画 像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出カス テツプと、
を備える動画像符号化方法。
[10] 入力手段が、符号化対象となる入力画像を入力する入力ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、 参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄 積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記入力画像と前記参照画像とを変更する画像変更ステップと 参照画像付随情報変更手段が、前記参照画像付随情報を前記入力画像と前記参 照画像とに合わせて変更する参照画像付随情報変更ステップと、
符号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを 用いて前記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化ス テツプと、 出力手段が、前記符号化ステップにおいて符号化された圧縮データを前記参照画 像の変更方法を示す変更方法情報と合わせて符号化データとして出力する出カス テツプと、
を備える動画像符号化方法。
[11] 分離手段が、入力された符号ィ匕データを圧縮データと変更方法情報とに分離する 分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、 参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄 積する参照画像付随情報蓄積ステップと、
復号化手段が、前記変更方法情報を用いて前記参照画像と前記参照画像付随情 報とを変更し、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ス テツプと、
を備える動画像復号化方法。
[12] 分離手段が、入力された符号ィ匕データを圧縮データと変更方法情報とに分離する 分離ステップと、
参照画像蓄積手段が、参照画像を蓄積する参照画像蓄積ステップと、 参照画像付随情報蓄積手段が、前記参照画像に付随する参照画像付随情報を蓄 積する参照画像付随情報蓄積ステップと、
画像変更手段が、前記参照画像を前記変更方法情報に従って変更する画像変更 ステップと、
参照画像付随情報変更手段が、前記参照画像付随情報を前記変更方法情報に 従って変更する参照画像付随情報変更ステップと、
復号化手段が、前記変更された参照画像と前記変更された参照画像付随情報とを 用いて、復号画像の予測信号を生成して、復号画像の復号化を行う復号化ステップ と、
を備える動画像復号化方法。
[13] コンピュータを
符号化対象となる入力画像を入力する入力手段と、 参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記参照画像と前記参照画像付随情報とを前記入力画像に合わせて変更し、前 記入力画像の予測信号を生成して前記入力画像の符号化を行う符号化手段と、 前記符号ィ匕手段によって符号化された圧縮データを前記参照画像の変更方法を 示す変更方法情報と合わせて符号化データとして出力する出力手段と、
して機能させる動画像符号ィ匕プログラム。
コンピュータを
入力された符号化データを圧縮データと変更方法情報とに分離する分離手段と、 参照画像を蓄積する参照画像蓄積手段と、
前記参照画像に付随する参照画像付随情報を蓄積する参照画像付随情報蓄積 手段と、
前記変更方法情報を用いて前記参照画像と前記参照画像付随情報とを変更し、 復号画像の予測信号を生成して、復号画像の復号化を行う復号化手段と、 して機能させる動画像復号ィ匕プログラム。
PCT/JP2006/320384 2005-10-12 2006-10-12 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム WO2007043613A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN200680037923.8A CN101288314B (zh) 2005-10-12 2006-10-12 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法
US12/090,154 US8073266B2 (en) 2005-10-12 2006-10-12 Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
EP06811680A EP1950974A4 (en) 2005-10-12 2006-10-12 DEVICE FOR DYNAMIC IMAGE DEFINITION, DEVICE FOR DYNAMIC IMAGE DEFINITION, METHOD FOR DYNAMIC IMAGE ENCODING, METHOD FOR DYNAMIC IMAGE DECODING, DYNAMIC IMAGE ENCODING PROGRAM, AND DYNAMIC IMAGE DECODING PROGRAM
US13/279,861 US8351717B2 (en) 2005-10-12 2011-10-24 Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US13/668,895 US20130064457A1 (en) 2005-10-12 2012-11-05 Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005298169A JP2007110348A (ja) 2005-10-12 2005-10-12 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP2005-298169 2005-10-12

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US12/090,154 A-371-Of-International US8073266B2 (en) 2005-10-12 2006-10-12 Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program
US13/279,861 Continuation US8351717B2 (en) 2005-10-12 2011-10-24 Dynamic image encoding device, dynamic image decoding device, dynamic image encoding method, dynamic image decoding method, dynamic image encoding program, and dynamic image decoding program

Publications (1)

Publication Number Publication Date
WO2007043613A1 true WO2007043613A1 (ja) 2007-04-19

Family

ID=37942838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/320384 WO2007043613A1 (ja) 2005-10-12 2006-10-12 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム

Country Status (5)

Country Link
US (3) US8073266B2 (ja)
EP (4) EP1950974A4 (ja)
JP (1) JP2007110348A (ja)
CN (1) CN101288314B (ja)
WO (1) WO2007043613A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US20100046630A1 (en) 2008-08-22 2010-02-25 Fu-Chung Chi Apparatus and method for video processing
JP5321426B2 (ja) * 2009-11-26 2013-10-23 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP6182718B2 (ja) 2012-06-29 2017-08-23 ヴェロス メディア インターナショナル リミテッドＶｅｌｏｓ Ｍｅｄｉａ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｌｉｍｉｔｅｄ 復号装置および復号方法
US10630992B2 (en) * 2016-01-08 2020-04-21 Samsung Electronics Co., Ltd. Method, application processor, and mobile terminal for processing reference image
US10630994B2 (en) * 2017-06-28 2020-04-21 Agora Lab, Inc. Specific operation prediction in video compression

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200757A (ja) * 1996-01-18 1997-07-31 Nitsuko Corp 符号化装置、復号化装置およびデータ伝送装置
WO2005107267A1 (ja) * 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697061B1 (en) * 1999-01-21 2004-02-24 Hewlett-Packard Development Company, L.P. Image compression featuring selective re-use of prior compression data
JP4682410B2 (ja) * 2000-10-12 2011-05-11 ソニー株式会社 画像処理装置及び画像処理方法
KR100703283B1 (ko) * 2004-03-15 2007-04-03 삼성전자주식회사 회전 매칭을 통해 움직임을 예측하는 영상 부호화 장치 및방법
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09200757A (ja) * 1996-01-18 1997-07-31 Nitsuko Corp 符号化装置、復号化装置およびデータ伝送装置
WO2005107267A1 (ja) * 2004-04-28 2005-11-10 Hitachi, Ltd. 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
MURAKAMI T. AND KARUBE I.: "H. 264/AVC Intra-prediction ni Okeru Hoko Izonsei o Riyo Shita Kakucho Fugoka Hoshiki", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, ENGINEERING SCIENCES SOCIETY TAIKAI KOEN RONBUNSHU, vol. A-6-2, 8 September 2004 (2004-09-08), pages 115, XP003010442 *
MURAKAMI T., KARUBE I., ITO H.: "H. 264/AVC Baseline Profile ni Okeru Hoko Izonsei o Riyo shita Kakucho Fugoka Hoshiki (Enhanced Coding Method for H.264/AVC Baseline Profile by Utilizing the Direction Dependency)", THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS SOGO TAIKAI KOEN RONBUNSHU, vol. D-11-49, 7 March 2005 (2005-03-07), pages 49, XP003010439 *
OKUBO Y.: "Inpuresu Hyojun Kyokasho Series H. 264/AVC Kyokasho", KABUSHIKI KAISHA INPURESU NETTO BIJINESU KANPANI, 11 August 2004 (2004-08-11), pages 123 - 125, AND 127, XP003010440 *
See also references of EP1950974A4 *
SHADAN HOJIN TELEVISION GAKKAI: "Sogo Multimedia Sensho MPEG", 20 April 1996, SHADAN HOJIN TELEVISION GAKKAI, pages: 94 - 96, XP003010441 *

Also Published As

Publication number Publication date
US20090257665A1 (en) 2009-10-15
US8073266B2 (en) 2011-12-06
CN101288314A (zh) 2008-10-15
EP1950974A4 (en) 2009-09-30
EP1950974A1 (en) 2008-07-30
JP2007110348A (ja) 2007-04-26
EP2326093A1 (en) 2011-05-25
US20120039394A1 (en) 2012-02-16
EP2224747A1 (en) 2010-09-01
US20130064457A1 (en) 2013-03-14
EP2445218A1 (en) 2012-04-25
CN101288314B (zh) 2015-11-25
US8351717B2 (en) 2013-01-08

Similar Documents

Publication Publication Date Title
US20190230376A1 (en) Advanced motion vector prediction speedups for video coding
JP2021052437A (ja) 動きベクトル予測子の選択方法及び動きベクトル予測子の選択方法を利用する装置
KR100760258B1 (ko) 범용적 다시점 동영상 부호화/복호화 장치 및 방법
JP2022017224A (ja) 映像符号化方法、映像復号化方法、および記録媒体
JP2020114013A (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
US10743020B2 (en) Image encoding method, image encoding device, image decoding method, and image decoding device
RU2444856C2 (ru) Способ кодирования видеосигнала и способ декодирования, устройства для этого и носители хранения информации, которые хранят программы для этого
TW202015423A (zh) 產生仿射候選的方法及裝置
JP2013545372A (ja) 映像情報符号化方法及び復号化方法
CN112235581B (zh) 视频解码方法、装置、存储介质及电子设备
US8306342B2 (en) Method and apparatus to encode/decode image efficiently
CN102318347A (zh) 图像处理设备和方法
WO2007043613A1 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP5560009B2 (ja) 動画像符号化装置
JPWO2019069602A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、プログラムおよび映像システム
KR101423655B1 (ko) 필드 픽쳐 부호화/복호화 장치 및 그 방법
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
KR101445791B1 (ko) 움직임 벡터 변환을 이용한 비월 주사 영상 부호화/복호화방법 및 장치
JP6032367B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2011135460A (ja) 動画像符号化装置および動画像復号装置
JP5362810B2 (ja) 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、動画像符号化プログラム、および動画像復号化プログラム
JP2007150649A (ja) 動画像階層符号化方法、動画像階層符号化装置、動画像階層復号方法、動画像階層復号装置、動画像階層符号化プログラム及び動画像階層復号プログラム
KR20140124437A (ko) 움직임 정보 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680037923.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006811680

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12090154

Country of ref document: US