WO2008072500A1 - 動画像符号化装置および動画像復号装置 - Google Patents

動画像符号化装置および動画像復号装置 Download PDF

Info

Publication number
WO2008072500A1
WO2008072500A1 PCT/JP2007/073363 JP2007073363W WO2008072500A1 WO 2008072500 A1 WO2008072500 A1 WO 2008072500A1 JP 2007073363 W JP2007073363 W JP 2007073363W WO 2008072500 A1 WO2008072500 A1 WO 2008072500A1
Authority
WO
WIPO (PCT)
Prior art keywords
prediction
image
unit
block
prediction method
Prior art date
Application number
PCT/JP2007/073363
Other languages
English (en)
French (fr)
Inventor
Tomoyuki Yamamoto
Maki Takahashi
Tomoko Aono
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to EP07850013A priority Critical patent/EP2104359A4/en
Priority to US12/518,937 priority patent/US8306126B2/en
Priority to JP2008549248A priority patent/JP4888919B2/ja
Publication of WO2008072500A1 publication Critical patent/WO2008072500A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • Moving picture encoding apparatus and moving picture decoding apparatus Moving picture encoding apparatus
  • the present invention relates to a moving image encoding device that performs high-efficiency encoding of moving images, and a moving image decoding device that decodes encoded data encoded by the moving image encoding device.
  • Non-Patent Document 1 (ISO / IEC 14496-10: 2004 Advanced Video Coding) is used as a background technology for realizing high-efficiency encoding and decoding by using spatial correlation and temporal correlation of moving images.
  • Non-Patent Document 2 (ISO / IEC 14496—10: 2005 / FPDAM3 Scalable Video Coding), there is a moving image encoding device and a moving image decoding device using a moving image encoding method.
  • Non-Patent Document 1 (hereinafter referred to as Background Art 1) will be described.
  • the moving image coding method of Background Art 1 generates a predicted image by intra prediction using a local decoded image of a coded adjacent block for a block to be coded, and uses the predicted image. This is an intra-screen predictive encoding method. This will be specifically described below.
  • FIG. 6 shows a block diagram of a moving picture encoding apparatus using the background art 1.
  • a video encoding apparatus using Background Technology 1 includes an intra-screen prediction unit 1, an orthogonal transform unit 2, a quantization unit 3, an inverse quantization unit 4, an inverse orthogonal transform unit 5, A frame memory 6 and a variable length coding unit 9 are included.
  • the intra-screen prediction unit 1 performs intra-screen prediction using the spatial correlation of images to generate a predicted image.
  • the orthogonal transform unit 2 performs orthogonal transform on the input data.
  • the quantization unit 3 quantizes the input data.
  • the inverse quantization unit 4 performs inverse quantization corresponding to the inverse operation of the quantization unit 3.
  • the inverse orthogonal transform unit 5 performs an inverse orthogonal transform corresponding to the inverse operation of the orthogonal transform unit 2.
  • the frame memory 6 temporarily stores images.
  • the variable length coding unit 9 performs variable length coding on the input data.
  • An encoding target image (hereinafter referred to as an encoding target block) divided into a predetermined block size (M ⁇ M pixel block) is input to the moving image encoding apparatus.
  • the intra-screen prediction unit 1 generates a prediction image (M X M pixel block) for the encoding target block input to the moving image encoding apparatus.
  • a predicted image is generated by performing intra prediction using a locally decoded image in an already encoded adjacent block stored in the frame memory 6.
  • This “adjacent block that has already been encoded” refers to an MXM pixel block that has already been encoded at the stage immediately before the current encoding target block (MXM pixel block). These are the four locally decoded MXM pixel blocks located at the upper left and upper left of the encoding target block.
  • Prediction residual data (MXM pixel block), which is the difference between the encoding target block and the predicted image of the block, is input in the order of the orthogonal transform unit 2 and the quantization unit 3, and orthogonal transform and quantization processing are executed, respectively. .
  • the quantized prediction residual data is subjected to local decoding by processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and further combined with the predicted image generated in step 502,
  • the local decoded image (MXM pixel block) of the encoding target block is stored in the frame memory 6.
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Steps 501 to 505 are repeated for all the encoding target blocks constituting the encoding target image.
  • the encoding processing of Background Art 1 is realized by the processing as described above, and the image to be encoded has by the intra prediction performed by the intra prediction unit 1 and the orthogonal transform performed by the orthogonal transform unit 2. Spatial redundancy is reduced and efficient coding is realized.
  • Non-Patent Document 2 (hereinafter, Background Art 2)
  • Background Art 2 encoding is performed using a technique called hierarchical encoding.
  • inter-layer prediction is performed to predict the layer to be encoded using redundancy between layers based on the information of the encoded layer, and the predicted image is Hierarchical coding method that uses and encodes is adopted.
  • FIG. 7 shows a block diagram of a video encoding apparatus using the background technology 2.
  • the moving picture encoding apparatus using the background technology 2 further includes a downsampling unit 7, an upsampling unit 8, a switching switch 10, a filter processing unit 13, and a hierarchy switching control unit 14. .
  • the downsampling unit 7 generates a reduced image by thinning out pixels of the input image.
  • the upsampling unit 8 generates an enlarged image by pixel interpolation of the input image.
  • the switching switch 10b switches between two types of input data under predetermined conditions and outputs them.
  • the filter processing unit 13 performs low-pass filter processing on the input image.
  • the hierarchy switching control unit 14 controls the switching of the encoding target hierarchy.
  • the operation of the moving picture encoding apparatus in the background art 2 shown in FIG. 7 is as follows.
  • the encoding target image will be described only when it is layered and encoded into two layers, an upper layer and a lower layer.
  • the hierarchized upper layer includes high frequency components and low frequency components, and the lower layer includes only low frequency components.
  • the upper layer is a VGA image
  • the lower layer is an upper layer image that is reduced.
  • QVGA (320 x 240 pixels) Image ⁇ Step 601>
  • the layer switching control unit 14 controls the switching switches 10a and 10b. As the output of the switching switch 10a, the reduced image output from the downsampling unit 7 is selected, and as the output of the switching switch 10b, the predicted image output from the in-screen prediction unit 1 is selected.
  • An encoding target image (hereinafter referred to as an encoding target block) divided into a predetermined block size (N ⁇ N pixel block) is input to the moving image encoding apparatus.
  • a low-pass filter process is performed on the encoding target block by the filter processing unit 13, and a down-sampling unit 7 generates a reduced image (M X M pixel block) for the encoding target block.
  • the intra-screen prediction unit 1 generates a predicted image (M X M pixel block) for the reduced image generated in step 603.
  • the predicted image is generated by performing the same intra-screen prediction as in the background art 1 on the local decoded image (lower layer) in the already encoded adjacent block stored in the frame memory 6.
  • Prediction residual data (MXM pixel block), which is the difference between the reduced image generated in step 603 and the predicted image of the block, is input in the order of the orthogonal transform unit 2 and the quantization unit 3, and orthogonal transform and quantization processing are performed respectively. Executed.
  • the quantized prediction residual data is subjected to local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the predicted image generated in step 604. It is stored in the frame memory 6 as a local decoded image (MXM pixel block) of the encoding target block.
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Steps 601 to 607 are repeated for all the encoding target blocks constituting the encoding target image.
  • the layer switching control unit 14 controls the switching switches 10a and 10b.
  • the output of the switching switch 10a is the image to be encoded, and the output of the switching switch 10b is the enlarged image output from the upsampling unit 8.
  • An encoding target image (hereinafter referred to as an encoding target block) divided into a predetermined block size (M ⁇ M pixel block) is input to the moving image encoding apparatus again.
  • the upsampling unit 8 generates an enlarged image (MXM pixel block) corresponding to the block by interpolation processing based on the locally decoded image of the lower layer corresponding to the block to be encoded stored in the frame memory 6. .
  • the enlarged image is output as a predicted image of the encoding target block.
  • Prediction residual data (MXM pixel block), which is the difference between the encoding target block and the predicted image obtained by inter-layer prediction, is input in the order of orthogonal transform unit 2 and quantization unit 3, and orthogonal transform and quantum respectively. Processing is executed.
  • the quantized prediction residual data undergoes local decoding through the processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 611. It is stored in the frame memory 6 as a locally decoded image (MXM pixel block) of the encoding target block.
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Steps 609 to 614 are repeated for all the encoding target blocks constituting the encoding target image.
  • the encoding processing of Background Art 2 is realized! As shown in FIG. 8, in the video encoding apparatus of Background Art 2, the encoding target picture PicA is reduced, and the obtained reduced picture Pica is encoded using the same process as in Background Art 1. By performing in-screen prediction and orthogonal transform on the reduced image, it is possible to use a wider spatial correlation in the image than in Background Art 1.
  • inter-layer prediction is performed using the image PicB obtained by enlarging the image Picb obtained by the encoding / decoding processing of the lower layer as a predicted image. Therefore, it is possible to make predictions with higher accuracy than when PicA is predicted using Background Technology 1.
  • Non-patent literature 1 IS ⁇ / IEC 14496-10: 2004 Advanced Video Coding
  • Non-patent literature 2 ISO / lEC 14496-10: 2005 / FPDAM3 Scalable Video C oamg
  • the background technology 1 has a narrower spatial correlation than the background technology 2, and cannot be used! / Redundancy is high and efficient coding cannot be performed on images. This tendency becomes stronger as the image resolution increases.
  • Background Art 2 it is possible to use a spatial correlation in a wide range by performing intra-screen prediction on a reduced image.
  • Background Technology 2 is not necessarily more efficient than Background Technology 1!
  • Fig. 9 shows the encoding process in the case where the encoding process is performed using the background technology 2. It is a figure which shows the spatial frequency characteristic of the image. Note that symbols PicA to PicD in the figure correspond to images in each encoding process in FIG. 8, and PicE corresponds to a decoded image obtained by the decoding process.
  • Fig. 9 when the image to be encoded includes a wide range of signals from the low frequency region to the high frequency region (hereinafter, case 1: solid line in the figure), the signal exists only in the low frequency region. Two types of examples are shown (case 2: dotted line in the figure).
  • case 1 solid line in the figure
  • case 2 Two types of examples are shown (case 2: dotted line in the figure).
  • the signal in the high frequency region is removed after the reduction process, and then the encoding is performed.
  • only the signal in the low frequency region is processed, and there is no difference between the processes.
  • case 1 appears as a prediction residual in the prediction residual image PicD after inter-layer prediction, as shown in FIG.
  • the present invention has been devised in view of such circumstances, and its purpose is to useless encoding processing when the hierarchical encoding scheme is adopted while maintaining the advantages of the hierarchical encoding scheme as much as possible. It is also to solve the problem.
  • a moving image encoding apparatus that divides and encodes an image into a plurality of blocks of a predetermined size.
  • the moving image encoding apparatus includes a prediction unit, an encoding unit, a prediction control unit, and a prediction method information generation unit.
  • the prediction unit includes an intra-screen prediction method for generating a prediction image using a locally decoded image of an adjacent block that has been encoded for a block to be encoded, and a local area of a reduced encoded target block that has been encoded. Prediction method based on reduced image to generate predicted image using decoded image and The prediction can be executed by either method.
  • the encoding unit performs encoding using the prediction image from the prediction unit.
  • the prediction control unit determines, for each predetermined block, whether to use an intra-screen prediction method or a prediction method based on a reduced image as a prediction method for the block to be encoded, and the prediction unit uses the determined prediction method. Control to execute the prediction.
  • the prediction method information generation unit is configured so that the prediction control unit can identify the prediction method used to generate the encoded data when decoding the encoded data encoded by the encoding unit for each predetermined block.
  • the prediction method information for identifying the determined prediction method is encoded.
  • the prediction unit generates an estimated image using a locally decoded image of an encoded adjacent block with respect to a block to be encoded, and an encoded reduction of the block. And an upsampling unit that enlarges the image and generates a predicted image of the block.
  • the prediction control unit decides the intra prediction method
  • the encoding unit uses the prediction image from the intra prediction unit for encoding, and when the prediction control unit decides the prediction method based on the reduced image, The prediction image by the sampling unit is used for encoding.
  • the encoded reduced image is encoded after being predicted in the screen using the prediction unit in the screen.
  • the prediction method information generation unit includes, as prediction method information, an estimated prediction method derived based on a prediction method used for encoding an encoded block adjacent to a predetermined block, and a predetermined Information on whether or not the prediction methods of the blocks match.
  • the encoding unit does not encode the difference image between the prediction image by the prediction unit and the image of the encoding target block when the prediction control unit selects a prediction method based on the reduced image.
  • a moving image decoding apparatus for decoding encoded data for each block constituting an image.
  • the moving picture decoding apparatus includes a prediction unit, a decoding unit, and a prediction method specifying unit.
  • the prediction unit performs prediction using an intra-screen prediction method that generates a prediction image using a local decoded image of a decoded adjacent block, and a decoded reduced decoding target block. Prediction can be performed by any of the prediction methods based on reduced images that generate images.
  • the decoding unit uses the prediction unit. Are used for decoding.
  • the prediction method specifying unit specifies the prediction method from the prediction method information that specifies the prediction method used for the block to be decoded.
  • the prediction unit performs prediction using the prediction method specified by the prediction method specifying unit.
  • the prediction unit enlarges the decoded reduced image of the block, and an intra-screen prediction unit that generates a predicted image using a locally decoded image of a decoded adjacent block with respect to a block to be decoded. And an upsampling unit that generates a predicted image of the block.
  • the prediction method specifying unit specifies the intra prediction method
  • the decoding unit uses the predicted image by the intra prediction unit for decoding, and when the prediction method specifying unit specifies the prediction method based on the reduced image, the decoding unit The prediction image by the sampling unit is used for decoding.
  • the decoded reduced image is image data that has been decoded and is predicted within the screen using the intra prediction unit.
  • the prediction method specifying unit includes, as prediction method information, an estimated prediction method derived based on a prediction method used for decoding a decoded block adjacent to the decoding target block, and a decoding target block. Information on whether or not the prediction methods match is output.
  • the decoding unit sets a prediction image by the prediction unit as a decoded image of the decoding target block.
  • the moving picture encoding apparatus and moving picture decoding apparatus of the present invention efficient encoding and decoding can be realized by adaptively switching the prediction method for each block of a predetermined size. Further, in the video encoding apparatus of the present invention, when performing prediction based on a reduced image, low-pass filter processing for generating a reduced image is unnecessary, and the processing amount can be reduced.
  • FIG. 1 is a block diagram of a video encoding device according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram of a video encoding apparatus according to another form of the first embodiment of the present invention.
  • FIG. 3 is a block diagram of a video decoding apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram of a video encoding apparatus according to a second embodiment of the present invention.
  • FIG. 5 is a block diagram of a video decoding device according to a second embodiment of the present invention.
  • FIG. 6 is a block diagram of a video encoding apparatus using Background Art 1.
  • FIG. 7 is a block diagram of a video encoding apparatus using the background technology 2.
  • FIG. 8 is an explanatory diagram of an encoding process in Background Art 2.
  • FIG. 9 is an explanatory diagram of encoding characteristics in Background Art 2.
  • FIG. 1 shows a block diagram of a video encoding apparatus in the present embodiment.
  • the prediction control unit 11 controls the switching switches 10a, 10b, and 10c for each encoding target block of the encoding target image, thereby determining a prediction method used for the encoding target block.
  • the other constituent elements are the same as those in the moving picture encoding apparatus in FIG. 7, and thus detailed description will not be repeated.
  • the operation of the moving picture encoding apparatus according to the present embodiment is as follows. In the following description, it is assumed that the same block size N X N pixel block and M X M pixel block as those used in the description of the background art are encoded and decoded as a unit.
  • An encoding target image (hereinafter referred to as an encoding target block) divided into a predetermined block size (N ⁇ N pixel block) is input to the moving image encoding apparatus.
  • the prediction control unit 11 determines a prediction method to be used for the block based on the spatial frequency characteristics of the encoding target block.
  • the block contains more than a predetermined amount of high frequency components If so, use in-screen prediction as in Background Art 1. On the other hand, when the high frequency component in the block is less than a predetermined amount, control is performed so as to use prediction based on the reduced image for the block. Details of the prediction method determination method will be described later.
  • the prediction method used for the block determined by the prediction control unit 11 is variable-length encoded by the variable-length encoding unit 9 and is output as encoded data.
  • the prediction control unit 11 controls the switching switches 10a, 10b, and 10c and performs prediction based on intra-screen prediction as in the background art 1
  • the output of the switching switch 10a is the encoding target image
  • the output of the switching switch 10b is set to the local decoded image output from the frame memory 6, and the output of the switching switch 10c is set to the prediction image output from the in-screen prediction unit 1.
  • processing from step 103 to step 108 is performed as subsequent processing.
  • the output of the switching switches 10a and 10b is temporarily the reduced image output by the downsampling unit, and the output of the switching switch 10c is the intra-screen prediction unit 1 Are set to the predicted images output by, and the processing from step 109 onwards is performed.
  • the encoding target block is further divided into a predetermined block size (M ⁇ M pixel block), and the following processing is performed for each block.
  • the intra prediction unit 1 generates a predicted image (M X M pixel block) for the block. Note that the predicted image is generated by performing intra prediction using a locally decoded image in an adjacent block that has already been encoded and stored in the frame memory 6.
  • Prediction residual data (MXM pixel block), which is the difference between the block and the predicted image generated in step 104, is input in the order of orthogonal transform unit 2 and quantization unit 3, and orthogonal transform and quantization processing are performed, respectively.
  • the quantized prediction residual data is subjected to processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, subjected to local decoding, and synthesized with the prediction image generated in step 102. As a result, it is stored in the frame memory 6 as a local decoded image (MXM pixel block) of the block.
  • MXM pixel block a local decoded image
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Steps 103 to 107 are repeated for all blocks (M X M pixel blocks) constituting the encoding target block (N X N pixel block), and then the process of step 119 is executed.
  • the downsampling unit 7a generates a reduced image (M X M pixel block) for the encoding target block. Specifically, the encoding target block (N ⁇ N pixel block) is divided into M ⁇ M square small areas, and a pixel located at the upper left of each small area is extracted to generate a reduced image.
  • the intra-screen prediction unit 1 generates a predicted image (M X M pixel block) for the reduced image generated in step 109. Note that intra prediction is performed using the pixel block obtained by reducing the local decoded image (NXN pixel block) in the adjacent block already encoded and stored in the frame memory 6 by the downsampling unit 7b. Thus, a predicted image is generated.
  • the reduction process in the downsampling unit 7b is the same as the reduction process in the downsampling 7a.
  • Prediction residual data (MXM pixel block), which is the difference between the reduced image generated in step 109 and the predicted image of the block generated in step 110, is input in the order of orthogonal transform unit 2 and quantization unit 3, Orthogonal transformation and quantization processing are performed respectively.
  • MXM pixel block which is the difference between the reduced image generated in step 109 and the predicted image of the block generated in step 110.
  • the quantized prediction residual data undergoes local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 110. As a result, it is stored in the frame memory 6 as a local decoded image (MXM pixel block) of the block.
  • MXM pixel block a local decoded image
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • the prediction control unit 11 controls the switching switches 10a and 10c, and sets the output of the switching switch 10a to the encoding target image and the output of the switching switch 10c to the enlarged image output from the upsampling unit 8, respectively.
  • the upsampling unit 8 generates an enlarged image (N ⁇ N pixel block) from the locally decoded image (M ⁇ M pixel block) of the reduced image stored in the frame memory 6 in step 112.
  • the enlarged image is output as a predicted image for the encoding target block.
  • the encoding target block is divided into MXM pixel blocks, and the prediction residual data (MXM pixel block) that is the difference between each pixel block and the corresponding region on the predicted image obtained in step 115 is an orthogonal transform unit 2.
  • quantization unit 3 are input in this order, and orthogonal transformation and quantization processing are executed, respectively.
  • the quantized prediction residual data undergoes local decoding through the processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the predicted image generated in step 111. It is stored in the frame memory 6 as a local decoded image (MXM pixel block) of the encoding target block.
  • MXM pixel block a local decoded image
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Step 101 is performed for all the encoding target blocks constituting the encoding target image. ⁇ ; Repeat 118.
  • either the intra-screen prediction or the prediction based on the reduced image is adaptively switched for each predetermined block size.
  • efficient encoding can be realized.
  • the prediction control unit 11 determines the prediction method based on the estimated amount of the high-frequency component included in the encoding target block.
  • the estimated high frequency component AH of the block to be encoded consisting of 8 X 8 pixels is derived by the following equation.
  • a (u, v) is a frequency component obtained by DCT transforming the image a (i, j) of the encoding target block.
  • I and j are values indicating the horizontal and vertical positions in the block.
  • U and V represent the position of the frequency component in the horizontal and vertical directions obtained by DCT conversion of the 8 x 8 pixel block.
  • the prediction control unit 11 uses a threshold value D1 determined in advance by experiment, and makes a prediction based on a reduced image if the estimation AH of the high frequency component is smaller than D1, and if AH is D1 or more, the background Control to perform in-screen prediction similar to technology 1.
  • the prediction control unit 11 determines the prediction method used for the block based on the spatial frequency characteristics of the encoding target block. Once the coding using each prediction method is performed. After conversion, the prediction scheme used for the block may be determined based on the amount of generated code and the amount of distortion included in the locally decoded image.
  • a configuration in which a plurality of intra-screen prediction methods can be adaptively switched may be used.
  • the DCT coefficient in the block is predicted using the DCT coefficient obtained by DCT transform of the block adjacent to the encoding target block, and the predicted DCT coefficient is calculated.
  • the prediction method for obtaining the predicted image of the block by inverse DCT can be changed to the two prediction methods described above.
  • the spatial frequency component included in the target image is analyzed, and prediction is performed using the reduced image only when there is almost no high frequency component.
  • low-pass filter processing which was indispensable in consideration of the effect of aliasing distortion when creating a reduced image, is not necessary! /.
  • a configuration as shown in FIG. 2 in which low-pass filter processing is performed immediately before downsampling processing may be employed.
  • the prediction scheme used for the block determined by the prediction control unit 11 is variable by the variable length encoding unit 9.
  • the prediction control unit 11 estimates the prediction method used for the block based on the prediction method used for coding the adjacent block, and the prediction method used for the block is the prediction method used for the block.
  • Information on whether or not they are different may be variable-length encoded by the variable-length encoding unit 9. For example, let Pc be the prediction method used to encode the block, and Pt and PI be the prediction methods used on the block adjacent to the left above the block. If both Pt and P1 are predictions based on the reduced image, the prediction based on the reduced image is used as the estimated value of Pc. Otherwise, the prediction within the screen is used as the estimated value of Pc. To do.
  • the amount of code required for encoding the prediction method can be reduced.
  • FIG. 3 shows a block diagram of the video decoding apparatus according to the present embodiment.
  • variable length decoding unit 12 performs variable length decoding of encoded data.
  • Other configurations are the same as those of the moving picture coding apparatus in FIG. 1, and detailed description thereof will not be repeated.
  • the variable length decoding unit 12 decodes a prediction method used for a decoding target image (hereinafter referred to as a decoding target block) including N ⁇ N pixel blocks from the input encoded data.
  • the switching switch 10a Is set to the local decoded image output from the frame memory 6, and the processing from step 202 to step 205 is executed in the subsequent processing.
  • the output of the switching switch 10a is set to the output result of the downsampling unit 7, and the processing from step 206 is performed.
  • the output of the switching switch 10b is once set to the predicted image output from the in-screen prediction unit 1.
  • the decoding target block is further divided into predetermined block sizes (M ⁇ M pixel blocks), and variable length decoding of prediction residual data is negated by the variable length decoding unit 12 for each block.
  • the intra prediction unit 1 generates a prediction image (M X M pixel block) for the block ⁇ Step 204>
  • the prediction residual data subjected to variable length decoding in step 202 undergoes local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 203. Thus, it is stored in the frame memory 6 as a locally decoded image (MXM pixel block) of the decoding target block.
  • Step 202 to step 204 are repeated for all blocks constituting the decoding target block, and then the process of step 214 is executed.
  • variable length decoding unit 12 performs variable length decoding of the prediction residual data for the reduced image (M X M pixel block) for the decoding target block.
  • the intra prediction unit 1 generates a prediction image (MXM pixel block) for the block.
  • MXM pixel block For in-screen prediction, as in the case of the video encoding device, the neighbor stored in the frame memory 6 is used.
  • the local decoded image of the tangent block is used after being reduced by the downsampling unit 7b.
  • the prediction residual data subjected to variable length decoding in step 206 is subjected to local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 207. Thus, it is stored in the frame memory 6 as a local decoded image (MXM pixel block) of the block.
  • MXM pixel block a local decoded image
  • variable length decoding unit 12 controls the switching switch 10b to switch the output of the switching switch 10b to the enlarged image output from the upsampling unit 8.
  • the decoding target block is further divided into predetermined block sizes (M ⁇ M pixel blocks), and variable length decoding of prediction residual data is negated by the variable length decoding unit 12 for each block.
  • the upsampling unit 8 generates an enlarged image (M ⁇ M pixel block) based on the locally decoded image of the reduced image stored in the frame memory in step 208.
  • the enlarged image is output as a predicted image for the decoding target block.
  • the prediction residual data variable-length decoded in step 210 is subjected to local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 211. As a result, it is stored in the frame memory 6 as a locally decoded image (MXM pixel block) of the decoding target block.
  • Step 206 to step 212 are repeated for all blocks constituting the decoding target block.
  • Steps 20! To 213 are repeated for all the decoding target blocks constituting the decoding target image.
  • the encoded data generated by the video encoding device according to the present embodiment is decoded by the processing of the video decoding device as described above.
  • FIG. 4 shows a block diagram of a video encoding apparatus according to the second embodiment of the present invention. Since each component is the same as the component of the moving picture encoding apparatus of FIG. 1, detailed description will not be repeated.
  • An encoding target image (hereinafter referred to as an encoding target block) divided into a predetermined block size (N ⁇ N pixel block) is input to the moving image encoding apparatus.
  • the prediction control unit 11 determines a prediction method to be used for the block based on the spatial frequency characteristics of the encoding target block. If the block contains more than a predetermined amount of high-frequency components, in-screen prediction is used as in Background Art 1. On the other hand, when the high frequency component in the block is less than a predetermined amount, control is performed so as to use prediction based on the reduced image for the block.
  • the prediction method used for the block determined by the prediction control unit 11 is variable-length encoded by the variable-length encoding unit 9 and output as encoded data.
  • the prediction control unit 11 controls the switching switches 10a, 10b, and 10c, and when performing prediction based on intra-screen prediction as in the background art 1, the output of the switching switch 10a is the encoding target image, The output of the switching switch 10b is set to output a locally decoded image output from the frame memory 6, and the output of the switching switch 1 Oc is set to output a composite image obtained by combining the outputs of the intra prediction unit 1 and the inverse orthogonal transform unit 5. In this case, the processing from step 303 to step 308 is performed as the subsequent processing.
  • the output of the switching switches 10a and 10b is the reduced image output from the downsampling unit, and the output of the switching switch 10c is the upsampling.
  • the processing after step 309 is fi.
  • the encoding target block is further divided into a predetermined block size (M ⁇ M pixel block), and the following processing is performed for each block.
  • the intra prediction unit 1 generates a predicted image (M X M pixel block) for the block.
  • a predicted image is generated by performing intra prediction on a locally decoded image in an already encoded adjacent block stored in the frame memory 6.
  • Prediction residual data (MXM pixel block), which is the difference between the block and the predicted image generated in step 304, is input in the order of orthogonal transform unit 2 and quantization unit 3, and orthogonal transform and quantization processing are performed respectively.
  • the quantized prediction residual data is subjected to local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the predicted image generated in step 302. It is stored in the frame memory 6 as a locally decoded image (MXM pixel block) of the encoding target block.
  • the quantized prediction residual data is also input to the variable-length encoding unit 9, and after being variable-length encoded, is output as encoded data.
  • Step 303 to step 307 are repeated for all blocks constituting the encoding target block, and then the processing of step 314 is executed.
  • the downsampling unit 7a generates a reduced image (M X M pixel block) for the encoding target block.
  • Step 310 The intra-screen prediction unit 1 generates a predicted image (MXM pixel block) for the reduced image generated in step 309.
  • intra-screen prediction is performed using a pixel block obtained by reducing the locally decoded image in an adjacent block that has already been encoded and stored in the frame memory 6 by the downsampling unit 7b. Thus, a predicted image is generated.
  • Prediction residual data (MXM pixel block), which is the difference between the reduced image generated in step 309 and the predicted image of the block, is input in the order of the orthogonal transform unit 2 and the quantization unit 3, and the orthogonal transform and quantization processing are performed respectively. Executed.
  • the quantized prediction residual data undergoes local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 310.
  • the image (MXM pixel block) obtained in step 312 is enlarged by the interpolation processing of the upsampling unit 8 and stored in the frame memory 6 as a locally decoded image (NXN pixel block) of the current block to be encoded.
  • Steps 301 to 313 are repeated for all the encoding target blocks constituting the encoding target image.
  • the moving image encoding apparatus when prediction using a reduced image is performed, the fact that there is almost no high-frequency component in the block is used. Only the encoding result is encoded. That is, in the moving image encoding device according to the present embodiment, the difference image between the image obtained by upsampling the locally decoded reduced image and the image of the block is not encoded, thereby further improving the encoding efficiency. Possible It is said. Furthermore, since there is almost no high-frequency component in the block, the moving image encoding apparatus shown in FIGS. 1 and 4 performs low-pass filter processing for creating a reduced image when performing prediction based on the reduced image. It is not necessary and the amount of processing can be reduced.
  • FIG. 5 shows a block diagram of a moving picture decoding apparatus according to the second embodiment of the present invention. Since each component is the same as each component of the video decoding device in FIG. 3, description thereof will not be repeated.
  • the operation of the moving picture decoding apparatus according to the present embodiment is as follows.
  • the variable length decoding unit 12 decodes a prediction method used for a decoding target image (hereinafter referred to as a decoding target block) including N ⁇ N pixel blocks from the input encoded data.
  • the output of the switching switch 10a is the local decoded image output from the frame memory
  • the output of the switching switch 10b is the intra-screen prediction Steps 402 to 405 are executed as the subsequent processing, respectively, for the combined images output from the prediction unit 1 and the inverse orthogonal transform unit 5.
  • the output of the switching switch 10a is set to the output of the downsampling unit 7 and the output of the switching switch 10b is set to the output of the upsampling unit 8, respectively.
  • the processing after step 406 is performed.
  • the decoding target block is further divided into predetermined block sizes (M ⁇ M pixel blocks), and variable length decoding of prediction residual data is negated by the variable length decoding unit 12 for each block.
  • the in-screen prediction unit 1 generates a predicted image (M X M pixel block) for the block ⁇ Step 404>
  • the prediction residual data variable-length decoded in step 402 is the inverse quantization unit 4 and the inverse orthogonal
  • the local decoding is performed through the processing in the conversion unit 5 and is combined with the predicted image generated in Step 403, and as a local decoded image (MXM pixel block) of the decoding target block, to the frame memory 6 Remembered.
  • Step 402 to step 404 are repeated for all the blocks constituting the block to be decoded, and then to step 409.
  • variable length decoding unit 12 performs variable length decoding of the prediction residual data for the reduced image (M X M pixel block) for the decoding target block.
  • the intra prediction unit 1 generates a predicted image (M X M pixel block) for the block.
  • the local decoded image of the adjacent block stored in the frame memory 6 is used after being reduced by the downsampling unit 7 as in the case of the video encoding device.
  • the prediction residual data variable-length decoded in step 406 is subjected to local decoding through processing in the inverse quantization unit 4 and the inverse orthogonal transform unit 5, and is synthesized with the prediction image generated in step 407. Thereafter, the upsampling unit 8 enlarges the NXN pixel block, and stores it in the frame memory 6 as a locally decoded image of the block.
  • Steps 40;! To 40 8 are repeated for all the decoding target blocks constituting the decoding target image.
  • the encoded data generated by the video encoding device of this embodiment is decoded by the processing of the video decoding device as described above.
  • Step 115 (FIG. 1) or step of the operation explanation of the above-described moving picture coding apparatus
  • the downsampling unit 7a and the downsampling unit 7b extract a pixel located at the upper left in each of the MXM small regions to form a reduced image.
  • a reduced image may be configured by extracting a pixel located at another position in each small region, for example, the lower right. If the blocks are processed in raster scan order, the number of pixels that can be referenced during upsampling is increased by constructing a reduced image using the lower right pixels in the small area, and as a result, the reduced image is displayed. This has the advantage of improving the accuracy of the predicted image based on it.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　予測制御部（１１）が、符号化対象のブロックに含まれている高周波成分の多寡により、画面内予測方式または符号化済の縮小された符号化対象ブロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式のいずれを用いるかを決定する。画面内予測方式を決定した場合には、フレームメモリ（６）に記憶されている符号化済みの隣接ブロックにおける局所復号画像がダウンサンプリング部（７ｂ）によりダウンサンプリングされて画面内予測部（１）により画面内予測し、その予測データを用いて符号化する。縮小画像に基づく予測方式を決定した場合には、下位レイヤ処理で得られた局所復号画像をフレームメモリ（６）から読出して得られた隣接画像を用いて階層間予測を行い、予測データを用いて符号化する。

Description

明 細 書
動画像符号化装置および動画像復号装置
技術分野
[0001] 本発明は、動画像の高能率符号化を行なう動画像符号化装置、および、当該動画 像符号化装置で符号化された符号化データを復号する動画像復号装置に関するも のである
背景技術
[0002] 動画像の持つ空間的相関および時間的相関を利用し、高能率な符号化および復 号を実現する背景技術として、非特許文献 1 (ISO/IEC 14496 - 10 : 2004 Ad vanced Video Coding)および非特許文献 2 (ISO/IEC 14496— 10 : 2005/ FPDAM3 Scalable Video Coding)記載の動画像符号化方式を用いた動画像 符号化装置および動画像復号装置がある。
[0003] これらの動画像符号化方式につ!/、て、以下、説明する。まず非特許文献 1記載の 動画像符号化方式 (以下、背景技術 1)について説明する。この背景技術 1の動画像 符号化方式は、符号化対象のブロックに対して、符号化済の隣接ブロックの局所復 号画像を用いた画面内予測により予測画像を生成し、その予測画像を用いて符号 化する画面内予測符号化方式である。以下、具体的に説明する。
[0004] 図 6は背景技術 1を用いた動画像符号化装置のブロック図を示す。図 6において、 背景技術 1を用いた動画像符号化装置は、画面内予測部 1と、直交変換部 2と、量子 化部 3と、逆量子化部 4と、逆直交変換部 5と、フレームメモリ 6と、可変長符号化部 9 とを含む。
[0005] 画面内予測部 1は、画像の空間的相関を利用した画面内予測を行ない、予測画像 を生成する。直交変換部 2は、入力データに対し、直交変換を行なう。量子化部 3は 、入力データの量子化を行なう。逆量子化部 4は、量子化部 3の逆操作にあたる逆量 子化を行なう。逆直交変換部 5は、直交変換部 2の逆操作にあたる逆直交変換を行 なう。フレームメモリ 6は、画像を一時的に記憶する。可変長符号化部 9は、入力デー タに対し、可変長符号化を行なう。 [0006] 図 6に示した背景技術 1における動画像符号化装置の動作は以下の通りである。 <ステップ 501〉
所定のブロックサイズ (M X M画素ブロック）に分割された符号化対象画像（以下符 号化対象ブロック）が、当該動画像符号化装置に入力される。
<ステップ 502〉
画面内予測部 1は、当該動画像符号化装置に入力された符号化対象ブロックに対 する予測画像 (M X M画素ブロック）を生成する。
[0007] 予測画像は、フレームメモリ 6に記憶されている既に符号化済みの隣接ブロックに おける局所復号画像を用いて画面内予測を行なうことで生成される。この「既に符号 化済みの隣接ブロック」とは、今回の符号化対象ブロック（M X M画素ブロック）よりも 1つ前の段階で既に符号化されている M X M画素ブロックのことであり、具体的には 、符号化対象ブロックの、左 '上'左上'右上に位置する局所復号された 4つの M X M 画素ブロックのことである。
<ステップ 503〉
符号化対象ブロックと当該ブロックの予測画像の差分である予測残差データ（M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、それぞれ直交変 換および量子化処理が実行される。
<ステップ 504〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理によって局所復号が行なわれ、さらに、ステップ 502にて生成された予測画像と 合成されることで、当該符号化対象ブロックの局所復号画像 (M X M画素ブロック）と して、フレームメモリ 6へ記憶される。
<ステップ 505〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 506〉
符号化対象画像を構成するすべての符号化対象ブロックについて、ステップ 501 〜 505を繰り返す。 [0008] 以上のような処理で背景技術 1の符号化処理は実現されており、画面内予測部 1の 行なう画面内予測および、直交変換部 2の行なう直交変換により、符号化対象画像 の持つ空間的冗長度が削減され、効率的な符号化が実現されている。
[0009] 次に非特許文献 2記載の動画像符号化方式 (以下、背景技術 2)について説明す る。背景技術 2では、階層符号化と呼ばれる技術を用いることで符号化を行なう。つ まり、符号化対象のブロックに対して、符号化済の階層の情報に基づき階層間の冗 長性を利用して符号化対象である階層を予測する階層間予測を行ない、その予測 画像を用いて符号化する階層符号化方式を採用してレ、る。
[0010] 図 7に、背景技術 2を用いた動画像符号化装置のブロック図を示す。図 7において 、背景技術 2を用いた動画像符号化装置は、ダウンサンプリング部 7と、アップサンプ リング部 8と、切替スィッチ 10と、フィルタ処理部 13と、階層切替制御部 14とをさらに 含む。
[0011] ダウンサンプリング部 7は、入力画像の画素間引きにより、縮小画像を生成する。ァ ップサンプリング部 8は、入力画像の画素補間により、拡大画像を生成する。切替スィ ツチ 10bは、 2種類の入力データを所定の条件で切替えて出力する。フィルタ処理部 13は、入力画像に対しローパスフィルタ処理を行なう。階層切替制御部 14は、符号 化対象の階層の切替を制御する。
[0012] その他の構成要素については、図 6の動画像符号化装置と同一であるため、説明 は繰り返さない。なお、切替スィッチ 10は図中に複数存在するため、符号 a, bを付与 し識別するものとする。なお以後、図中に複数の同一要素が存在する場合も同様の 方法で識別することとする。
[0013] 図 7に示した背景技術 2における動画像符号化装置の動作は以下の通りである。な お以下の説明では、符号化対象画像を、上位レイヤ、下位レイヤの 2階層に階層化 し符号化する場合に限って説明する。この階層化された上位レイヤには高周波成分 および低周波成分が含まれ、下位レイヤには低周波成分のみが含まれるようにする 。たとえば、 VGA(640 X 480画素）の画像を 2レイヤで階層符号化する場合に、上 位レイヤを VGAの画像、下位レイヤを上位レイヤの画像を縮小して得られる QVGA (320 X 240画素）の画像とする。 <ステップ 601〉
まず、下位レイヤの符号化を行なうため、階層切替制御部 14が切替スィッチ 10a、 10bに対する制御を行なう。切替スィッチ 10aの出力は、ダウンサンプリング部 7の出 力する縮小画像、切替スィッチ 10bの出力は、画面内予測部 1の出力する予測画像 がそれぞれ選択される。
<ステップ 602〉
所定のブロックサイズ (N X N画素ブロック）に分割された符号化対象画像（以下符 号化対象ブロック）が、当該動画像符号化装置に入力される。
<ステップ 603〉
符号化対象ブロックに対し、フィルタ処理部 13にてローパスフィルタ処理が施され、 さらにダウンサンプリング部 7にて当該符号化対象ブロックに対する縮小画像 (M X M画素ブロック）が生成される。なお、ブロックサイズを表わす整数 N、 Mは Ν= α Μ ( aは任意の整数）の関係を満たすものとする。
<ステップ 604〉
画面内予測部 1は、ステップ 603で生成された縮小画像に対する予測画像 (M X M画素ブロック）を生成する。
予測画像は、フレームメモリ 6に記憶されている既に符号化済みの隣接ブロックに おける局所復号画像 (下位レイヤ)に対して背景技術 1と同様の画面内予測を行なうこ とで生成される。
<ステップ 605〉
ステップ 603で生成された縮小画像と当該ブロックの予測画像の差分である予測残 差データ（M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、 それぞれ直交変換および量子化処理が実行される。
<ステップ 606〉
さらに量子化された予測残差データは、逆量子化部 4、逆直交変換部 5での処理を 経て局所復号が行なわれ、ステップ 604にて生成された予測画像と合成されることで 、当該符号化対象ブロックの局所復号画像（M X M画素ブロック）として、フレームメ モリ 6へ記憶される。 <ステップ 607〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 608〉
符号化対象画像を構成するすべての符号化対象ブロックについて、ステップ 601 〜607を繰り返す。
<ステップ 609〉
次に、上位レイヤの符号化を行なうため、階層切替制御部 14が切替スィッチ 10a、 10bに対する制御を行なう。切替スィッチ 10aの出力は、符号化対象画像、切替スィ ツチ 10bの出力は、アップサンプリング部 8の出力する拡大画像がそれぞれ選択され
<ステップ 610〉
所定のブロックサイズ (M X M画素ブロック）に分割された符号化対象画像（以下符 号化対象ブロック）が、再度、当該動画像符号化装置に入力される。
<ステップ 611〉
アップサンプリング部 8は、フレームメモリ 6に記憶された符号化対象ブロックに対応 する下位レイヤの局所復号画像を基に、補間処理により、当該ブロックに対応する拡 大画像 (M X M画素ブロック）を生成する。当該拡大画像は、符号化対象ブロックの 予測画像として出力される。
<ステップ 612〉
符号化対象ブロックと階層間予測により得られた予測画像の差分である予測残差 データ（M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、そ れぞれ直交変換および量子化処理が実行される。
<ステップ 613〉
さらに量子化された予測残差データは、逆量子化部 4、逆直交変換部 5での処理を 経て、局所復号が行なわれ、ステップ 611にて生成された予測画像と合成されること で、当該符号化対象ブロックの局所復号画像（M X M画素ブロック）として、フレーム メモリ 6へ記憶される。 <ステップ 614〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 615〉
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ 609 〜614を繰り返す。
[0015] 以上の処理によって、背景技術 2の符号化処理は実現されて!/、る。背景技術 2の動 画像符号化装置においては、図 8に示すように、符号化対象画像 PicAが縮小処理 され、得られた縮小画像 Picaを背景技術 1と同様の処理を用いて符号化する。縮小 画像に対して、画面内予測および直交変換を行なうことで、背景技術 1に比べ画像 における広範囲の空間的相関を利用することが可能である。
[0016] また上位レイヤの符号化においては、下位レイヤの符号化 ·復号処理で得られた画 像 Picbを拡大処理して得られた画像 PicBを予測画像として用いる階層間予測を行 なうことで、背景技術 1を用いて PicAを予測するのに比べ、高精度の予測が可能に なる。
非特許文献 1 : IS〇/IEC 14496 - 10 : 2004 Advanced Video Coding 非特許文献 2 : ISO/lEC 14496 - 10： 2005/FPDAM3 Scalable Video C oamg
発明の開示
発明が解決しょうとする課題
[0017] 以上説明したように、背景技術 1では、背景技術 2に比べ画像の持つ空間的相関を 狭!/ヽ範囲でし力、利用することができな!/、ため、画像の空間的冗長度が高レ、画像に対 して、効率のよい符号化を行なうことができない。このような傾向は画像の解像度が高 くなるほど強くなる。
[0018] 一方、背景技術 2では、縮小画像に対して画面内予測を行なうことで、広い範囲で の空間的相関を利用することが可能である。しかしながら、背景技術 2が必ずしも背 景技術 1に比べ効率の良!/、符号化を行える訳ではな!/、。
[0019] 図 9は、背景技術 2を用いて符号化処理を行った場合の、符号化処理過程におけ る画像の空間周波数特性を示す図である。なお図中の記号 PicA〜PicDは図 8中の 各エンコード処理過程における画像、 PicEは復号処理によって得られた復号画像に 対応する。
[0020] 図 9では、符号化対象画像が、低周波数領域から高周波数領域までの広範囲の信 号を含む場合 (以下、ケース 1：図中の実線)と、低周波数領域のみに信号が存在す る場合と（以下、ケース 2 :図中の点線）の 2種類の例を表わしている。下位レイヤの符 号化の過程（図 9 (b)〜（d) )においては、折り返し歪の影響を考慮して、縮小処理の 際に、高周波数領域の信号が除去された後に、符号化処理が行なわれるため、いず れの場合も、低周波数領域の信号のみが処理され、処理の間に違いはみられない。 しかし、上位レイヤの符号化においては、図 9(e)に示す通り、階層間予測後の予測 残差画像 PicDにおいて、ケース 1のみ予測残差として現れている。ケース 1のように 低周波数領域から高周波数領域までの広範囲の信号を含む画像の符号化を行なう 場合、縮小画像を生成する際のローパスフィルタ処理の影響、および、下位レイヤの 符号化に伴う符号化歪などが影響し、上位レイヤの符号化において予測残差が低周 波数領域にまで発生する場合がある。このような場合、下位レイヤ、上位レイヤのそ れぞれで重複して低周波数領域に存在する信号を符号化することになるため、効率 の良い符号化が出来なくなる問題すなわち圧縮率が低下するという問題が発生する
〇
[0021] 本発明は、係る実情に鑑み考え出されたものであり、その目的は、階層符号化方式 による利点を極力維持しつつ、階層符号化方式を採用した場合の無駄な符号化処 理の問題をも解決することである。
課題を解決するための手段
[0022] 上記目的を達成するためこの発明のある局面に従えば、画像を所定サイズの複数 のブロックに分割し、かつ符号化する動画像符号化装置を提供する。動画像符号化 装置は、予測部と、符号化部と、予測制御部と、予測方式情報生成部とを含む。予測 部は、符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を 用いて予測画像を生成する画面内予測方式と、符号化済の縮小された符号化対象 ブロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式と の、いずれの方式でも予測を実行可能である。符号化部は、該予測部による予測画 像を用いて符号化を行なう。予測制御部は、符号化対象のブロックに対する予測方 式として、画面内予測方式または縮小画像に基づく予測方式のいずれを用いるかを 所定のブロック毎に決定し、該決定した予測方式により予測部に予測を実行させる制 御を行なう。予測方式情報生成部は、符号化部により符号化された符号化データを 復号する際に当該符号化データの生成に用いられた予測方式を特定できるように、 予測制御部が所定のブロック毎に決定した予測方式を特定するための予測方式情 報を符号化する。
[0023] 好ましくは、予測部は、符号化対象のブロックに対して、符号化済の隣接ブロックの 局所復号画像を用いて予測画像を生成する画面内予測部と、当該ブロックの符号化 済縮小画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部とを 含む。符号化部は、予測制御部が画面内予測方式に決定した場合に、画面内予測 部による予測画像を符号化に用い、予測制御部が縮小画像に基づく予測方式に決 定した場合に、アップサンプリング部による予測画像を符号化に用いる。
[0024] さらに好ましくは、符号化済縮小画像は、画面内予測部を用いて画面内予測され た後、符号化される。
[0025] 好ましくは、予測方式情報生成部は、予測方式情報として、所定のブロックに隣接 する符号化済ブロックの符号化に用いられた予測方式に基づいて導出された推定予 測方式と、所定のブロックの予測方式が一致するか否かの情報とを出力する。
[0026] 好ましくは、符号化部は、予測制御部が縮小画像に基づく予測方式を選択した場 合には、予測部による予測画像と符号化対象ブロックの画像との差分画像を符号化 しない。
[0027] この発明の別の局面に従えば、画像を構成するブロック毎に符号化データを復号 する動画像復号装置を提供する。動画像復号装置は、予測部と、復号部と、予測方 式特定部とを含む。予測部は、復号対象のブロックに対する予測方式として、復号済 の隣接ブロックの局所復号画像を用いて予測画像を生成する画面内予測方式と、復 号済の縮小された復号対象ブロックを用いて予測画像を生成する縮小画像に基づく 予測方式との、いずれの方式でも予測を実行可能である。復号部は、該予測部によ る予測画像を復号に用いる。予測方式特定部は、復号対象のブロックに用いられた 予測方式を特定する予測方式情報から予測方式を特定する。予測部は、予測方式 特定部により特定された予測方式により予測を実行する。
[0028] 好ましくは、予測部は、復号対象のブロックに対して、復号済の隣接ブロックの局所 復号画像を用いて予測画像を生成する画面内予測部と、当該ブロックの復号済縮小 画像を拡大し、当該ブロックの予測画像を生成するアップサンプリング部とを含む。 復号部は、予測方式特定部が画面内予測方式を特定した場合に、画面内予測部に よる予測画像を復号に用い、予測方式特定部が縮小画像に基づく予測方式を特定 した場合に、アップサンプリング部による予測画像を復号に用いる。
[0029] さらに好ましくは、復号済縮小画像は、復号された後、画面内予測部を用いて画面 内予測された画像データである。
[0030] 好ましくは、予測方式特定部は、予測方式情報として、復号対象ブロックに隣接す る復号済ブロックの復号に用いられた予測方式に基づいて導出された推定予測方式 と、復号対象ブロックの予測方式が一致するか否かの情報とを出力する。
[0031] 好ましくは、復号部は、予測制御部が縮小画像に基づく予測方式を選択した場合 には、予測部による予測画像を当該復号対象ブロックの復号画像とする。
発明の効果
[0032] 本発明の動画像符号化装置および動画像復号装置によれば、所定サイズのブロッ ク毎に予測方式を適応的に切替えることで、効率的な符号化および復号を実現でき る。また、本発明の動画像符号化装置では、縮小画像を基にした予測を行なう際、縮 小画像作成のためのローパスフィルタ処理が不要であり、処理量を削減することが可 能である。
図面の簡単な説明
[0033] [図 1]本発明の第 1の実施形態に従う動画像符号化装置のブロック図である。
[図 2]本発明の第 1の実施形態の別形態に従う動画像符号化装置のブロック図であ
[図 3]本発明の第 1の実施形態に従う動画像復号装置のブロック図である。
[図 4]本発明の第 2の実施形態に従う動画像符号化装置のブロック図である。 [図 5]本発明の第 2の実施形態に従う動画像復号装置のブロック図である。
[図 6]背景技術 1を用いた動画像符号化装置のブロック図である。
[図 7]背景技術 2を用いた動画像符号化装置のブロック図である。
[図 8]背景技術 2における符号化処理の説明図である。
[図 9]背景技術 2における符号化特性の説明図である。
符号の説明
[0034] 1 画面内予測部、 2 直交変換部、 3 量子化部、 4 逆量子化部、 5 逆直交変換 部、 6 フレームメモリ、 7 ダウンサンプリング部、 8 アップサンプリング部、 9 可変長 符号化部、 10 切替スィッチ、 11 予測制御部、 12 可変長復号部、 13 フィルタ処 理部、 14 階層切替制御部。
発明を実施するための最良の形態
[0035] [実施形態 1]
まず、本発明の第 1の実施形態に従う動画像符号化装置について説明する。図 1 は、本実施形態における動画像符号化装置のブロック図を示す。図 1において、予 測制御部 11は、符号化対象画像の符号化対象ブロック毎に、切替スィッチ 10a、 10 b、 10cを制御することで、当該符号化対象ブロックに用いる予測方法を決定する。そ の他の構成要素については、図 7の動画像符号化装置における各構成要素と同一 であるため、詳細な説明は繰り返さない。
[0036] 次に本実施形態に従う動画像符号化装置の動作について説明する。本実施形態 に従う動画像符号化装置の動作は、以下の通りである。なお、以下の説明において も、背景技術の説明で用いたのと同じブロックサイズ N X N画素ブロック、 M X M画 素ブロックを単位として符号化および復号するものとして説明する。
<ステップ 101〉
所定のブロックサイズ (N X N画素ブロック）に分割された符号化対象画像（以下符 号化対象ブロック）が、当該動画像符号化装置に入力される。
<ステップ 102〉
予測制御部 11は、符号化対象ブロックの空間周波数特性を基に、当該ブロックに 用いる予測方式を決定する。当該ブロックに、高周波数成分が所定量以上含まれて いる場合には、背景技術 1と同様に画面内予測を用いる。一方、当該ブロックにおけ る高周波数成分が所定量未満の場合には、当該ブロックに対する縮小画像を基にし た予測を用いるよう制御する。予測方式の決定方法の詳細については後述する。
[0037] なお予測制御部 11が決定した当該ブロックに用いる予測方式は、可変長符号化 部 9にて可変長符号化され、符号化データとして出力される。
[0038] また予測制御部 11は、切替スィッチ 10a、 10b, 10cを制御し、背景技術 1と同様に 画面内予測による予測を行なう場合には、切替スィッチ 10aの出力を符号化対象画 像、切替スィッチ 10bの出力をフレームメモリ 6から出力される局所復号画像、切替ス イッチ 10cの出力を画面内予測部 1の出力する予測画像、にそれぞれ設定する。こ の場合、以降の処理としてはステップ 103〜ステップ 108までの処理が行なわれる。
[0039] 一方、縮小画像を基にした予測を用いる場合には、一旦、切替スィッチ 10a、 10b の出力は、ダウンサンプリング部の出力する縮小画像、切替スィッチ 10cの出力は画 面内予測部 1の出力する予測画像、にそれぞれ設定され、ステップ 109以降の処理 が fiなわれる。
<ステップ 103〉
符号化対象ブロックはさらに、所定ブロックサイズ (M X M画素ブロック）に分割され 、それぞれのブロックについて、以下の処理が行なわれる。
<ステップ 104〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す る。なお予測画像は、フレームメモリ 6に記憶されている既に符号化済みの隣接ブロ ックにおける局所復号画像を用いて画面内予測を行なうことで生成される。
<ステップ 105〉
当該ブロックとステップ 104にて生成された予測画像の差分である予測残差データ (M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、それぞれ 直交変換および量子化処理が実行される。
<ステップ 106〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理を経て、局所復号が行なわれ、ステップ 102にて生成された予測画像と合成さ れることで、当該ブロックの局所復号画像（M X M画素ブロック）として、フレームメモ リ 6へ記憶される。
<ステップ 107〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 108〉
符号化対象ブロック（N X N画素ブロック）を構成するすべてのブロック（M X M画 素ブロック）について、ステップ 103〜ステップ 107が繰り返された後、ステップ 119の 処理が実行される。
<ステップ 109〉
ダウンサンプリング部 7aが、符号化対象ブロックに対し、縮小画像（M X M画素ブロ ック）を生成する。具体的には、符号化対象ブロック（N X N画素ブロック）を M X M個 の正方形の小領域に分割して、各小領域の左上に位置する画素を抽出することで縮 小画像が生成される。
くステップ 1 10〉
画面内予測部 1は、ステップ 109で生成された縮小画像に対する予測画像 (M X M画素ブロック）を生成する。なお、フレームメモリ 6に記憶されている既に符号化済 みの隣接ブロックにおける局所復号画像（N X N画素ブロック）をダウンサンプリング 部 7bにて縮小処理して得られる画素ブロックを用いて画面内予測を行なうことで、予 測画像は生成される。ダウンサンプリング部 7bにおける縮小処理は、ダウンサンプリ ング 7aにおける縮小処理と同様である。
<ステップ 1 11〉
ステップ 109で生成された縮小画像とステップ 110で生成された当該ブロックの予 測画像との差分である予測残差データ（M X M画素ブロック）が直交変換部 2および 量子化部 3の順に入力され、それぞれ直交変換および量子化処理が実行される。 <ステップ 1 12〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理を経て、局所復号が行なわれ、ステップ 110にて生成された予測画像と合成さ れることで、当該ブロックの局所復号画像（M X M画素ブロック）として、フレームメモ リ 6へ記憶される。
くステップ 1 13〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 1 14〉
予測制御部 11は、切替スィッチ 10a、 10cを制御し、切替スィッチ 10aの出力を符 号化対象画像、切替スィッチ 10cの出力をアップサンプリング部 8の出力する拡大画 像、にそれぞれ設定する。
<ステップ 1 15〉
アップサンプリング部 8は、ステップ 112でフレームメモリ 6に記憶した縮小画像の局 所復号画像（M X M画素ブロック）から拡大画像（N X N画素ブロック）を生成する。 なお当該拡大画像は、符号化対象ブロックに対する予測画像として出力する。
<ステップ 1 16〉
符号化対象ブロックを M X M画素ブロックに分割して、各画素ブロックとステップ 11 5により得られた予測画像上の対応する領域の差分である予測残差データ（M X M 画素ブロック）がそれぞれ直交変換部 2および量子化部 3の順に入力され、それぞれ 直交変換および量子化処理が実行される。
<ステップ 1 17〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理を経て、局所復号が行なわれ、ステップ 111にて生成された予測画像と合成さ れることで、当該符号化対象ブロックの局所復号画像 (M X M画素ブロック）として、 フレームメモリ 6へ記憶される。
くステップ 1 18〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 1 19〉
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ 101 〜； 118を繰り返す。
[0040] 以上説明したように、本実施形態に従う動画像符号化装置においては、所定のブ ロックサイズ毎に画面内予測、あるいは、縮小画像を基にした予測のいずれかを適応 的に切替えることで、効率の良い符号化を実現することができる。
[0041] 次に、上述した動画像符号化装置の動作のステップ 102における予測方式決定方 法の詳細について説明する。前述の通り、予測制御部 11は符号化対象ブロックに含 まれる高周波成分の推定量の大小により予測方式を決定する。 8 X 8画素からなる符 号化対象ブロックの高周波成分の推定量 AHは次式により導出される。
[0042] [数 1]
H <8V<8
ΛΗ = ∑∑A(u,v)
u=4v=4
[0043] ここで、 A(u, v)は符号化対象ブロックの画像 a(i, j)を DCT変換して得られる周波 数成分である。なお、 i, jはブロック内の水平方向，鉛直方向の位置をそれぞれ示す 値である。また、 u, Vは 8 X 8画素ブロックを DCT変換して得られる水平、鉛直方向の 周波数成分の位置をそれぞれ表わす。
[0044] 予測制御部 11は、あらかじめ実験により定めた閾値 D1を用いて、高周波成分の推 定量 AHが D1よりも小さいならば縮小画像を基にした予測を行ない、 AHが D1以上 ならば背景技術 1と同様の画面内予測を行なうように制御する。
[0045] なお上記の説明では、予測制御部 11は、符号化対象ブロックの空間周波数特性 を基に当該ブロックに用いる予測方式を決定するものとした力 一旦、それぞれの予 測方式を用いた符号化を行った後、発生符号量と、局所復号画像に含まれる歪の量 を基に、当該ブロックに用いる予測方式を決定する構成であってもよい。
[0046] さらに本実施形態に従う動画像符号化装置においては、予測方式として、画面内 予測、縮小画像を用いた予測の 2種類のみを切替える構成として説明した力 S、たとえ ば、予測特性の異なる複数の画面内予測方式を適応的に切替え可能な構成であつ てもよい。たとえば、符号化対象ブロックに隣接するブロックを DCT変換して得られる DCT係数を用いて当該ブロックにおける DCT係数を予測し、予測した DCT係数を 逆 DCTして当該ブロックの予測画像を得る予測方式を、前述した 2つの予測方式に カロえることもできる。
[0047] なお、本実施形態に従う動画像符号化装置においては、対象画像に含まれる空間 周波数成分を解析し、高周波数成分が殆ど存在しない場合にのみ、縮小画像を用 いた予測を行なうため、背景技術 2では縮小画像を作成する際に折り返し歪の影響 を考慮し必須であったローパスフィルタ処理は実施する必要がな!/、。しかし高周波数 領域に存在するノイズ除去し、更に符号化効率を高める目的で、ダウンサンプリング 処理の直前にローパスフィルタ処理を実施する図 2のような構成を採用してもよい。
[0048] なお、本実施形態に従う動画像符号化装置の説明にお!/、ては、予測制御部 11に て決定された当該ブロックに用いる予測方式が、可変長符号化部 9にて可変長符号 化されるものとしたが、予測制御部 11が隣接ブロックの符号化に用いた予測方式に 基づいて当該ブロックに用いる予測方式を推定し、当該ブロックに用いる予測方式と 推定した予測方式が異なるか否かの情報を可変長符号化部 9にて可変長符号化し ても構わない。たとえば、当該ブロックの符号化に用いる予測方式を Pc、当該ブロッ クの上、左に隣接するブロックにおいて用いられた予測方式をそれぞれ Pt, PIとする 。そして、 Ptと P1がともに縮小画像を基にした予測である場合には、縮小画像を基に した予測を Pcの推定値とし、それ以外の場合には、画面内予測を Pcの推定値とする 。当該ブロックの予測方式と隣接ブロックの予測方式との間の相関を利用することに より、予測方式の符号化に必要な符号量を削減することができる。
[0049] 次に本実施形態に従う動画像復号装置について説明する。図 3は、本実施形態に 従う動画像復号装置のブロック図を示す。
[0050] 図 3において、可変長復号部 12は、符号化データの可変長復号を行なう。その他 の構成は、図 1の動画像符号化装置の各要素と同一であり、詳細な説明は繰り返さ ない。
<ステップ 201〉
入力された符号化データから、 N X N画素ブロックからなる復号対象画像（以下復 号対象ブロック）に用いる予測方式が、可変長復号部 12にて復号される。
[0051] このとき、背景技術 1と同様の画面内予測が用いられる場合には、切替スィッチ 10a の出力はフレームメモリ 6の出力する局所復号画像に設定され、以降の処理はステツ プ 202〜ステップ 205までの処理が実行される。
[0052] 一方、縮小画像を基にした予測が用いられる場合には、切替スィッチ 10aの出力は 、ダウンサンプリング部 7の出力結果に設定され、ステップ 206以降の処理が行なわ れる。
[0053] また、いずれの予測方式が用いられる場合においても、一旦、切替スィッチ 10bの 出力は画面内予測部 1の出力する予測画像に設定される。
<ステップ 202〉
復号対象ブロックは更に、所定ブロックサイズ (M X M画素ブロック）に分割され、そ れぞれのブロックについて、可変長復号部 12にて予測残差データの可変長復号が ネ亍なわれる。
<ステップ 203〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す <ステップ 204〉
ステップ 202で可変長復号された予測残差データは、逆量子化部 4、逆直交変換 部 5での処理を経て、局所復号が行なわれ、ステップ 203にて生成された予測画像と 合成されることで、当該復号対象ブロックの局所復号画像（M X M画素ブロック）とし て、フレームメモリ 6へ記憶される。
<ステップ 205〉
復号対象ブロックを構成するすべてのブロックについて、ステップ 202〜ステップ 20 4が繰り返された後、ステップ 214の処理が実行される。
<ステップ 206〉
復号対象ブロックに対する縮小画像（M X M画素ブロック）について、可変長復号 部 12にて予測残差データの可変長復号が行なわれる。
<ステップ 207〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す る。画面内予測には、動画像符号化装置と同様に、フレームメモリ 6に記憶された隣 接ブロックの局所復号画像をダウンサンプリング部 7bにて縮小処理した上で用いる。 <ステップ 208〉
ステップ 206で可変長復号された予測残差データは、逆量子化部 4および逆直交 変換部 5での処理を経て局所復号が行なわれ、ステップ 207にて生成された予測画 像と合成されることで、当該ブロックの局所復号画像 (M X M画素ブロック）として、フ レームメモリ 6へ記憶される。
<ステップ 209〉
可変長復号部 12は、切替スィッチ 10bを制御し、切替スィッチ 10bの出力をアップ サンプリング部 8の出力する拡大画像へ切替える。
<ステップ 210〉
復号対象ブロックは更に、所定ブロックサイズ (M X M画素ブロック）に分割され、そ れぞれのブロックについて、可変長復号部 12にて予測残差データの可変長復号が ネ亍なわれる。
<ステップ 211〉
アップサンプリング部 8は、ステップ 208でフレームメモリに記憶した縮小画像の局 所復号画像を基に拡大画像（M X M画素ブロック）を生成する。
当該拡大画像は、復号対象ブロックに対する予測画像として出力する。
<ステップ 212〉
ステップ 210にて可変長復号された予測残差データは、逆量子化部 4および逆直 交変換部 5での処理を経て局所復号が行なわれ、ステップ 211にて生成された予測 画像と合成されることで、当該復号対象ブロックの局所復号画像 (M X M画素ブロッ ク）として、フレームメモリ 6へ記憶される。
<ステップ 213〉
復号対象ブロックを構成するすべてのブロックについて、ステップ 206〜ステップ 21 2を繰り返す。
<ステップ 214〉
復号対象画像を構成する、すべての復号対象ブロックについて、ステップ 20；!〜 2 13を繰り返す。 [0055] 以上のような動画像復号装置の処理により、本実施形態に従う動画像符号化装置 で生成された符号化データは復号される。
[0056] [実施形態 2]
次に本発明の第 2の実施形態に従う動画像符号化装置および動画像復号装置に ついて順に説明する。
[0057] まず本実施形態の動画像符号化装置について説明する。図 4は、本発明の第 2の 実施形態に従う動画像符号化装置のブロック図を示す。各構成要素については、図 1の動画像符号化装置の構成要素と同一であるため詳細な説明は繰り返さない。
[0058] なお本実施形態の動画像符号化装置の動作は、以下の通りである。
<ステップ 301〉
所定のブロックサイズ (N X N画素ブロック）に分割された符号化対象画像（以下符 号化対象ブロック）が、当該動画像符号化装置に入力される。
<ステップ 302〉
予測制御部 11は、符号化対象ブロックの空間周波数特性を基に、当該ブロックに 用いる予測方式を決定する。当該ブロックに、高周波数成分が所定量以上含まれて いる場合には、背景技術 1と同様に画面内予測を用いる。一方、当該ブロックにおけ る高周波数成分が所定量未満の場合には、当該ブロックに対する縮小画像を基にし た予測を用いるよう制御する。
[0059] なお予測制御部 11が決定した当該ブロックに用いる予測方式は、可変長符号化 部 9にて可変長符号化され、符号化データとして出力される。
[0060] また予測制御部 11は、切替スィッチ 10a、 10b, 10cを制御し、背景技術 1と同様に 画面内予測による予測を行なう場合には、切替スィッチ 10aの出力を符号化対象画 像、切替スィッチ 10bの出力はフレームメモリ 6の出力する局所復号画像、切替スイツ チ 1 Ocの出力は画面内予測部 1と逆直交変換部 5の出力を合成した合成画像を出力 するように設定する。この場合、以降の処理としてはステップ 303〜ステップ 308まで の処理が行なわれる。
[0061] 一方、縮小画像を基にした予測を用いる場合には、切替スィッチ 10a、 10bの出力 は、ダウンサンプリング部の出力する縮小画像、切替スィッチ 10cの出力はアップサ ンプリング部 8の出力する拡大画像、がそれぞれ設定され、ステップ 309以降の処理 が fiなわれる。
<ステップ 303〉
符号化対象ブロックは更に、所定ブロックサイズ (M X M画素ブロック）に分割され、 それぞれのブロックにつ!/、て、以下の処理が行なわれる。
<ステップ 304〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す る。予測画像は、フレームメモリ 6に記憶されている既に符号化済みの隣接ブロックに おける局所復号画像に対して画面内予測を行なうことで生成される。
<ステップ 305〉
当該ブロックとステップ 304にて生成された予測画像の差分である予測残差データ (M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、それぞれ 直交変換および量子化処理が実行される。
<ステップ 306〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理を経て局所復号が行なわれ、ステップ 302にて生成された予測画像と合成され ることで、当該符号化対象ブロックの局所復号画像（M X M画素ブロック）として、フレ ームメモリ 6へ記憶される。
<ステップ 307〉
また量子化された予測残差データは、可変長符号化部 9にも入力され、可変長符 号化された後、符号化データとして出力される。
<ステップ 308〉
符号化対象ブロックを構成するすべてのブロックについて、ステップ 303〜ステップ 307が繰り返された後、ステップ 314の処理が実行される。
<ステップ 309〉
ダウンサンプリング部 7aにて、符号化対象ブロックに対し、縮小画像（M X M画素 ブロック）が生成される。
<ステップ 310〉 画面内予測部 1は、ステップ 309で生成された縮小画像に対する予測画像 (M X M画素ブロック）を生成する。
[0062] なお、フレームメモリ 6に記憶されている既に符号化済みの隣接ブロックにおける局 所復号画像をダウンサンプリング部 7bにて縮小処理して得られる画素ブロックを用い て、画面内予測を行なうことで予測画像は生成される。
<ステップ 311〉
ステップ 309で生成された縮小画像と当該ブロックの予測画像の差分である予測残 差データ（M X M画素ブロック）が直交変換部 2および量子化部 3の順に入力され、 それぞれ直交変換および量子化処理が実行される。
<ステップ 312〉
さらに量子化された予測残差データは、逆量子化部 4および逆直交変換部 5での 処理を経て、局所復号が行なわれ、ステップ 310にて生成された予測画像と合成さ れる。
<ステップ 313〉
ステップ 312で得られた画像（M X M画素ブロック）は、アップサンプリング部 8の補 間処理によって拡大され、当該符号化対象ブロックの局所復号画像（N X N画素ブロ ック）として、フレームメモリ 6へ記憶される。
<ステップ 314〉
符号化対象画像を構成する、すべての符号化対象ブロックについて、ステップ 301 〜313を繰り返す。
[0063] 以上説明したように、本実施形態の動画像符号化装置においても、実施形態 1に 従う動画像符号化装置と同様、予測方式を適応的に切替えることで、効率の良い符 号化を実現する。
[0064] さらに、本実施形態に従う動画像符号化装置では、縮小画像を用いた予測を行な う場合には、当該ブロックにおける高周波数成分が殆ど存在しないことを利用し、縮 小画像の符号化結果のみを符号化する。すなわち、本実施形態に従う動画像符号 化装置では、局所復号された縮小画像をアップサンプリングして得られる画像と当該 ブロックの画像との差分画像を符号化しないことで、更なる符号化効率の向上を可能 としている。さらに、当該ブロックにおける高周波成分が殆ど存在しないため、図 1、 図 4に示した動画像符号化装置では、縮小画像を基にした予測を行なう際、縮小画 像作成のためのローパスフィルタ処理が不要であり、処理量を削減することが可能で ある。
[0065] 次に本実施形態に従う動画像復号装置について説明する。図 5は、本発明の第 2 の実施形態における動画像復号装置のブロック図を示す。各構成要素については、 図 3の動画像復号装置の各構成要素と同一であるため説明は繰り返さない。なお本 実施形態の動画像復号装置の動作は以下の通りである。
<ステップ 401〉
入力された符号化データから、 N X N画素ブロックからなる復号対象画像（以下復 号対象ブロック）に用いる予測方式が、可変長復号部 12にて復号される。
[0066] 復号対象ブロックに対し、背景技術 1と同様の画面内予測が用いられる場合には、 切替スィッチ 10aの出力はフレームメモリから出力される局所復号画像、切替スィッチ 10bの出力は、画面内予測部 1と逆直交変換部 5からの出力の合成画像にそれぞれ 設定され、以降の処理としてステップ 402〜ステップ 405が実行される。
[0067] 一方、縮小画像を基にした予測が用いられる場合には、切替スィッチ 10aの出力は 、ダウンサンプリング部 7の出力、切替スィッチ 10bの出力は、アップサンプリング部 8 の出力にそれぞれ設定され、以降の処理として、ステップ 406以降の処理が行なわ れる。
<ステップ 402〉
復号対象ブロックは更に、所定ブロックサイズ (M X M画素ブロック）に分割され、そ れぞれのブロックについて、可変長復号部 12にて予測残差データの可変長復号が ネ亍なわれる。
<ステップ 403〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す <ステップ 404〉
ステップ 402で可変長復号された予測残差データは、逆量子化部 4および逆直交 変換部 5での処理を経て局所復号が行なわれ、ステップ 403にて生成された予測画 像と合成されることで、当該復号対象ブロックの局所復号画像 (M X M画素ブロック） として、フレームメモリ 6へ記憶される。
<ステップ 405〉
復号対象ブロックを構成するすべてのブロックについて、ステップ 402〜ステップ 40 4が繰り返された後、ステップ 409へ。
<ステップ 406〉
復号対象ブロックに対する縮小画像（M X M画素ブロック）について、可変長復号 部 12にて予測残差データの可変長復号が行なわれる。
<ステップ 407〉
画面内予測部 1は、当該ブロックに対する予測画像（M X M画素ブロック）を生成す る。画面内予測には、動画像符号化装置と同様に、フレームメモリ 6に記憶された隣 接ブロックの局所復号画像をダウンサンプリング部 7にて縮小処理した上で用いる。 <ステップ 408〉
ステップ 406で可変長復号された予測残差データは、逆量子化部 4および逆直交 変換部 5での処理を経て局所復号が行なわれ、ステップ 407にて生成された予測画 像と合成された後、アップサンプリング部 8にて N X N画素ブロックに拡大処理され、 当該ブロックの局所復号画像として、フレームメモリ 6へ記憶される。
<ステップ 409〉
復号対象画像を構成するすべての復号対象ブロックについて、ステップ 40；!〜 40 8を繰り返す。
以上のような動画像復号装置の処理により、本実施形態の動画像符号化装置で生 成された符号化データは復号される。
[0068] [その他の変形例]
次に、その他の変形例を記載する。
[0069] (1) 上述した動画像符号化装置の動作説明のステップ 115 (図 1)またはステップ
313 (図 4)において縮小画像を拡大する方法について以下に示す。背景技術 2で定 められた方法を用いる以外にもアップサンプリングを行ない予測画像を導出する方法 がある。たとえば、背景技術 2では LanCzos3関数に基づく 6タップの補間フィルタを 基本としてアップサンプリング処理を行なうことで、画像の高周波成分の高精度に補 間すること力 Sできる。しかし、本発明の場合には高周波成分をあまり含まない領域に 対してのみ縮小画像を基にした予測を行なうので、高周波成分の補間精度で劣る 2 タップの線形補間フィルタを利用しても符号化効率への影響は小さ!/、。 2タップの線 形補間フィルタを利用する場合は、アップサンプリングに必要な処理量を低減するこ と力 Sできる。
[0070] (2) 上述した動画像符号化装置の動作説明では、ダウンサンプリング部 7aおよび ダウンサンプリング部 7bにおいて、 M X M個の各小領域内で左上に位置する画素を 抽出して縮小画像を構成するとしたが、各小領域内の別の位置、たとえば右下に位 置する画素を抽出して縮小画像を構成しても構わない。ブロックをラスタスキャン順に 処理する場合には、小領域内の右下の画素を使って縮小画像を構成することで、ァ ップサンプリング時に参照可能な画素数が増加し、その結果として縮小画像を基にし た予測画像の精度が向上するという利点がある。
[0071] なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考 えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示 され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意 図される。

Claims

請求の範囲
[1] 符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用いて 予測画像を生成する画面内予測方式と、符号化済の縮小された前記符号化対象ブ ロックの局所復号画像を用いて予測画像を生成する縮小画像に基づく予測方式との
、 V、ずれの方式でも予測を実行可能な予測部と、
該予測部による予測画像を用いて符号化を行なう符号化部と、
前記符号化対象のブロックに対する予測方式として、前記画面内予測方式または 前記縮小画像に基づく予測方式のいずれを用いるかを所定のブロック毎に決定し、 該決定した予測方式により前記予測部に予測を実行させる制御を行なう予測制御部 と、
前記符号化部により符号化された符号化データを復号する際に当該符号化データ の生成に用いられた予測方式を特定できるように、前記予測制御部が前記所定のブ ロック毎に決定した予測方式を特定するための予測方式情報を符号化する予測方 式情報生成部とを備える、動画像符号化装置。
[2] 前記予測部は、
符号化対象のブロックに対して、符号化済の隣接ブロックの局所復号画像を用い て予測画像を生成する画面内予測部と、
当該ブロックの符号化済縮小画像を拡大し、当該ブロックの予測画像を生成する アップサンプリング部と、を含み、
前記符号化部は、前記予測制御部が前記画面内予測方式に決定した場合に、前 記画面内予測部による予測画像を前記符号化に用い、前記予測制御部が前記縮小 画像に基づく予測方式に決定した場合に、前記アップサンプリング部による予測画 像を前記符号化に用いる、請求の範囲第 1項に記載の動画像符号化装置。
[3] 前記符号化済縮小画像は、前記画面内予測部を用いて画面内予測された後、符 号化される、請求の範囲第 2項に記載の動画像符号化装置。
[4] 前記予測方式情報生成部は、前記予測方式情報として、前記所定のブロックに隣 接する符号化済ブロックの符号化に用いられた予測方式に基づいて導出された推定 予測方式と、前記所定のブロックの予測方式が一致するか否かの情報とを出力する 、請求の範囲第 1項に記載の動画像符号化装置。
[5] 前記符号化部は、前記予測制御部が前記縮小画像に基づく予測方式を選択した 場合には、前記予測部による予測画像と前記符号化対象ブロックの画像との差分画 像を符号化しない、請求の範囲第 1項に記載の動画像符号化装置。
[6] 画像を構成するブロック毎に符号化データを復号する動画像復号装置であって、 復号対象のブロックに対する予測方式として、復号済の隣接ブロックの局所復号画 像を用いて予測画像を生成する画面内予測方式と、復号済の縮小された前記復号 対象ブロックを用いて予測画像を生成する縮小画像に基づく予測方式との、 V、ずれ の方式でも予測を実行可能な予測部と、
該予測部による予測画像を復号に用いる復号部と、
前記復号対象のブロックに用いられた予測方式を特定する予測方式情報から予測 方式を特定する予測方式特定部と、を備え、
前記予測部は、前記予測方式特定部により特定された予測方式により予測を実行 する、動画像復号装置。
[7] 前記予測部は、
復号対象のブロックに対して、復号済の隣接ブロックの局所復号画像を用いて予 測画像を生成する画面内予測部と、
当該ブロックの復号済縮小画像を拡大し、当該ブロックの予測画像を生成するァ ップサンプリング部と、を含み、
前記復号部は、前記予測方式特定部が前記画面内予測方式を特定した場合に、 前記画面内予測部による予測画像を前記復号に用い、前記予測方式特定部が前記 縮小画像に基づく予測方式を特定した場合に、前記アップサンプリング部による予測 画像を前記復号に用いる、請求の範囲第 6項に記載の動画像復号装置。
[8] 前記復号済縮小画像は、復号された後、前記画面内予測部を用いて画面内予測 された画像データである、請求の範囲第 7項に記載の動画像復号装置。
[9] 前記予測方式特定部は、前記予測方式情報として、前記復号対象ブロックに隣接 する復号済ブロックの復号に用いられた予測方式に基づいて導出された推定予測方 式と、前記復号対象ブロックの予測方式が一致するか否かの情報とを出力する、請 求の範囲第 6項に記載の動画像復号装置。
前記復号部は、前記予測制御部が前記縮小画像に基づく予測方式を選択した場 合には、前記予測部による予測画像を当該復号対象ブロックの復号画像とする、請 求の範囲第 6項に記載の動画像復号装置。
PCT/JP2007/073363 2006-12-13 2007-12-04 動画像符号化装置および動画像復号装置 WO2008072500A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07850013A EP2104359A4 (en) 2006-12-13 2007-12-04 DYNAMIC BILDCODING DEVICE AND DYNAMIC IMAGE DECODING DEVICE
US12/518,937 US8306126B2 (en) 2006-12-13 2007-12-04 Moving picture encoding apparatus and moving picture decoding apparatus
JP2008549248A JP4888919B2 (ja) 2006-12-13 2007-12-04 動画像符号化装置および動画像復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006-336072 2006-12-13
JP2006336072 2006-12-13

Publications (1)

Publication Number Publication Date
WO2008072500A1 true WO2008072500A1 (ja) 2008-06-19

Family

ID=39511522

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/073363 WO2008072500A1 (ja) 2006-12-13 2007-12-04 動画像符号化装置および動画像復号装置

Country Status (4)

Country Link
US (1) US8306126B2 (ja)
EP (1) EP2104359A4 (ja)
JP (1) JP4888919B2 (ja)
WO (1) WO2008072500A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064932A1 (ja) * 2009-11-30 2011-06-03 三菱電機株式会社 画像符号化装置及び画像復号装置
JP2017073668A (ja) * 2015-10-07 2017-04-13 日本放送協会 映像符号化装置、映像復号装置及びプログラム
CN108810532A (zh) * 2010-02-24 2018-11-13 夏普株式会社 图像解码装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2010092740A1 (ja) * 2009-02-10 2012-08-16 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
KR101710883B1 (ko) * 2009-11-04 2017-02-28 삼성전자주식회사 필터 정보를 이용한 영상 압축 장치 및 방법과 영상 복원 장치 및 방법
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
CN113329228B (zh) * 2021-05-27 2024-04-26 杭州网易智企科技有限公司 视频编码方法、解码方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295408A (ja) * 2005-04-07 2006-10-26 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化プログラム
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
JP2006304307A (ja) * 2005-04-19 2006-11-02 Samsung Electronics Co Ltd エントロピーコーディングのコンテキストモデルを適応的に選択する方法及びビデオデコーダ

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970000683B1 (ko) 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
JPH09200772A (ja) 1996-01-18 1997-07-31 Fuji Facom Corp 圧縮画像データ表示装置
JP3701825B2 (ja) 1999-11-01 2005-10-05 日本電信電話株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体
US6456663B1 (en) * 2000-03-29 2002-09-24 Matsushita Electric Industrial Co., Ltd. DCT domain down conversion system that compensates for IDCT mismatch
JP4151374B2 (ja) * 2002-03-29 2008-09-17 セイコーエプソン株式会社 動画像符号化装置および動画像符号化方法
WO2006080779A1 (en) * 2005-01-25 2006-08-03 Samsung Electronics Co., Ltd. Method of effectively predicting multi-layer based video frame, and video coding method and apparatus using the same
KR100746007B1 (ko) 2005-04-19 2007-08-06 삼성전자주식회사 엔트로피 코딩의 컨텍스트 모델을 적응적으로 선택하는방법 및 비디오 디코더
JP2007288446A (ja) 2006-04-14 2007-11-01 Toshiba Corp 動画像復号装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295408A (ja) * 2005-04-07 2006-10-26 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像符号化プログラム
JP2006295913A (ja) * 2005-04-11 2006-10-26 Sharp Corp 空間的スケーラブルコーディングのためのアダプティブアップサンプリング方法および装置
JP2006304307A (ja) * 2005-04-19 2006-11-02 Samsung Electronics Co Ltd エントロピーコーディングのコンテキストモデルを適応的に選択する方法及びビデオデコーダ

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2104359A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011064932A1 (ja) * 2009-11-30 2011-06-03 三菱電機株式会社 画像符号化装置及び画像復号装置
JPWO2011064932A1 (ja) * 2009-11-30 2013-04-11 三菱電機株式会社 画像符号化装置及び画像復号装置
CN108810532A (zh) * 2010-02-24 2018-11-13 夏普株式会社 图像解码装置
CN108810532B (zh) * 2010-02-24 2022-08-19 威勒斯媒体国际有限公司 图像解码装置
JP2017073668A (ja) * 2015-10-07 2017-04-13 日本放送協会 映像符号化装置、映像復号装置及びプログラム

Also Published As

Publication number Publication date
EP2104359A1 (en) 2009-09-23
EP2104359A4 (en) 2012-07-11
US20100080291A1 (en) 2010-04-01
JPWO2008072500A1 (ja) 2010-03-25
US8306126B2 (en) 2012-11-06
JP4888919B2 (ja) 2012-02-29

Similar Documents

Publication Publication Date Title
JP5658033B2 (ja) ビデオ信号処理方法及び装置
JP5134001B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
JP3788823B2 (ja) 動画像符号化装置および動画像復号化装置
KR102038243B1 (ko) 인코딩 방법 및 장치, 디코딩 방법 및 장치, 및 컴퓨터 판독가능 저장 매체
EP2524505B1 (en) Edge enhancement for temporal scaling with metadata
RU2649775C1 (ru) Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
JP2007174634A (ja) 階層符号化装置、階層復号化装置、階層符号化方法、階層復号方法、階層符号化プログラム及び階層復号プログラム
JP2007074725A (ja) 映像のイントラ予測符号化及び復号化方法、並びに装置
JP2006157481A (ja) 画像符号化装置及びその方法
JP2009111691A (ja) 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP4888919B2 (ja) 動画像符号化装置および動画像復号装置
EP3373584B1 (en) Content adaptive and art directable scalable video coding
JP4870120B2 (ja) 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム
JPWO2007148619A1 (ja) 動画像復号装置、復号画像記録装置、それらの方法及びプログラム
CN102685506B (zh) 帧内预测的方法和预测装置
JP6484097B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、映像符号化プログラム及び映像復号プログラム
KR101294364B1 (ko) 고화질 영상을 위한 무손실 영상 압축방법, 압축 해제방법 및 이를 적용한 전자기기
JP2010098633A (ja) 予測符号化装置および予測符号化方法
JP2006246351A (ja) 画像符号化装置および画像復号化装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6265414B2 (ja) 映像符号化装置及び映像復号装置
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07850013

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2008549248

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12518937

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007850013

Country of ref document: EP

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)