WO2013018806A1 - 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム - Google Patents

画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム Download PDF

Info

Publication number
WO2013018806A1
WO2013018806A1 PCT/JP2012/069495 JP2012069495W WO2013018806A1 WO 2013018806 A1 WO2013018806 A1 WO 2013018806A1 JP 2012069495 W JP2012069495 W JP 2012069495W WO 2013018806 A1 WO2013018806 A1 WO 2013018806A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
divided
encoding
decoding
encoded
Prior art date
Application number
PCT/JP2012/069495
Other languages
English (en)
French (fr)
Inventor
真由子 渡邊
正樹 北原
清水　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to RU2014101694/08A priority Critical patent/RU2014101694A/ru
Priority to EP12819900.7A priority patent/EP2725801B1/en
Priority to IN481CHN2014 priority patent/IN2014CN00481A/en
Priority to CN201280036325.4A priority patent/CN103688542B/zh
Priority to ES12819900T priority patent/ES2909314T3/es
Priority to US14/233,826 priority patent/US9491455B2/en
Priority to CA2842670A priority patent/CA2842670A1/en
Priority to KR1020147001525A priority patent/KR20140031974A/ko
Priority to BR112014001478A priority patent/BR112014001478A2/pt
Publication of WO2013018806A1 publication Critical patent/WO2013018806A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain

Definitions

  • the present invention relates to an image encoding / decoding technique, and more particularly to image encoding that realizes encoding and decoding for reducing the amount of decoding operations while suppressing a decrease in encoding efficiency, compared to the conventional intra prediction encoding / decoding.
  • the present invention relates to a method, an image decoding method, an image encoding device, an image decoding device, an image encoding program, and an image decoding program.
  • H. is the international standard for video coding.
  • intra prediction encoding is performed in order to improve the compression rate in encoding using pixel correlation between blocks (see Non-Patent Document 1).
  • This intra-screen prediction is performed in units of blocks in which several pixels are grouped, and three types of block sizes of 4 ⁇ 4, 8 ⁇ 8, and 16 ⁇ 16 can be used for the luminance signal. In each block size, a plurality of prediction modes can be selected.
  • Non-Patent Document 2 is known as a technique for improving the coding efficiency in intra prediction.
  • This technique is a method of searching for a block with a small error from a coded region and coding using a prediction error for the block to be coded in intra prediction.
  • FIG. 18 is a flowchart showing an example of intra prediction encoding processing according to the prior art.
  • an encoding target image is divided into N blocks 1 to N having the same size (step S301).
  • intra prediction encoding is performed for the first block 1 (step S302).
  • inter-frame prediction coding is performed using a block with a small prediction error from the coded region as a reference image, and motion vector information and a prediction error are coded on the reference image. (Step S303).
  • the processing in step S303 is repeated until the last block N.
  • Non-Patent Document 2 is a technique for improving the coding efficiency, since the generation of a prediction error can be suppressed in a region where the same pattern is repeated, the quantization error tends to be small. Therefore, it is considered that the processing amount of the deblocking filter can be reduced.
  • the above method may be effective for images in which the same pattern is repeated, but it is not effective for images in which almost the same pattern does not appear. It is considered that the conversion error does not become small. In this case, since the processing amount of the deblocking filter cannot be reduced, it is considered that it is not effective in reducing the decoding calculation amount. Furthermore, since it is necessary to send the offset vector information indicating the relative position of the reference block to each block to the decoding side, an operation for decoding the reference block information also occurs on the decoding side. There is a problem that there are still many.
  • Non-Patent Document 2 if a reference image is selected by a different method, a prediction image is created using the reference image, and prediction error encoding is performed, the reference image Depending on what kind of encoded image is used, encoding efficiency is greatly affected. Therefore, a technique using an appropriate image as a reference image is necessary.
  • An object of the present invention is to solve the above-described problems and reduce the amount of encoding operation and the amount of decoding operation while suppressing a decrease in encoding efficiency.
  • the present invention performs the following processing when compressing and encoding an input image.
  • the input image is divided into blocks of n ⁇ m pixels, and each divided block is divided into sub-blocks of n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m).
  • Sub-blocks having the same relative position in the block are collected, and divided images of the same size are generated.
  • At least one of the divided images is intra-coded in the divided image.
  • the intra-divided image encoding is encoding based on intra-screen prediction in which the divided image is used as a screen unit.
  • pixels in the same position in the encoding target divided image and the encoded divided image are in ascending order of distance on the original image.
  • the encoded divided image is selected as a reference image used for inter-divided image predictive encoding for the encoding target divided image.
  • a prediction image for the encoding target divided image is generated using the selected reference image, and inter-divided image prediction encoding is performed.
  • inter-divided image predictive coding for example, an image obtained by applying a predetermined filter determined by the relative position of the corresponding pixel on the original image of the encoding target divided image and the reference image to the reference image is used as the predicted image.
  • Inter prediction encoding is performed.
  • the inter-partitioned image predictive coding here is coding by inter-screen prediction performed with each divided image as a screen unit.
  • Information source coding is performed on the coding results obtained by the above intra-partitioned image coding and inter-partitioned image predictive coding, and an encoded bit stream is output.
  • a reference list in which a plurality of selected reference images are arranged is designated, and a plurality of images entered in the reference list are recorded during inter-picture prediction encoding.
  • the prediction image for the encoding target divided image may be generated using one or a plurality of reference images among the reference images.
  • the encoded divided image when there are a plurality of encoded divided images having the same distance between pixels on the original image with respect to the encoding target image, The encoded divided image may be selected as a reference image in preference to the inter-divided predictive encoded divided image.
  • the encoded divided image with high quantization accuracy has priority over the encoded divided image with low quantization accuracy. Then, it may be selected as a reference image.
  • a reference image indicating which encoded divided image is preferentially selected from among a plurality of encoded divided images that can be used as a reference image.
  • a reference image may be selected based on the selection rule, the designation information of the reference image selection rule may be encoded and notified to the decoding side. For example, as a reference image selection rule, when there are a plurality of encoded divided images with the same distance between pixels on the original image, the intra-divided image encoded divided image is divided into the inter-image predictive encoded divisions.
  • a rule may be included that specifies that a pre-divided image is selected as a reference image in preference to an encoded sub-image with low quantization accuracy.
  • a reference list generation rule that defines a reference image selection rule for a plurality of reference images may be used.
  • the reference image selection rule and the reference list generation rule are substantially synonymous as technical concepts.
  • the inter-partition image predictive encoding can be performed using a prediction image obtained by synthesizing a plurality of prediction images generated from a plurality of reference images. .
  • a reference for designating a reference image is specified.
  • a method of encoding an image index and notifying the decoding side which reference image is used may be used.
  • the present invention performs the following processing in decoding the encoded data of the compression-encoded image.
  • the image encoding device divides the input image into blocks of n ⁇ m pixels, and each divided block is n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m) Are divided into sub-blocks, sub-blocks having the same relative position within the block are collected, divided images having the same size are generated and encoded, and encoded data is input and information source decoding is performed.
  • At least one of the divided images is decoded within the divided image from the decoded data.
  • the decoded divided images in order of decreasing distance on the original image with respect to the pixels at the same position in the decoding target divided image and the decoded divided image Are selected as reference images to be used for inter-divided image predictive decoding on the decoding target divided images.
  • a predicted image for the decoding target divided image is generated using the selected reference image, and inter-divided image predictive decoding is performed.
  • Each pixel in each divided image is returned to the original position in the original image from the divided images decoded by intra-divided image decoding and inter-divided image predictive decoding, and a decoded image is configured.
  • a reference image selection rule (also referred to as a reference list generation rule) indicating which decoded divided image is preferentially selected from among a plurality of decoded divided images that can be used as a reference image.
  • the encoded data designating the image may be decoded, and the reference image may be selected based on the decoded reference image selection rule. For example, as a reference image selection rule, when there are a plurality of decoded divided images having the same distance between pixels on the original image, the decoded divided image in the divided image is more than the predicted decoded divided image between the divided images.
  • the decoded divided image with high quantization accuracy is quantized.
  • a rule specifying that selection as a reference image is given priority over a decoded divided image with low conversion accuracy.
  • inter-partition image prediction decoding in inter-partition image prediction decoding, can be performed using a prediction image obtained by combining a plurality of prediction images generated from a plurality of reference images.
  • the reference indicated by the decoded reference image index is decoded when the reference image is selected.
  • An image may be selected.
  • the operation of the present invention is as follows.
  • one or a plurality of pixels (sub-blocks) are extracted from the input image at equal intervals, and a plurality of divided images are generated by collecting the sub-blocks. For at least one divided image, only the divided image is generated. Intra-divided image encoding is performed using. For encoding of other divided images, inter-divided image predictive encoding is performed using the encoded divided images.
  • a predictive image is generated by applying a filter used when generating an interpolated image to the reference image, and an error signal between the predictive image and the encoding target divided image is encoded.
  • the original image is obtained with respect to the pixels at the same position in the encoded divided image and the encoded divided image.
  • the encoded divided image is selected as a reference image in order of increasing distance between the pixels. Therefore, as compared with the case of using only encoded pixels in the same screen for prediction as in Non-Patent Document 2, information on pixels in all directions in the vicinity of the encoding target can be used for prediction. Furthermore, compared to a case where an arbitrary encoded divided image is set as a reference image, an encoded divided image having a large correlation with the encoding target divided image is selected as the reference image. For this reason, the prediction error is reduced, and the coding efficiency can be improved by increasing the prediction efficiency without increasing the decoding calculation amount.
  • the number of encoded divided images to be used is not limited to one.
  • the image be a reference image.
  • the divided image that has been encoded within the divided image is used as a reference image.
  • the divided image that has been encoded within the divided image is used as a reference image.
  • intra-frame coding is coded with less quantization error than inter-frame coding, so that the predicted image is preferentially used as the reference image for the intra-coded sub-image that is considered to have higher quantization accuracy.
  • the encoded divided image with a small quantization step is quantized. It is used as a reference image in preference to an encoded divided image having a large conversion step. By using the smaller quantization step as the reference image, it is possible to improve the prediction efficiency and improve the coding efficiency.
  • reference image selection rules (or reference list generation rules) that determine which encoded divided images are selected as reference images on the encoding side and the decoding side are determined in advance.
  • the information indicating which reference image selection rule is used to encode the reference image is encoded and notified to the decoding side.
  • the reference image selection method is flexible, and the same reference image can be selected on the encoding side and the decoding side even when there are a plurality of reference image candidates.
  • a plurality of encoded divided images are used as reference images, and a plurality of predicted images generated from the plurality of reference images are combined to form a predicted image.
  • prediction efficiency can be improved.
  • an average image of predicted images generated from individual reference images is calculated.
  • RD cost low rate distortion cost
  • the present invention it is possible to reduce the amount of encoding calculation and the amount of decoding calculation while suppressing a decrease in encoding efficiency as compared with the conventional intra prediction encoding.
  • FIG. 25 is a diagram illustrating a hardware configuration example when an image decoding device is realized using a software program. It is a flowchart which shows the example of the prediction encoding process in a screen by a prior art.
  • FIG. 1 is a diagram illustrating a configuration example of an image encoding device.
  • the image encoding device 10 includes a divided image generation unit 11, an intra-divided image encoding unit 12, a reference image selection unit 13, an inter-divided image prediction encoding unit 14, and an information source encoding unit 15.
  • the inter-divided image prediction encoding unit 14 includes a prediction image generation unit 141, a prediction error calculation unit 142, a prediction error encoding unit 143, and an image decoding unit 144.
  • the divided image generation unit 11 divides the input image into blocks of n ⁇ m pixels, and each of the divided blocks is a sub-unit of n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m). Dividing into blocks, sub-blocks having the same relative position in the block are collected, and divided images of the same size are generated.
  • FIG. 2A to 2D are diagrams illustrating an example of generation of divided images by the divided image generation unit 11.
  • the divided image P0 is a collection of sub-blocks B00, B10,..., BJ0
  • the divided image P1 is a collection of sub-blocks B01, B11,..., BJ1
  • the divided image PK is a sub-block B0K, B1K. , ..., a collection of BJK.
  • the divided image intra-encoding unit 12 performs intra-divided image encoding on several divided images (only the first divided image may be included) including the first divided image generated by the divided image generating unit 11.
  • the intra-partitioned image encoding here is an encoding method that uses only pixel information of the divided image that is the current encoding target, and does not refer to other divided images. Any encoding method may be used as long as it exists. For example, H.C. A method such as intra prediction encoding in the H.264 encoding scheme can be used.
  • the reference image selection unit 13 performs inter-partition image prediction on the encoded divided images in order of decreasing distance on the original image for pixels at the same position in the encoded divided image and the encoded divided image. It selects as a reference picture used for encoding.
  • a plurality of encoded divided images may be selected as reference images in order of increasing distance on the original image.
  • the inter-divided image predictive encoding unit 14 performs inter-divided image predictive encoding on the divided images that have not been encoded among the divided images generated by the divided image generating unit 11.
  • the inter-partitioned image predictive coding here is a coding method in which the coded divided image selected by the reference image selection unit 13 is predictively coded as a reference image.
  • the predicted image generation unit 141 in the inter-divided image predictive encoding unit 14 uses a predetermined filter determined by the relative position of the corresponding pixel on the original image of the current divided image and the reference image as a reference image. To generate a predicted image.
  • FIG. 3 is a diagram illustrating a generation example of a predicted image by the predicted image generation unit 141.
  • the divided image Pi is an encoded divided image serving as a reference image and the divided image Pk is an encoding target divided image to be subjected to inter-divided image prediction encoding will be described.
  • a sub-block belonging to the divided image Pi is represented as Bi, and a sub-block belonging to the divided image Pk is represented as Bk.
  • the pixel value of the sub-block Bk ′ is calculated by applying an interpolation filter to the pixel values of the two extracted sub-blocks Bi.
  • the filter coefficient of the interpolation filter a coefficient determined in advance by the relative position between the sub-block Bi and the sub-block Bk on the original image is used.
  • Various interpolation methods using an interpolation filter are conventionally known, and the reference image may be generated using any interpolation method.
  • a collection of sub-blocks Bk ′ generated by interpolation in this way is used as a prediction image used for inter-picture prediction encoding of the division picture Pk.
  • the prediction error calculation unit 142 subtracts each pixel value of the prediction image generated by the prediction image generation unit 141 from each pixel value of the divided image that is the current encoding target, and calculates a prediction error.
  • the prediction error encoding unit 143 performs orthogonal transformation or quantization processing on the calculated prediction error, and encodes the prediction error.
  • the information source encoding unit 15 entropy encodes the encoded information of the divided images encoded by the intra-divided image encoding unit 12 and the inter-divided image predictive encoding unit 14, and outputs encoded data.
  • the image decoding unit 144 predicts an encoded divided image in order to use the divided image encoded by the inter-divided image predictive encoding unit 14 for generation of a predicted image in encoding of another divided image.
  • the divided image is decoded by adding the prediction error of the encoding result to the predicted image used in the above, and the decoded image is stored and sent to the predicted image generation unit 141. If the prediction error is orthogonally transformed and quantized by the prediction error encoding unit 143, the image decoding unit 144 performs inverse quantization and inverse orthogonal transformation on the output of the prediction error encoding unit 143. Later, the pixel values of the predicted image are added to decode the divided image.
  • FIG. 4 shows an example of division of the encoding target image.
  • the divided image generation unit 11 divides one frame of an input image to be encoded into 2 ⁇ 2 pixel blocks M0, M1,..., MJ as shown in FIG. And Furthermore, each block M0, M1,..., MJ is divided into sub-blocks B0, B1, B2, and B3 pixel by pixel. From the M0, M1,..., MJ thus divided, a collection of pixels in the upper left sub-block B0 is a divided image P0, and a collection of pixels in the upper right sub-block B1 is a divided image P1. A collection of pixels in the lower left sub-block B2 is a divided image P2, and a collection of pixels in the lower right sub-block B3 is a divided image P3.
  • FIG. 5 is a flowchart of the image encoding process.
  • the divided image generation unit 11 divides the input image into blocks M0 to MJ having the same size, as shown in FIG. 4, and collects pixels (sub-blocks) having the same relative position in each block. P0 to PK are generated (step S101).
  • K 3.
  • the divided image encoding unit 12 performs divided image coding on some divided images P0 to PM (where M ⁇ K) among the divided images P0 to PK (step S102).
  • divided image prediction encoding is performed using a conventional intra-screen prediction encoding method or the like.
  • the reference image selection unit 13 selects a reference image.
  • an encoded divided image having the shortest distance between the corresponding pixels on the original image is selected for pixels at the same position in the encoded divided image Pk and the encoded divided image (step S103).
  • the encoded divided image P0 is selected as the reference image of the divided image P1
  • the divided image P2 is referred to.
  • the encoded divided image P0 is selected.
  • the reference image of the divided image P3 either the divided image P1 or the divided image P2 or both are selected as the reference image.
  • the inter-partition image predictive encoding unit 14 performs inter-partition image predictive encoding on the target sub-image Pk (step S104).
  • the predicted image generation unit 141 reads the reference image selected by the reference image selection unit 13 from the image decoding unit 144, and the reference image is added to the original image of the divided image Pk.
  • a predicted image is generated by applying a predetermined filter that is determined by the relative position at.
  • the prediction error calculation unit 142 calculates an error between the divided image Pk and the prediction image.
  • the prediction error encoding unit 143 encodes the output of the prediction error calculation unit 142 and sends it to the image decoding unit 144 and the information source encoding unit 15.
  • the image decoding unit 144 decodes the encoding result of the prediction error encoding unit 143 so that the encoded divided image Pk can be used for the subsequent inter-image prediction encoding.
  • the information source encoding unit 15 entropy encodes the encoding result of the prediction error encoding unit 143.
  • Step S105 The encoding of the divided image Pk in the above steps S103 and S104 is repeated until the last divided image PK, and when all the encoding has been completed up to the last divided image PK, the encoding of the current input image (frame) is finished.
  • FIG. 6 is a flowchart of the divided image generation process (step S101 in FIG. 5).
  • the divided image generation unit 11 extracts only the sub-block Bk having the same relative position in the blocks M0 to MJ, and arranges them in the order of the blocks M0 to MJ.
  • the divided image Pk is generated (step S113).
  • the above processing is repeated until the last divided image PK is generated (step S114).
  • step S104 of FIG. 5 the predicted image generation unit 141 applies an interpolation filter determined by the pixel position of the divided image Pi on the original image to the divided image Pi serving as the reference image, thereby predicting the divided image Pk.
  • a predicted image Pk ′ used for error coding is generated.
  • the divided image P0 is encoded in the divided image in step S102 of FIG. Thereafter, when the divided image P1 is encoded, the divided image P0 is selected as a reference image in step S103 of FIG.
  • an interpolation filter is applied to the encoded divided image P0 that is the reference image to generate a predicted image P1 ′ of the divided image P1.
  • this interpolation filter for example, H.D.
  • a 6-tap FIR (Finite Impulse Response) filter used for generating a prediction signal with 1/2 pixel accuracy can be used.
  • FIG. 7 is a diagram showing an application example of the interpolation filter.
  • the pixels indicated by ⁇ are the integer position pixels of the divided image P0.
  • Pixels indicated by ⁇ and ⁇ are 1/2 position pixels of the divided image P0.
  • the predicted image P1 ′ using the divided image P0 as a reference image applies a horizontal half-pixel filter such as the following expression to the pixels A, B, C, D, E, and F of the encoded image P0,
  • the pixel is calculated as a half-position pixel of P0 indicated by ⁇ in FIG.
  • a 1 1/32 ⁇ A-5B + 20C + 20D-5E + F ⁇ (A 2, a 3, ... also, the same as a 1)
  • the divided image P0 having the shortest distance among the encoded divided images P0 and P1 is selected as a reference image, and an interpolation filter of a vertical half-pixel filter is applied to the divided image P0.
  • a predicted image P2 ′ is generated.
  • the predicted image P2 ′ is obtained by applying a vertical half-pixel filter such as the following expression to the pixels A, G, H, I, J, and K of the encoded image of P0, and is indicated by ⁇ in FIG. Calculated as a half-position pixel of P0.
  • b 1 1/32 ⁇ A-5G + 20H + 20I-5J + K ⁇ (B 2, b 3, ... also, similar to the b 1)
  • P1 and P2 having the shortest distance among the encoded divided images P0, P1, and P2.
  • One of these may be used as a reference image, or a predicted image P3 ′ of the divided image P3 may be obtained using both as reference images.
  • the process of using only one of the divided images P1 and P2 as a reference image is the same as the generation of the predicted image of the divided images P1 and P2 described above. Next, an example using a plurality of reference images will be described.
  • the reference image selection unit 13 described above may select a plurality of reference images instead of selecting one reference image.
  • data indicating a plurality of selected reference images is generated and stored as a reference list.
  • the reference image index is encoded and notified to the decoding side.
  • the reference image index is data indicating the reference image number in the reference list. Since the reference image closer to the head of the reference list has a higher probability of being used to generate a predicted image, a shorter code length is assigned. It is done.
  • the maximum number of reference images may be set in advance on the encoding side and the decoding side in advance, or may be notified from the encoding side to the decoding side by header information of the encoded stream. .
  • FIG. 8 is a flowchart of an image encoding process when a reference list is used.
  • the processing in steps S121 and S122 is the same as the processing in steps S101 and S102 in FIG.
  • the reference image selection unit 13 selects a reference image in order to perform inter-partition image predictive coding on the (M + 1) th and subsequent divided images Pk.
  • the coded divided images are selected in order from the shortest distance of the corresponding pixel on the original image. Create a reference list.
  • step S124 the inter-partition image predictive encoding unit 14 performs inter-partition image predictive encoding on the encoding target divided image Pk using one or a plurality of reference images indicated by the reference list. Thereafter, the encoding of the next divided image Pk in steps S123 and S124 is repeated until the last divided image PK, and when all the encoding has been completed up to the last divided image PK, the current input image (frame) is encoded. The process ends (step S125).
  • divided images P0, P1, and P2 are considered as reference images.
  • the divided images whose pixel positions are closest to the divided image P3 are P1 and P2.
  • the priority order stored in the reference list is determined according to a predetermined reference list generation rule. As a result, any of the following reference lists is used as the reference list for the divided image P3.
  • an image obtained by combining predicted images generated from a plurality of reference images may be added to the reference list.
  • an average image of the predicted images P3 ′ and P3 ′′ of the divided image P3 generated from the encoded divided images P1 and P2 may be added to the reference list as a reference image. This average image is represented as Px.
  • the reference list is, for example:
  • B1 is a sub-block belonging to the encoded divided image P1
  • B2 is a sub-block belonging to the encoded divided image P2
  • Bk is a sub-block belonging to the encoding target divided image Pk. It is a block.
  • the size of the sub-block is 1 ⁇ 1 pixel.
  • the divided image P1 is a collection of B1 subblocks
  • the divided image P2 is a collection of B2 subblocks
  • the divided image Pk is a collection of Bk subblocks.
  • one predicted image 1 of Pk is generated by applying a half-pixel vertical filter to the encoded divided image of P1. Further, another predicted image 2 of Pk is generated by applying a half-pixel horizontal filter to the encoded divided image of P2.
  • These composite images are assumed to be a predicted image 3 of Pk.
  • an average value of each pixel is obtained. That is, the pixel value of the following equation is calculated.
  • the average image, on the new reference list (as new reference list), next to the k 2 th image of the original reference list, arranged in this order k 1 is small.
  • the predicted image of the average image obtained from the reference images of k 1 and k 2 is expressed as (k 1 + k 2 ) / 2 for convenience, the new reference list obtained from the original reference list is as follows.
  • the inter-divided image predictive encoding unit 14 is used to generate a prediction image that is used in actual encoding.
  • a rate distortion cost (referred to as RD cost) may be calculated, and the one having the smallest RD cost may be used.
  • RD cost is defined by the following formula.
  • D is a distortion amount
  • R is a generated code amount
  • ⁇ is a Lagrange multiplier
  • RD cost D + ⁇ R
  • a reference image index indicating which reference image in the reference list is used is encoded and notified to the decoding side.
  • a composite image use ON / OFF flag indicating whether or not the above-described composite image is used may be encoded for each divided image and notified to the decoding side.
  • designating a composite image for example, H.264.
  • H.264 By using a method that selects two reference images and designates a combining method using macroblock syntax, such as a H.264 B picture, the decoding side is notified to the use of combining two reference images. It is also possible to use a method of
  • a predetermined fixed reference list is used for each encoding target divided image.
  • the information indicating the reference list generation rule used for generating the reference list at the time of encoding on the encoding side is encoded from several predetermined reference list generation rules and sent to the decoding side. On the decoding side, the encoded data of the reference list generation rule is decoded, and a reference list is generated according to the same reference list generation rule.
  • the order in which the reference images are arranged in the reference list is basically the order of the encoded divided images with a short distance on the original image for the pixels at the same position in the target divided image and the encoded divided image. is there. However, when there are a plurality of encoded divided images having the same distance, which divided image is preferentially arranged in the reference list is determined by the reference list generation rule.
  • the reference list generation rule is a rule that determines which encoded divided image is placed higher in the reference list in the following cases, for example.
  • [Rule 1] When there are a plurality of reference image candidates within the same distance, a divided image that has been encoded within a divided image is prioritized over an image that has been subjected to inter-divided image prediction encoding.
  • [Rule 2] When there are a plurality of reference image candidates within the same distance, priority is given to one with high quantization accuracy.
  • [Rule 3] When there are a plurality of reference image candidates within the same distance, a coded divided image with a new coding order is prioritized.
  • [Rule 4] A rule in which rules 1 to 3 are combined.
  • FIG. 10 is a flowchart illustrating an example of processing for generating a reference list according to rule 1.
  • step S131 one encoded divided image Pk ′ is selected in order of decreasing distance of the corresponding pixel on the original image for pixels at the same position in the encoded divided image Pk and the encoded divided image. .
  • step S132 with respect to the divided image Pk, it is determined whether there is another divided image Pk ′′ having the same distance as the distance to Pk ′ on the original image for the same pixel in the encoded divided image. If there are no other divided images at the same distance, the process proceeds to step S135, and if there are other divided images at the same distance, the process proceeds to step S133, and the encoded divided images Pk ′ and Pk are processed. It is determined whether one of "" is a divided image that has been encoded within a divided image, and the other is a divided image that has been subjected to inter-divided prediction encoding. If the determination result is “true”, the process proceeds to step S134, and if the determination result is “false”, the process proceeds to step S135.
  • step S134 in the reference list, the encoded divided image that has been subjected to the intra-divided image encoding is arranged at the head of the reference list, and then the encoded divided image that has been subjected to inter-divided image predictive encoding is arranged. .
  • step S135 for the pixels at the same position in the divided image Pk and the encoded divided image, a reference list is created by selecting the encoded divided image in order from the shortest distance of the corresponding pixel on the original image. To do.
  • FIG. 11 is a flowchart illustrating an example of processing for generating a reference list in accordance with rule 2. Since the difference from the example of FIG. 10 described above is step S143 and step S144, only this part will be described and description of other steps will be omitted.
  • step S143 When generating a reference list according to rule 2, in step S143, there is another divided image Pk ′′ having the same distance as the distance to Pk ′ on the original image for the same pixel in the encoded divided image. Then, it is determined whether or not the quantization steps at the time of encoding the divided images Pk ′ and Pk ′′ are different. If the determination result is “true”, the process proceeds to step S144. If the determination result is “false”, the process proceeds to step S145.
  • step S144 in the reference list, an encoded divided image having a small quantization step is arranged at the head of the reference list, and an encoded divided image having a large quantization step is arranged thereafter. This is because a higher quantization accuracy is generally suitable as a reference image.
  • step S145 as in step S135 described above, for the pixels at the same position in the divided image Pk and the encoded divided image, the encoded divided images are selected in order from the shortest distance of the corresponding pixel on the original image. To create a reference list.
  • FIG. 12 is a flowchart illustrating an example of processing for generating a reference list according to the rule 4.
  • step S151 whether or not there are two or more encoded divided images having the same pixel distance on the original image for the pixel at the same position in the encoded divided image Pk and the encoded divided image. Determine. If the determination result is “true”, the process proceeds to step S153. If the determination result is “false”, the process advances to step S152 to assign a small reference image index in ascending order of distance, create a reference list in the order of reference image index, and end the reference list generation process.
  • step S153 it is determined whether there is an encoded divided image having the same distance that has a different quantization step. If the determination result is “false”, the process proceeds to step S155. If the determination result is “true”, the process proceeds to step S154, and a smaller reference image index is assigned in ascending order of quantization step, and the process proceeds to step S155.
  • step S155 it is determined whether among the encoded divided images having the same distance, the picture type is present in both cases of intra-divided image encoding and inter-divided image predictive encoding. If the determination result is “false”, the process proceeds to step S157. When the determination result is “true”, the process proceeds to step S156, and a reference image index smaller than the divided image that has been subjected to the inter-divided image prediction encoding is assigned to the divided image that has been encoded within the divided image, and the process proceeds to step S157.
  • step S157 it is determined whether or not there are images with different reference numbers among the divided images encoded by the inter-divided image predictive coding. If the determination result is “false”, the process proceeds to step S159. If the determination result is “true”, the process advances to step S158 to assign a small reference image index to the divided images that have undergone inter-picture prediction encoding with a large number of references, create a reference list in the order of the reference image index, and end the processing. To do.
  • step S159 with respect to the encoded divided images having the same corresponding pixel distance, reference image indexes are assigned in ascending order of the encoding order, a reference list is created in the order of reference image indexes, and the process is terminated.
  • the order of determination such as the quantization step and the picture type may be changed, or a rule that determines the reference image index using only some of the determination methods may be used.
  • FIG. 13 is a diagram illustrating a configuration example of an image decoding device.
  • the image decoding device 20 includes an information source decoding unit 21, a divided image decoding unit 22, a reference image selection unit 23, a divided image prediction decoding unit 24, and a decoded image configuration unit 25.
  • the inter-partition image prediction decoding unit 24 includes a prediction error decoding unit 241, a prediction image generation unit 242, and a decoded image calculation unit 243.
  • the image decoding device 20 inputs encoded data of an image compressed and encoded by the image encoding device 10 shown in FIG. 1 by the information source decoding unit 21, and the information source decoding unit 21 inputs the input encoded data to the entropy. Decrypt.
  • the intra-partitioned image decoding unit 22 decodes encoded data of at least one intra-partitioned image that has been encoded by intra-partitioned image prediction.
  • the reference image selection unit 23 selects a reference image for decoding a divided image that has been subjected to inter-divided image predictive coding.
  • a reference image selection method there are a case where a reference list is used and a case where a reference list is not used. If there is only one reference image, there is no need to use a reference list.
  • a reference image the same divided image as the reference image used at the time of encoding by the encoding side by the inter-divided image predictive encoding is used as the reference image on the decoding side.
  • the reference image when there is only one reference image, the reference image is encoded on the encoding side, pixel distance, picture type (intra-partition image encoding, inter-partition image prediction encoding), quantization accuracy, order of encoding order, etc. If the selection image is selected, the reference image is selected from the decoded divided images in the same order on the decoding side. If the reference image selection method is encoded, the same selection method as that on the encoding side is used on the decoding side by decoding the encoded data in advance.
  • a reference image selection method is determined in advance, a fixed reference image selection method can be shared between the encoding side and the decoding side, and in this case, decoding of the selection method is unnecessary.
  • the same reference list as that on the encoding side is also used on the decoding side.
  • a method can be used in which a fixed reference list generation rule is defined in advance and the same reference list is generated by a common reference list generation rule on the encoding side and the decoding side.
  • the reference list generation rule can be encoded on the decoding side using the same reference list generation rule as the encoding side by decoding the encoded data in advance. Furthermore, if a flag indicating whether or not to use a composite image is encoded as a reference image, it is decoded to determine whether or not to add the composite image to the reference list.
  • the reference image index indicating the reference image is encoded, the reference image index is decoded, and the image in the reference list indicated by the reference image index is selected as the reference image.
  • the inter-partitioned image predictive decoding unit 24 performs inter-partitioned image predictive decoding on the divided images other than the divided images that have been decoded within the divided images. Therefore, the prediction error decoding unit 241 of the inter-partition image prediction decoding unit 24 performs inverse quantization, inverse orthogonal transformation, and the like as necessary to decode the prediction error.
  • the predicted image generation unit 242 is a predetermined value determined by the relative position on the original image of the decoding target divided image and the decoded divided image (reference image) from one or a plurality of reference images selected by the reference image selection unit 23. The predicted image is generated by applying the above filter to the decoded divided image.
  • an average image of a plurality of predicted images is used as a predicted image.
  • the decoded image calculation unit 243 calculates the pixel value of the decoded image by adding the pixel value of the prediction image generated by the prediction image generation unit 242 to the output of the prediction error decoding unit 241.
  • the decoded image construction unit 25 generates a decoded image by placing each sub-block of the divided image decoded by the intra-divided image decoding unit 22 and the inter-divided image predictive decoding unit 24 at the original position on the original image. To do.
  • FIG. 14 is a flowchart of Example 1 of the image decoding process.
  • the encoding side decodes the data encoded by dividing the input image as shown in FIGS. 2A to 2D.
  • the input image is divided into blocks M0 to MJ of the same size, and pixels (sub-blocks) having the same relative position in each block are collected to generate divided images P0 to PK.
  • the information source decoding unit 21 performs entropy decoding on the encoded data (step S201).
  • the divided image decoding unit 22 performs divided image decoding on the encoded data of the divided images P0 to PM using a method such as a conventional intra prediction decoding method (step S202).
  • the decoded divided image having the shortest distance of the corresponding pixel on the original image is selected as the reference image (step S203).
  • the inter-divided image predictive decoding unit 24 generates a predicted image by applying a predetermined interpolation filter determined by the relative position on the original image to the reference image, and the prediction error decoding unit 241 decodes the divided image Pk.
  • the inter-divided image decoding is performed by adding the pixel value of the predicted image to the predicted error (step S204).
  • the decoding of the divided image Pk in the above steps S203 and S204 is repeated until the last divided image PK, and when all the decoding has been completed up to the last divided image PK, the decoded divided image P0 to PK is decoded by the decoded image construction unit 25. The entire decoded image is generated from the above, and the decoding process for one frame is completed (step S205).
  • step S213 it is determined whether the image decoding device 20 holds the reference list generation rule in advance. If the determination result is “true”, the process proceeds to step S214. If the determination result is “false”, the process proceeds to step S215.
  • the inter-partition image predictive decoding unit 24 generates a prediction image by applying a predetermined interpolation filter to the reference image specified by the reference image index in the reference list by the prediction image generation unit 242, and generates the divided image Pk.
  • the inter-divided image decoding is performed by adding the pixel value of the predicted image to the prediction error decoded by the prediction error decoding unit 241.
  • the decoding side when the encoding side performs inter-partition image prediction encoding using a prediction image obtained by synthesizing a plurality of prediction images generated from a plurality of reference images, the decoding side similarly uses a plurality of images.
  • the inter-divided image predictive decoding is performed using the synthesized predicted image generated based on the reference image.
  • the decoding of the divided image Pk in the above steps S213 to S216 is repeated up to the last divided image PK, and when all the decoding has been completed up to the last divided image PK, the decoded divided image P0 to PK is decoded by the decoded image construction unit 25. The entire decoded image is generated from the above, and the decoding process for one frame is completed (step S217).
  • FIG. 16 shows a hardware configuration example when the image encoding device 10 of FIG. 1 is configured by a computer and a software program.
  • This system includes a CPU (Central Processing Unit) 30 that executes a program, a memory 31 such as a RAM (Random Access Memory) that stores programs and data accessed by the CPU 30, and an image signal to be encoded from a camera or the like.
  • An image signal input unit 32 (which may be a storage unit that stores an image signal from a disk device or the like), and an image encoding program 34 that is a software program that causes the CPU 30 to execute processing for encoding an input image by this method.
  • the stored program storage device 33 and the encoded data output unit 35 (disk that outputs the encoded data generated by the CPU 30 executing the image encoding program 34 loaded in the memory 31 via, for example, a network.
  • the encoded data output unit 35 may be a storage unit that stores encoded data).
  • the image encoding program stored in the program storage device 33 includes, for example, a conventional image encoding program that performs inter-frame prediction in units of frames, in addition to a program that encodes an input image by this method. Also good.
  • FIG. 17 shows a hardware configuration example when the image decoding device 20 of FIG. 13 is configured by a computer and a software program.
  • This system receives a CPU 40 that executes a program, a memory 41 such as a RAM that stores programs and data accessed by the CPU 40, and encoded data encoded by the image encoding apparatus 10 of FIG.
  • the image decoding program stored in the program storage device 43 may include, for example, a conventional image decoding program that performs inter-frame prediction in units of frames, in addition to a program that decodes encoded data by this method. .
  • the present invention can be used for image encoding / decoding. According to the present invention, it is possible to reduce the amount of encoding calculation and the amount of decoding calculation while suppressing a decrease in encoding efficiency as compared with the conventional intra prediction encoding.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　従来の分割画像内符号化よりも，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する。分割画像生成部が，符号化対象の入力画像を同じサイズのブロックに分割し，各ブロック内の相対位置が同じ画素を集めてそれぞれ同じサイズの分割画像を生成する。一部の分割画像については，分割画像内符号化部が分割画像内符号化する。参照画像選択部は，他の符号化対象分割画像について符号化するために，原画像上での画素位置が近い符号化済み分割画像を参照画像として選択する。分割画像間予測符号化部は，選択された参照画像を用いて予測画像を生成し，分割画像を単位とする分割画像間予測により符号化対象分割画像を符号化する。

Description

画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
　本発明は，画像符号化・復号技術に関し，特に従来の画面内予測符号化・復号に対し，符号化効率の低下を抑止しつつ復号演算量を低減させる符号化および復号を実現する画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラムに関するものである。
　本願は，２０１１年８月１日に日本へ出願された日本特願２０１１－１６７９３４号に対して優先権を主張し，その内容をここに援用する。
　映像符号化国際標準であるＨ．２６４では，ブロック間の画素相関を利用して符号化での圧縮率を向上させるため，画面内予測符号化が行われている（非特許文献１参照）。この画面内予測は，いくつかの画素をまとめたブロック単位で行われ，輝度信号に対して，４×４，８×８，１６×１６の３種類のブロックサイズが利用可能になっている。また，各ブロックサイズでは，それぞれ複数の予測モードが選択可能になっている。
　このＨ．２６４では，画面内予測の際に外挿予測による方法を用いているが，それによる予測効率が悪いという問題がある。これを解決するため，全画面に対しデブロッキングフィルタによりブロック歪みを抑えることが行われており，演算量が多くなっている。
　また，画面内予測における符号化効率を向上させる手法として，非特許文献２に記載されている技術が知られている。この技術は，画面内予測において符号化対象ブロックに対し，符号化済み領域から誤差の小さいブロックを探索し，それに対する予測誤差を用いて符号化を行う手法である。
　図１８は，従来技術による画面内予測符号化処理の例を示すフローチャートである。非特許文献２の画面内予測符号化では，まず，符号化対象の画像を同じサイズのＮ個のブロック１～Ｎに分割する（ステップＳ３０１）。次に，最初のブロック１について画面内予測符号化を行う（ステップＳ３０２）。続いて，ブロック２以降の符号化では，符号化済みの領域から予測誤差の小さいブロックを参照画像として，画面間予測符号化を行い，その参照画像への動きベクトル情報と予測誤差を符号化する（ステップＳ３０３）。このステップＳ３０３の処理を最後のブロックＮまで繰り返す。
ITU-T Rec. H.264，"Advanced video coding for generic audiovisual services",  March 2005. J. Yang, B. Yin, Y. Sun and N. Zhang, "A block-matching based intra frame prediction for H.264/AVC"，in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006．
　非特許文献２の技術は符号化効率向上のための手法ではあるが，同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため，量子化誤差も小さくなりやすい。そのため，デブロッキングフィルタの処理量を減らすことができると考えられる。
　しかし，上記の方法では，同じパターンが繰り返されるような画像では有効かもしれないが，ほとんど同じパターンが現れないような画像には有効ではなく，その場合には予測誤差をあまり削減できず，量子化誤差も小さくならないと考えられる。この場合，デブロッキングフィルタの処理量も削減できないため，復号演算量の削減には有効でないと考えられる。さらに，各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため，復号側でも参照ブロック情報の復号のための演算が発生することとなり，その結果，演算量が多いままになっているという問題がある。
　非特許文献２のような動きベクトルの探索を行うのではなく，違う方法で参照画像を選択し，それを用いて予測画像を作成し，予測誤差符号化を行うことを考えた場合，参照画像としてどのような符号化済みの画像を用いるかによって，符号化効率に大きく影響する。したがって，参照画像として適切な画像を用いる手法が必要である。
　本発明は，上記問題点の解決を図り，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することを目的とする。
　本発明は，上記課題を解決するため，入力画像を圧縮符号化するにあたって，以下の処理を行う。
（１）入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
（２）分割画像の少なくとも一つ以上を分割画像内符号化する。ここでの分割画像内符号化は，分割画像を画面単位として行う画面内予測による符号化である。
（３）分割画像内符号化された分割画像以外の分割画像を符号化するために，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い順に符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。
（４）選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う。この分割画像間予測符号化では，例えば，符号化対象分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施した画像を予測画像として，分割画像間予測符号化を行う。ここでの分割画像間予測符号化は，各分割画像を画面単位として行う画面間予測による符号化である。
（５）以上の分割画像内符号化と分割画像間予測符号化による符号化結果を情報源符号化して，符号化ビットストリームを出力する。
　さらに，上記発明の一態様として，参照画像の選択では，選択された複数枚の参照画像を並べた参照リストを指定し，分割画像間予測符号化の際に，参照リストに記入された複数枚の参照画像の中の一枚または複数枚の参照画像を用いて，符号化対象分割画像に対する予測画像を生成することがある。
　また，上記発明の一態様として，参照画像の選択では，符号化対象画像に対して，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択してもよい。また，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択してもよい。
　また，上記発明の一態様として，参照画像の選択では，参照画像として用いることができる複数の符号化済み分割画像の中から，どの符号化済み分割画像を優先して選択するかを示す参照画像選択規則に基づいて参照画像を選択し，この参照画像選択規則の指定情報を符号化して，復号側へ通知するようにしてもよい。例えば，参照画像選択規則としては，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択することを指定する規則，または，原画像上での画素間の距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択することを指定する規則などを含むことがある。参照画像選択規則を複数枚の参照画像に対して定める参照リスト生成規則を用いてよい。参照画像選択規則と参照リスト生成規則とは，ここでは技術的概念として実質的に同義であると考えてよい。
　また，上記発明の一態様として，分割画像間予測符号化では，複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行うこともできる。
　また，上記発明の一態様として，分割画像間予測符号化で複数枚の参照画像の候補の中から特定の参照画像を選択して予測画像の生成に用いた場合に，参照画像を指定する参照画像インデックスを符号化して，どの参照画像を用いたかを復号側へ通知する方法を用いてもよい。
　また，本発明は，圧縮符号化された画像の符号化データを復号するにあって，以下の処理を行う。
（１）画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成して符号化した，符号化データを入力し，情報源復号する。
（２）復号されたデータから，分割画像の少なくとも一つ以上を分割画像内復号する。
（３）分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い順に復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する。
（４）選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う。
（５）分割画像内復号および分割画像間予測復号によって復号された分割画像から，各分割画像における各画素を原画像における元の位置に戻し，復号画像を構成する。
　さらに，上記発明の一態様として，参照画像として用いることができる複数の復号済み分割画像の中から，どの復号済み分割画像を優先して選択するかを示す参照画像選択規則（参照リスト生成規則も同様）を指定する符号化データを復号し，復号された参照画像選択規則に基づいて参照画像を選択するようにしてもよい。例えば，参照画像選択規則としては，原画像上での画素間の距離が同じ復号済み分割画像が複数枚存在した場合に，分割画像内復号済み分割画像を分割画像間予測復号済み分割画像よりも優先して参照画像として選択することを指定する規則，または，原画像上での画素間の距離が同じ復号済み分割画像が複数枚存在した場合に，量子化精度が高い復号済み分割画像を量子化精度が低い復号済み分割画像よりも優先して参照画像として選択することを指定する規則を含むことがある。
　また，上記発明の一態様として，分割画像間予測復号では，複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測復号を行うことができる。
　また，上記発明の一態様として，参照画像を指定する参照画像インデックスが符号化データに含まれていれば，それを復号し，参照画像を選択する際に，復号された参照画像インデックスが示す参照画像を選択するようにしてもよい。
　本発明の作用は，以下のとおりである。本発明では，入力画像から等間隔で１または複数の画素（サブブロック）を抽出し，それらのサブブロックを集めることにより複数の分割画像を生成し，少なくとも一つの分割画像について，その分割画像だけを用いて符号化する分割画像内符号化を行う。他の分割画像の符号化については，符号化済み分割画像を用いて分割画像間予測符号化を行う。すなわち，符号化済み分割画像を参照画像として，それをもとに符号化対象分割画像に含まれる画素と符号化済み分割画像に含まれる画素との相対的な位置関係に従って，例えば小数画素精度の補間画像を生成するときに用いるようなフィルタを参照画像に適用することにより予測画像を生成し，その予測画像と符号化対象分割画像との誤差信号を符号化する。
　このような方法で符号化することにより，従来よりも少ない演算量でブロック歪みを抑えた符号化を実現することができる。
　特に本発明では，分割画像間予測符号化に用いる参照画像を，符号化済み分割画像の中から選択する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での画素間の距離が短い順に符号化済み分割画像を参照画像として選択する。したがって，非特許文献２のような，同一画面内の符号化済み画素のみを予測に用いる場合に比べて，符号化対象の近傍の全方向の画素の情報を予測に用いることができる。さらに，任意の符号化済み分割画像を参照画像として設定する場合に比べて，符号化対象分割画像との相関が大きい符号化済み分割画像が参照画像として選ばれることになる。このため，予測誤差が小さくなり，復号演算量を増加させることなく，予測効率を高めて符号化効率を向上させることができる。
　また，本発明の一態様では，予測誤差符号化を行う分割画像に対する参照画像を選択する際に，使用する符号化済み分割画像を１枚に限定するのではなく，複数枚の符号化済み分割画像を参照画像とする。これにより，符号化対象分割画像と相関が高いと考えられる符号化済み分割画像から適応的に参照画像を選択して予測画像を生成することができ，予測効率を高めることが可能となる。
　また，本発明の一態様では，原画像上の符号化対象画像の画素に対する相対距離で等しい画素位置の符号化済み分割画像が複数ある場合に，参照画像として，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像より優先して用いる。通常，画面内符号化のほうが画面間符号化より量子化誤差が少なく符号化されるため，量子化精度が高いと考えられる分割画像内符号化済み分割画像を優先的に参照画像として予測画像を生成することにより，予測効率を高めることが可能となる。
　また，本発明の一態様では，原画像上の符号化対象画像の画素に対する相対距離で等しい画素位置の符号化済み分割画像が複数ある場合に，量子化ステップが小さい符号化済み分割画像を量子化ステップが大きい符号化済み分割画像より優先して，参照画像として用いる。量子化ステップが小さいほうを参照画像とすることにより，予測効率を高めて符号化効率を向上させることができる。
　あらかじめ符号化側と復号側とで，どの符号化済み分割画像を参照画像として選択するかを定めるいくつかの参照画像選択規則（または参照リスト生成規則）を定めておき，符号化側が，その中でどの参照画像選択規則を用いて参照画像を選択したかを示す情報を符号化して，復号側へ通知する。これにより，参照画像の選択方法に柔軟性を持たせ，参照画像の候補が複数ある場合でも，符号化側と復号側とで同じ参照画像を選択することができる。
　また，本発明の一態様において，複数枚の符号化済み分割画像を参照画像とし，複数枚の参照画像から生成される複数枚の予測画像を合成して予測画像とする。これにより，予測効率を高めることができる。予測画像の合成では，例えば個々の参照画像から生成される予測画像の平均画像を算出する。
　また，分割画像間予測符号化で複数枚の参照画像の候補の中から，例えばレート歪みコスト（ＲＤコスト）が小さくなる特定の参照画像を適応的に選択して予測画像の生成に用いた場合，その参照画像を指定する参照画像インデックスを符号化して，復号側へ通知する。これにより，復号側で，符号化時と同じ分割画像を参照画像として用いて効率のよい復号を行うことができる。
　本発明によれば，従来の画面内予測符号化に対し，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することができる。
画像符号化装置の構成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 予測画像生成部による予測画像の生成例を示す図である。 符号化対象画像の分割例を示す図である。 画像符号化処理のフローチャートである。 分割画像生成処理のフローチャートである。 補間フィルタの適用例を示す図である。 参照リストを用いる場合の画像符号化処理のフローチャートである。 予測画像の合成の一例を示す図である。 予測画像の合成の一例を示す図である。 参照リストを生成する処理の例１を示すフローチャートである。 参照リストを生成する処理の例２を示すフローチャートである。 参照リストを生成する処理の例３を示すフローチャートである。 画像復号装置の構成例を示す図である。 画像復号処理のフローチャートである。 参照リストを用いる場合の画像復号処理のフローチャートである。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来技術による画面内予測符号化処理の例を示すフローチャートである。
　以下，本発明の実施の形態について，図面を用いながら説明する。
　〔画像符号化装置〕
　図１は，画像符号化装置の構成例を示す図である。画像符号化装置１０は，分割画像生成部１１，分割画像内符号化部１２，参照画像選択部１３，分割画像間予測符号化部１４，情報源符号化部１５を備える。分割画像間予測符号化部１４は，予測画像生成部１４１，予測誤差算出部１４２，予測誤差符号化部１４３，画像復号部１４４を備える。
　分割画像生成部１１は，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
　図２Ａ～図２Ｄは，分割画像生成部１１による分割画像の生成例を示す図である。分割画像生成部１１は，例えば図２Ａに示す原画像を入力画像として，この原画像を，図２Ｂに示すように，それぞれがｎ×ｍ画素のブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する。次に，分割画像生成部１１は，各ブロックＭｊを，図２Ｃに示すように，ｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックＢｊｋ（ｋ＝０，１，…，Ｋ）に分割する。
　次に，分割画像生成部１１は，図２Ｄに示すように，各ブロックＭｊから，ブロック内の相対位置が同じサブブロックＢｊｋを集めて，それぞれ同じサイズの分割画像Ｐｋ（ｋ＝０，１，…，Ｋ）を生成する。分割画像Ｐ０は，サブブロックＢ００，Ｂ１０，…，ＢＪ０を集めたもの，分割画像Ｐ１は，サブブロックＢ０１，Ｂ１１，…，ＢＪ１を集めたもの，…，分割画像ＰＫは，サブブロックＢ０Ｋ，Ｂ１Ｋ，…，ＢＪＫを集めたものになる。
　分割画像内符号化部１２は，分割画像生成部１１によって生成された一番目の分割画像を含むいくつかの分割画像（一番目の分割画像だけでもよい）を分割画像内符号化する。ここでの分割画像内符号化は，現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり，他の分割画像を参照しないような符号化方法であれば，どのような符号化方法を用いてもよい。例えばＨ．２６４符号化方式におけるイントラ予測符号化などの方法を用いることができる。
　参照画像選択部１３は，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い順に符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。ここで，原画像上での距離が短い順に複数の符号化済み分割画像を参照画像として選択してもよい。
　分割画像間予測符号化部１４は，分割画像生成部１１によって生成された分割画像の中で，まだ符号化されていない分割画像を分割画像間予測符号化する。ここでの分割画像間予測符号化は，参照画像選択部１３が選択した符号化済み分割画像を参照画像として予測符号化する符号化方法である。
　分割画像間予測符号化部１４における予測画像生成部１４１は，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施すことにより予測画像を生成する。
　図３は，予測画像生成部１４１による予測画像の生成例を示す図である。以下では，分割画像Ｐｉが参照画像となる符号化済み分割画像で，分割画像Ｐｋが分割画像間予測符号化する符号化対象分割画像である場合の予測画像の生成例を説明する。分割画像Ｐｉに所属するサブブロックをＢｉ，分割画像Ｐｋに所属するサブブロックをＢｋと表す。
　分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｋのサブブロックＢｋの原画像における位置関係が，図３（Ａ）のとおりであったとすると，図３（Ｂ）に示すように，サブブロックＢｋの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｋに対して２個のサブブロックＢｉを抽出しているが，２個に限られない。次に，図３（Ｃ）に示すように，抽出した２個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｋ′の画素値を算出する。補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｋとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いて参照画像を生成してもよい。
　このようにして補間により生成されたサブブロックＢｋ′を集めたものを，分割画像Ｐｋの分割画像間予測符号化に用いる予測画像とする。
　予測誤差算出部１４２は，現在の符号化対象となっている分割画像の各画素値から予測画像生成部１４１により生成した予測画像の各画素値を減算し，予測誤差を算出する。予測誤差符号化部１４３は，算出された予測誤差について直交変換や量子化処理を施し，予測誤差を符号化する。
　情報源符号化部１５は，分割画像内符号化部１２および分割画像間予測符号化部１４で符号化された分割画像の符号化情報をエントロピ符号化し，符号化データを出力する。
　画像復号部１４４は，分割画像間予測符号化部１４により符号化された分割画像を他の分割画像の符号化における予測画像の生成に利用する場合のために，符号化された分割画像の予測に用いた予測画像に符号化結果の予測誤差を加算することにより分割画像を復号し，その復号画像を記憶しておき，予測画像生成部１４１に送る。なお，予測誤差符号化部１４３で，予測誤差を直交変換，量子化している場合には，画像復号部１４４は，予測誤差符号化部１４３の出力に，逆量子化，逆直交変換を施した後に，予測画像の画素値を加算して分割画像を復号する。
　〔画像符号化処理のフロー〕
　次に，画像符号化処理の流れを具体例に従って説明する。
　図４に，符号化対象画像の分割例を示す。以下で説明する例では，分割画像生成部１１は，符号化対象である入力画像の１フレームを，図４に示すように，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割するものとする。さらに，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割するものとする。このようにして分割した各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。
　ここでは，２×２画素のブロックを１×１画素のサブブロックに分割する例を説明する。しかし，ブロックおよびサブブロックのサイズは，この例に限られるわけではなく，ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも，本発明を適用して同様に実施することができる。
　図５は，画像符号化処理のフローチャートである。まず，分割画像生成部１１は，入力画像を図４に示すように，同じサイズのブロックＭ０～ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０～ＰＫを生成する（ステップＳ１０１）。なお，図４の例では，Ｋ＝３である。
　次に，分割画像内符号化部１２は，分割画像Ｐ０～ＰＫの中のいくつかの分割画像Ｐ０～ＰＭ（ただし，Ｍ＜Ｋ）について，分割画像内符号化を行う（ステップＳ１０２）。図４の例では，分割画像Ｐ０について，従来の画面内予測符号化方法などを用いて，分割画像内予測符号化を行う。
　次に，Ｍ＋１番目以降の分割画像Ｐｋ（図４の例では，Ｐ１～Ｐ３）を符号化するために，参照画像選択部１３が参照画像を選択する。この参照画像の選択では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が最短の符号化済み分割画像を選択する（ステップＳ１０３）。図４の例では，仮に分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化されるものとすると，分割画像Ｐ１の参照画像として，符号化済み分割画像Ｐ０が選択され，分割画像Ｐ２の参照画像としても，符号化済み分割画像Ｐ０が選択される。分割画像Ｐ３の参照画像としては，分割画像Ｐ１または分割画像Ｐ２のいずれか一方，あるいはその双方が参照画像として選択されることになる。
　続いて，分割画像間予測符号化部１４が，符号化対象の分割画像Ｐｋについて，分割画像間予測符号化を行う（ステップＳ１０４）。この分割画像間予測符号化では，まず予測画像生成部１４１が，画像復号部１４４から参照画像選択部１３で選択された参照画像を読み出し，その参照画像に対して，分割画像Ｐｋの原画像上での相対位置によって決まる所定のフィルタを施すことにより予測画像を生成する。予測誤差算出部１４２は，分割画像Ｐｋと予測画像との誤差を算出する。予測誤差符号化部１４３は，予測誤差算出部１４２の出力を符号化し，画像復号部１４４と情報源符号化部１５へ送る。画像復号部１４４は，符号化済み分割画像Ｐｋをその後の分割画像間予測符号化に用いることができるように，予測誤差符号化部１４３の符号化結果を復号する。情報源符号化部１５は，予測誤差符号化部１４３の符号化結果をエントロピ符号化する。
　以上のステップＳ１０３，Ｓ１０４による分割画像Ｐｋの符号化を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて符号化し終えたならば，現在の入力画像（フレーム）の符号化を終了する（ステップＳ１０５）。
　図６は，分割画像生成処理（図５のステップＳ１０１）のフローチャートである。分割画像生成部１１は，入力画像を同じサイズのブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する（ステップＳ１１１）。次に，分割画像生成部１１は，各ブロックＭｊを，それぞれ同一サイズのサブブロックＢｋ（ｋ＝０，１，…，Ｋ）に分割する（ステップＳ１１２）。続いて，分割画像生成部１１は，各ｋ＝０，１，…，Ｋに対し，ブロックＭ０～ＭＪ内の相対位置が同じサブブロックＢｋだけを抽出し，これをブロックＭ０～ＭＪの順に配置し，分割画像Ｐｋを生成する（ステップＳ１１３）。以上の処理を最後の分割画像ＰＫの生成が終わるまで繰り返す（ステップＳ１１４）。
　予測画像生成部１４１は，図５のステップＳ１０４において，参照画像となる分割画像Ｐｉに対し，原画像上の分割画像Ｐｉの画素位置によって定められている補間フィルタを適用し，分割画像Ｐｋの予測誤差符号化に用いる予測画像Ｐｋ′を生成する。
　例えば，図４に示す入力画像の符号化において，分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化するものとすると，まず，図５のステップＳ１０２で分割画像Ｐ０を分割画像内符号化し，その後，分割画像Ｐ１を符号化する際に，図５のステップＳ１０３で分割画像Ｐ０を参照画像として選択する。続くステップＳ１０４では，分割画像Ｐ１の符号化のために，参照画像である符号化済みの分割画像Ｐ０に対して補間フィルタを適用して，分割画像Ｐ１の予測画像Ｐ１′を生成する。この補間フィルタとしては，例えばＨ．２６４の動き補償予測において１／２画素精度の予測信号の生成に用いる６タップＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタを用いることができる。
　図７は，補間フィルタの適用例を示す図である。図７において，○で示した画素は，分割画像Ｐ０の整数位置画素である。□，△で示した画素は，分割画像Ｐ０の１／２位置画素である。分割画像Ｐ０を参照画像とする予測画像Ｐ１′は，Ｐ０の符号化画像の画素Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆに対して，次式のような横方向半画素フィルタを適用し，図７に□で示したＰ０の１／２位置画素として算出する。
　　ａ1 ＝１／３２｛Ａ－５Ｂ＋２０Ｃ＋２０Ｄ－５Ｅ＋Ｆ｝
（ａ2 ，ａ3 ，…も，ａ1 と同様）
　分割画像Ｐ２の符号化では，符号化済み分割画像Ｐ０，Ｐ１の中で最も距離が短い分割画像Ｐ０が参照画像として選択され，分割画像Ｐ０に対して縦方向半画素フィルタの補間フィルタを適用することにより，予測画像Ｐ２′が生成される。この予測画像Ｐ２′は，Ｐ０の符号化画像の画素Ａ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋに対して，次式のような縦方向半画素フィルタを適用し，図７に△で示したＰ０の１／２位置画素として算出する。
　　ｂ1 ＝１／３２｛Ａ－５Ｇ＋２０Ｈ＋２０Ｉ－５Ｊ＋Ｋ｝
（ｂ2 ，ｂ3 ，…も，ｂ1 と同様）
　次の分割画像Ｐ３の符号化では，符号化済み分割画像Ｐ０，Ｐ１，Ｐ２の中で最も距離の短い分割画像がＰ１，Ｐ２の二つ存在することになる。この一方を参照画像としてもよいし，両方を参照画像として分割画像Ｐ３の予測画像Ｐ３′を求めてもよい。分割画像Ｐ１，Ｐ２のどちらか１枚だけを参照画像として用いる処理は，前述した分割画像Ｐ１，Ｐ２の予測画像の生成と同様である。次に，複数の参照画像を用いる例について説明する。
　〔参照リストを用いる例〕
　上述した参照画像選択部１３は，１枚の参照画像を選択するのではなく，複数枚の参照画像を選択してもよい。この場合には，選択した複数枚の参照画像を示すデータを参照リストとして生成し，保持する。
　参照リストにおけるどの参照画像を予測画像の生成に用いたかを復号側へ伝達する必要がある場合には，参照画像インデックスを符号化して，復号側へ通知する。参照画像インデックスは，参照リストにおける何番目の参照画像であるかを示すデータであり，参照リストの先頭に近い参照画像ほど，予測画像の生成に用いられる確率が大きくなるので，短い符号長が割り当てられる。
　参照画像の最大枚数が，符号化側と復号側とであらかじめ同じく設定されるようにしてもよいし，符号化側から復号側へ符号化ストリームのヘッダ情報などにより通知されるようにしてもよい。
　〔参照リストを用いる画像符号化処理のフロー〕
　図８は，参照リストを用いる場合の画像符号化処理のフローチャートである。ステップＳ１２１，Ｓ１２２の処理は，前述した図５のステップＳ１０１，Ｓ１０２の処理と同様である。
　続くステップＳ１２３では，Ｍ＋１番目以降の分割画像Ｐｋを分割画像間予測符号化するために，参照画像選択部１３が参照画像を選択する。この参照画像の選択では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に符号化済み分割画像を選択して参照リストを作成する。
　次にステップＳ１２４では，分割画像間予測符号化部１４が，参照リストが示す１枚または複数枚の参照画像を用いて，符号化対象の分割画像Ｐｋについて，分割画像間予測符号化を行う。その後，ステップＳ１２３，Ｓ１２４による次の分割画像Ｐｋの符号化を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて符号化し終えたならば，現在の入力画像（フレーム）の符号化を終了する（ステップＳ１２５）。
　図４の入力画像の例で，参照リストを用いる場合の例を説明する。分割画像Ｐ０，Ｐ１，Ｐ２，Ｐ３の順番で符号化するものとする。分割画像Ｐ０は，分割画像内符号化であるので，参照画像は用いない。次の分割画像Ｐ１の符号化では，参照画像は分割画像Ｐ０のみであり，１枚である。
　次の分割画像Ｐ２の符号化では，符号化済み分割画像はＰ０，Ｐ１の２枚であるが，このうち分割画像Ｐ０のほうが画素の位置がＰ２に近いため，参照リストには分割画像Ｐ０だけが格納されるか，または分割画像Ｐ０，Ｐ１の順番で格納される。
　分割画像Ｐ３の符号化では，参照画像として分割画像Ｐ０，Ｐ１，Ｐ２が考えられる。このうち画素の位置が分割画像Ｐ３に最も近い分割画像は，Ｐ１とＰ２である。同じ距離の分割画像が複数存在する場合には，所定の参照リスト生成規則に従って，参照リスト中に格納される優先順位が決められる。この結果，分割画像Ｐ３に対する参照リストとしては，次のような参照リストのいずれかが用いられる。
　｛Ｐ１，Ｐ２｝，｛Ｐ２，Ｐ１｝，｛Ｐ１，Ｐ２，Ｐ０｝，｛Ｐ２，Ｐ１，Ｐ０｝
　さらに，複数の参照画像から生成される予測画像を合成した画像を，参照リストに加えてもよい。例えば，符号化済み分割画像Ｐ１，Ｐ２からそれぞれ生成される分割画像Ｐ３の予測画像Ｐ３′，Ｐ３″の平均画像を参照画像として，参照リストに加えてもよい。この平均画像をＰｘと表すと，参照リストは例えば次のようになる。
　｛Ｐ１，Ｐ２，Ｐｘ｝，｛Ｐ２，Ｐ１，Ｐｘ｝，……
　図９Ａ～図９Ｂに，予測画像の合成の一例を示す。図９Ａに示す入力画像において，Ｂ１は符号化済み分割画像Ｐ１に所属するサブブロック，Ｂ２は符号化済み分割画像Ｐ２に所属するサブブロックであり，Ｂｋは符号化対象分割画像Ｐｋに所属するサブブロックである。この例では，サブブロックのサイズは１×１画素である。分割画像Ｐ１は，Ｂ１のサブブロックを集めたもの，分割画像Ｐ２は，Ｂ２のサブブロックを集めたもの，分割画像Ｐｋは，Ｂｋのサブブロックを集めたものである。
　図９Ｂに示すように，Ｐ１の符号化済み分割画像に対して，半画素縦方向フィルタを適用することにより，Ｐｋの一つの予測画像１が生成される。また，Ｐ２の符号化済み分割画像に対して，半画素横方向フィルタを適用することにより，Ｐｋの他の予測画像２が生成される。これらの合成画像をＰｋの予測画像３とする。合成の方法としては，例えば各画素の平均値を求める。すなわち，次式の画素値を算出する。
　（Ｐｋの予測画像３の（ｉ，ｊ）位置の画素値）
＝｛（Ｐｋの予測画像１の（ｉ，ｊ）位置の画素値）＋（Ｐｋの予測画像２の（ｉ，ｊ）位置の画素値）｝／２
　合成画像を参照画像に加える例を一般化した他の例について説明する。存在する符号化済み分割画像から作成された参照リスト（これを元参照リストという）のＮ番目までの参照画像Ｒについて，そのうちｋ1 番目とｋ2 番目の参照画像を選択し，それぞれの予測画像の平均画像を生成する。ｋ1 番目とｋ2 番目の参照画像は，符号化対象分割画像の画素位置からの原画像上での距離が同一である必要はない。
　この平均画像を，新たな参照リスト（新参照リストという）上の，元参照リストのｋ2 番目の画像の次に，ｋ1 が小さい順に配置する。ｋ1 ，ｋ2 の参照画像から得られる平均画像の予測画像を便宜的に（ｋ1 ＋ｋ2 ）／２と表すと，元参照リストから得られる新参照リストは，次のようになる。
・元参照リスト
　１，２，３，４，…，Ｎ
・新参照リスト
　１，２，（１＋２）／２，３，（１＋３）／２，（２＋３）／２，４，（１＋４）／２，（２＋４）／２，…，Ｎ
　分割画像間予測符号化部１４は，以上のような複数の参照画像が指定された参照リストが与えられた場合，その中のどの参照画像を実際の符号化で使用する予測画像の生成に用いるかを適応的に決定する実施例では，例えばレート歪みコスト（ＲＤコストという）を算出し，その中でＲＤコストが最小となるものを用いるようにしてもよい。
　ＲＤコストは，次式によって定義される。ここで，Ｄは歪み量，Ｒは発生符号量，λはラグランジェ未定乗数である。
　　ＲＤコスト＝Ｄ＋λＲ
　符号化におけるＲＤコストが最小となる参照画像が決まると，参照リストにおけるどの参照画像が用いられたかを示す参照画像インデックスが符号化されて，復号側へ通知される。また，参照画像として，前述した合成画像を用いるかどうかを示す合成画像使用ＯＮ／ＯＦＦのフラグを分割画像ごとに符号化して復号側へ通知してもよい。他に，合成画像の指定方法としては，例えばＨ．２６４のＢピクチャのように，参照画像を２枚選択してマクロブロックシンタックスで合成方法を指定するような方法を用いることにより，２枚の参照画像を合成して用いることを復号側へ通知する方法を用いることもできる。
　符号化側と復号側とで参照リストを共有する方法として，例えば以下の方法がある。
（１）符号化対象分割画像ごとに，あらかじめ定められた固定の参照リストを用いる。
（２）あらかじめ定められたいくつかの参照リスト生成規則の中から，符号化側で符号化時における参照リストの生成に用いた参照リスト生成規則を示す情報を符号化して復号側へ送る。復号側では，参照リスト生成規則の符号化データを復号し，同じ参照リスト生成規則に従って参照リストを生成する。
　参照リストにおける参照画像を配置する順番は，基本的には，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像の順番である。しかし，距離が同一の符号化済み分割画像が複数ある場合などには，どの分割画像を優先して参照リストに配置するかを参照リスト生成規則によって定める。
　参照リスト生成規則は，例えば以下のような場合に，どの符号化済み分割画像を参照リストの上位に配置するかを定めるルールである。
〔ルール１〕：参照画像の候補が同一距離内に複数ある場合に，分割画像内符号化済みの分割画像を分割画像間予測符号化済みのものより優先する。
〔ルール２〕：参照画像の候補が同一距離内に複数ある場合に，量子化精度の高いものを優先する。
〔ルール３〕：参照画像の候補が同一距離内に複数ある場合に，符号化順が新しい符号化済み分割画像を優先する。
〔ルール４〕：ルール１～３をいくつかを組み合わせたルール。
　〔参照リスト生成処理のフローチャート１〕
　図１０は，ルール１に従って参照リストを生成する処理の例を示すフローチャートである。まず，ステップＳ１３１では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短い順に符号化済み分割画像Ｐｋ′を１枚選択する。
　次に，ステップＳ１３２では，分割画像Ｐｋについて，符号化済み分割画像の中で同一の画素について原画像上でＰｋ′までの距離と同一距離になる分割画像Ｐｋ″が他に存在するかどうかを調べる。同一距離にある他の分割画像が存在しない場合，ステップＳ１３５へ進む。同一距離にある他の分割画像が存在する場合には，ステップＳ１３３へ進み，符号化済みの分割画像Ｐｋ′とＰｋ″のどちらか一方が分割画像内符号化済み分割画像で，他方が分割画像間予測符号化済み分割画像であるかどうかを判定する。判定結果が“真”なら，ステップＳ１３４へ進み，判定結果が“偽”ならステップＳ１３５へ進む。
　ステップＳ１３４では，参照リストには，分割画像内符号化を行った符号化済み分割画像を参照リストの先に配置し，その後に分割画像間予測符号化を行った符号化済み分割画像を配置する。
　一方，ステップＳ１３５では，分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に，符号化済み分割画像を選択して参照リストを作成する。
　〔参照リスト生成処理のフローチャート２〕
　図１１は，ルール２に従って参照リストを生成する処理の例を示すフローチャートである。前述した図１０の例と異なるのは，ステップＳ１４３とステップＳ１４４であるので，この部分だけを説明し，他のステップの説明は省略する。
　ルール２に従って参照リストを生成する場合，ステップＳ１４３では，符号化済み分割画像の中で同一の画素について原画像上でＰｋ′までの距離と同一距離になる分割画像Ｐｋ″が他に存在する場合に，それらの分割画像Ｐｋ′，Ｐｋ″の符号化時における量子化ステップが異なるかどうかを判定する。判定結果が“真”なら，ステップＳ１４４へ進み，判定結果が“偽”ならステップＳ１４５へ進む。
　ステップＳ１４４では，参照リストには，量子化ステップが小さい符号化済み分割画像を参照リストの先に配置し，その後に量子化ステップが大きい符号化済み分割画像を配置する。一般に量子化精度が高いほうが参照画像として相応しいからである。
　ステップＳ１４５では，前述したステップＳ１３５と同様に，分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が短いものから順に，符号化済み分割画像を選択して参照リストを作成する。
　〔参照リスト生成処理のフローチャート３〕
　図１２は，ルール４に従って参照リストを生成する処理の例を示すフローチャートである。まず，ステップＳ１５１では，符号化対象の分割画像Ｐｋと符号化済み分割画像の同一位置の画素について，原画像上での該当画素の距離が等しい符号化済み分割画像が２枚以上存在するかどうかを判定する。判定結果が“真”の場合，ステップＳ１５３へ進む。判定結果が“偽”の場合，ステップＳ１５２へ進み，距離の短い順に小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成し，参照リストの生成処理を終了する。
　ステップＳ１５３では，距離が等しい符号化済み分割画像のうち，量子化ステップが異なるものがあるかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５５へ進む。判定結果が“真”の場合，ステップＳ１５４へ進み，量子化ステップが小さい順に小さい参照画像インデックスを割り当て，ステップＳ１５５へ進む。
　ステップＳ１５５では，距離が等しい符号化済み分割画像のうち，ピクチャタイプが分割画像内符号化，分割画像間予測符号化のどちらの場合も存在するかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５７へ進む。判定結果が“真”の場合，ステップＳ１５６へ進み，分割画像内符号化済みの分割画像に，分割画像間予測符号化済みの分割画像よりも小さい参照画像インデックスを割り当て，ステップＳ１５７へ進む。
　ステップＳ１５７では，分割画像間予測符号化で符号化された分割画像のうち，参照枚数が異なるものが存在するかどうかを判定する。判定結果が“偽”の場合，ステップＳ１５９へ進む。判定結果が“真”の場合，ステップＳ１５８へ進み，参照枚数が多い分割画像間予測符号化済みの分割画像に，小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成して処理を終了する。
　ステップＳ１５９では，対応画素の距離が等しい符号化済み分割画像について，符号化順が新しい順に小さい参照画像インデックスを割り当て，参照画像インデックス順に参照リストを作成して処理を終了する。
　図１２に示すフローチャートにおいて，量子化ステップやピクチャタイプなどの判定の順番を変えてもよいし，また，判定手法のいくつかだけを用いて参照画像インデックスを定めるようなルールを用いてもよい。
  〔画像復号装置〕
　図１３は，画像復号装置の構成例を示す図である。画像復号装置２０は，情報源復号部２１，分割画像内復号部２２，参照画像選択部２３，分割画像間予測復号部２４，復号画像構成部２５を備える。分割画像間予測復号部２４は，予測誤差復号部２４１，予測画像生成部２４２，復号画像算出部２４３を備える。
　画像復号装置２０は，図１に示す画像符号化装置１０により圧縮符号化された画像の符号化データを情報源復号部２１により入力し，情報源復号部２１は，入力した符号化データをエントロピ復号する。
　分割画像内復号部２２は，少なくとも一つ以上の分割画像内符号化された分割画像の符号化データを分割画像内予測により復号する。参照画像選択部２３は，分割画像間予測符号化された分割画像を復号するための参照画像を選択する。
　参照画像の選択手法としては，参照リストを用いる場合と参照リストを用いない場合とがある。参照画像が１枚だけの場合には，参照リストを用いる必要がない。要は，参照画像として，符号化側が分割画像間予測符号化による符号化時に用いた参照画像と同じ分割画像を復号側においても参照画像として用いることである。
　例えば，参照画像が１枚だけの場合，符号化側において参照画像を，画素の距離，ピクチャタイプ（分割画像内符号化，分割画像間予測符号化），量子化精度，符号化順の順番などで選択していれば，復号側においても同様の順番で復号済み分割画像の中から参照画像を選択する。この参照画像の選択手法が符号化されていれば，その符号化データを事前に復号することにより，復号側においても符号化側と同じ選択手法を用いる。
　あらかじめ参照画像選択手法が決まっている場合には，符号化側と復号側とで固定の参照画像選択手法を共有することができ，その場合には選択手法の復号は不要である。
　また，参照画像が複数枚あり，参照リストを用いる場合には，復号側においても符号化側と同じ参照リストを用いる。この方法として，あらかじめ固定の参照リスト生成規則を定めておき，符号化側と復号側とで共通の参照リスト生成規則により同じ参照リストを生成する方法を用いることができる。
　また，参照リスト生成規則が符号化されていれば，その符号化データを事前に復号することにより，復号側においても符号化側と同じ参照リスト生成規則を用いて参照リストを生成することができる。さらに，参照画像として，合成画像を使用するかしないかのフラグが符号化されていれば，それを復号して，合成画像を参照リストに加えるかどうかを判断する。
　また，参照画像を示す参照画像インデックスが符号化されている場合には，その参照画像インデックスを復号し，参照画像インデックスが示す参照リスト中の画像を参照画像として選択する。
　分割画像間予測復号部２４は，分割画像内復号された分割画像以外の分割画像について，分割画像間予測復号を行う。そのため，分割画像間予測復号部２４の予測誤差復号部２４１は，必要に応じて逆量子化，逆直交変換などを行い，予測誤差を復号する。予測画像生成部２４２は，参照画像選択部２３が選択した１枚または複数枚の参照画像から，復号対象分割画像と復号済み分割画像（参照画像）との原画像上での相対位置によって決まる所定のフィルタを復号済み分割画像に施すことにより，予測画像を生成する。ここで，合成画像を用いる場合には，複数の予測画像の平均画像等を予測画像とする。
　復号画像算出部２４３は，予測誤差復号部２４１の出力に，予測画像生成部２４２が生成した予測画像の画素値を加算することにより，復号画像の画素値を算出する。
　復号画像構成部２５は，分割画像内復号部２２および分割画像間予測復号部２４により復号された分割画像の各サブブロックを，原画像上の元の位置に配置することにより，復号画像を生成する。
　〔画像復号処理の例１のフロー〕
　図１４は，画像復号処理の例１のフローチャートである。ここでは，符号化側で，入力画像を図２Ａ～図２Ｄに示すように分割して符号化したデータを復号する場合の例を説明する。符号化側では，前述したように，入力画像を同じサイズのブロックＭ０～ＭＪに分割し，各ブロックの内の相対位置が同じ画素（サブブロック）を集めて，分割画像Ｐ０～ＰＫを生成し，分割画像Ｐ０～ＰＭ（０≦Ｍ＜Ｋ）については分割画像内符号化により符号化し，分割画像Ｐｋ（ｋ＝（Ｍ＋１）～Ｋ）については分割画像を単位とした分割画像間予測符号化により符号化しているものとする。
　画像復号装置２０では，情報源復号部２１で符号化データを入力すると，情報源復号部２１は符号化データをエントロピ復号する（ステップＳ２０１）。次に，分割画像内復号部２２が，分割画像Ｐ０～ＰＭの符号化データを，従来の画面内予測復号方法などの方法を用いて，分割画像内復号を行う（ステップＳ２０２）。
　続いて，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）～Ｋ）を復号するための参照画像を選択する。ここでは，復号対象の分割画像Ｐｋと復号済み分割画像の同一位置の画素について，原画像上での該当画素の距離が最短の復号済み分割画像を参照画像として選択する（ステップＳ２０３）。
　次に，分割画像間予測復号部２４が，参照画像に原画像上での相対位置によって決まる所定の補間フィルタを適用して予測画像を生成し，分割画像Ｐｋについて，予測誤差復号部２４１が復号した予測誤差に予測画像の画素値を加算することにより，分割画像間復号を行う（ステップＳ２０４）。
　以上のステップＳ２０３，Ｓ２０４による分割画像Ｐｋの復号を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて復号し終えたならば，復号画像構成部２５によって，復号した分割画像Ｐ０～ＰＫから全体の復号画像を生成し，１フレーム分の復号処理を終了する（ステップＳ２０５）。
　〔画像復号処理の例２のフロー〕
　次に，参照リストを用いて復号する場合の復号処理の例を，図１５に従って説明する。図１５におけるステップＳ２１１，Ｓ２１２の処理は，図１４で説明したステップＳ２０１，Ｓ２０２の処理と同様である。
　ステップＳ２１３では，画像復号装置２０が参照リスト生成規則をあらかじめ保持しているかどうかを判定する。判定結果が“真”の場合，ステップＳ２１４へ進む。判定結果が“偽”の場合，ステップＳ２１５へ進む。
　ステップＳ２１４では，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）～Ｋ）と復号済み分割画像の同一位置の画素について，あらかじめ保持している参照リスト生成規則に基づき，復号済み分割画像を選択して参照リストを作成する。その後に，ステップＳ２１６へ進む。
　一方，ステップＳ２１５では，参照画像選択部２３が，分割画像間予測符号化された分割画像Ｐｋ（ｋ＝（Ｍ＋１）～Ｋ）と復号済み分割画像の同一位置の画素について，符号化データとして送られた参照リスト生成規則に基づき，復号済み分割画像を選択して参照リストを作成する。その後に，ステップＳ２１６へ進む。
　ステップＳ２１６では，分割画像間予測復号部２４が，予測画像生成部２４２によって参照リスト中の参照画像インデックスで指定された参照画像に所定の補間フィルタを適用して予測画像を生成し，分割画像Ｐｋについて，予測誤差復号部２４１が復号した予測誤差に予測画像の画素値を加算することにより，分割画像間復号を行う。ここで，符号化側が複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行っている場合には，復号側においても同様に複数枚の参照画像をもとに生成した合成予測画像を用いて分割画像間予測復号を行う。
　以上のステップＳ２１３～Ｓ２１６による分割画像Ｐｋの復号を，最後の分割画像ＰＫまで繰り返し，最後の分割画像ＰＫまですべて復号し終えたならば，復号画像構成部２５によって，復号した分割画像Ｐ０～ＰＫから全体の復号画像を生成し，１フレーム分の復号処理を終了する（ステップＳ２１７）。
　〔コンピュータによる構成例〕
  図１６に，図１の画像符号化装置１０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）３０と，ＣＰＵ３０がアクセスするプログラムやデータが格納されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリ３１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部３２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ３０に実行させるソフトウェアプログラムである画像符号化プログラム３４が格納されたプログラム記憶装置３３と，ＣＰＵ３０がメモリ３１にロードされた画像符号化プログラム３４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部３５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
　なお，プログラム記憶装置３３に格納される画像符号化プログラムは，本手法により入力画像を符号化するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像符号化プログラムなどを含んでいてもよい。
　図１７に，図１３の画像復号装置２０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ４０と，ＣＰＵ４０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ４１と，図１の画像符号化装置１０が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部４２（ネットワーク等を介した入力部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ４０に実行させるソフトウェアプログラムである画像復号プログラム４４が格納されたプログラム記憶装置４３と，ＣＰＵ４０がメモリ４１にロードされた画像復号プログラム４４を実行することにより，符号化データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部４５とが，バスで接続された構成になっている。
　なお，プログラム記憶装置４３に格納される画像復号プログラムは，本手法により符号化データを復号するプログラムの他に，例えば従来のフレーム単位で画面間予測を行う画像復号プログラムなどを含んでいてもよい。
　以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
　本発明は，画像の符号化・復号に利用可能である。本発明によれば，従来の画面内予測符号化に対し，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減することができる。
　１０　画像符号化装置
　１１　分割画像生成部
　１２　分割画像内符号化部
　１３　参照画像選択部
　１４　分割画像間予測符号化部
　１４１　予測画像生成部
　１４２　予測誤差算出部
　１４３　予測誤差符号化部
　１４４　画像復号部
　１５　情報源符号化部
　２０　画像復号装置
　２１　情報源復号部
　２２　分割画像内復号部
　２３　参照画像選択部
　２４　分割画像間予測復号部
　２４１　予測誤差復号部
　２４２　予測画像生成部
　２４３　復号画像算出部
　２５　復号画像構成部

Claims (17)

  1. 　入力画像を圧縮符号化する画像符号化方法において，
    　前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成過程と，
    　前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化過程と，
    　前記分割画像内符号化された分割画像以外の分割画像を符号化する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い順に符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する参照画像選択過程と，
    　選択された参照画像を用いて前記符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う分割画像間予測符号化過程と，
    　少なくとも前記分割画像内符号化過程と前記分割画像間予測符号化過程による符号化結果を情報源符号化する情報源符号化過程とを有する
    　画像符号化方法。
  2. 　請求項１に記載の画像符号化方法において，
    　前記参照画像選択過程では，選択された複数枚の参照画像を並べた参照リストを指定して，その参照リスト中の参照画像を選択した参照画像とし，
    　前記分割画像間予測符号化過程では，前記参照リストに記入された複数枚の参照画像の中の一枚または複数枚の参照画像を用いて，前記符号化対象分割画像に対する予測画像を生成する
    　画像符号化方法。
  3. 　請求項１または請求項２に記載の画像符号化方法において，
    　前記参照画像選択過程では，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択する
    　画像符号化方法。
  4. 　請求項１または請求項２に記載の画像符号化方法において，
    　前記参照画像選択過程では，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択する
    　画像符号化方法。
  5. 　請求項１または請求項２に記載の画像符号化方法において，
    　前記参照画像選択過程では，参照画像として用いることができる複数の符号化済み分割画像の中から，どの符号化済み分割画像を優先して選択するかを示す参照画像選択規則に基づいて参照画像を選択し，
    　前記情報源符号化過程では，前記参照画像選択規則の指定情報を符号化する
    　画像符号化方法。
  6. 　請求項５に記載の画像符号化方法において，
    　前記参照画像選択規則は，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，分割画像内符号化済み分割画像を分割画像間予測符号化済み分割画像よりも優先して参照画像として選択することを指定する規則，または，前記原画像上での距離が同じ符号化済み分割画像が複数枚存在した場合に，量子化精度が高い符号化済み分割画像を量子化精度が低い符号化済み分割画像よりも優先して参照画像として選択することを指定する規則を含む
    　画像符号化方法。
  7. 　請求項１から請求項６までのいずれか１項に記載された画像符号化方法において，
    　前記分割画像間予測符号化過程では，前記参照画像選択過程が選択した複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測符号化を行う
    　画像符号化方法。
  8. 　請求項１から請求項７までのいずれか１項に記載された画像符号化方法において，
    　前記情報源符号化過程では，前記分割画像間予測符号化過程で用いた参照画像を指定する参照画像指定情報を符号化する
    　画像符号化方法。
  9. 　圧縮符号化された画像の符号化データを復号する画像復号方法において，
    　画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力し，復号する情報源復号過程と，
    　前記情報源復号過程で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号過程と，
    　前記分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い順に復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する参照画像選択過程と，
    　選択された参照画像を用いて前記復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う分割画像間予測復号過程と，
    　前記分割画像内復号過程および前記分割画像間予測復号過程によって復号された分割画像から復号画像を構成する復号画像構成過程とを有する
    　画像復号方法。
  10. 　請求項９に記載の画像復号方法において，
    　前記情報源復号過程では，参照画像として用いることができる複数の復号済み分割画像の中から，どの復号済み分割画像を優先して選択するかを示す参照画像選択規則を指定する符号化データを復号し，
    　前記参照画像選択過程では，復号された参照画像選択規則に基づいて参照画像を選択する
    　画像復号方法。
  11. 　請求項１０に記載の画像復号方法において，
    　前記参照画像選択規則は，前記原画像上での距離が同じ復号済み分割画像が複数枚存在した場合に，分割画像内復号済み分割画像を分割画像間予測復号済み分割画像よりも優先して参照画像として選択することを指定する規則，または，前記原画像上での距離が同じ復号済み分割画像が複数枚存在した場合に，量子化精度が高い復号済み分割画像を量子化精度が低い復号済み分割画像よりも優先して参照画像として選択することを指定する規則を含む
    　画像復号方法。
  12. 　請求項９，請求項１０または請求項１１に記載の画像復号方法において，
    　前記分割画像間予測復号過程では，前記参照画像選択過程が選択した複数枚の参照画像から生成される複数枚の予測画像を合成した予測画像を用いて分割画像間予測復号を行う
    　画像復号方法。
  13. 　請求項９から請求項１２までのいずれか１項に記載の画像復号方法において，
    　前記情報源復号過程では，参照画像を指定する参照画像指定情報を復号し，
    　前記参照画像選択過程では，復号された参照画像指定情報が示す参照画像を選択する
    　画像復号方法。
  14. 　入力画像を圧縮符号化する画像符号化装置において，
    　前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成部と，
    　前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化部と，
    　前記分割画像内符号化された分割画像以外の分割画像を符号化する際に，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い順に符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する参照画像選択部と，
    　選択された参照画像を用いて前記符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う分割画像間予測符号化部と，
    　少なくとも前記分割画像内符号化部と前記分割画像間予測符号化部の符号化結果を情報源符号化する情報源符号化部とを備える
    　画像符号化装置。
  15.   圧縮符号化された画像の符号化データを復号する画像復号装置において，
    　画像符号化装置が，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，分割画像ごとに符号化した符号化データを入力し，復号する情報源復号部と，
    　前記情報源復号部が復号したデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号部と，
    　前記分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い順に復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する参照画像選択部と，
    　選択された参照画像を用いて前記復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う分割画像間予測復号部と，
    　前記分割画像内復号部および前記分割画像間予測復号部によって復号された分割画像から復号画像を構成する復号画像構成部とを備える
    　画像復号装置。
  16.   請求項１から請求項８までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
  17. 　請求項９から請求項１３までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
PCT/JP2012/069495 2011-08-01 2012-07-31 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム WO2013018806A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
RU2014101694/08A RU2014101694A (ru) 2011-08-01 2012-07-31 Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений, устройство декодирования изображений, программа кодирования изображений и программа декодирования изображений
EP12819900.7A EP2725801B1 (en) 2011-08-01 2012-07-31 Image coding method, image decoding method, image coding device, image decoding device, image coding program, and image decoding program
IN481CHN2014 IN2014CN00481A (ja) 2011-08-01 2012-07-31
CN201280036325.4A CN103688542B (zh) 2011-08-01 2012-07-31 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
ES12819900T ES2909314T3 (es) 2011-08-01 2012-07-31 Método de codificación de imagen, método de decodificación de imagen, dispositivo de codificación de imagen, dispositivo de decodificación de imagen, programa de codificación de imagen, y programa de decodificación de imagen
US14/233,826 US9491455B2 (en) 2011-08-01 2012-07-31 Picture encoding method, picture decoding method, picture encoding apparatus, picture decoding apparatus, picture encoding program, and picture decoding program
CA2842670A CA2842670A1 (en) 2011-08-01 2012-07-31 Selection of picture blocks from multiple reference pictures for inter-coding of divided pictures
KR1020147001525A KR20140031974A (ko) 2011-08-01 2012-07-31 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램 및 화상 복호 프로그램
BR112014001478A BR112014001478A2 (pt) 2011-08-01 2012-07-31 método de codificação de figuração, método de decodificação de figuração, aparelho de codificação de figuração, aparelho de decodificação de figuração, programa de codificação de figuração, e programa de decodificação de figuração

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-167934 2011-08-01
JP2011167934A JP5706264B2 (ja) 2011-08-01 2011-08-01 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム

Publications (1)

Publication Number Publication Date
WO2013018806A1 true WO2013018806A1 (ja) 2013-02-07

Family

ID=47629327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/069495 WO2013018806A1 (ja) 2011-08-01 2012-07-31 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム

Country Status (12)

Country Link
US (1) US9491455B2 (ja)
EP (1) EP2725801B1 (ja)
JP (1) JP5706264B2 (ja)
KR (1) KR20140031974A (ja)
CN (1) CN103688542B (ja)
BR (1) BR112014001478A2 (ja)
CA (1) CA2842670A1 (ja)
ES (1) ES2909314T3 (ja)
IN (1) IN2014CN00481A (ja)
RU (1) RU2014101694A (ja)
TW (1) TWI524742B (ja)
WO (1) WO2013018806A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6431803B2 (ja) * 2015-03-30 2018-11-28 富士フイルム株式会社 画像記録装置および画像再生装置ならびにそれらの方法およびそれらのプログラム
CN107872671B (zh) * 2016-09-26 2022-01-14 华为技术有限公司 一种图片编码方法及终端
US10911769B2 (en) * 2017-06-23 2021-02-02 Qualcomm Incorporated Motion-based priority for the construction of candidate lists in video coding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080933A (ja) * 2004-09-10 2006-03-23 Kyushu Institute Of Technology 画像信号処理装置及びその方法
JP2009077176A (ja) * 2007-09-20 2009-04-09 Canon Inc 画像符号化装置及び画像復号装置並びにそれらの制御方法
JP2009130467A (ja) * 2007-11-20 2009-06-11 Canon Inc 画像符号化装置、及び、その制御方法
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS647854A (en) * 1987-06-30 1989-01-11 Toshiba Corp Encoding device
JPH08307865A (ja) * 1995-05-12 1996-11-22 Kokusai Electric Co Ltd 画像処理方法
US6542547B1 (en) 1995-05-30 2003-04-01 Texas Instruments Incorporated Efficient heuristic based motion estimation method for video compression
US6868186B1 (en) * 2000-07-13 2005-03-15 Ceva D.S.P. Ltd. Visual lossless image compression
JP2003092684A (ja) * 2001-09-17 2003-03-28 Canon Inc 画像符号化装置、及び画像符号化方法、並びにプログラム、記憶媒体
CN1484922A (zh) 2001-11-06 2004-03-24 松下电器产业株式会社 运动图像编码方法及运动图像解码方法
AU2003261923C1 (en) 2002-11-20 2009-07-16 Godo Kaisha Ip Bridge 1 Moving image predicting method, moving image encoding method and device, and moving image decoding method and device
KR100510137B1 (ko) 2003-04-30 2005-08-26 삼성전자주식회사 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
US7830961B2 (en) 2005-06-21 2010-11-09 Seiko Epson Corporation Motion estimation and inter-mode prediction
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
JP4606311B2 (ja) 2005-11-21 2011-01-05 シャープ株式会社 画像符号化装置および画像符号化方法
EP1971154A4 (en) 2006-01-05 2010-10-27 Nippon Telegraph & Telephone VIDEO CODING METHOD AND DECODING METHOD, DEVICE THEREFOR, DEVICE THEREFOR AND STORAGE MEDIUM WITH THE PROGRAM
EP2099210B1 (en) * 2006-11-24 2015-10-21 NEC Corporation Coding and decoding device, coding and decoding method and program
US8238437B2 (en) * 2007-09-20 2012-08-07 Canon Kabushiki Kaisha Image encoding apparatus, image decoding apparatus, and control method therefor
KR100996364B1 (ko) 2008-01-03 2010-11-25 광운대학교 산학협력단 동영상 압축을 위한 서브샘플링기반 화면내 예측 부호화／복호화 장치 및 방법
EP2268030A1 (fr) * 2009-06-22 2010-12-29 Thomson Licensing Codage d'image avec raffinement de la texture en utilisant des sous-régions représentatives

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080933A (ja) * 2004-09-10 2006-03-23 Kyushu Institute Of Technology 画像信号処理装置及びその方法
JP2009077176A (ja) * 2007-09-20 2009-04-09 Canon Inc 画像符号化装置及び画像復号装置並びにそれらの制御方法
JP2009130467A (ja) * 2007-11-20 2009-06-11 Canon Inc 画像符号化装置、及び、その制御方法
JP2009296300A (ja) * 2008-06-05 2009-12-17 Panasonic Corp 画像符号化装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2725801A4 *

Also Published As

Publication number Publication date
US20140146887A1 (en) 2014-05-29
CN103688542A (zh) 2014-03-26
BR112014001478A2 (pt) 2017-02-21
US9491455B2 (en) 2016-11-08
CA2842670A1 (en) 2013-02-07
JP2013034042A (ja) 2013-02-14
ES2909314T3 (es) 2022-05-06
EP2725801A1 (en) 2014-04-30
TWI524742B (zh) 2016-03-01
RU2014101694A (ru) 2015-09-10
IN2014CN00481A (ja) 2015-04-03
CN103688542B (zh) 2017-07-07
JP5706264B2 (ja) 2015-04-22
KR20140031974A (ko) 2014-03-13
TW201320769A (zh) 2013-05-16
EP2725801B1 (en) 2021-12-22
EP2725801A4 (en) 2015-02-25

Similar Documents

Publication Publication Date Title
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP5513584B2 (ja) イントラ予測映像復号化のための方法及び装置
JP4889231B2 (ja) 画像符号化方法および装置、画像復号方法
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP7343817B2 (ja) 符号化装置、符号化方法、及び符号化プログラム
WO2013018806A1 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP2010258741A (ja) 画像処理装置および方法、並びにプログラム
JP2012147290A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2012175332A (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP6253564B2 (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
JP5911982B2 (ja) 画像復号化方法
JP5750191B2 (ja) 画像復号化方法
CN117813818A (zh) 基于帧内预测模式执行参考样本滤波的图像编码/解码方法和装置以及用于发送比特的方法
WO2016017338A1 (ja) 動画像符号化装置及び動画像復号装置並びに動画像符号化・復号方法及びプログラム
JP2016140106A (ja) 画像復号化方法
KR20110058677A (ko) 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12819900

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147001525

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14233826

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2842670

Country of ref document: CA

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014101694

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014001478

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014001478

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140122