WO2013089129A1 - 画像符号化及び復号方法、装置、プログラム - Google Patents

画像符号化及び復号方法、装置、プログラム Download PDF

Info

Publication number
WO2013089129A1
WO2013089129A1 PCT/JP2012/082174 JP2012082174W WO2013089129A1 WO 2013089129 A1 WO2013089129 A1 WO 2013089129A1 JP 2012082174 W JP2012082174 W JP 2012082174W WO 2013089129 A1 WO2013089129 A1 WO 2013089129A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
divided
encoding
decoding
decoded
Prior art date
Application number
PCT/JP2012/082174
Other languages
English (en)
French (fr)
Inventor
真由子 渡邊
正樹 北原
清水　淳
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PL12857396T priority Critical patent/PL2775718T3/pl
Priority to KR1020147014672A priority patent/KR101614828B1/ko
Priority to EP12857396.1A priority patent/EP2775718B1/en
Priority to CN201280061038.9A priority patent/CN103975599B/zh
Priority to US14/363,994 priority patent/US9332275B2/en
Priority to BR112014014322A priority patent/BR112014014322A2/pt
Priority to CA 2858693 priority patent/CA2858693A1/en
Priority to RU2014123658A priority patent/RU2014123658A/ru
Publication of WO2013089129A1 publication Critical patent/WO2013089129A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to an image encoding / decoding technique, and more particularly to image encoding that realizes encoding and decoding for reducing the amount of decoding operations while suppressing a decrease in encoding efficiency, compared to the conventional intra prediction encoding / decoding.
  • the present invention relates to a method, an image decoding method, an image encoding device, an image decoding device, an image encoding program, and an image decoding program.
  • H. is the international standard for video coding.
  • intra prediction encoding is performed in order to improve the compression rate in encoding using pixel correlation between blocks (see Non-Patent Document 1).
  • This intra-screen prediction is performed in units of blocks in which several pixels are grouped, and three types of block sizes of 4 ⁇ 4, 8 ⁇ 8, and 16 ⁇ 16 can be used for the luminance signal. In each block size, a plurality of prediction modes can be selected.
  • Non-Patent Document 2 is known as a technique for improving the coding efficiency in intra prediction.
  • This technique is a method of searching for a block with a small error from a coded region and coding using a prediction error for the block to be coded in intra prediction.
  • FIG. 19 is a flowchart showing an example of intra prediction encoding processing according to the prior art.
  • an image to be encoded is divided into N blocks 1 to N having the same size (step S801).
  • intra prediction encoding is performed for the first block 1 (step S802).
  • inter-frame prediction encoding is performed using a block with a small prediction error from the encoded region as a reference image, and the motion vector information and the prediction error are encoded into the reference image. (Step S803).
  • the processing in step S803 is repeated until the last block N.
  • the technique proposed in this Non-Patent Document 2 is a technique for improving the coding efficiency, and in the region where the same pattern is repeated, the occurrence of a prediction error can be suppressed, so that the quantization error tends to be small. Therefore, it is considered that the processing amount of the deblocking filter can be reduced.
  • the above method may be effective for images in which the same pattern is repeated, but it is not effective for images in which almost the same pattern does not appear. It is considered that the conversion error does not become small. In this case, since the processing amount of the deblocking filter cannot be reduced, it is considered that it is not effective for reducing the decoding calculation amount. Furthermore, since it is necessary to send the offset vector information indicating the relative position of the reference block to each block to the decoding side, an operation for decoding the reference block information also occurs on the decoding side. There is a problem that there are still many.
  • Non-Patent Document 3 In order to solve the problem in the technique of Non-Patent Document 2, the present inventors have proposed a technique in Non-Patent Document 3 for reducing the encoding calculation amount and the decoding calculation amount while suppressing a decrease in encoding efficiency. Proposed.
  • a strong deblocking filter is applied to the first divided image PIC10 to be subjected to intra-screen coding, but the second to fourth divided images PIC11, PIC12, and PIC13 use inter-coding with high prediction efficiency.
  • the strength of the deblocking filter decreases. For this reason, the amount of computation in the deblocking process can be reduced as a whole, and the amount of decoding computation can be reduced while maintaining the coding efficiency.
  • the processing procedure of this method is as follows. (1) The original image PIC1 is divided into four divided images PIC10 to PIC13 as shown in FIG. (2) The first divided image PIC10 is encoded by intra-screen encoding. (3) Using a half-pixel filter, an image is generated by shifting the encoded image of the divided image PIC10 to the right by half a pixel. (4) The second divided image PIC11 is inter-coded with the image generated in (3) as the reference image and the motion vector as 0. (5) Using a half-pixel filter, an image is generated by shifting the encoded image of the divided image PIC10 downward by a half pixel. (6) The third divided image PIC12 is inter-coded with the image generated in (5) as the reference image and the motion vector as 0.
  • an image is generated by shifting the encoded image of the divided image PIC12 by half a pixel to the right.
  • the fourth divided image PIC13 is inter-coded with the image generated in (7) as the reference image and the motion vector as 0.
  • encoding is performed as follows. First, one or a plurality of pixels (sub-blocks) are extracted from the input image at equal intervals, and a plurality of divided images are generated by collecting the sub-blocks. For at least one divided image, only the divided image is used. Intra-divided image encoding is performed. For encoding of other divided images, inter-divided image predictive encoding is performed using the encoded divided images.
  • a predictive image is generated by applying a filter used when generating an interpolated image to the reference image, and an error signal between the predictive image and the encoding target divided image is encoded.
  • FIG. 21 is a process flowchart of the conventional method.
  • step S900 the image is divided into blocks of the same size, and divided images P0 to PN are generated.
  • step S901 among the generated divided images P0 to PN, intra-divided image encoding is performed on some divided images P0 to PM (where 0 ⁇ M ⁇ N).
  • step S902 for the divided images P (M + 1) to PN, inter-divided image encoding is performed using the encoded block as a reference image.
  • H. is the international standard for video coding.
  • decoding processing in video encoding such as H.264
  • the proportion of the processing amount of the deblocking filter for reducing block distortion is large.
  • block distortion occurs. It becomes possible to suppress.
  • the calculation amount of the deblocking filter can be reduced.
  • the present invention aims to improve the coding efficiency by improving the coding between the divided images and eliminating the coding of the reference image index in the coding between the divided images.
  • the most characteristic feature of the present invention is that intra-prediction coding (in the same manner as decoding) processing is performed using divided images in which pixels (or pixel groups) are rearranged, and intra-divided image coding and inter-divided image coding.
  • image encoding method performed by encoding when selecting a reference image to be referred to in inter-partition image encoding, an encoded image to which a pixel in a direction highly correlated with a pixel on the original image of the encoding target divided image belongs A divided image is obtained and used as a reference image.
  • a reference indicating which encoded divided image is selected as the reference image by using a common selection logic in the encoder (image encoding device) and the decoder (image decoding device).
  • the encoding of the image index is unnecessary.
  • the present invention performs the following processing when compressing and encoding an input image.
  • the input image is divided into blocks of n ⁇ m pixels, and each divided block is divided into sub-blocks of n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m).
  • Sub-blocks having the same relative position in the block are collected, and divided images of the same size are generated.
  • At least one of the divided images is intra-coded in the divided image.
  • the intra-divided image encoding is encoding based on intra-screen prediction in which the divided image is used as a screen unit.
  • a code with a short distance on the original image is used for a pixel at the same position in the encoded divided image and the encoded divided image.
  • the segmented image is selected as a reference image used for inter-frame image predictive coding for the coding target divided image.
  • an encoded divided image to which a pixel in a direction having a high correlation with a pixel of the encoding target divided image belongs is obtained and selected as a reference image. That is, an encoded divided image having a high correlation is used as a reference image. Whether the correlation is high is determined from, for example, the prediction error of the encoded divided image.
  • a prediction image for the encoding target divided image is generated using the selected reference image, and inter-divided image prediction encoding is performed.
  • inter-divided image predictive coding for example, an image obtained by applying a predetermined filter determined by the relative position of the corresponding pixel on the original image of the encoding target divided image and the reference image to the reference image is used as the predicted image.
  • Inter prediction encoding is performed.
  • the inter-partitioned image predictive coding here is coding by inter-screen prediction performed with each divided image as a screen unit.
  • Information source coding is performed on the coding results obtained by the above intra-partitioned image coding and inter-partitioned image predictive coding, and an encoded bit stream is output.
  • the selection of the reference image in the above process (3) can be performed for each of the regions divided into n 2 ⁇ m 2 pixel regions (corresponding to H.264 macroblocks, etc.). This region is referred to herein as a divided image block.
  • a divided image block By selecting a reference image having a high correlation for each divided image block to be encoded, it is possible to perform inter-divided image predictive coding by switching an optimal reference image in one encoding target divided image. it can.
  • a sum of prediction errors between a decoded image of an encoded divided image that is a reference image candidate and a predicted image created from the reference image of the encoded divided image is used as a reference image candidate. It calculates about each of. Then, a combination of a coded divided image and a reference image with a small sum of prediction errors is obtained, and a direction connecting pixels on the original image of corresponding pixels in those images is set as a direction with high correlation.
  • the reference image used for encoding the encoding target divided image is an encoded reference image to which pixels in a direction having a high correlation belong to the encoding target divided image.
  • the prediction error that already exists as encoded data in the inter-divided image encoding is calculated.
  • the sum is calculated, the correlation is determined from the sum of the prediction errors, and the reference image is selected, thereby suppressing an increase in the amount of decoding calculation.
  • the difference (error) between the decoded image of the inter-divided image encoded image and the predicted image created from the reference image is calculated in order to calculate a direction with high correlation.
  • the amount of calculation greatly increases.
  • the sum of the prediction errors is calculated using the prediction errors generated in advance as encoded data, and the correlation is determined, so that the effect is almost the same as that of the first method. It is possible to greatly suppress an increase in the amount of encoding / decoding operations while maintaining the above.
  • the present invention performs the following processing in decoding the encoded data of the image encoded by the above method.
  • the input image is divided into blocks of n ⁇ m pixels, and each of the divided blocks is n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m ), And sub-blocks having the same relative position in the block are collected, and divided images having the same size are generated and encoded, and encoded data is input and information source decoding is performed.
  • At least one of the divided images is decoded within the divided image from the decoded data.
  • a decoded divided image having a short distance on the original image with respect to a pixel at the same position in the decoding target divided image and the decoded divided image selects as a reference image used for the inter-partition image predictive decoding with respect to a decoding target divided image.
  • a decoded divided image to which a pixel in a direction having a high correlation with the pixel of the decoding target divided image belongs is obtained and selected as a reference image. That is, a decoded partial image having a high correlation is used as a reference image for the decoding target divided image.
  • Whether the correlation is high is determined from, for example, the prediction error of the decoded divided image.
  • a predicted image for the decoding target divided image is generated using the selected reference image, and inter-divided image predictive decoding is performed.
  • each pixel in each divided image is arranged at the original position in the original image to constitute a decoded image.
  • the selection of the reference image in the process (3) can be performed for each divided image block by dividing the decoding target divided image into divided image blocks of n 2 ⁇ m 2 pixels.
  • the same method as the first or second method at the time of encoding described above is used.
  • the operation of the present invention is as follows.
  • the conventional inter-coded image encoding method it is necessary to generate and encode a reference image index indicating which encoded divided image is used as a reference image.
  • a reference image index indicating which encoded divided image is used as a reference image.
  • a divided image having a high correlation is used as a reference image, thereby reducing the overhead of the reference image index. Thereby, encoding efficiency improves.
  • a plurality of reference images can be selected, and in order to select a reference image with high coding efficiency from among the reference images, for example, a predicted image that can be created from each reference image and an encoded image It was necessary to measure the square error with the divided image, select one with a small square error, and encode the reference image index.
  • the code amount of the reference image index is generated for each divided image block, and the code amount is increased.
  • the inter-divided image encoded image used as the reference image and the reference of the encoded image are used.
  • the correlation with the image is estimated using the error from the predicted image.
  • the direction in which the error decreases is estimated as the direction with the highest correlation, and that direction is used as the reference direction in the encoding target divided image. Since the strength of correlation depending on the direction is considered to be constant between neighboring pixels of the original image, predictive error encoding is performed by encoding the image in the reference direction as viewed from the encoding target divided image as a reference image. It is possible to suppress a decrease in the coding efficiency without sending such information that clearly indicates a reference image to the decoder side.
  • both the encoder / decoder can select the same reference image by the same process using only the information of the encoded / decoded image, information that clearly indicates the reference image such as the reference image index is displayed. There is no need for encoding, and the amount of code for that purpose can be reduced.
  • an intra prediction encoding using a method of generating a divided image obtained by extracting a pixel or a group of pixels from an encoding target image, and encoding the divided image within the divided image and inter-divided image.
  • FIG. 25 is a diagram illustrating a hardware configuration example when an image decoding device is realized using a software program.
  • FIG. 1 is a diagram illustrating a configuration example of an image encoding device.
  • the image encoding device 10 includes a divided image generating unit 11, an intra-divided image encoding processing unit 12, an inter-divided image encoding processing unit 13, a correlation direction calculating unit 15, a reference image selecting unit 16, and an information source encoding unit 14. Prepare.
  • the divided image generation unit 11 divides the input image into blocks of n ⁇ m pixels, and each of the divided blocks is a sub-unit of n 1 ⁇ m 1 pixels (where 1 ⁇ n 1 ⁇ n, 1 ⁇ m 1 ⁇ m). Dividing into blocks, sub-blocks having the same relative position in the block are collected, and divided images of the same size are generated.
  • FIG. 2A to 2D are diagrams illustrating an example of generation of divided images by the divided image generation unit 11.
  • the divided image P0 is a collection of sub-blocks B00, B10,..., BJ0
  • the divided image P1 is a collection of sub-blocks B01, B11,..., BJ1
  • the divided image PK is a sub-block B0K, B1K. , ..., a collection of BJK.
  • the intra-partition image encoding processing unit 12 performs intra-partition image encoding on some of the sub-images (including only the first sub-image) including the first sub-image generated by the sub-image generation unit 11.
  • the intra-partitioned image encoding here is an encoding method that uses only pixel information of the divided image that is the current encoding target, and does not refer to other divided images. Any encoding method may be used as long as it exists. For example, H.C. A method such as intra prediction encoding in the H.264 encoding scheme can be used.
  • the inter-divided image encoding processing unit 13 performs inter-divided image encoding on the divided images that have not yet been encoded among the divided images generated by the divided image generating unit 11.
  • a predetermined filter determined by the relative position of the corresponding pixel on the original image of the divided image that is the current coding target and the reference image is used with the coded divided image as a reference image.
  • a prediction image is generated by applying to the reference image.
  • the error between the predicted image and the encoding target divided image is encoded, and the encoded information is sent to the information source encoding unit 14.
  • the information source encoding unit 14 entropy-encodes the encoding information that is output from the intra-divided image encoding processing unit 12 and the inter-divided image encoding processing unit 13, and outputs encoded data.
  • the present embodiment is different from the inter-partitioned image predictive coding of the prior art as shown in Non-Patent Document 3 in particular, when there are a plurality of reference image candidates, the image to be coded on the original image.
  • a correlation direction calculation unit 15 that examines a correlation between a pixel in the encoded image and a pixel in the encoded image, and a reference image selection unit 16 that selects, as a reference image, an encoded divided image to which a pixel in a high correlation direction belongs. It is.
  • the correlation direction calculation unit 15 obtains a divided image having the smallest sum of absolute values or squares of prediction errors among the encoded divided images that are candidates for the reference image, and the encoded divided image and its reference from the result.
  • the direction of the corresponding pixel in the original image with the image is assumed to be a direction with high correlation, and the correlation direction is notified to the reference image selection unit 16.
  • the reference image selection unit 16 selects an encoded divided image in the correlation direction calculated by the correlation direction calculation unit 15 for the divided image to be encoded as a reference image, and the reference image is subjected to inter-divided image encoding processing. Notification to the unit 13.
  • FIG. 3 is a diagram illustrating a generation example of a predicted image in the inter-divided image encoding processing unit 13.
  • the divided image Pi is an encoded divided image serving as a reference image and the divided image Pk is an encoding target divided image to be subjected to inter-divided image prediction encoding
  • a sub-block belonging to the divided image Pi is represented as Bi
  • a sub-block belonging to the divided image Pk is represented as Bk.
  • the pixel value of the sub-block Bk ′ is calculated by applying an interpolation filter to the pixel values of the two extracted sub-blocks Bi.
  • the filter coefficient of the interpolation filter a coefficient determined in advance by the relative position between the sub-block Bi and the sub-block Bk on the original image is used.
  • Various interpolation methods using an interpolation filter are conventionally known, and the prediction image may be generated using any interpolation method.
  • a collection of sub-blocks Bk ′ generated by interpolation in this way is used as a prediction image used for inter-picture prediction encoding of the division picture Pk.
  • FIG. 4 is a flowchart of the image encoding process. The flow of the image encoding process will be described with reference to FIG.
  • the divided image generation unit 11 divides the input image into blocks of the same size, collects sub-blocks (pixels or pixel groups) having the same relative position in each block, and generates divided images P0 to PN ( Step S101).
  • the intra-divided image encoding processing unit 12 performs intra-divided image encoding on some of the divided images P0 to PM (where M ⁇ N) among the divided images P0 to PN (step S102).
  • the divided images that are the targets of the intra-divided image encoding are separated from each other by a predetermined interval on the original image of the sub-blocks that form the divided images. Only the first divided image P0 may be a target of intra-divided image encoding.
  • the inter-divided image encoding processing unit 13 performs inter-divided image encoding on the divided images P (M + 1) to PL (where M ⁇ L ⁇ N) using the encoded divided image as a reference image ( Step S103).
  • These divided images P (M + 1) to PL are, for example, an uncoded divided image on the right side of a divided image that has been encoded within a divided image, or an uncoded divided image immediately below a divided image that has been encoded within a divided image. This is a divided image when there is a single reference image candidate.
  • the number of the divided image to be subjected to the inter-divided image coding can be determined in advance.
  • the inter-divided image encoding processing unit 13 selects the correlation selected by the correlation direction calculating unit 15 and the reference image selecting unit 16 for the divided images to be encoded for the remaining divided images P (L + 1) to PN.
  • the inter-divided image encoding is performed using the encoded divided image to which the pixel in the higher direction belongs as a reference image (step S104).
  • FIG. 5 shows a first example of a detailed process flowchart of step S104 shown in FIG.
  • step S201 the process from step S202 to step S208 is repeated for each divided image Pi (i is from (L + 1) to N).
  • each divided image Pi is divided into divided image blocks of encoding units, and the processing from step S203 to step S207 is repeated for each divided image block.
  • This divided image block has an H.264 format such as 16 ⁇ 16 pixels. This corresponds to a macroblock or the like in H.264 encoding, but the size of the divided image block may be arbitrarily determined.
  • step S203 a predicted image B is created from the decoded image A of the inter-divided image-encoded divided image and its reference image for the divided image block to be encoded, and a prediction that is a difference between the decoded image A and the predicted image B is calculated.
  • the error is calculated, and the absolute value sum or square sum of the prediction errors (hereinafter, the absolute value sum or the square sum is simply referred to as “sum”) is obtained.
  • step S204 a combination of the encoded divided image (referred to as PA) and the reference image (referred to as PB) in which the sum of the prediction errors of the decoded image A and the predicted image B obtained in step S203 is reduced is obtained.
  • PA encoded divided image
  • PB reference image
  • step S205 for the combination of the encoded divided image PA and the reference image PB obtained in step S204, a point A (X (PA), Y (PA)), a point B (X (PB), The direction connecting the two points of Y (PB)) is the direction with high correlation.
  • step S206 for the divided image block to be encoded, an encoded divided image to which a pixel having a high correlation direction belongs is selected as a reference image, a predicted image is generated from the reference image, and inter-divided image encoding is performed. Do.
  • step S207 it is determined whether or not all the divided image blocks in the divided image Pi have been processed. If there is an unprocessed divided image block, the processing from step S202 onward is repeated for the divided image block.
  • step S208 it is determined whether all of the divided images P (L + 1) to PN have been encoded, and the processes in and after step S201 are repeated until all of the divided images P (L + 1) to PN are encoded.
  • FIG. 6 shows a detailed configuration example of the image encoding device 10 shown in FIG.
  • An image encoding device 10 shown in FIG. 6 is a configuration example of a device that executes the processing of the first example described in FIG.
  • the divided image generation unit 11, the information source encoding unit 14, and the reference image selection unit 16 correspond to the same reference numerals shown in FIG.
  • the divided image encoding unit 101 performs divided image encoding on the divided images P0 to PM.
  • the divided image decoding unit 102 decodes the divided image encoded by the divided image encoding unit 101, and stores the decoded image in the decoded image memory 103.
  • the decoded image memory 103 also stores a decoded image of a divided image that has been inter-coded between the divided images.
  • the predicted image generation unit 104 performs divided image block (hereinafter referred to as a divided image block) of the divided image in order to perform the inter-divided image predictive encoding of the divided images that have not been encoded among the divided images generated by the divided image generating unit 11. Then, each time a divided image block is simply referred to as a divided image), a predicted image is generated using the encoded divided image in the decoded image memory 103 as a reference image. In the generation of the predicted image, the predicted image is generated by applying a predetermined filter determined by the relative position of the corresponding pixel on the original image of the divided image that is the current encoding target and the reference image to the reference image. To do.
  • the difference calculation unit 105 subtracts each pixel value of the predicted image generated by the predicted image generation unit 104 from each pixel value of the divided image block that is the current encoding target, and calculates a prediction error.
  • the prediction error encoding unit 106 performs orthogonal transformation or quantization processing on the calculated prediction error, and encodes the prediction error.
  • the information source encoding unit 14 entropy-encodes the encoded information of the intra-divided image encoding unit 101 and the prediction error encoding unit 106 encoded by inter-divided image predictive encoding, and outputs encoded data.
  • the prediction error decoding unit 107 decodes the prediction error encoded by the prediction error encoding unit 106.
  • the image decoding unit 108 adds the prediction error decoded by the prediction error decoding unit 107 and the prediction image generated by the prediction image generation unit 104 by the adder 109, and decodes the divided inter-coded image.
  • the image decoding unit 108 may add a post-processing filter such as a deblocking filter after adding the predicted image and the prediction error.
  • the decoded image of the decoded divided image is stored in the decoded image memory 103.
  • the subtractor 110 calculates the difference between the decoded image of the encoded divided image and the predicted image
  • the prediction error calculation unit 111 calculates the sum of the prediction errors for each encoded divided image that is a candidate for the reference image.
  • the prediction error comparison unit 112 obtains a divided image with the smallest sum of prediction errors calculated by the prediction error calculation unit 111, and based on the result, an original image of the encoded divided image with the smallest sum of prediction errors and its reference image.
  • the direction of the corresponding pixel in is a direction with high correlation, and the correlation direction is notified to the reference image selection unit 16.
  • the reference image selection unit 16 selects a coded divided image in the correlation direction calculated by the prediction error comparison unit 112 for the divided image to be coded as a reference image from the decoded image memory 103, and The reference image is notified to the predicted image generation unit 104.
  • FIG. 7 shows a second example of a detailed process flowchart of step S104 shown in FIG.
  • step S303 is different from the first example, and the other steps S301, S302, S304 to S308 are the same as steps 201, S202, and S204 to S208 of the first example described in FIG. It is.
  • step S303 the sum of prediction errors between the decoded image A of the inter-divided image-encoded divided image and the predicted image B is obtained for the divided image block to be encoded. That is, in step S303, a prediction image is generated again for each divided image block and a decoded image A is generated, and the sum of prediction errors is not calculated, but the prediction error already generated as encoded data is used as it is. The sum of the prediction errors is calculated to determine the correlation. This suppresses an increase in the amount of decoding calculation.
  • FIG. 8 shows a detailed second configuration example of the image encoding device 10 shown in FIG.
  • An image encoding device 10 shown in FIG. 8 is a configuration example of a device that executes the processing of the second example described in FIG.
  • the same reference numerals as those of the image encoding device 10 of the first example of FIG. 6 described above have the same functions as those shown in FIG.
  • the prediction error decoding unit 120 decodes the prediction error by performing inverse quantization processing or inverse orthogonal transform on the prediction error encoded by the prediction error encoding unit 106.
  • the prediction error calculation unit 121 calculates the sum of the prediction errors decoded by the prediction error decoding unit 120 for each divided image.
  • the prediction error comparison unit 122 obtains a divided image with the smallest sum of prediction errors calculated by the prediction error calculation unit 121, and based on the result, an original image of the encoded divided image with the smallest prediction error and its reference image.
  • the direction of the corresponding pixel in is a direction with high correlation, and the correlation direction is notified to the reference image selection unit 16.
  • the reference image selection unit 16 notifies the image decoding unit 123 that the encoded divided image in the notified correlation direction is set as the reference image based on the result of the prediction error comparison unit 122 for the divided image to be encoded. To do.
  • the image decoding unit 123 generates a decoded image of the notified encoded divided image from the predicted image and the prediction error, and stores it in the decoded image memory 103.
  • the predicted image generation unit 104 uses the decoded image stored in the decoded image memory 103 as a reference image, and generates a predicted image for encoding the divided image block to be encoded.
  • FIG. 9 shows an example of division of the encoding target image.
  • the divided image generation unit 11 divides one frame of an input image to be encoded into 2 ⁇ 2 pixel blocks M0, M1,..., MJ as shown in FIG. And Further, the divided image generation unit 11 divides each block M0, M1,..., MJ into sub-blocks B0, B1, B2, and B3 pixel by pixel. From the M0, M1,..., MJ thus divided, a collection of pixels in the upper left sub-block B0 is a divided image P0, and a collection of pixels in the upper right sub-block B1 is a divided image P1. A collection of pixels in the lower left sub-block B2 is a divided image P2, and a collection of pixels in the lower right sub-block B3 is a divided image P3.
  • intra-division image coding and inter-division image coding are performed on the divided images divided as shown in FIG. 9 as follows.
  • Process 1-1 Intra-divided image encoding is performed on the divided image P0.
  • Process 1-2 For the divided image P1, a prediction image is generated by applying an interpolation filter to the decoded image of the divided image P0 as a reference image, and inter-divided image encoding is performed.
  • a decoded image P1 ′ of the encoded divided image P1 is generated and stored. This is shown in FIG. 10A.
  • Process 1-3 For the divided image P2, a prediction image is generated by applying an interpolation filter to the decoded image of the divided image P0 as a reference image, and inter-divided image encoding is performed. A decoded image P2 ′ of the encoded divided image P2 is generated and stored. This is shown in FIG. 10B.
  • Process 1-4 For the divided images P1 and P2, the sum S1 and S2 of prediction errors (for example, sum of absolute values or sum of square errors of prediction errors) between the respective predicted images and decoded images P1 ′ and P2 ′ are calculated. ,Compare. ⁇ Process 1-5: When S1 ⁇ S2, As illustrated in FIG.
  • the decoded image of the divided image P2 is used as a reference image for inter-divided image encoding of the divided image P3. That is, the interpolated image of the divided image P3 is encoded by applying an interpolation filter to the decoded image of the divided image P2 to generate a predicted image of the divided image P3 and encoding the prediction error of the predicted image and the divided image P3. I do. This is because since S1 ⁇ S2, the correlation between the pixels in the horizontal direction on the original image is considered to be higher than the correlation between the pixels in the vertical direction.
  • ⁇ Process 1-6 When S1> S2, As shown in FIG.
  • the decoded image of the divided image P1 is used as a reference image for inter-divided image encoding of the divided image P3. That is, the interpolated image of the divided image P3 is encoded by applying an interpolation filter to the decoded image of the divided image P1 to generate a predicted image of the divided image P3 and encoding the prediction error of the predicted image and the divided image P3. I do. This is because since S1> S2, the correlation between the pixels in the vertical direction on the original image is considered to be higher than the correlation between the pixels in the horizontal direction.
  • intra-division image coding and inter-division image coding are performed on the divided images divided as shown in FIG. 9 as follows.
  • Process 2-1 Intra-divided image encoding is performed on the divided image P0.
  • Process 2-2 With respect to the divided image P1, a predicted image is generated by applying an interpolation filter to the decoded image of the divided image P0 as a reference image, and inter-divided image encoding is performed. The sum S1 of prediction errors at that time is stored.
  • Process 2-3 For the divided image P2, a prediction image is generated by applying an interpolation filter to the decoded image of the divided image P0 as a reference image, and inter-divided image encoding is performed. The sum S2 of prediction errors at that time is stored.
  • Process 2-4 The sums S1 and S2 of the respective prediction errors are compared for the divided images P1 and P2.
  • Process 2-5 When S1 ⁇ S2, The decoded image of the divided image P2 is used as a reference image for inter-divided image encoding of the divided image P3.
  • the interpolated image of the divided image P3 is encoded by applying an interpolation filter to the decoded image of the divided image P2 to generate a predicted image of the divided image P3 and encoding the prediction error of the predicted image and the divided image P3.
  • Process 2-6 When S1> S2 The decoded image of the divided image P1 is used as a reference image for the inter-divided image encoding of the divided image P3. That is, the interpolated image of the divided image P3 is encoded by applying an interpolation filter to the decoded image of the divided image P1 to generate a predicted image of the divided image P3 and encoding the prediction error of the predicted image and the divided image P3. I do.
  • FIG. 11 is a diagram illustrating a configuration example of an image decoding device.
  • the image decoding device 20 includes an information source decoding unit 21, a divided image decoding processing unit 22, a divided image decoding processing unit 23, a decoded image synthesis unit 24, a correlation direction calculation unit 25, and a reference image selection unit 26.
  • the image decoding device 20 receives the encoded data of the image compressed and encoded by the image encoding device 10 shown in FIG.
  • the information source decoding unit 21 entropy decodes the input encoded data.
  • the intra-partitioned image decoding processing unit 22 decodes the encoded data of the predetermined sub-image that has been encoded in at least one or more sub-images by intra-partition image prediction.
  • the inter-divided image decoding processing unit 23 decodes the divided image to be decoded by the inter-divided image prediction using the decoded divided image as a reference image.
  • the divided images decoded by the divided image decoding processing unit 22 and the divided image decoding processing unit 23 are input to the decoded image synthesis unit 24.
  • the decoded image synthesis unit 24 generates a decoded image by arranging each sub-block of the decoded divided image at the original position on the original image.
  • the inter-divided image decoding processing unit 23 When there is only one reference image candidate, for example, when there is one decoded divided image to which the pixel closest to the pixel position on the original image of the decoding target divided image belongs, the inter-divided image decoding processing unit 23. Performs decoding between divided images using the decoded divided image as a reference image.
  • the correlation direction calculation unit 25 When there are a plurality of reference image candidates, for example, when there are a plurality of decoded divided images to which a pixel closest to the pixel position on the original image of the decoding target divided image exists, the correlation direction calculation unit 25 Among the decoded divided images that are candidates for the reference image, the divided image having the smallest absolute value sum or square sum of the prediction errors is obtained, and the corresponding pixel in the original image of the decoded divided image and the reference image is obtained from the result. Is a direction with high correlation, and the correlation direction is notified to the reference image selection unit 26. The process performed by the correlation direction calculation unit 25 is exactly the same as the process performed by the correlation direction calculation unit 15 in the image encoding device 10.
  • the reference image selection unit 26 selects a decoded divided image in the correlation direction calculated by the correlation direction calculation unit 25 with respect to the divided image to be decoded as a reference image, and sends the reference image to the inter-divided image decoding processing unit 23. Notice.
  • FIG. 12 is a flowchart of the image decoding process. The flow of the image decoding process will be described with reference to FIG.
  • the information source decoding unit 21 performs entropy decoding on the input encoded data to be decoded (step S401).
  • the divided image decoding processing unit 22 performs some divided images P0 to PM (however, M ⁇ N) among the predetermined divided images P0 to PN based on the input encoded data. , H .; Using the conventional intra prediction decoding method performed in H.264 or the like, the divided image is decoded (step S402).
  • the inter-divided image decoding processing unit 23 performs inter-divided image decoding on the predetermined divided images P (M + 1) to PL using the predetermined divided image as a reference image (step S403). ).
  • the inter-divided image decoding processing unit 23 has a direction in which the spatial correlation selected by the reference image selecting unit 26 based on the prediction error of the decoded divided image is high for the undecoded divided images P (L + 1) to PN.
  • the inter-divided image decoding is performed using the decoded divided image in (2) as a reference image (step S404).
  • the decoded image synthesizing unit 24 synthesizes the pixels (sub-blocks) of the divided images decoded by the intra-divided image decoding processing unit 22 and the inter-divided image decoding processing unit 23, and outputs the synthesized image (step S405). ).
  • FIG. 13 shows a detailed first configuration example of the image decoding device 20 shown in FIG.
  • the information source decoding unit 21, the decoded image synthesis unit 24, and the reference image selection unit 26 correspond to the same reference numerals shown in FIG.
  • the divided image decoding unit 201 decodes these divided images P0 to PM from the decoded information of the divided images P0 to PM decoded by the information source decoding unit 21, and stores the decoded images in the decoded image memory 202. Store.
  • the decoded image memory 202 also stores decoded images of divided images that have been decoded between divided images later.
  • the predicted image generation unit 203 performs decoded image memory 202 for each divided image block of the divided image (hereinafter also simply referred to as a divided image).
  • a predicted image is generated using the decoded divided image as a reference image.
  • the predicted image is generated by applying a predetermined filter determined by the relative position of the corresponding pixel on the original image of the divided image that is the current decoding target and the reference image to the reference image. .
  • the prediction error decoding unit 204 decodes a prediction error of a divided image that is a target of decoding between divided images.
  • the image decoding unit 205 adds the prediction image generated by the prediction image generation unit 203 and the prediction error decoded by the prediction error decoding unit 204 by the adder 206 to generate a decoded image.
  • the image decoding unit 205 may apply a post-processing filter such as a deblocking filter after adding the predicted image and the prediction error. This decoded image is sent to the decoded image synthesis unit 24 and stored in the decoded image memory 202.
  • the subtracter 207 subtracts each pixel value of the predicted image generated by the predicted image generation unit 203 from each pixel value of the divided image block decoded by the image decoding unit 205, and sends the subtraction result to the prediction error calculation unit 208.
  • the prediction error calculation unit 208 calculates the sum of prediction errors for each decoded divided image that is a reference image candidate.
  • the prediction error comparison unit 209 obtains a divided image with the smallest sum of prediction errors calculated by the prediction error calculation unit 208, and based on the result, in the original image of the decoded divided image with the smallest prediction error sum and its reference image.
  • the direction of the corresponding pixel is assumed to be a direction with high correlation, and the correlation direction is notified to the reference image selection unit 26.
  • the reference image selection unit 26 selects a decoded divided image in the correlation direction calculated by the prediction error comparison unit 209 for the divided image to be decoded as a reference image from the decoded image memory 202, and the reference image To the predicted image generation unit 203.
  • FIG. 14 shows a detailed second configuration example of the image decoding device 20 shown in FIG.
  • the same reference numerals as those in the first example of FIG. 13 described above have the same functions as those shown in FIG.
  • the prediction error calculation unit 221 calculates the sum of the prediction errors decoded by the prediction error decoding unit 204 for each decoded divided image (block) that is a reference image candidate.
  • the prediction error comparison unit 222 obtains a divided image with the smallest sum of prediction errors calculated by the prediction error calculation unit 221, and based on the result, in the original image of the decoded divided image with the smallest prediction error sum and its reference image.
  • the direction of the corresponding pixel is assumed to be a direction with high correlation, and the correlation direction is notified to the reference image selection unit 26.
  • the reference image selection unit 26 selects a decoded divided image in the correlation direction calculated by the prediction error comparison unit 222 for the divided image to be decoded as a reference image from the decoded image memory 202, and the reference image To the predicted image generation unit 203.
  • Process 1-1 Intra-divided image decoding is performed on the divided image P0.
  • Process 1-2 For the divided image P1, a decoded image of the divided image P0 is used as a reference image, and a prediction image is generated by applying an interpolation filter thereto, and inter-divided image decoding is performed. A decoded image P1 ′ of the decoded divided image P1 is stored.
  • Process 1-3 With respect to the divided image P2, a predicted image is generated by applying an interpolation filter to the decoded image of the divided image P0 as a reference image, and decoding between the divided images is performed. A decoded image P2 ′ of the decoded divided image P2 is stored.
  • Process 1-4 For the divided images P1 and P2, the sum S1 and S2 of prediction errors (for example, sum of absolute values or sum of square errors of prediction errors) between the respective predicted images and decoded images P1 ′ and P2 ′ are calculated. ,Compare. ⁇ Process 1-5: When S1 ⁇ S2, The decoded image of the divided image P2 is used as a reference image for the inter-divided image decoding of the divided image P3.
  • an interpolated filter is applied to the decoded image of the divided image P1 to generate a predicted image of the divided image P3, and the predicted image and the prediction error of the divided image P3 are added to perform decoding between the divided images P3. Do. This is because since S1> S2, the correlation between the pixels in the vertical direction on the original image is considered to be higher than the correlation between the pixels in the horizontal direction.
  • Process 2-1 Intra-divided image decoding is performed on the divided image P0.
  • Process 2-2 For the divided image P1, a decoded image of the divided image P0 is used as a reference image, and a prediction image is generated by applying an interpolation filter thereto, and inter-divided image decoding is performed. The sum S1 of prediction errors at that time is stored.
  • Process 2-3 For the divided image P2, a decoded image of the divided image P0 is used as a reference image, and a prediction image is generated by applying an interpolation filter thereto, and inter-divided image decoding is performed. The sum S2 of prediction errors at that time is stored.
  • Process 2-4 The sums S1 and S2 of the respective prediction errors are compared for the divided images P1 and P2.
  • Process 2-5 When S1 ⁇ S2, The decoded image of the divided image P2 is used as a reference image for the inter-divided image decoding of the divided image P3.
  • an interpolated filter is applied to the decoded image of the divided image P2 to generate a predicted image of the divided image P3, and the prediction image and the prediction error of the divided image P3 are added to perform decoding between the divided images P3.
  • Process 2-6 When S1> S2 The decoded image of the divided image P1 is used as a reference image for inter-divided image decoding of the divided image P3. That is, an interpolated filter is applied to the decoded image of the divided image P1 to generate a predicted image of the divided image P3, and the predicted image and the prediction error of the divided image P3 are added to perform decoding between the divided images P3.
  • one or a plurality of divided images to be subjected to the intra-divided image encoding may be used for one screen.
  • the encoding process in the inter-coding may be performed for each divided image block obtained by dividing the divided image into small regions.
  • the reference image may be switched by comparing the sum of prediction errors in units of divided image blocks.
  • FIG. 15 shows an example of a video encoding apparatus to which the present invention can be applied.
  • the present invention can be applied particularly to encoding processing related to the intra-screen prediction unit 301.
  • H.C For other parts, see H.C. It is the same as that of the structure of the conventional general moving image encoder used as H.264 other encoders.
  • the video encoding apparatus 300 receives a video signal to be encoded, divides a frame of the input video signal into blocks, encodes each block, and outputs the bit stream as an encoded stream.
  • the prediction residual signal generation unit 303 obtains a difference between the input video signal and the prediction signal that is the output of the intra-screen prediction unit 301 or the inter-screen prediction unit 302, and outputs it as a prediction residual signal.
  • the transform processing unit 304 performs orthogonal transform such as discrete cosine transform (DCT) on the prediction residual signal and outputs a transform coefficient.
  • the quantization processing unit 305 quantizes the transform coefficient and outputs the quantized transform coefficient.
  • the information source encoding unit 311 entropy encodes the quantized transform coefficient and outputs it as an encoded stream.
  • the quantized transform coefficient is also input to the inverse quantization processing unit 306, where it is inversely quantized.
  • the inverse transform processing unit 307 performs inverse orthogonal transform on the transform coefficient output from the inverse quantization processing unit 306, and outputs a prediction residual decoded signal.
  • the decoded signal generation unit 308 adds the prediction residual decoded signal and the prediction signal output from the intra-screen prediction unit 301 or the inter-screen prediction unit 302, and generates a decoded signal of the encoded target block.
  • This decoded signal is stored in the frame memory 309 for use as a reference image in the intra prediction unit 301 or the inter prediction unit 302.
  • the in-loop filter processing unit 310 inputs an image stored in the frame memory 309, performs a filtering process to reduce coding distortion, and performs this filtering process.
  • the later image is used as a reference image.
  • the encoding process of the intra-divided image encoding and the inter-divided image encoding described in the embodiment of the present invention is performed.
  • Information such as a prediction mode and a motion vector set by the intra-screen prediction unit 301 or the inter-screen prediction unit 302 is entropy-encoded by the information source encoding unit 311 and output as an encoded stream.
  • FIG. 16 shows an example of a moving picture decoding apparatus to which the present invention can be applied.
  • the present invention can be applied particularly to decoding processing related to the intra-screen prediction unit 402.
  • H.C For other parts, see H.C. It is the same as that of the structure of the conventional general moving image decoding apparatus used as a H.264 other decoder.
  • the moving picture decoding apparatus 400 outputs a video signal of a decoded picture by inputting and decoding the encoded stream encoded by the moving picture encoding apparatus 300 described with reference to FIG.
  • the information source decoding unit 401 receives an encoded stream, entropy-decodes the quantized transform coefficient of the decoding target block, and decodes information related to intra prediction and information related to inter prediction.
  • the intra-screen prediction unit 402 the decoding processing of the intra-divided image decoding and the inter-divided image decoding described in the embodiment of the present invention is performed.
  • the inverse quantization processing unit 404 receives a quantized transform coefficient, dequantizes it, and outputs a decoded transform coefficient.
  • the inverse transform processing unit 405 performs inverse orthogonal transform on the decoded transform coefficient and outputs a prediction residual decoded signal.
  • the decoded signal generation unit 406 adds the prediction residual decoded signal and the prediction signal output from the intra-screen prediction unit 402 or the inter-screen prediction unit 403, and generates a decoded signal of the decoding target block. This decoded signal is stored in the frame memory 407 for use as a reference image in the intra-screen prediction unit 402 or the inter-screen prediction unit 403.
  • the in-loop filter processing unit 408 inputs an image stored in the frame memory 407, performs a filtering process to reduce coding distortion, and performs this filtering.
  • the processed image is used as a reference image.
  • FIG. 17 shows a hardware configuration example when the image encoding device 10 of FIG. 1 is configured by a computer and a software program.
  • This system includes a CPU (Central Processing Unit) 50 that executes a program, a memory 51 such as a RAM (Random Access Memory) that stores programs and data accessed by the CPU 50, and an image signal to be encoded from a camera or the like.
  • An image signal input unit 52 (which may be a storage unit that stores an image signal from a disk device or the like), and an image encoding program 54 that is a software program that causes the CPU 50 to execute processing for encoding an input image by this method.
  • the stored program storage device 53 and an encoded data output unit 55 (disk) that outputs encoded data generated by the CPU 50 executing the image encoding program 54 loaded in the memory 51 via, for example, a network.
  • an encoded data output unit 55 (disk) that outputs encoded data generated by the CPU 50 executing the image encoding program 54 loaded in the memory 51 via, for example, a network.
  • it may be a storage unit that stores encoded data).
  • FIG. 18 shows a hardware configuration example when the image decoding device 20 of FIG. 11 is configured by a computer and a software program.
  • This system inputs a CPU 60 that executes a program, a memory 61 such as a RAM that stores programs and data accessed by the CPU 60, and encoded data encoded by the image encoding apparatus 10 of FIG.
  • a program storing an encoded data storage unit 62 (which may be an input unit via a network or the like) and an image decoding program 64 that is a software program for causing the CPU 60 to execute a process of decoding encoded data by this method.
  • the present invention is applicable to, for example, intra prediction encoding / decoding. According to the present invention, encoding efficiency can be improved, and the amount of calculation associated with deblocking filter processing can be reduced.

Abstract

　従来の分割画像内符号化よりも，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する。分割画像生成部が，符号化対象の入力画像を同じサイズのブロックに分割し，各ブロック内の相対位置が同じ画素を集めてそれぞれ同じサイズの分割画像を生成する。一部の分割画像については，分割画像内符号化処理部が分割画像内符号化する。分割画像間符号化処理部は，他の符号化済み分割画像を参照画像として用いて分割画像間符号化を行う。参照画像の候補が複数ある場合に，相関方向算出部が，符号化済み分割画像とその参照画像の組み合わせのうち，原画像上での画素の相関の高いものを求め，参照画像選択部が，符号化対象分割画像に対して相関の高い方向にある符号化済み分割画像を，分割画像間符号化処理部で用いる参照画像として選択する。

Description

[規則37.2に基づきISAが決定した発明の名称]　画像符号化及び復号方法、装置、プログラム
　本発明は，画像符号化・復号技術に関し，特に従来の画面内予測符号化・復号に対し，符号化効率の低下を抑止しつつ復号演算量を低減させる符号化および復号を実現する画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラムに関するものである。
　本願は，２０１１年１２月１３日に日本へ出願された特願２０１１－２７１８４１号に基づき優先権を主張し，その内容をここに援用する。
　映像符号化国際標準であるＨ．２６４では，ブロック間の画素相関を利用して符号化での圧縮率を向上させるため，画面内予測符号化が行われている（非特許文献１参照）。この画面内予測は，いくつかの画素をまとめたブロック単位で行われ，輝度信号に対して，４×４，８×８，１６×１６の３種類のブロックサイズが利用可能になっている。また，各ブロックサイズでは，それぞれ複数の予測モードが選択可能になっている。
　このＨ．２６４では，画面内予測の際に外挿予測による方法を用いているが，それによる予測効率が悪いという問題がある。これを解決するため，全画面に対しデブロッキングフィルタによりブロック歪みを抑えることが行われており，演算量が多くなっている。
　また，画面内予測における符号化効率を向上させる手法として，非特許文献２に記載されている技術が知られている。この技術は，画面内予測において符号化対象ブロックに対し，符号化済み領域から誤差の小さいブロックを探索し，それに対する予測誤差を用いて符号化を行う手法である。
　図１９は，従来技術による画面内予測符号化処理の例を示すフローチャートである。非特許文献２の画面内予測符号化では，まず，符号化対象の画像を同じサイズのＮ個のブロック１～Ｎに分割する（ステップＳ８０１）。次に，最初のブロック１について画面内予測符号化を行う（ステップＳ８０２）。続いて，ブロック２以降のブロックの符号化では，符号化済みの領域から予測誤差の小さいブロックを参照画像として，画面間予測符号化を行い，その参照画像への動きベクトル情報と予測誤差を符号化する（ステップＳ８０３）。このステップＳ８０３の処理を最後のブロックＮまで繰り返す。
　この非特許文献２で提案されている技術は符号化効率向上のための手法であり，同じパターンが繰り返される領域では予測誤差の発生を抑えることができるため，量子化誤差も小さくなりやすい。そのため，デブロッキングフィルタの処理量を減らすことができると考えられる。
　しかし，上記の方法では，同じパターンが繰り返されるような画像では有効かもしれないが，ほとんど同じパターンが現れないような画像には有効ではなく，その場合には予測誤差をあまり削減できず，量子化誤差も小さくならないと考えられる。この場合，デブロッキングフィルタの処理量も削減できないため，復号演算量の削減には有効ではないと考えられる。さらに，各ブロックに対する参照ブロックの相対位置を表すオフセットベクトル情報を復号側に対して送る必要があるため，復号側でも参照ブロック情報の復号のための演算が発生することとなり，その結果，演算量が多いままになっているという問題がある。
　この非特許文献２の技術における課題を解決するため，本発明者等は，非特許文献３にて，符号化効率の低下を抑制しつつ，符号化演算量および復号演算量を削減する技術を提案した。
　図２０は，非特許文献３で提案した技術を説明する図である。この提案技術では，原画像ＰＩＣ１の画面内符号化において，原画像ＰＩＣ１を同一位置の画素に強い相関がある４枚の分割画像ＰＩＣ１０～ＰＩＣ１３に分離する。なお，図中の０，１，２，３の数値を付したマスは，それぞれ画素を表している。すなわち，入力した符号化対象の原画像ＰＩＣ１を２×２画素のブロックに分割し，各ブロック内の相対位置が同じ画素を集めて，分割画像ＰＩＣ１０～ＰＩＣ１３を設定する。このうちの１枚の分割画像ＰＩＣ１０を画面内符号化し，残りの３枚の分割画像ＰＩＣ１１，ＰＩＣ１２，ＰＩＣ１３については，それぞれ符号化済み画像から分離方法に応じて参照画像を生成して予測符号化を行う。
　画面内符号化を行う１枚目の分割画像ＰＩＣ１０には，強いデブロッキングフィルタがかかるが，２～４枚目の分割画像ＰＩＣ１１，ＰＩＣ１２，ＰＩＣ１３では，予測効率のよい画面間符号化を用いることにより，デブロッキングフィルタの強度が下がる。このため，全体としてデブロッキング処理における演算量の削減が可能となり，符号化効率を維持しつつ復号演算量を削減することができる。
　この手法の処理手順は，以下のとおりである。
（１）原画像ＰＩＣ１を，図２０に示すように４つの分割画像ＰＩＣ１０～ＰＩＣ１３に分ける。
（２）１枚目の分割画像ＰＩＣ１０を画面内符号化で符号化する。
（３）半画素フィルタを用い，分割画像ＰＩＣ１０の符号化画像を右へ半画素ずらした画像を生成する。
（４）２枚目の分割画像ＰＩＣ１１を，（３）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。
（５）半画素フィルタを用い，分割画像ＰＩＣ１０の符号化画像を下へ半画素ずらした画像を生成する。
（６）３枚目の分割画像ＰＩＣ１２を，（５）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。
（７）半画素フィルタを用い，分割画像ＰＩＣ１２の符号化画像を右へ半画素ずらした画像を生成する。
（８）４枚目の分割画像ＰＩＣ１３を，（７）で生成した画像を参照画像とし，動きベクトルを０として画面間符号化する。
　この例では，入力した符号化対象の原画像ＰＩＣ１を２×２画素のブロックに分割し，各ブロック内の相対位置が同じ画素を集めて，４枚の分割画像ＰＩＣ１０～ＰＩＣ１３を設定して符号化した場合を説明した。しかし，もっと一般化して，原画像をｎ×ｍ画素のブロックに分割し，各ブロックにおける相対位置が同じ複数の画素群（ここではサブブロックと呼ぶ）を再配置して分割画像を設定してもよい。サブブロックは，ｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）である。
  従来手法では，以下のように符号化を実施する。まず，入力画像から等間隔で１または複数の画素（サブブロック）を抽出し，それらのサブブロックを集めることにより複数の分割画像を生成し，少なくとも一つの分割画像について，その分割画像だけを用いて符号化する分割画像内符号化を行う。他の分割画像の符号化については，符号化済み分割画像を用いて分割画像間予測符号化を行う。すなわち，符号化済み分割画像を参照画像として，それをもとに符号化対象分割画像に含まれる画素と符号化済み分割画像に含まれる画素との相対的な位置関係に従って，例えば小数画素精度の補間画像を生成するときに用いるようなフィルタを参照画像に適用することにより予測画像を生成し，その予測画像と符号化対象分割画像との誤差信号を符号化する。
　図２１は，従来手法の処理フローチャートである。
　まず，ステップＳ９００では，画像を同じサイズのブロックに分割し，分割画像Ｐ０～ＰＮを生成する。次にステップＳ９０１では，生成された分割画像Ｐ０～ＰＮのうち，いくつかの分割画像Ｐ０～ＰＭ（ただし，０≦Ｍ＜Ｎ）について，分割画像内符号化を行う。続いてステップＳ９０２では，分割画像Ｐ（Ｍ＋１）～ＰＮについて，符号化済みのブロックを参照画像として分割画像間符号化を行う。
ITU-T Rec. H.264，"Advanced video coding for generic audiovisual services",  March 2005. J. Yang, B. Yin, Y. Sun, and N. Zhang, "A block-matching based intra frame prediction for H.264/AVC"，in Proceedings of IEEE International Conference on Multimedia and Expo (ICME '06), pp. 705-708, Toronto, Canada, July 2006． 渡邊真由子，北原正樹，清水淳，如澤裕尚："画面内符号化における復号演算量削減の検討"，２０１１年信学会総合大会講演論文集, Ｄ-11-39，March 2011．
　映像符号化国際標準であるＨ．２６４等の映像符号化における復号処理では，ブロック歪みを低減させるためのデブロッキングフィルタの処理量の占める割合が大きい。この問題に対し，非特許文献３にて提案されている，一定の規則で画素または画素群を抽出して並べ替えた分割画像間で予測符号化を行う方法を用いれば，ブロック歪みの発生を抑えることが可能となる。この方法では，デブロッキングフィルタの適用箇所が低減されることから，デブロッキングフィルタの演算量を低減することが可能となる。
　しかし，この方法には，次の点について改善の余地がある。
（１）まず，分割画像間符号化で参照画像を２枚以上用いる場合には，復号の際にどの参照画像を用いるかを把握できるようにするため，予測符号化に用いた参照画像を示す参照画像インデックスを符号化しなければならず，この符号量が増加する。そのため，符号化効率が悪化する。一方，参照画像の方向を固定してしまうと，予測精度が落ちて，符号化効率が悪化することになる。
（２）また，参照画像を分割画像内のブロックごとに切り替える場合には，参照画像インデックスをブロックごとに復号側へ送らなければならず，参照画像インデックスを符号化することにより符号量が増加するため，さらに符号量が増加するという問題がある。
  本発明は，上記分割画像間符号化の改善を図り，分割画像間符号化における参照画像インデックスの符号化を不要とすることにより，符号化効率を向上させることを目的とする。
　本発明の最も特徴とするところは，画面内予測符号化（復号も同様）の処理を，画素（または画素群）を再配置した分割画像を用いて，分割画像内符号化と分割画像間符号化とによって行う画像符号化方式において，分割画像間符号化で参照する参照画像の選択の際に，符号化対象分割画像の原画像上における画素と相関の高い方向にある画素の属する符号化済み分割画像を求め，それを参照画像とすることである。また，この参照画像の選択では，エンコーダ（画像符号化装置）とデコーダ（画像復号装置）とで共通の選択ロジックを用いることにより，どの符号化済み分割画像を参照画像として選択したかを示す参照画像インデックスの符号化を不要としたことである。
　本発明は，入力画像を圧縮符号化するにあたって，以下の処理を行う。
（１）入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
（２）分割画像の少なくとも一つ以上を分割画像内符号化する。ここでの分割画像内符号化は，分割画像を画面単位として行う画面内予測による符号化である。
（３）分割画像内符号化された分割画像以外の分割画像を符号化するために，符号化対象分割画像と符号化済み分割画像における同一位置の画素について，原画像上での距離が短い符号化済み分割画像を符号化対象分割画像に対する分割画像間予測符号化に用いる参照画像として選択する。参照画像の候補が複数ある場合には，符号化対象分割画像の画素と相関が高い方向にある画素の属する符号化済み分割画像を求めて，それを参照画像として選択する。すなわち，相関の高い符号化済み分割画像を参照画像として用いる。相関が高いかどうかは，例えば符号化済み分割画像の予測誤差から判断する。
（４）選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間予測符号化を行う。この分割画像間予測符号化では，例えば，符号化対象分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを参照画像に施した画像を予測画像として，分割画像間予測符号化を行う。ここでの分割画像間予測符号化は，各分割画像を画面単位として行う画面間予測による符号化である。
（５）以上の分割画像内符号化と分割画像間予測符号化による符号化結果を情報源符号化して，符号化ビットストリームを出力する。
　上記処理（３）における参照画像の選択は，符号化対象分割画像をｎ2 ×ｍ2 画素の領域（Ｈ．２６４のマクロブロック等に相当）に分割し，その領域ごとに行うことができる。この領域を，ここでは分割画像ブロックという。すなわち，符号化対象の分割画像ブロックごとに，相関の高い参照画像を選択することにより，１つの符号化対象分割画像の中で最適な参照画像を切り替えて分割画像間予測符号化を行うこともできる。
　上記処理（３）における相関の高い方向にある画素の属する符号化済み分割画像を求める処理としては，以下の２つの方法がある。
　第１の方法では，参照画像の候補となっている符号化済み分割画像の復号画像と，その符号化済み分割画像の参照画像から作成した予測画像との予測誤差の和を，参照画像の候補のそれぞれについて算出する。そして，予測誤差の和が小さくなる符号化済み分割画像と参照画像との組み合わせを求め，それらの画像内の対応する画素の原画像上での画素を結ぶ方向を相関が高い方向とする。符号化対象分割画像の符号化に用いる参照画像は，符号化対象分割画像に対して，相関が高い方向にある画素が属する符号化済み参照画像とする。
　第２の方法では，第１の方法のように符号化済み分割画像に対して予測画像を生成して誤差を計算する代わりに，既に分割画像間符号化で符号化データとして存在する予測誤差の和を算出し，その予測誤差の和から相関を判断して参照画像を選択することにより，復号演算量の増加を抑える。
　上記第１の方法では，相関の高い方向を計算するために，分割画像間符号化済み画像の復号画像と，その参照画像から作成した予測画像との差分（誤差）を計算している。しかし，分割画像または分割画像ブロックごとに予測画像を生成しなおして，分割画像符号化済み画像の復号画像との差分をとると，その演算量が大きく増加することとなってしまう。
　これに対して，第２の方法では，予め符号化データとして生成されている予測誤差を用いてその予測誤差の和を算出し，相関を判断することで，第１の方法とほぼ同等の効果を保ちつつ，符号化／復号演算量の増加を大きく抑えることが可能となる。
　また，本発明は，上記方法によって符号化された画像の符号化データを復号するにあって，以下の処理を行う。
（１）画像符号化装置側で，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成して符号化した，符号化データを入力し，情報源復号する。
（２）復号されたデータから，分割画像の少なくとも一つ以上を分割画像内復号する。
（３）分割画像内復号された分割画像以外の分割画像を復号する際に，復号対象分割画像と復号済み分割画像における同一位置の画素について，原画像上での距離が短い復号済み分割画像を復号対象分割画像に対する分割画像間予測復号に用いる参照画像として選択する。参照画像の候補が複数ある場合には，復号対象分割画像の画素と相関が高い方向にある画素の属する復号済み分割画像を求めて，それを参照画像として選択する。すなわち，復号対象分割画像に対して，相関の高い復号済み分割画像を参照画像として用いる。相関が高いかどうかは，例えば復号済み分割画像の予測誤差から判断する。
（４）選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間予測復号を行う。
（５）分割画像内復号および分割画像間予測復号によって復号された分割画像から，各分割画像における各画素を原画像における元の位置に配置し，復号画像を構成する。
　上記処理（３）における参照画像の選択は，復号対象分割画像をｎ2 ×ｍ2 画素の分割画像ブロックに分割し，分割画像ブロックごとに行うことができる。
　また，上記処理（３）における相関の高い方向にある画素の属する復号済み分割画像を求める処理では，上述した符号化時における第１または第２の方法と同様な方法を用いる。
  本発明の作用は，以下のとおりである。従来の分割画像間符号化方法では，どの符号化済み分割画像を参照画像として用いるかを示す参照画像インデックスを作成して符号化する必要があった。本発明では，参照画像インデックスを作成して符号化する代わりに，相関の高い分割画像を参照画像として用いることで，参照画像インデックスのオーバーヘッドを削減する。これにより，符号化効率が向上する。
　詳しくは以下のとおりである。従来技術では，参照画像として複数枚選択可能であり，その参照画像の中から符号化効率のよい参照画像を選択するためには，例えば参照画像それぞれから作成可能である予測画像と，符号化済み分割画像との二乗誤差を測定し，二乗誤差が小さいものを選択して，その参照画像インデックスを符号化する必要があった。特に，参照画像を分割画像ブロックごとに切り替える場合には，参照画像インデックスの符号量が分割画像ブロックごとに発生して，符号量が大きくなった。
　本手法では，もともとは１枚の原画像である分割画像同士には，強い空間的相関があることを用いて，参照画像として用いる分割画像間符号化済み画像と，その符号化済み画像の参照画像との相関を，予測画像との誤差を用いて推測する。誤差が小さくなる方向が最も相関が高い方向と推測し，その方向を符号化対象分割画像における参照方向として用いる。原画像の近傍画素間において，方向による相関の強さは一定と考えられるため，符号化対象分割画像から見た参照方向にある画像を参照画像として予測誤差符号化することにより，参照画像インデックスのような参照画像を明示する情報をデコーダ側へ送らなくても，符号化効率の向上の低下を抑えることが可能になる。
　特に，本手法はエンコーダ／デコーダの双方が，符号化済み／復号済み画像の情報のみで同じ処理によって同じ参照画像を選択することができるので，参照画像インデックスのような参照画像を明示する情報を符号化する必要がなくなり，そのための符号量の削減が可能である。
　本発明によれば，符号化対象画像から画素または画素群を抽出して分割した分割画像を生成し，それを分割画像内符号化および分割画像間符号化する方法を用いる画面内予測符号化において，分割画像間符号化に用いる適切な参照画像を選択することができ，かつ，参照画像を示す参照画像インデックスの符号化が不要となる。このため，符号化効率を向上させることができ，また，デブロッキングフィルタ処理に伴う演算量を削減することができるようになる。
画像符号化装置の構成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像生成部による分割画像の生成例を示す図である。 分割画像間符号化処理部による予測画像の生成例を示す図である。 画像符号化処理のフローチャートである。 分割画像間符号化処理（例１）の詳細なフローチャートである。 画像符号化装置の詳細な構成例（例１）を示す図である。 分割画像間符号化処理（例２）の詳細なフローチャートである。 画像符号化装置の詳細な構成例（例２）を示す図である。 符号化対象画像の分割例を示す図である。 参照画像の選択方法の例を示す図である。 参照画像の選択方法の例を示す図である。 参照画像の選択方法の例を示す図である。 参照画像の選択方法の例を示す図である。 画像復号装置の構成例を示す図である。 画像復号処理のフローチャートである。 画像復号装置の詳細な構成例（例１）を示す図である。 画像復号装置の詳細な構成例（例２）を示す図である。 本発明を適用することができる動画像符号化装置の例を示す図である。 本発明を適用することができる動画像復号装置の例を示す図である。 画像符号化装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 画像復号装置をソフトウェアプログラムを用いて実現する場合のハードウェア構成例を示す図である。 従来技術による画面内予測符号化処理の例を示すフローチャートである。 画素を一定間隔で抽出した分割画像による従来の画像内予測符号化処理の例を説明する図である。 画素を一定間隔で抽出した分割画像による従来の画像内予測符号化処理のフローチャートである。
　以下，本発明の実施の形態について，図面を用いながら説明する。
　〔画像符号化装置〕
　図１は，画像符号化装置の構成例を示す図である。画像符号化装置１０は，分割画像生成部１１，分割画像内符号化処理部１２，分割画像間符号化処理部１３，相関方向算出部１５，参照画像選択部１６，情報源符号化部１４を備える。
　分割画像生成部１１は，入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割し，ブロック内の相対位置が同じサブブロックを集めて，それぞれ同じサイズの分割画像を生成する。
　図２Ａ～図２Ｄは，分割画像生成部１１による分割画像の生成例を示す図である。分割画像生成部１１は，例えば図２Ａに示す原画像を入力画像として，この原画像を，図２Ｂに示すように，それぞれがｎ×ｍ画素のブロックＭｊ（ｊ＝０，１，…，Ｊ）に分割する。次に，分割画像生成部１１は，各ブロックＭｊを，図２Ｃに示すように，ｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックＢｊｋ（ｋ＝０，１，…，Ｋ）に分割する。
　次に，分割画像生成部１１は，図２Ｄに示すように，各ブロックＭｊから，ブロック内の相対位置が同じサブブロックＢｊｋを集めて，それぞれ同じサイズの分割画像Ｐｋ（ｋ＝０，１，…，Ｋ）を生成する。分割画像Ｐ０は，サブブロックＢ００，Ｂ１０，…，ＢＪ０を集めたもの，分割画像Ｐ１は，サブブロックＢ０１，Ｂ１１，…，ＢＪ１を集めたもの，…，分割画像ＰＫは，サブブロックＢ０Ｋ，Ｂ１Ｋ，…，ＢＪＫを集めたものになる。
　分割画像内符号化処理部１２は，分割画像生成部１１によって生成された一番目の分割画像を含むいくつかの分割画像（一番目の分割画像だけでもよい）を分割画像内符号化する。ここでの分割画像内符号化は，現在の符号化対象となっている分割画像の画素情報だけを用いて符号化する符号化方法であり，他の分割画像を参照しないような符号化方法であれば，どのような符号化方法を用いてもよい。例えばＨ．２６４符号化方式におけるイントラ予測符号化などの方法を用いることができる。
　分割画像間符号化処理部１３は，分割画像生成部１１で生成された分割画像の中で，まだ符号化されていない分割画像を，分割画像間符号化する。この分割画像間符号化では，符号化済み分割画像を参照画像として，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。その予測画像と符号化対象分割画像との誤差を符号化し，その符号化情報を情報源符号化部１４へ送る。
　情報源符号化部１４は，分割画像内符号化処理部１２および分割画像間符号化処理部１３の出力である符号化情報をエントロピー符号化し，符号化データを出力する。
　本実施形態が，特に，非特許文献３に示されているような従来技術の分割画像間予測符号化と異なるのは，参照画像の候補が複数ある場合に，原画像上における符号化対象画像の画素と符号化済み画像の画素との相関を調べる相関方向算出部１５と，相関の高い方向にある画素の属する符号化済み分割画像を参照画像として選択する参照画像選択部１６とを備える点である。
　相関方向算出部１５は，参照画像の候補となる符号化済み分割画像の中で，予測誤差の絶対値和または二乗和が最も小さい分割画像を求め，その結果から符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部１６に通知する。
　参照画像選択部１６は，符号化対象の分割画像に対して相関方向算出部１５が算出した相関方向にある符号化済み分割画像を参照画像として選択し，その参照画像を分割画像間符号化処理部１３に通知する。
　図３は，分割画像間符号化処理部１３における予測画像の生成例を示す図である。以下では，分割画像Ｐｉが参照画像となる符号化済み分割画像で，分割画像Ｐｋが分割画像間予測符号化する符号化対象分割画像である場合の予測画像の生成例を説明する。分割画像Ｐｉに所属するサブブロックをＢｉ，分割画像Ｐｋに所属するサブブロックをＢｋと表す。
　分割画像ＰｉのサブブロックＢｉおよび分割画像ＰｋのサブブロックＢｋの原画像における位置関係が，図３（Ａ）のとおりであったとすると，図３（Ｂ）に示すように，サブブロックＢｋの周辺に位置するサブブロックＢｉを抽出する。この例では，１つのサブブロックＢｋに対して２個のサブブロックＢｉを抽出しているが，抽出するサブブロックの数は２個に限られない。次に，図３（Ｃ）に示すように，抽出した２個のサブブロックＢｉの画素値に，補間フィルタを適用して，サブブロックＢｋ′の画素値を算出する。補間フィルタのフィルタ係数は，原画像上でのサブブロックＢｉとサブブロックＢｋとの相対位置によってあらかじめ決められたものを用いる。なお，補間フィルタによる補間方法については，従来から種々の方法が知られており，どのような補間方法を用いて予測画像を生成してもよい。
　このようにして補間により生成されたサブブロックＢｋ′を集めたものを，分割画像Ｐｋの分割画像間予測符号化に用いる予測画像とする。
　〔画像符号化処理のフロー〕
　図４は，画像符号化処理のフローチャートである。図４に従って，画像符号化処理の流れを説明する。
　まず，分割画像生成部１１は，入力画像を同じサイズのブロックに分割し，各ブロックの内の相対位置が同じサブブロック（画素または画素群）を集めて，分割画像Ｐ０～ＰＮを生成する（ステップＳ１０１）。
　次に，分割画像内符号化処理部１２は，分割画像Ｐ０～ＰＮの中のいくつかの分割画像Ｐ０～ＰＭ（ただし，Ｍ＜Ｎ）について，分割画像内符号化を行う（ステップＳ１０２）。ここで，分割画像内符号化の対象となる分割画像は，分割画像を構成するサブブロックの原画像上での位置が所定の間隔で離れていたほうが望ましい。先頭の分割画像Ｐ０だけを分割画像内符号化の対象としてもよい。
　次に，分割画像間符号化処理部１３は，分割画像Ｐ（Ｍ＋１）～ＰＬ（ただし，Ｍ＜Ｌ＜Ｎ）について，符号化済み分割画像を参照画像として，分割画像間符号化を行う（ステップＳ１０３）。この分割画像Ｐ（Ｍ＋１）～ＰＬは，例えば，分割画像内符号化された分割画像の右隣の未符号化分割画像または分割画像内符号化された分割画像の直下の未符号化分割画像というような，参照画像の候補が単数である場合の分割画像である。ここで，分割画像間符号化を行う分割画像の番号は，あらかじめ定めておくことができる。
　続いて，分割画像間符号化処理部１３は，残りの分割画像Ｐ（Ｌ＋１）～ＰＮについて，符号化対象の分割画像に対して，相関方向算出部１５および参照画像選択部１６によって選択した相関が高い方向にある画素の属する符号化済み分割画像を参照画像として，分割画像間符号化を行う（ステップＳ１０４）。
　〔分割画像間符号化処理の詳細フロー（例１）〕
　図５は，図４に示すステップＳ１０４の詳細な処理フローチャートの第１の例を示している。
　ステップＳ２０１では，各分割画像Ｐｉ（ｉは（Ｌ＋１）からＮまで）について，ステップＳ２０２からステップＳ２０８までの処理を繰り返す。
　ステップＳ２０２では，各分割画像Ｐｉを符号化単位の分割画像ブロックに分割し，分割画像ブロックごとに，ステップＳ２０３からステップＳ２０７までの処理を繰り返す。この分割画像ブロックは，例えば１６×１６画素というような，Ｈ．２６４符号化におけるマクロブロック等に相当するものであるが，分割画像ブロックのサイズは任意に定めてよい。
　ステップＳ２０３では，符号化対象の分割画像ブロックについて，分割画像間符号化済み分割画像の復号画像Ａとその参照画像から予測画像Ｂを作成して，復号画像Ａと予測画像Ｂの差分である予測誤差を計算し，予測誤差の絶対値和または二乗和（以下，絶対値和または二乗和を単に「和」という）を求める。
　ステップＳ２０４では，ステップＳ２０３で求めた復号画像Ａと予測画像Ｂの予測誤差の和が小さくなる符号化済み分割画像（ＰＡとする）と，その参照画像（ＰＢとする）の組み合わせを求める。
　ステップＳ２０５では，ステップＳ２０４で求めた符号化済み分割画像ＰＡと参照画像ＰＢの組み合わせについて，原画像上での点Ａ（Ｘ（ＰＡ），Ｙ（ＰＡ）），点Ｂ（Ｘ（ＰＢ），Ｙ（ＰＢ））の２点を結ぶ方向を相関が高い方向とする。
　ステップＳ２０６では，符号化対象の分割画像ブロックについて，相関が高い方向にある画素の属する符号化済み分割画像を参照画像として選択し，その参照画像から予測画像を生成して分割画像間符号化を行う。
　ステップＳ２０７では，分割画像Ｐｉ内の全分割画像ブロックの処理が終了したかどうかを判定し，未処理の分割画像ブロックがあれば，その分割画像ブロックについて，ステップＳ２０２以降の処理を繰り返す。
　ステップＳ２０８では，分割画像Ｐ（Ｌ＋１）～ＰＮのすべてを符号化したかを判定し，分割画像Ｐ（Ｌ＋１）～ＰＮのすべてを符号化するまで，ステップＳ２０１以降の処理を繰り返す。
　〔画像符号化装置の詳細な構成例（例１）〕
　図６は，図１に示す画像符号化装置１０の詳細な構成例を示している。図６に示す画像符号化装置１０は，図５で説明した第１の例の処理を実行する装置の構成例である。図６において，分割画像生成部１１，情報源符号化部１４，参照画像選択部１６は，図１に示す同符号のものに対応するので，説明を省略する。
　分割画像内符号化部１０１は，分割画像Ｐ０～ＰＭについて分割画像内符号化する。分割画像内復号部１０２は，分割画像内符号化部１０１が符号化した分割画像を復号し，その復号画像を復号画像メモリ１０３に格納する。この復号画像メモリ１０３には，後に分割画像間符号化された分割画像の復号画像も格納される。
　予測画像生成部１０４は，分割画像生成部１１で生成された分割画像の中で，まだ符号化されていない分割画像を分割画像間予測符号化するために，その分割画像の分割画像ブロック（以下では，分割画像ブロックを単に分割画像ということもある）ごとに，復号画像メモリ１０３内の符号化済み分割画像を参照画像として，予測画像を生成する。この予測画像の生成では，現在の符号化対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。
　差分算出部１０５は，現在の符号化対象となっている分割画像ブロックの各画素値から予測画像生成部１０４により生成した予測画像の各画素値を減算し，予測誤差を算出する。予測誤差符号化部１０６は，算出された予測誤差について直交変換や量子化処理を施し，予測誤差を符号化する。
　情報源符号化部１４は，分割画像内符号化部１０１および分割画像間予測符号化によって符号化された予測誤差符号化部１０６の符号化情報をエントロピー符号化し，符号化データを出力する。
　第１の例では，予測誤差符号化部１０６が符号化した予測誤差を予測誤差復号部１０７が復号する。画像復号部１０８は，予測誤差復号部１０７が復号した予測誤差と，予測画像生成部１０４が生成した予測画像とを加算器１０９により加算し，分割画像間符号化画像を復号する。なお，画像復号部１０８では，予測画像と予測誤差とを足し合わせた後に，デブロッキングフィルタなどの後処理フィルタを施すこともある。復号した分割画像の復号画像は，復号画像メモリ１０３に格納する。
　減算器１１０により，符号化済み分割画像の復号画像と予測画像との差分を算出し，予測誤差算出部１１１は，参照画像の候補となる符号化済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部１１２は，予測誤差算出部１１１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部１６に通知する。
　参照画像選択部１６は，符号化対象の分割画像に対して予測誤差比較部１１２により算出された相関方向にある符号化済み分割画像を，復号画像メモリ１０３の中から参照画像として選択し，その参照画像を予測画像生成部１０４へ通知する。
　〔分割画像間符号化処理の詳細フロー（例２）〕
　図７は，図４に示すステップＳ１０４の詳細な処理フローチャートの第２の例を示している。
　第２の例では，ステップＳ３０３の処理が第１の例と異なり，他のステップＳ３０１，Ｓ３０２，Ｓ３０４～Ｓ３０８は，図５で説明した第１の例のステップ２０１，Ｓ２０２，Ｓ２０４～Ｓ２０８と同様である。
　ステップＳ３０３では，符号化対象の分割画像ブロックについて，分割画像間符号化済み分割画像の復号画像Ａとその予測画像Ｂとの予測誤差の和を求める。すなわち，ステップＳ３０３では，分割画像ブロックごとに予測画像を生成し直して復号画像Ａを生成し，予測誤差の和を求めるのではなく，既に符号化データとして生成されている予測誤差をそのまま用いてその予測誤差の和を算出し，相関を判断する。これにより，復号演算の演算量の増加を抑える。
  〔画像符号化装置の詳細な構成例（例２）〕
　図８は，図１に示す画像符号化装置１０の詳細な第２の構成例を示している。図８に示す画像符号化装置１０は，図７で説明した第２の例の処理を実行する装置の構成例である。図８において，前述した図６の第１の例の画像符号化装置１０と同符号のものは，図６に示すものと同様の機能を有するものであるので，その詳しい説明は省略する。
　第２の例の場合，予測誤差復号部１２０は，予測誤差符号化部１０６が符号化した予測誤差について逆量子化処理や逆直交変換を施すことにより，予測誤差を復号する。予測誤差算出部１２１は，分割画像ごとに予測誤差復号部１２０が復号した予測誤差の和を算出する。予測誤差比較部１２２は，予測誤差算出部１２１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい符号化済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部１６に通知する。
　参照画像選択部１６は，符号化対象の分割画像に対して予測誤差比較部１２２の結果から，通知された相関方向にある符号化済み分割画像を参照画像とすることを画像復号部１２３へ通知する。画像復号部１２３は，通知された符号化済み分割画像の復号画像をその予測画像と予測誤差とから生成し，復号画像メモリ１０３に格納する。予測画像生成部１０４は，復号画像メモリ１０３に格納された復号画像を参照画像として用い，符号化対象の分割画像ブロックの符号化のための予測画像を生成する。
　〔符号化の具体例〕
　図９に，符号化対象画像の分割例を示す。以下で説明する例では，分割画像生成部１１は，符号化対象である入力画像の１フレームを，図９に示すように，２×２画素のブロックＭ０，Ｍ１，…，ＭＪに分割するものとする。さらに，分割画像生成部１１は，各ブロックＭ０，Ｍ１，…，ＭＪを，１画素ずつサブブロックＢ０，Ｂ１，Ｂ２，Ｂ３に分割するものとする。このようにして分割した各Ｍ０，Ｍ１，…，ＭＪから，左上のサブブロックＢ０の画素を集めたものを分割画像Ｐ０とし，右上のサブブロックＢ１の画素を集めたものを分割画像Ｐ１とし，左下のサブブロックＢ２の画素を集めたものを分割画像Ｐ２とし，右下のサブブロックＢ３の画素を集めたものを分割画像Ｐ３とする。
　ここでは，２×２画素のブロックを１×１画素のサブブロックに分割する例を説明する。しかし，ブロックおよびサブブロックのサイズは，この例に限られるわけではなく，ブロックのサイズまたはサブブロックのサイズがもっと大きい場合にも，本発明を適用して同様に実施することができる。
　〔第１の例の処理〕
　前述した第１の例では，図９のように分割された分割画像について，次のように分割画像内符号化および分割画像間符号化を行う。
・処理１－１：分割画像Ｐ０について，分割画像内符号化を行う。
・処理１－２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。符号化された分割画像Ｐ１の復号画像Ｐ１′を生成して記憶する。その様子を，図１０Ａに示す。
・処理１－３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。符号化された分割画像Ｐ２の復号画像Ｐ２′を生成して記憶する。その様子を，図１０Ｂに示す。
・処理１－４：分割画像Ｐ１，Ｐ２について，それぞれの予測画像と復号画像Ｐ１′，Ｐ２′との予測誤差の和Ｓ１，Ｓ２（例えば予測誤差の絶対値和または二乗誤差和）を算出し，比較する。
・処理１－５：Ｓ１≦Ｓ２の場合，
　図１０Ｃに示すように，分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。これは，Ｓ１≦Ｓ２であることから，原画像上における水平方向の画素間の相関が，垂直方向の画素間の相関よりも高いと考えられるからである。
・処理１－６：Ｓ１＞Ｓ２の場合，
　図１０Ｄに示すように，分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。これは，Ｓ１＞Ｓ２であることから，原画像上における垂直方向の画素間の相関が，水平方向の画素間の相関よりも高いと考えられるからである。
　〔第２の例の処理〕
　前述した第２の例では，図９のように分割された分割画像について，次のように分割画像内符号化および分割画像間符号化を行う。
・処理２－１：分割画像Ｐ０について，分割画像内符号化を行う。
・処理２－２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。そのときの予測誤差の和Ｓ１を記憶する。
・処理２－３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間符号化を行う。そのときの予測誤差の和Ｓ２を記憶する。
・処理２－４：分割画像Ｐ１，Ｐ２について，それぞれの予測誤差の和Ｓ１，Ｓ２を比較する。
・処理２－５：Ｓ１≦Ｓ２の場合，
　分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。
・処理２－６：Ｓ１＞Ｓ２の場合
　分割画像Ｐ３の分割画像間符号化に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差を符号化することにより，分割画像Ｐ３の分割画像間符号化を行う。
　〔画像復号装置〕
　図１１は，画像復号装置の構成例を示す図である。画像復号装置２０は，情報源復号部２１，分割画像内復号処理部２２，分割画像間復号処理部２３，復号画像合成部２４，相関方向算出部２５，参照画像選択部２６を備える。
　画像復号装置２０は，図１に示す画像符号化装置１０により圧縮符号化された画像の符号化データを入力する。情報源復号部２１は，入力された符号化データをエントロピー復号する。
　分割画像内復号処理部２２は，あらかじめ定められた，少なくとも一つ以上の分割画像内符号化された分割画像の符号化データを分割画像内予測により復号する。分割画像間復号処理部２３は，復号済みの分割画像を参照画像として，分割画像間予測により復号対象の分割画像を復号する。分割画像内復号処理部２２および分割画像間復号処理部２３によって復号された分割画像は，復号画像合成部２４に入力される。復号画像合成部２４は，復号された分割画像の各サブブロックを，原画像上の元の位置に配置することにより，復号画像を生成する。
　参照画像の候補が１枚だけの場合，例えば，復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が１枚の場合には，分割画像間復号処理部２３は，その復号済み分割画像を参照画像として分割画像間復号を行う。
　参照画像の候補が複数枚の場合，例えば，復号対象分割画像の原画像上での画素位置に最も近い画素が属する復号済み分割画像が複数枚存在する場合には，相関方向算出部２５は，参照画像の候補となる復号済み分割画像の中で，予測誤差の絶対値和または二乗和が最も小さい分割画像を求め，その結果から復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部２６に通知する。この相関方向算出部２５が行う処理は，画像符号化装置１０における相関方向算出部１５が行う処理とまったく同様である。
　参照画像選択部２６は，復号対象の分割画像に対して相関方向算出部２５が算出した相関方向にある復号済み分割画像を参照画像として選択し，その参照画像を分割画像間復号処理部２３に通知する。
　〔画像復号処理のフロー〕
　図１２は，画像復号処理のフローチャートである。図１２に従って，画像復号処理の流れを説明する。
　まず，情報源復号部２１は，入力した復号対象の符号化データをエントロピー復号する（ステップＳ４０１）。次に，分割画像内復号処理部２２が，入力した符号化データをもとに，あらかじめ定められた分割画像Ｐ０～ＰＮの中のいくつかの分割画像Ｐ０～ＰＭ（ただし，Ｍ＜Ｎ）について，Ｈ．２６４で行われているような従来の画面内予測復号方法などを用いて，分割画像内復号を行う（ステップＳ４０２）。
　続いて，分割画像間復号処理部２３は，あらかじめ定められた分割画像Ｐ（Ｍ＋１）～ＰＬについて，それぞれにあらかじめ定められた復号済み分割画像を参照画像として，分割画像間復号を行う（ステップＳ４０３）。
　続いて，分割画像間復号処理部２３は，未復号の分割画像Ｐ（Ｌ＋１）～ＰＮについて，参照画像選択部２６が復号済み分割画像の予測誤差をもとに選択した空間的相関が高い方向にある復号済み分割画像を参照画像として，分割画像間復号を行う（ステップＳ４０４）。
　最後に，復号画像合成部２４が，分割画像内復号処理部２２および分割画像間復号処理部２３によって復号された分割画像の画素（サブブロック）を合成して，復号画像として出力する（ステップＳ４０５）。
　〔画像復号装置の詳細な構成例（例１）〕
　図１３は，図１１に示す画像復号装置２０の詳細な第１の構成例を示している。図１３に示す画像復号装置２０において，情報源復号部２１，復号画像合成部２４，参照画像選択部２６は，図１１に示す同符号のものに対応するので，説明を省略する。
　分割画像内復号部２０１は，情報源復号部２１によって復号された分割画像Ｐ０～ＰＭの復号情報から，これらの分割画像Ｐ０～ＰＭを分割画像内復号し，その復号画像を復号画像メモリ２０２に格納する。この復号画像メモリ２０２には，後に分割画像間復号された分割画像の復号画像も格納される。
　予測画像生成部２０３は，まだ復号されていない分割画像を分割画像間予測復号するために，その分割画像の分割画像ブロック（以下では，単に分割画像ということもある）ごとに，復号画像メモリ２０２内の復号済み分割画像を参照画像として，予測画像を生成する。この予測画像の生成では，現在の復号対象となっている分割画像と参照画像との原画像上での対応画素の相対位置によって決まる所定のフィルタを，参照画像に施すことにより予測画像を生成する。
　予測誤差復号部２０４は，分割画像間復号の対象となる分割画像の予測誤差を復号する。画像復号部２０５は，予測画像生成部２０３が生成した予測画像と予測誤差復号部２０４が復号した予測誤差とを加算器２０６により加算し，復号画像を生成する。なお，画像復号部２０５では，予測画像と予測誤差とを足し合わせた後に，デブロッキングフィルタなどの後処理フィルタを施すこともある。この復号画像は，復号画像合成部２４へ送られるとともに，復号画像メモリ２０２に格納される。
　減算器２０７は，画像復号部２０５によって復号された分割画像ブロックの各画素値から予測画像生成部２０３により生成した予測画像の各画素値を減算して，その減算結果を予測誤差算出部２０８に通知する。予測誤差算出部２０８は，参照画像の候補となる復号済み分割画像ごとに予測誤差の和を算出する。予測誤差比較部２０９は，予測誤差算出部２０８が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部２６に通知する。
　参照画像選択部２６は，復号対象の分割画像に対して予測誤差比較部２０９により算出された相関方向にある復号済み分割画像を，復号画像メモリ２０２の中から参照画像として選択し，その参照画像を予測画像生成部２０３に通知する。
　〔画像復号装置の詳細な構成例（例２）〕
　図１４は，図１１に示す画像復号装置２０の詳細な第２の構成例を示している。図１４に示す画像復号装置２０において，前述した図１３の第１の例と同符号のものは，図１３に示すものと同様の機能を有するものであるので，その詳しい説明は省略する。
　第２の例の場合，予測誤差算出部２２１は，予測誤差復号部２０４が復号した予測誤差の和を，参照画像の候補となる復号済み分割画像（ブロック）ごとに算出する。予測誤差比較部２２２は，予測誤差算出部２２１が算出した予測誤差の和が最も小さい分割画像を求め，その結果から予測誤差の和が最も小さい復号済み分割画像とその参照画像との原画像における対応する画素の方向が相関の高い方向であるとし，その相関方向を参照画像選択部２６に通知する。参照画像選択部２６は，復号対象の分割画像に対して予測誤差比較部２２２により算出された相関方向にある復号済み分割画像を，復号画像メモリ２０２の中から参照画像として選択し，その参照画像を予測画像生成部２０３に通知する。
　〔第１の例の復号処理の具体例〕
　第１の例の復号処理の具体例として，前述した図９のように２×２画素ブロックの画素を再配置した４枚の分割画像Ｐ０～Ｐ３について，分割画像内復号および分割画像間復号を行う例を説明する。
・処理１－１：分割画像Ｐ０について，分割画像内復号を行う。
・処理１－２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。復号された分割画像Ｐ１の復号画像Ｐ１′を記憶する。
・処理１－３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。復号された分割画像Ｐ２の復号画像Ｐ２′を記憶する。
・処理１－４：分割画像Ｐ１，Ｐ２について，それぞれの予測画像と復号画像Ｐ１′，Ｐ２′との予測誤差の和Ｓ１，Ｓ２（例えば予測誤差の絶対値和または二乗誤差和）を算出し，比較する。
・処理１－５：Ｓ１≦Ｓ２の場合，
　分割画像Ｐ３の分割画像間復号に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。これは，Ｓ１≦Ｓ２であることから，原画像上における水平方向の画素間の相関が，垂直方向の画素間の相関よりも高いと考えられるからである。
・処理１－６：Ｓ１＞Ｓ２の場合，
　分割画像Ｐ３の分割画像間復号に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。これは，Ｓ１＞Ｓ２であることから，原画像上における垂直方向の画素間の相関が，水平方向の画素間の相関よりも高いと考えられるからである。
　〔第２の例の処理〕
　前述した第２の例では，図９のように分割された分割画像について，次のように分割画像内復号および分割画像間復号を行う。
・処理２－１：分割画像Ｐ０について，分割画像内復号を行う。
・処理２－２：分割画像Ｐ１について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。そのときの予測誤差の和Ｓ１を記憶する。
・処理２－３：分割画像Ｐ２について，分割画像Ｐ０の復号画像を参照画像として，それに補間フィルタを適用することにより予測画像を生成し，分割画像間復号を行う。そのときの予測誤差の和Ｓ２を記憶する。
・処理２－４：分割画像Ｐ１，Ｐ２について，それぞれの予測誤差の和Ｓ１，Ｓ２を比較する。
・処理２－５：Ｓ１≦Ｓ２の場合，
　分割画像Ｐ３の分割画像間復号に，分割画像Ｐ２の復号画像を参照画像として用いる。すなわち，分割画像Ｐ２の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。
・処理２－６：Ｓ１＞Ｓ２の場合
　分割画像Ｐ３の分割画像間復号に，分割画像Ｐ１の復号画像を参照画像として用いる。すなわち，分割画像Ｐ１の復号画像に補間フィルタを施して分割画像Ｐ３の予測画像を生成し，その予測画像と分割画像Ｐ３の予測誤差とを加算することにより，分割画像Ｐ３の分割画像間復号を行う。
　なお，以上説明した実施形態において，分割画像内符号化（復号も同様）の対象となる分割画像は，１画面に対して１枚でも複数枚でもよく，また，分割画像内符号化および分割画像間符号化での符号化処理を，分割画像を小領域に分割した分割画像ブロック単位で行ってもよい。分割画像ブロック単位で分割画像間符号化の処理を行う場合には，分割画像ブロック単位で予測誤差の和の比較により，参照画像を切り替えてもよい。
　〔画像符号化装置を適用した動画像符号化装置の例〕
　図１５は，本発明を適用することができる動画像符号化装置の例を示している。動画像符号化装置３００において，本発明は，特に画面内予測部３０１に関連する符号化処理に適用することができる。他の部分については，Ｈ．２６４その他のエンコーダとして用いられている従来の一般的な動画像符号化装置の構成と同様である。
　動画像符号化装置３００は，符号化対象の映像信号を入力し，入力映像信号のフレームをブロックに分割してブロックごとに符号化し，そのビットストリームを符号化ストリームとして出力する。この符号化のため，予測残差信号生成部３０３は，入力映像信号と画面内予測部３０１あるいは画面間予測部３０２の出力である予測信号との差分を求め，それを予測残差信号として出力する。変換処理部３０４は，予測残差信号に対して離散コサイン変換（ＤＣＴ）等の直交変換を行い，変換係数を出力する。量子化処理部３０５は，変換係数を量子化し，その量子化された変換係数を出力する。情報源符号化部３１１は，量子化された変換係数をエントロピー符号化し，符号化ストリームとして出力する。
　一方，量子化された変換係数は，逆量子化処理部３０６にも入力され，ここで逆量子化される。逆変換処理部３０７は，逆量子化処理部３０６の出力である変換係数を逆直交変換し，予測残差復号信号を出力する。
　復号信号生成部３０８では，この予測残差復号信号と画面内予測部３０１あるいは画面間予測部３０２の出力である予測信号とを加算し，符号化した符号化対象ブロックの復号信号を生成する。この復号信号は，画面内予測部３０１あるいは画面間予測部３０２において参照画像として用いるために，フレームメモリ３０９に格納される。なお，画面間予測部３０２において参照画像を参照する場合は，インループフィルタ処理部３１０において，フレームメモリ３０９に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。
　画面内予測部３０１においては，本発明の実施形態で説明した分割画像内符号化および分割画像間符号化の符号化処理が行われる。画面内予測部３０１あるいは画面間予測部３０２にて設定された予測モードや動きベクトル等の情報は，情報源符号化部３１１でエントロピー符号化され，符号化ストリームとして出力される。
　〔画像復号装置を適用した動画像復号装置の例〕
　図１６は，本発明を適用することができる動画像復号装置の例を示している。動画像復号装置４００において，本発明は，特に画面内予測部４０２に関連する復号処理に適用することができる。他の部分については，Ｈ．２６４その他のデコーダとして用いられている従来の一般的な動画像復号装置の構成と同様である。
　動画像復号装置４００は，図１５で説明した動画像符号化装置３００により符号化された符号化ストリームを入力して復号することにより復号画像の映像信号を出力する。この復号のため，情報源復号部４０１は，符号化ストリームを入力し，復号対象ブロックの量子化変換係数をエントロピー復号するとともに，画面内予測に関する情報および画面間予測に関する情報を復号する。画面内予測部４０２においては，本発明の実施形態で説明した分割画像内復号および分割画像間復号の復号処理が行われる。
　逆量子化処理部４０４は，量子化変換係数を入力し，それを逆量子化して復号変換係数を出力する。逆変換処理部４０５は，復号変換係数に逆直交変換を施し，予測残差復号信号を出力する。復号信号生成部４０６は，この予測残差復号信号と画面内予測部４０２あるいは画面間予測部４０３の出力である予測信号とを加算し，復号対象ブロックの復号信号を生成する。この復号信号は，画面内予測部４０２あるいは画面間予測部４０３において参照画像として用いるために，フレームメモリ４０７に格納される。なお，画面間予測部４０３において参照画像を参照する場合には，インループフィルタ処理部４０８において，フレームメモリ４０７に格納した画像を入力して，符号化歪を低減するフィルタリング処理を行い，このフィルタリング処理後の画像を参照画像として用いる。
  〔コンピュータによる構成例〕
  図１７に，図１の画像符号化装置１０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０と，ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリ５１と，カメラ等からの符号化対象の画像信号を入力する画像信号入力部５２（ディスク装置等による画像信号を記憶する記憶部でもよい）と，本手法により入力画像を符号化する処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像符号化プログラム５４が格納されたプログラム記憶装置５３と，ＣＰＵ５０がメモリ５１にロードされた画像符号化プログラム５４を実行することにより生成された符号化データを，例えばネットワークを介して出力する符号化データ出力部５５（ディスク装置等による符号化データを記憶する記憶部でもよい）とが，バスで接続された構成になっている。
　図１８に，図１１の画像復号装置２０をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成例を示す。本システムは，プログラムを実行するＣＰＵ６０と，ＣＰＵ６０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ６１と，図１の画像符号化装置１０が本手法により符号化した符号化データを入力して記憶する符号化データ記憶部６２（ネットワーク等を介した入力部でもよい）と，本手法により符号化データを復号する処理をＣＰＵ６０に実行させるソフトウェアプログラムである画像復号プログラム６４が格納されたプログラム記憶装置６３と，ＣＰＵ６０がメモリ６１にロードされた画像復号プログラム６４を実行することにより，符号化データを復号して得られた復号画像を，再生装置などに出力する復号画像出力部６５とが，バスで接続された構成になっている。
　以上，図面を参照して本発明の実施の形態を説明してきたが，上記実施の形態は本発明の例示に過ぎず，本発明が上記実施の形態に限定されるものではないことは明らかである。したがって，本発明の精神および技術的範囲を逸脱しない範囲での構成要素の追加，省略，置換，その他の変更を行ってもよい。
　本発明は，例えば，画面内予測符号化・復号に適用可能である。本発明によれば，符号化効率を向上させることができ，また，デブロッキングフィルタ処理に伴う演算量を削減することができる。
　１０　画像符号化装置
　１１　分割画像生成部
　１２　分割画像内符号化処理部
　１３　分割画像間符号化処理部
　１４　情報源符号化部
　１５，２５　相関方向算出部
　１６，２６　参照画像選択部
　２０　画像復号装置
　２１　情報源復号部
　２２　分割画像内復号処理部
　２３　分割画像間復号処理部
　２４　復号画像合成部

Claims (18)

  1. 　入力画像を圧縮符号化する画像符号化方法において，
    　前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成過程と，
    　前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化過程と，
    　符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間符号化を行う分割画像間符号化過程と，
    　前記参照画像の候補が複数存在する場合に，前記符号化済み分割画像の分割画像間予測における予測誤差をもとに，符号化済み分割画像と前記符号化済み分割画像の参照画像における同一位置の画素について，原画像上の画素との相関が最も高い方向を算出する相関方向算出過程と，
    　前記参照画像の候補が複数存在する場合に，前記符号化対象分割画像に対して，前記相関の高い方向にある符号化済み分割画像を前記参照画像として選択する参照画像選択過程と，
    　前記分割画像内符号化過程と前記分割画像間符号化過程による符号化結果を情報源符号化する情報源符号化過程とを有する
    　画像符号化方法。
  2. 　請求項１に記載の画像符号化方法において，
    　前記相関方向算出過程では，前記参照画像の候補となる各符号化済み分割画像の復号画像と各符号化済み分割画像の参照画像とから予測画像を生成し，各符号化済み分割画像の前記復号画像に対する前記予測画像の予測誤差の和を算出し，前記予測誤差の和が最も小さい符号化済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像符号化方法。
  3. 　請求項１に記載の画像符号化方法において，
    　前記相関方向算出過程では，前記参照画像の候補となる各符号化済み分割画像に対して，前記分割画像間符号化において算出された予測誤差の和を算出し，前記予測誤差の和が最も小さい符号化済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像符号化方法。
  4. 　請求項１，請求項２または請求項３に記載の画像符号化方法において，
    　少なくとも，前記分割画像間符号化過程，前記相関方向算出過程および前記参照画像選択過程では，前記分割画像を分割した画像ブロックごとに，前記分割画像の符号化処理，相関方向の算出処理および前記参照画像の選択処理を行い，前記分割画像間符号化における参照画像を前記画像ブロックごとに切り替える
    　画像符号化方法。
  5. 　入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，前記分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号方法において，
    　前記圧縮符号化された画像の符号化データを入力し，情報源復号する情報源復号過程と，
    　前記情報源復号過程で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号過程と，
    　復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間復号を行う分割画像間復号過程と，
    　前記参照画像の候補が複数存在する場合に，前記復号済み分割画像の分割画像間予測における予測誤差をもとに，復号済み分割画像と前記復号済み分割画像の参照画像における同一位置の画素について，原画像上の画素の相関が最も高い方向を算出する相関方向算出過程と，
    　前記参照画像の候補が複数存在する場合に，前記復号対象分割画像に対して，前記相関の高い方向にある復号済み分割画像を前記参照画像として選択する参照画像選択過程と，
    　前記分割画像内復号過程および前記分割画像間復号過程によって復号された分割画像から復号画像を合成する復号画像合成過程とを有する
    　画像復号方法。
  6. 　請求項５に記載の画像復号方法において，
    　前記相関方向算出過程では，前記参照画像の候補となる各復号済み分割画像と各復号済み分割画像の参照画像とから予測画像を生成し，各復号済み分割画像に対する前記予測画像の予測誤差の和を算出し，前記予測誤差の和が最も小さい復号済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像復号方法。
  7. 　請求項５に記載の画像復号方法において，
    　前記相関方向算出過程では，前記参照画像の候補となる各復号済み分割画像に対して，前記分割画像間復号において算出された予測誤差の和を算出し，前記予測誤差の和が最も小さい復号済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像復号方法。
  8. 　請求項５，請求項６または請求項７に記載の画像復号方法において，
    　少なくとも，前記分割画像間復号過程，前記相関方向算出過程および前記参照画像選択過程では，前記分割画像を分割した画像ブロックごとに，前記分割画像の復号処理，相関方向の算出処理および前記参照画像の選択処理を行い，前記分割画像間復号における参照画像を前記画像ブロックごとに切り替える
    　画像復号方法。
  9. 　入力画像を圧縮符号化する画像符号化装置において，
    　前記入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定する分割画像生成部と，
    　前記分割画像の少なくとも一つ以上を分割画像内符号化する分割画像内符号化部と，
    　符号化済み分割画像の中から選択された参照画像を用いて符号化対象分割画像に対する予測画像を生成し，分割画像間符号化を行う分割画像間符号化部と，
    　前記参照画像の候補が複数存在する場合に，前記符号化済み分割画像の分割画像間予測における予測誤差をもとに，符号化済み分割画像と前記符号化済み分割画像の参照画像における同一位置の画素について，原画像上の画素の相関が最も高い方向を算出する相関方向算出部と，
    　前記参照画像の候補が複数存在する場合に，前記符号化対象分割画像に対して，前記相関の高い方向にある符号化済み分割画像を前記参照画像として選択する参照画像選択部と，
    　前記分割画像内符号化部と前記分割画像間符号化部による符号化結果を情報源符号化する情報源符号化部とを備える
    　画像符号化装置。
  10. 　請求項９に記載の画像符号化装置において，
    　前記相関方向算出部は，前記参照画像の候補となる各符号化済み分割画像の復号画像と各符号化済み分割画像の参照画像とから予測画像を生成し，各符号化済み分割画像の前記復号画像に対する前記予測画像の予測誤差の和を算出し，前記予測誤差の和が最も小さい符号化済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像符号化装置。
  11. 　請求項９に記載の画像符号化装置において，
    　前記相関方向算出部は，前記参照画像の候補となる各符号化済み分割画像に対して，前記分割画像間符号化において算出された予測誤差の和を算出し，前記予測誤差の和が最も小さい符号化済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像符号化装置。
  12. 　請求項９，請求項１０または請求項１１に記載の画像符号化装置において，
    　少なくとも，前記分割画像間符号化部，前記相関方向算出部および前記参照画像選択部は，前記分割画像を分割した画像ブロックごとに，前記分割画像の符号化処理，相関方向の算出処理および前記参照画像の選択処理を行い，前記分割画像間符号化における参照画像を前記画像ブロックごとに切り替える
    　画像符号化装置。
  13. 　入力画像をｎ×ｍ画素のブロックに分割し，分割した各ブロックをｎ1 ×ｍ1 画素（ただし，１≦ｎ1 ＜ｎ，１≦ｍ1 ＜ｍ）のサブブロックに分割した際に，前記ブロック内の相対位置が同じになるサブブロックの画素の集合からなる，それぞれ同じサイズの分割画像を設定して，前記分割画像ごとに符号化することによって圧縮符号化された画像の符号化データを復号する画像復号装置において，
    　前記圧縮符号化された画像の符号化データを入力し，情報源復号する情報源復号部と，
    　前記情報源復号部で復号されたデータから，前記分割画像の少なくとも一つ以上を分割画像内復号する分割画像内復号部と，
    　復号済み分割画像の中から選択された参照画像を用いて復号対象分割画像に対する予測画像を生成し，分割画像間復号を行う分割画像間復号部と，
    　前記参照画像の候補が複数存在する場合に，前記復号済み分割画像の分割画像間予測における予測誤差をもとに，復号済み分割画像と前記復号済み分割画像の参照画像における同一位置の画素について，原画像上の画素の相関が最も高い方向を算出する相関方向算出部と，
    　前記参照画像の候補が複数存在する場合に，前記復号対象分割画像に対して，前記相関の高い方向にある復号済み分割画像を前記参照画像として選択する参照画像選択部と，
    　前記分割画像内復号部および前記分割画像間復号部によって復号された分割画像から復号画像を合成する復号画像合成部とを備える
    　画像復号装置。
  14. 　請求項１３に記載の画像復号装置において，
    　前記相関方向算出部は，前記参照画像の候補となる各復号済み分割画像と各復号済み分割画像の参照画像とから予測画像を生成し，各復号済み分割画像に対する前記予測画像の予測誤差の和を算出し，前記予測誤差の和が最も小さい復号済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像復号装置。
  15. 　請求項１３に記載の画像復号装置において，
    　前記相関方向算出部は，前記参照画像の候補となる各復号済み分割画像に対して，前記分割画像間復号において算出された予測誤差の和を算出し，前記予測誤差の和が最も小さい復号済み分割画像と参照画像の組み合わせにおける同一位置の画素に対応する原画像上での画素を結ぶ方向を，前記相関の高い方向として算出する
    　画像復号装置。
  16. 　請求項１３，請求項１４または請求項１５に記載の画像復号装置において，
    　少なくとも，前記分割画像間復号部，前記相関方向算出部および前記参照画像選択部は，前記分割画像を分割した画像ブロックごとに，前記分割画像の復号処理，相関方向の算出処理および前記参照画像の選択処理を行い，前記分割画像間復号における参照画像を前記画像ブロックごとに切り替える
    　画像復号装置。
  17.   請求項１から請求項４までのいずれか１項に記載の画像符号化方法を，コンピュータに実行させるための画像符号化プログラム。
  18. 　請求項５から請求項８までのいずれか１項に記載の画像復号方法を，コンピュータに実行させるための画像復号プログラム。
PCT/JP2012/082174 2011-12-13 2012-12-12 画像符号化及び復号方法、装置、プログラム WO2013089129A1 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
PL12857396T PL2775718T3 (pl) 2011-12-13 2012-12-12 Sposób, urządzenie i program do kodowania i dekodowania obrazów
KR1020147014672A KR101614828B1 (ko) 2011-12-13 2012-12-12 화상 부호화 및 복호 방법, 장치, 프로그램
EP12857396.1A EP2775718B1 (en) 2011-12-13 2012-12-12 Method, device, and program for coding and decoding of images
CN201280061038.9A CN103975599B (zh) 2011-12-13 2012-12-12 图像编码以及解码方法、装置、程序
US14/363,994 US9332275B2 (en) 2011-12-13 2012-12-12 Methods, apparatuses, and programs for encoding and decoding picture
BR112014014322A BR112014014322A2 (pt) 2011-12-13 2012-12-12 métodos, aparelhos e programas para codificar e decodificar imagem
CA 2858693 CA2858693A1 (en) 2011-12-13 2012-12-12 Methods, apparatuses, and programs for encoding and decoding picture
RU2014123658A RU2014123658A (ru) 2011-12-13 2012-12-12 Способы, устройства и программы для кодирования и декодирования изображения

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-271841 2011-12-13
JP2011271841A JP5795525B2 (ja) 2011-12-13 2011-12-13 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム

Publications (1)

Publication Number Publication Date
WO2013089129A1 true WO2013089129A1 (ja) 2013-06-20

Family

ID=48612573

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/082174 WO2013089129A1 (ja) 2011-12-13 2012-12-12 画像符号化及び復号方法、装置、プログラム

Country Status (11)

Country Link
US (1) US9332275B2 (ja)
EP (1) EP2775718B1 (ja)
JP (1) JP5795525B2 (ja)
KR (1) KR101614828B1 (ja)
CN (1) CN103975599B (ja)
BR (1) BR112014014322A2 (ja)
CA (1) CA2858693A1 (ja)
PL (1) PL2775718T3 (ja)
RU (1) RU2014123658A (ja)
TW (1) TWI477107B (ja)
WO (1) WO2013089129A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022028586A (ja) * 2020-08-03 2022-02-16 緯創資通股▲ふん▼有限公司 ビデオ処理装置およびビデオストリームの処理方法
CN116708933A (zh) * 2023-05-16 2023-09-05 深圳东方凤鸣科技有限公司 一种视频编码方法及装置
US11880966B2 (en) 2020-08-03 2024-01-23 Wistron Corporation Image quality assessment apparatus and image quality assessment method thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6130267B2 (ja) * 2013-08-13 2017-05-17 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
JP6428518B2 (ja) 2014-09-05 2018-11-28 株式会社ニューフレアテクノロジー データ生成装置、エネルギービーム描画装置、及びエネルギービーム描画方法
US10382792B2 (en) * 2015-02-13 2019-08-13 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal by means of transform-domain prediction
WO2017133660A1 (en) * 2016-02-04 2017-08-10 Mediatek Inc. Method and apparatus of non-local adaptive in-loop filters in video coding
JP6565885B2 (ja) * 2016-12-06 2019-08-28 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム、並びに画像復号化装置、画像復号化方法及び画像復号化プログラム
US10958807B1 (en) * 2018-02-08 2021-03-23 Digimarc Corporation Methods and arrangements for configuring retail scanning systems
US10880451B2 (en) 2018-06-08 2020-12-29 Digimarc Corporation Aggregating detectability metrics to determine signal robustness

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299866A (ja) * 1999-04-12 2000-10-24 Ntt Software Corp 画像符号化方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2905756A (en) 1956-11-30 1959-09-22 Bell Telephone Labor Inc Method and apparatus for reducing television bandwidth
JPS647854A (en) * 1987-06-30 1989-01-11 Toshiba Corp Encoding device
JPH03187694A (ja) * 1989-12-18 1991-08-15 Canon Inc 符号化装置
JPH0678294A (ja) * 1992-08-21 1994-03-18 Sony Corp 符号化方法、符号化装置、および復号化装置
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
CN101668215A (zh) * 2003-02-18 2010-03-10 诺基亚有限公司 图像解码方法
TW200603614A (en) * 2004-06-02 2006-01-16 Matsushita Electric Ind Co Ltd Seamless switching between random access units multiplexed in a multi angle view multimedia stream
JP4148228B2 (ja) 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101246294B1 (ko) 2006-03-03 2013-03-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
TWI415478B (zh) 2007-10-15 2013-11-11 Nippon Telegraph & Telephone 影像編碼裝置及解碼裝置、影像編碼方法及解碼方法，其程式與記錄有程式的記錄媒體
KR20110095320A (ko) * 2008-11-14 2011-08-24 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299866A (ja) * 1999-04-12 2000-10-24 Ntt Software Corp 画像符号化方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Advanced video coding for generic audiovisual services", ITU-T REC. H.264, March 2005 (2005-03-01)
J. YANG; B. YIN; Y. SUN; N. ZHANG: "A block-matching based intra frame prediction for H.264/AVC", PROCEEDINGS OF IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA AND EXPO (ICME '06, July 2006 (2006-07-01), pages 705 - 708
MAYUKO WATANABE ET AL.: "Fukugo Enzanryo Teigen ni Muketa Gamennai Fugoka eno Naiso Yosoku Tekiyo ni Kansuru Fugoka Koritsu Kaizen no Ichi Kento", FIT2011 DAI 10 KAI FORUM ON INFORMATION TECHNOLOGY KOEN RONBUNSHU, vol. 3, 22 August 2011 (2011-08-22), pages 415 - 416, XP008173316 *
MAYUKO WATANABE ET AL.: "Fukugo Enzanryo Teigen ni Muketa Gamennai Fugoka eno Naiso Yosoku Tekiyo ni Kansuru Ichi Kosatsu", THE INSTITUTE OF IMAGE INFORMATION AND TELEVISION ENGINEERS 2011 NEN NENJI TAIKAI KOEN YOKOSHU, 1 August 2011 (2011-08-01), XP008173317 *
MAYUKO WATANABE; MASAKI KITAHARA; ATSUSHI SHIMIZU; HIROHISA JOZAWA: "A Study on low complexity decoding of intra coding", PROCEEDINGS OF THE 2011 INSTITUTE OF ELECTRONICS, INFORMATION, AND COMMUNICATION ENGINEERS (IEICE) GENERAL CONFERENCE, March 2011 (2011-03-01), pages D-11 - 39

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022028586A (ja) * 2020-08-03 2022-02-16 緯創資通股▲ふん▼有限公司 ビデオ処理装置およびビデオストリームの処理方法
JP7075983B2 (ja) 2020-08-03 2022-05-26 緯創資通股▲ふん▼有限公司 ビデオ処理装置およびビデオストリームの処理方法
US11363298B2 (en) 2020-08-03 2022-06-14 Wiston Corporation Video processing apparatus and processing method of video stream
US11880966B2 (en) 2020-08-03 2024-01-23 Wistron Corporation Image quality assessment apparatus and image quality assessment method thereof
CN116708933A (zh) * 2023-05-16 2023-09-05 深圳东方凤鸣科技有限公司 一种视频编码方法及装置
CN116708933B (zh) * 2023-05-16 2024-04-16 深圳东方凤鸣科技有限公司 一种视频编码方法及装置

Also Published As

Publication number Publication date
EP2775718A4 (en) 2015-07-29
RU2014123658A (ru) 2017-01-20
KR101614828B1 (ko) 2016-04-22
US9332275B2 (en) 2016-05-03
PL2775718T3 (pl) 2020-01-31
TW201338552A (zh) 2013-09-16
CA2858693A1 (en) 2013-06-20
JP2013125973A (ja) 2013-06-24
EP2775718B1 (en) 2019-07-10
EP2775718A1 (en) 2014-09-10
CN103975599A (zh) 2014-08-06
TWI477107B (zh) 2015-03-11
US20140355678A1 (en) 2014-12-04
JP5795525B2 (ja) 2015-10-14
KR20140092374A (ko) 2014-07-23
BR112014014322A2 (pt) 2017-06-13
CN103975599B (zh) 2017-05-03

Similar Documents

Publication Publication Date Title
JP5795525B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
JP6164600B2 (ja) ビデオ符号化での分割ブロック符号化方法、ビデオ復号化での分割ブロック復号化方法及びこれを実現する記録媒体
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR101473278B1 (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
EP2755388B1 (en) Method, device, and program for encoding and decoding image
JP5219089B2 (ja) 画像データの生成方法
WO2010131601A1 (ja) 画像処理装置および方法、並びにプログラム
JP2015130684A (ja) 映像復号化装置
KR20070090700A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JPWO2008090793A1 (ja) 画像再符号化装置、画像再符号化方法及び画像再符号化プログラム
TW200952499A (en) Apparatus and method for computationally efficient intra prediction in a video coder
US20110135003A1 (en) Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
JP2007013298A (ja) 画像符号化装置
JP5219062B2 (ja) 画像データの生成方法
WO2016194380A1 (ja) 動画像符号化装置、動画像符号化方法および動画像符号化プログラムを記憶する記録媒体
JP2012175332A (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
KR101443865B1 (ko) 인터 예측 방법 및 장치
JP5706264B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
KR101436949B1 (ko) 영상 인코딩 방법 및 장치, 그리고 영상 처리 장치
JP6253564B2 (ja) 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラムおよび画像復号プログラム
WO2014196118A1 (ja) 画像符号化装置、画像解析装置、画像符号化方法及び画像解析方法
KR101802304B1 (ko) 하다마드 변환을 이용한 부호화 방법 및 이러한 방법을 사용하는 장치
WO2012008180A1 (ja) 画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12857396

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 20147014672

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012857396

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2858693

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14363994

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2014123658

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112014014322

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112014014322

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20140611