WO2010082231A1 - 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 - Google Patents

画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 Download PDF

Info

Publication number
WO2010082231A1
WO2010082231A1 PCT/JP2009/000122 JP2009000122W WO2010082231A1 WO 2010082231 A1 WO2010082231 A1 WO 2010082231A1 JP 2009000122 W JP2009000122 W JP 2009000122W WO 2010082231 A1 WO2010082231 A1 WO 2010082231A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
prediction
completed
block
area
Prior art date
Application number
PCT/JP2009/000122
Other languages
English (en)
French (fr)
Inventor
望月誠二
船橋豊
木村淳一
江浜真和
Original Assignee
ルネサスエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルネサスエレクトロニクス株式会社 filed Critical ルネサスエレクトロニクス株式会社
Priority to CN200980154636.9A priority Critical patent/CN102282851B/zh
Priority to EP09838201.3A priority patent/EP2378776B1/en
Priority to EP18158522.5A priority patent/EP3376768B1/en
Priority to PCT/JP2009/000122 priority patent/WO2010082231A1/ja
Priority to KR1020117016414A priority patent/KR101605220B1/ko
Priority to US13/144,546 priority patent/US9503728B2/en
Priority to KR1020167001770A priority patent/KR101683434B1/ko
Priority to JP2010546448A priority patent/JP5170800B2/ja
Priority to TW098139721A priority patent/TWI521948B/zh
Publication of WO2010082231A1 publication Critical patent/WO2010082231A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/583Motion compensation with overlapping blocks

Definitions

  • the present invention relates to an intra-frame decoding apparatus that decodes a frame of a moving image or a still image, and further relates to an encoding / decoding technique such as an intra-frame encoding apparatus that applies the decoding technique to predictive encoding within a frame.
  • MPEG-2 and MPEG-4 standardized by MPEG (Moving Picture Experts Group) and H standardized by ITU-T (International Telecommunication Union, Telecommunication Standardization Sector) Encoding methods represented by the .264 (common document with MPEG-4 Part.10) standard are known.
  • Encoding of moving images is roughly divided into temporally preceding and following images (hereinafter, one screen constituting a moving image in encoding or decoding processing is referred to as an “image”.
  • Image is a progressive signal.
  • both “frame” and “field” can be indicated.
  • image indicates “frame”
  • processing is in units of fields.
  • inter-frame”, “inter-frame”, and “frame memory”, which are generally named in the coding field, are used as they are, but they are not specified as “frames” of interlaced signals.
  • Inter-frame encoding for encoding a difference from “frame” and “field” depending on the processing mode at that time), and 1
  • intra-frame coding to encode the image by itself.
  • the code amount of an intra-frame encoded image is larger than the code amount of an inter-frame encoded image.
  • in-frame coding is a method necessary for improving the random accessibility during reproduction and for returning from an error in addition to being necessary at the beginning of video content (sequence). Periodically selected every second interval, that is, every 15 to 60 frames.
  • the encoding process is a block obtained by segmenting an image (usually 16 pixels ⁇ 16 lines, referred to as a “macroblock” in MPEG.
  • block is used as a general term for a processing unit for performing the processing of the present invention.
  • the above-defined block may be referred to as a “subblock” in order to clearly distinguish it from the macroblock).
  • intra-frame coding for each block, a prediction signal is generated using the value of an image signal (pixel) that is already coded in the same image, and the difference value between the signal of the block to be coded and the prediction signal Are orthogonally transformed and quantized, converted into codes, and subjected to encoding processing.
  • the identification signal for generating the prediction signal is encoded together.
  • Non-Patent Documents 1 and 2 below show nine types of prediction signal generation methods, that is, the eight types shown in FIG. 1 and the method using the average value of surrounding pixels of the block to be encoded. Yes.
  • an 8-direction prediction method is defined as a prediction signal of an encoding block 200 to be encoded in accordance with the direction of image content.
  • (1) in FIG. 1 is a method suitable for the case where the image content has a strong correlation in the vertical direction, that is, a vertical line, and an encoded signal 211 adjacent to the encoding block 200 is copied in the copy direction 212.
  • a prediction signal is generated by repeatedly copying in the direction.
  • the pixel signal 211 used for prediction is a region having the same number of pixels as the horizontal direction of the block in the vertical direction by one pixel width.
  • the prediction signal is generated by copying the pixel signal value in the direction of the arrow from the encoded signal (each hatched portion).
  • the area of the pixel signal (shaded area) used for prediction in any of (2) to (8) in FIG. 1 is 1 pixel wide, belongs to the area of the encoded pixel signal, and is in contact with the uncoded area. (There are pixels belonging to the undecoded area in any of the eight neighborhoods of the corresponding pixel).
  • an identification signal indicating which direction prediction is used is encoded.
  • a vector (hereinafter, unless otherwise specified, information indicating a pixel position in a screen is simply referred to as “vector” or “predicted vector”.
  • a method for indicating a position where a prediction signal is generated using a “motion vector” used for encoding is referred to as an “in-screen vector” when it is necessary to distinguish it.
  • one image includes an encoded region 130 and an unencoded region 140, and a block signal (prediction block 110) suitable for use as a prediction signal when the encoded block 100 is encoded has been encoded.
  • a region 130 is selected and its position is indicated by a two-dimensional relative position (predicted vector 120) from the coding block 100.
  • the vector 120 is shown at the relative position of the upper left pixel (illustrated by a small square) of the block.
  • each pixel signal in the encoding block 100 is subjected to a difference from the corresponding pixel signal in the prediction block 120, and a signal obtained by orthogonal transformation / quantization of the difference signal and a prediction vector are encoded. Is done.
  • the unencoded area 140 is set as an undecoded area
  • the encoded block 100 is set as a decoding block to be decoded
  • the encoded area 130 is set as a decoded area
  • decoding is performed using vector information. What is necessary is just to add difference information to the prediction signal obtained from the completed region and form a reproduced image.
  • Patent Document 1 and Patent Document 2 show a prediction method when the prediction block 110 and the encoding block 100 overlap as shown in FIG. At this time, since the lower right part (overlapping part 200) of the prediction block 110 has not been encoded, there is no data serving as a prediction signal.
  • a signal of the overlapping portion 200 a fixed value (for example, a signal value representing gray), an average value of pixel values of the surrounding pixels 210, and a signal value predicted from the surrounding pixels 210 (for example, FIG. 1 (2)). Method).
  • the surrounding pixel 210 belongs to the encoded region 130 and is in contact with the overlapping portion 200 (a pixel belonging to the overlapping portion pixel exists in any of the eight neighborhoods of the pixel).
  • the overlapping portion 200 between the prediction block 110 in the decoded area 130 and the coding block 100 to be decoded in the undecoded area 140 becomes a prediction signal because the decoding process has not been completed. There will be no data.
  • an image in an encoded area (decoded area) and an image in an encoded block are continuous (for example, an image in an encoded area (decoded area)) And a straight line or an edge image connecting the inside of the coding block) and the direction thereof coincides with the eight directions in FIG.
  • the encoding efficiency compression rate is not improved when the image is not continuous, such as a periodic discrete pattern, or when the continuous direction does not match the eight directions in FIG.
  • Patent Document 1 it is possible to cope with a case where a periodic pattern exists in an image, and the direction can be specified in detail, but there are the following problems. That is, when the encoding block 100 and the prediction block 110 overlap as shown in FIG. 3, the processing of the overlapping part takes the same method as the methods of Non-Patent Documents 1 and 2, so that the encoding efficiency (compression rate) ) Does not improve. In general, the closer the distance between pixels in an image signal, the higher the correlation, and there is a high probability that an optimal prediction block 110 exists in the vicinity of the coding block 100. However, the method of Patent Document 1 or Patent Document In the method combining the method 1 and Non-Patent Documents 1 and 2, there is a problem that the overlap region 200 where the prediction is not performed increases as the size of the prediction vector 120 decreases.
  • An object of the present invention is to provide an image encoding and decoding technique that does not reduce prediction efficiency even when a prediction signal is generated from the vicinity of an encoding block using a prediction vector.
  • a more specific object is to provide an image encoding and decoding technique that can improve the prediction efficiency for the overlapping portion of the prediction block and the encoding block and contribute to the improvement of the image quality.
  • a decoder that uses the pixel information of the portion where the decoding process has been completed as a prediction signal and adds the prediction signal to the difference image data obtained from the data stream to generate reproduction image data is employed.
  • This decoder is employed in an intra-frame decoding device, a local decoder of an encoding device, and the like. This means pays attention to the fact that the pixel at the multiplied position is a similar pixel from the principle of the repetitive pattern of the image.
  • intra-frame coding has a larger amount of code than inter-frame coding, so that the amount of code can be reduced even for the entire video stream, and the effect of reducing the amount of code to obtain a constant image quality, or constant There is an effect of reproducing a high-quality video depending on the code amount.
  • FIG. 1 is a diagram illustrating conventional intraframe prediction.
  • FIG. 2 is a diagram showing intra-frame prediction using a conventional vector.
  • FIG. 3 is a diagram showing that there is an overlap between an encoded block and a prediction block in intra-frame prediction using a vector.
  • FIG. 4 is a diagram showing the process of the overlapping part between the encoded block and the predicted block in the present invention.
  • FIG. 5 is a diagram showing classification according to the position of the prediction vector in the present invention.
  • FIG. 6 is a diagram showing the processing of the overlapping portion according to the position of the prediction vector in the present invention.
  • FIG. 7 is a block diagram of an image decoding apparatus according to the first embodiment of the present invention.
  • FIG. 8 is a detailed block diagram of the prediction signal generation circuit 1040 in FIG. FIG.
  • FIG. 9 is a detailed block diagram of a modified example of the prediction signal generation circuit 1040 of FIG.
  • FIG. 10 is a flowchart of a prediction signal generation algorithm according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing another classification according to the position of the prediction vector in the present invention.
  • FIG. 12 is a diagram showing a prediction signal generation process in the regions (F) and (G) in FIG.
  • FIG. 13 is a diagram showing a modification of the decoded area in the present invention.
  • FIG. 14 is a diagram illustrating a prediction signal generation process in the regions (F ′), (G ′), and (D ′) in FIG. 13.
  • FIG. 15 is a diagram showing the processing order of blocks that perform the processing of the present invention.
  • FIG. 10 is a flowchart of a prediction signal generation algorithm according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing another classification according to the position of the prediction vector in the present invention.
  • FIG. 12 is
  • FIG. 16 is a diagram showing the half-pel prediction of the present invention.
  • FIG. 17 is a block diagram of a prediction signal generation circuit that implements the processing of FIG.
  • FIG. 18 is a timing chart of the processing of FIG.
  • FIG. 19 is a block diagram of an image encoding device according to the third embodiment.
  • FIG. 21 is a block diagram of a stream according to the present invention.
  • FIG. 20 is a block diagram of an optical disk reproducing apparatus to which the present invention is applied.
  • An image processing apparatus (FIGS. 7, 8, and 9) performs pixel conversion between a prediction block indicated by vector information extracted from a data stream and a decoding target block.
  • the pixel information of the portion that is located at a multiple of the distance from the overlap portion by the vector information and has been decoded is used as a prediction signal and obtained from the data stream.
  • a decoder for generating reproduced image data by adding the prediction signal to the difference image data.
  • the pixel information of the part where the decoding process has been completed is used as the prediction signal instead of the overlapping part that has not been decoded. Therefore, it is possible to improve the prediction efficiency, reduce the code amount, and improve the image quality. Moreover, since the pixel information of the part where the decoding process has been completed is acquired by multiplying the distance by the vector information, the control is easy.
  • the present invention can be easily applied not only to decoding but also to local decoding.
  • the decoding method according to the representative embodiment of the present invention is performed when pixels overlap between the prediction block indicated by the vector information extracted from the data stream and the decoding target block.
  • a process of setting the pixel information of a portion at a position multiplied by the distance from the overlapped portion by the vector information and having been decoded, as a prediction signal, and a difference obtained from the data stream And processing for generating reproduced image data by adding the prediction signal to the image data.
  • An intra-frame decoding apparatus (FIGS. 7, 8, and 9) according to another embodiment of the present invention includes an extraction unit (1020) that extracts vector information indicating a prediction block from a data stream (1010), A determination unit (1250) for determining whether each pixel data indicated by the vector information is included in an area where the decoding process has been completed or an area where the decoding process has not been completed; A pixel position calculation unit (1300) that calculates a pixel position that is located at a position multiplied by the size of the vector information from the pixel data determined to be included in the area that has not been completed and that has been decoded.
  • an image reproducing unit that generates the reproduced image data by adding the difference image data.
  • the intra-frame decoding apparatus further includes a multiplication unit (1200) that multiplies the vector based on the vector information, and the pixel position calculation unit ends the decoding process using the multiplied vector.
  • the pixel position of the pixel data in the area being calculated is calculated.
  • the prediction signal generation unit (1461, 3000) finishes the decoding process among the pixel data at the calculated pixel position and the pixel data indicated by the vector information.
  • Predictive image data is generated by calculating pixel data that interpolates between a plurality of pixels with respect to the pixel data of the area being processed (FIG. 17, half pel).
  • the pixel position calculation unit calculates a pixel position within a predetermined range (FIG. 14, access range restriction).
  • the predetermined range is set based on a signal extracted from the data stream (designation of an access range by the data stream).
  • the data stream is a still image or moving image data stream.
  • a decoding method (FIG. 10) includes an extraction process for extracting vector information indicating a prediction block from a data stream, and each pixel data indicated by the vector information is decoded.
  • a determination process for determining whether the area is included in an area for which the decoding process has not been completed, and an area for which the decoding process has not been completed, and pixel data determined to be included in an area for which the decoding process has not been completed.
  • a pixel position calculation process for calculating a pixel position in a region where the size is multiplied by the vector information and in the region where the decoding process has been completed, and the pixel position with respect to the pixel data indicated by the vector information Based on the pixel data of the pixel position calculated by the calculation process and the pixel data determined to be included in the region where the decoding process has been completed
  • FIG. 10 In a more specific decoding method (FIG. 10), a first process for extracting vector information indicating a prediction block from a data stream, and a decoding process for each pixel data indicated by the vector information has been completed. A second process for determining which of the area and an area where the decoding process has not been completed, a third process for multiplying the vector based on the vector information, and an area where the decoding process has not been completed.
  • An image encoding apparatus (FIG. 19, encoder) according to still another embodiment of the present invention divides image data into a plurality of blocks, and blocks similar to the block to be encoded are displayed on the same screen data.
  • Vector information indicating the relative position between the block similar to the block to be encoded and the prediction signal, and similar to the block to be encoded
  • the difference signal between the processed block and the prediction signal is encoded.
  • the image encoding device includes: a determination unit that determines whether each pixel data indicated by the vector information is included in a region where the decoding process has been completed or a region where the decoding process has not been completed A pixel for calculating a pixel position in a position multiplied by the size of the vector information from the pixel data determined to be included in the area where the decoding process has not been completed and in the area where the decoding process has been completed A pixel that is determined to be included in the position calculation unit, the pixel data of the pixel position calculated by the pixel position calculation unit with respect to the pixel data indicated by the vector information, and the region where the decoding process has been completed And a prediction signal generation unit that generates prediction image data based on the data as a local decoder.
  • An intra-frame decoding apparatus is an apparatus in which inter-frame encoded blocks and intra-frame encoded blocks coexist.
  • the inter-frame decoding device extracts the vector information indicating the prediction block from the data stream, and each pixel data indicated by the vector information Are determined to be included in an area where the decoding process has been completed and an area where the decoding process has not been completed, and a determination unit which determines whether the area is included in the area where the decoding process has not been completed.
  • a pixel position calculation unit for calculating a pixel position in a region where the size is multiplied by the vector information and in the region where the decoding process has been completed from the obtained pixel data, and for the pixel data indicated by the vector information It is determined that the pixel data at the pixel position calculated by the pixel position calculation unit is included in the area where the decoding process has been completed.
  • a prediction signal generation unit that generates predicted image data based on the pixel data, and an image reproduction unit that generates reproduction image data by adding difference image data obtained from the data stream to the prediction image data.
  • An intra-frame decoding apparatus (which enables prediction signal modification) according to still another embodiment of the present invention includes an extraction unit that extracts vector information indicating a prediction block from a data stream, and the vector information.
  • a determination unit that determines whether each of the pixel data shown is included in an area where the decoding process has ended or an area where the decoding process has not ended; and an area where the decoding process has not ended
  • a pixel position calculation unit for calculating a pixel position in a region where the size is multiplied by the vector information from the pixel data determined to be included and in which the decoding process has been completed; and indicated by the vector information
  • pixel data at the pixel position calculated by the pixel position calculation unit and pixel data determined to be included in the area where the decoding process has been completed A prediction signal generation unit that generates prediction image data based on the prediction signal conversion unit, a prediction signal conversion unit that converts prediction image data generated by the prediction signal generation unit by a method indicated by a data stream, and the prediction signal conversion unit
  • FIG. 4 separates the prediction block 110 of FIG. 3 and the encoded block (hereinafter also simply referred to as the encoded block) 100 as a decoding target, This is drawn together with the prediction signal 130 to be generated.
  • area 210 is a missing area belonging to the undecoded area.
  • the missing region is the same region as the region 220 at the upper left of the encoding region. Therefore, if the prediction by the prediction block is correctly performed, the prediction signal in the region 220 in the encoded block corresponds to the region 200 in the prediction block. That is, the difference signal for each pixel in the region 220 and the region 200 is small, and the data in the two regions are similar.
  • the prediction signal 130 is generated as follows using these properties. (1) The region (region 200 and region 230) where the signal of the decoded region exists has the corresponding pixel signal as the prediction signal, and (2) the region (region 220) corresponding to the undecoded region is the signal of the region 200. Copy to make a prediction signal.
  • the region 220 in the prediction block corresponds to the prediction from the position of the vector twice the original vector 120 as indicated by the vector 121.
  • FIG. 5 and 6 illustrate the position indicated by the vector and the prediction signal generation method at that time.
  • the encoded block is a horizontal W pixel and a vertical W pixel
  • FIG. 6 shows an example of generation of a prediction signal in each region when these regions are sequentially designated as (A), (B), (C), (D), and (E).
  • the position indicated by the vector is displayed as the position of the pixel corresponding to the upper left pixel (illustrated by a square) of the encoded block. Note that when the vector indicates the region 590 (H), no missing region is generated in the prediction block, and thus a conventional prediction method can be applied.
  • FIG. 6 are examples when the vectors indicate the regions 500, 510, and 540 in FIG.
  • the prediction signal is divided into three areas 201, 211, and 212.
  • a region 201 is a pixel signal 111 of a decoded region portion in the prediction block.
  • the region 211 is a position indicated by the motion vector 121 obtained by doubling the original prediction vector 120 from the position of the region 211, that is, a corresponding portion of the region 111.
  • the region 212 is a corresponding portion of the region 111 indicated by the vector 122 that is three times the prediction vector 120 from the position of the region 212.
  • the prediction signals of the region 211 and the region 212 in the above example of the prediction block, a vector up to three times the original prediction vector is used, but the pixel at the position of the triple vector is an undecoded region.
  • the multiplication number is increased to 4 times and 5 times, and the minimum multiplication number corresponding to the pixel in the decoded area is used.
  • the characteristics of the patterns (C) and (D) are different from those of the patterns (A), (B), and (E).
  • the predicted block areas 211 and 212 are generated, pixels that are twice or three times the vector are used. 201 signals could be used.
  • the signal of the area 200 cannot be used as it is, and it is necessary to acquire the signals of the areas 112 and 113 corresponding to the decoded areas. This is a case where the prediction vector corresponds to the areas 520 and 530 in FIG. 5, and is due to the fact that the right side of the encoded block, that is, the lower part of the area 530 in FIG.
  • FIG. 7 is a block diagram showing a configuration of an embodiment of an intra-frame image decoding apparatus according to the present invention.
  • the input data stream 1010 includes a prediction vector for each block constituting the image and information on a difference signal with respect to the prediction signal.
  • the decoding circuit 1020 extracts a prediction vector 1030 and difference information 1100 from the data stream 1010.
  • the difference information 1100 is converted into a difference signal 1125 by an inverse quantization circuit 1110 and an inverse orthogonal transform circuit 1120.
  • the prediction signal generation circuit 1040 according to the present invention generates the designated address 1050 of the decoded area of the frame memory 1070 based on the prediction vector 1030 and acquires the pixel signal 1060 of the corresponding address.
  • the pixel signal 1080 of the prediction block is generated according to the principle described with reference to FIGS.
  • the generated pixel signal 1080 of the prediction block is added to the difference signal 1125 in the image reproduction circuit 1130, and the image of the corresponding block is reproduced.
  • the reproduced image is written into the frame memory 1070 and used as a candidate for predictive image generation at the time of image reproduction of subsequent blocks.
  • the generated image signal is output as an output signal 1150 and displayed on a display device such as a television.
  • FIG. 8 is a detailed circuit of the prediction signal generation circuit 1040 in FIG.
  • the pixel position information generation circuit 1300 generates pixel position information 1310 of a pixel to be processed in the coding block.
  • the vector multiplication circuit 1200 generates a multiplication vector 1230 obtained by multiplying the input prediction vector 1030 by a multiple (N times) indicated by the signal 1210. The value of N in the initial state is 1.
  • the multiplication vector 1230 (same as the prediction vector 1030 in the initial state) is added to the pixel position information 1310 in the addition circuit 1320, and the pixel position 1330 of the prediction block is calculated.
  • the horizontal component of the prediction vector is Vx and the vertical component is Vy
  • the horizontal component N ⁇ Vx and horizontal pixel position information X of the multiplication vector, and the vertical component N ⁇ Vy and vertical pixel position information Y are added independently.
  • the pixel position of the prediction block is horizontal X + N ⁇ Vx and vertical Y + N ⁇ VyV with reference to the upper left pixel of the coding block. Note that these values can be negative values.
  • Wx is the horizontal size of the block, and Wy is the vertical size.
  • the pixel position 1330 of the prediction block is added in the block position 1410 generated by the block position generation circuit 1400 of the corresponding block in the screen and the address generation circuit 1420, and further converted into the corresponding address 1050 in the frame memory.
  • the pixel signal 1060 indicated by the converted address 1050 is input, the pixel signal is temporarily stored in the buffer 1450 and then output as the prediction signal 1080 at an appropriate timing.
  • the block position generation circuit 1400 advances the block position 1410 to the next block position.
  • the multiplication circuit 1200 calculates N times the motion vector, but the multiplication circuit 1200 does not need to include a multiplier because the multiplication (value of N) is 1, 2, Since the step is incremented by 3 and 1, the prediction circuit is temporarily held in the multiplication circuit. When the multiplication number increases by 1, this can be realized by adding the prediction vector to the held vector value. As a result, the number of circuits can be reduced.
  • a conversion table that receives the size of the base vector and the multiplication number N and outputs a new vector corresponding to the input may be arranged.
  • non-linear processing that is, processing of multiplying the base vector in a certain range and different magnifications and fixed values (clipping) in other ranges can be performed.
  • the corresponding pixel is generated by a predetermined method. For example, when the coordinate (x, y) to be referenced is x ⁇ 0 (outside the left end of the screen) as in MPEG-4, the pixel (0, y) is used.
  • FIG. 9 shows another embodiment of the prediction signal generation circuit 1040 of FIG. A difference from the prediction signal generation circuit of FIG. 8 is that a block memory 1460 is installed instead of the buffer 1450.
  • the signal of the prediction block region 201 is used when generating the prediction signal of the defective region described in FIGS. 6A, 6B, and 6E. That is, the prediction block signal is stored in the block memory 1460, and in the case of prediction that only requires pixel access in the prediction block, the signal stored in the block memory 1460 is output without accessing the frame memory 1070. It is.
  • a signal obtained by accessing the frame memory 1070 that is, a signal 1060 obtained from the decoded area is stored at an address corresponding to a position in the block of the block memory 1460.
  • N 0 is read out from the block memory as in the above writing.
  • a value obtained by subtracting 1 from the value of N when originally reading from the frame memory is set to a multiplication number 1210 to generate a block memory address 1330, so that the pixel once read, that is, FIG. Data at the corresponding position in the area 211 can be read.
  • the number of accesses to the frame memory 1070 can be reduced, and it is possible to reduce the power associated with accessing the frame memory and reduce the bus width of the frame memory.
  • the processing time can be shortened or the operating frequency can be lowered, which further contributes to the reduction of power.
  • FIG. 10 is a flowchart of an algorithm for generating a prediction pixel signal of one block in the present invention.
  • the value of the prediction vector input to the variable VEC is held at 1500.
  • the value (vector value) of the variable VEC and the position of the corresponding pixel are added to obtain the predicted signal position.
  • both the pixel position and the predicted signal position are two-dimensional coordinates, and in addition to the vector value, the horizontal component and the vertical component are calculated independently. It is investigated whether the predicted pixel position is a decoded region using the calculated predicted pixel position. The investigation method is implemented by the inequality shown in the explanation of FIG.
  • the predicted vector value is added to the variable VEC at 1540. That is, it corresponds to the process of incrementing the multiplication number N used when explaining the hardware to N + 1.
  • VEC is continuously changed (step N is incremented) in step 1540 until the predicted pixel position is within the decoded area.
  • the determination process 1530 determines that the predicted pixel position is within the decoded region, in 1550, the predicted pixel position signal is read, and the read pixel is used as the predicted signal of the corresponding pixel.
  • FIG. 11 and FIG. 12 are diagrams for explaining a modification of the present invention.
  • FIG. 11 is a modification example that permits the processing of the area 600 (F) and the area 610 (G) in FIG. 11 that are not supported in FIG. In (F) and (G), since the prediction vector is downward in the figure, it cannot be handled by the method of multiplying the prediction vector already described.
  • FIG. 12 is an explanatory diagram of processing when the prediction vector is directed downward, that is, when the prediction vector indicates the region 600 and the region 610 in FIG.
  • circles indicate the pixels in the decoded area
  • squares indicate the positions of the pixels in the coding block.
  • the prediction images corresponding to A to M of the coding block 100 in the figure can be generated from pixels a to l (el) in the decoded area.
  • the prediction vector is degenerated according to the following equation until the decoded area is indicated.
  • max (u, v) returns the larger value of u and v
  • “/” is a division to round off the decimal number in the 0 direction
  • 2 ⁇ N is 2 to the Nth power.
  • the right in the horizontal direction is the plus direction of X, and the lower direction is the plus direction of Y. That is, in the case of prediction vectors indicating the region 600 and the region 610, Vx ⁇ 0 and Vy> 0.
  • N The value of N is incremented one by one, and a pixel signal when a pixel indicated by Vx ′ and Vy ′ indicates a pixel in a decoded area is used as a prediction signal.
  • a prediction signal is generated by the same processing as shown in FIG. In the example of FIG.
  • FIG. 13 and FIG. 14 are diagrams for explaining another embodiment of the present invention. 5 and 11, on the left side of the coding block, it is assumed that the boundary between the lower side of the coding block and the decoded area is the same height in the vertical direction, and that the decoded area is infinitely continuous in the right direction.
  • the vertical position of the boundary between the lower side of the encoded block and the decoded area may be different, or the right side of the decoded area may be restricted.
  • the right limit corresponds to the screen edge.
  • (F ′) (G ′) in FIG. 14 is an example when the prediction vectors are the region 620 and the region 630.
  • the pixel signal of the prediction block is calculated by the following method.
  • Step 1 N0 is incremented by 1, 2,... According to the following formula to determine whether or not the corresponding pixel is a pixel in the decoded area. If the pixel belongs to the decoded area, the signal value of the pixel is set as the predicted value, and all the following Step 2 is omitted.
  • step 1 when N0 satisfies the following inequality, step 1 is terminated and the process proceeds to step 2.
  • X is a horizontal relative position from the upper left pixel of the processing pixel in the encoded block
  • Y is a vertical relative position.
  • Step 2 For N0 satisfying the above inequality, the pixel values at the following positions relative to the upper left pixel of the block are set as predicted values. ( ⁇ 1, min (W + dY ⁇ 1, Y + (Vy ⁇ (1 + X)) / ( ⁇ Vx)))
  • min (a, b) returns the smaller value of a and b.
  • Vx In the region (F ′) (G ′), Vx ⁇ 0.
  • (D ′) in FIG. 14 illustrates generation of a predicted pixel signal when the motion vector is in the region (D ′).
  • the region 215 and the region 216 that are originally used for prediction of the region 211 and the region 212 belong to the undecoded region.
  • the pixel values of the region 110 are used as the predicted values for the regions 211 and 212.
  • 14D illustrates the case where the right-side decoded area is restricted due to force majeure, such as when there is the right edge of the screen, but in order to restrict pixel access in the right direction of the screen, the right side in FIG. It is also possible to provide the boundary 660 virtually.
  • dX a fixed value (for example, 8)
  • the range of pixels used for generating a prediction signal for one block can be limited, and the addition of memory access can be reduced. it can.
  • the limited range of pixels used for generating the prediction signal is described in the input data stream, for example.
  • information on the limited range is extracted from the stream, and the extracted information on the limited range is used in the subsequent stream decoding process.
  • the restriction range can be changed according to the processing capability of the device that decodes the data stream. For example, in a data stream reproduced by a decoding device having a high processing capability, it is possible to set a wider limit range and improve encoding efficiency.
  • the restriction range information is described in the stream information 4000 or the frame information 4100 in FIG. When described in the stream information 4000, the same limited range is taken for the entire corresponding stream, and when described in the frame information 4100, the limited range can be changed for each frame.
  • FIG. 15 is a diagram showing the order of block prediction.
  • a macroblock having a luminance signal of 16 pixels ⁇ 16 lines is an encoding processing unit.
  • FIG. 15 shows the processing order when the block (subblock) size for performing intra-screen vector prediction according to the present invention is smaller than the macroblock.
  • FIG. 15 shows an example in which the sub-block size is 1/4 of the length and width of the macroblock, that is, 4 pixels ⁇ 4 lines.
  • (1) in FIG. 15 is an example in which the sub-blocks in the macro block are scanned from the upper left to the right as shown in the figure. Further, (2) in FIG.
  • Prediction vector information is decoded for each sub-block. Since prediction vectors are often similar in adjacent sub-blocks, the difference between the prediction vector information and the prediction vectors of adjacent sub-blocks is sent. For example, in the sub-block 6 of (1) in FIG. 15, the vectors of sub-block 5, sub-block 2, and sub-block 3 are used as sub-blocks that are adjacent and have already been decoded. When the vectors of these three sub-blocks are respectively (Vax, Vay) (Vbx, Vby) (Vcx, Vcy), the vector prediction signals (Vpx, Vpy) of sub-block 6 to be decoded are as follows.
  • Vpx Median (Vax, Vbx, Vcx)
  • Vpy Median (Vay, Vby, Vcy)
  • Median (a, b, c) is the second (center) value when a, b, c are arranged in descending order.
  • the prediction vector signal is obtained by adding the decoded difference signal to the prediction signal (Vpx, Vpy) of this vector.
  • a sub-block is located at a macro-block boundary (for example, sub-block 1)
  • the prediction vector of the sub-block of the neighboring macro block is stored, and a vector prediction signal is generated using the prediction vector. Get a vector value. Further, when the macro block is in contact with the screen boundary and there is no sub-block at the corresponding position, it can be obtained in the same manner by setting the non-existing vector value to (0, 0).
  • the prediction signal may be (0, 0) when the number of sub-blocks that do not exist is three (no one).
  • FIG. 16 and FIG. 17 are modified examples for calculating the signal value of the prediction block.
  • FIG. 16 and FIG. 17 show an example of using a prediction equivalent to half-pel prediction used in motion compensation interframe prediction such as MPEG, that is, using a vector with an accuracy of 1/2 of the pixel interval.
  • FIG. 16 is an example of processing when the in-screen vector has half-pel accuracy.
  • the vector 120 corresponds to ( ⁇ 2.5, ⁇ 1.5) in the figure.
  • the position of the predicted pixel of the pixel A in the coding block 100 is the pixel position 700.
  • the predicted signal value A ′ at this time is as follows.
  • a ′ (a + b + f + g + 2) >> 2
  • a, b, f, and g are pixel signal values shown in FIG. 16, respectively, and >> is a bit shift operation.
  • >> 2 means 2-bit right shift, that is, 1/4 operation.
  • +2 is for rounding off the quotient with respect to (a + b + f + g) >> 2 when 1/4 division is performed.
  • the predicted signal value T ′ of the pixel position 701 that is, the pixel T is as follows.
  • T ′ (A ′ + B ′ + F ′ + G ′ + 2) >> 2
  • a ′, B ′, F ′, and G ′ are predicted values of the pixels A, B, F, and G, respectively.
  • the pixels required for prediction use a larger number of pixels by one pixel width in both horizontal, vertical, and horizontal / vertical directions than in the case of prediction using integer precision vectors. For this reason, in the various determinations of the prediction pixel generation method described above, it is necessary to use a determination criterion that all pixels necessary for generating one prediction pixel are in the decoded region.
  • FIG. 17 is a block diagram of the prediction signal generation circuit 1041 that performs the processing of FIG. 16, and FIG. 18 is an operation timing chart of the prediction signal generation circuit 1041 when the processing of FIG. 16 is performed.
  • the pixel position information generation circuit 1301 outputs pixel position information indicated by a signal 1310 in the timing chart of FIG.
  • the pixel position information 1310 is a value in the range of 0 to 3 for both horizontal and vertical components.
  • information on an area that is one pixel larger in horizontal and vertical than the size of the coding block is required.
  • the prediction signal generation circuit 1041 performs the same processing as the processing described above with reference to FIGS. 8 and 9, and as a result, the pixels in the decoded region related to the prediction signal generation in FIG. b, c, d, e, f, g, h, i, j, k, l, m, q, r, s, u, w, z are obtained at the timing indicated by 1060 in FIG.
  • These pixel signals 1060 are stored in the block memory 1461.
  • the block memory 1461 has a capacity of 25 pixels of 5 pixels ⁇ 5 lines, writes one of the two inputs (1060, 3021), and two independent signals (3040, 3070). ) At the same time.
  • a signal line or the like for selecting which information of the two systems of input is to be written is omitted.
  • the meaning of “simultaneous” means that the reading or writing process is completed in the processing unit period from time 3100 to time 3110 in FIG. 18, for example. 3 periods), and writing, reading 1 and reading 2 may be sequentially performed in each period.
  • Two pixel signals written at the timings indicated by 3040 and 3070 in FIG. 18 are read from the block memory 1461.
  • the signal 3040 includes the signal of the pixel a in FIG.
  • the signal of the pixel f is read out.
  • These signals are delayed by processing unit periods in delay circuits 3050 and 3080, respectively, and become signals 3060 and 3090. That is, at time 3110, signals 3060, 3040, 3090, and 3070 are output as signals of pixels a, b, f, and g, respectively, and the half-pel processing circuit 3000 uses these four pixels as shown in FIG.
  • a prediction signal A ′ used for prediction of the pixel A is generated as a prediction signal 1080.
  • both horizontal and vertical components of the prediction vector When either one of the horizontal and vertical components of the prediction vector is an integer precision value, the required two pixels of the above four pixels are used, and both horizontal and vertical are integer precision. Only signal 3060 is used. As described above, when one or both of the horizontal and vertical prediction vectors are signals of integer precision, there are pixels that are not used for generating the prediction signal, so these pixels may not be read from the frame memory.
  • the generated prediction signal 1080 is output as a prediction signal.
  • signals necessary for generating other prediction signals are delayed by a delay circuit 3020 for a necessary time (in this example, five times the processing unit period).
  • the signal 3021 is written into the block memory 1461.
  • the timing of writing is the timing indicated by 3021 in FIG. 18, and is written as the timing of pixel positions that continue from the pixel m and continue on the screen of FIG.
  • Signals written from the signal 3021 are the pixels A ′, B ′, F ′, G ′, K ′, and L ′.
  • the signals written via these signals 3021 are also used for the subsequent prediction signal generation processing in the same manner as the signals written via the signal 1060.
  • the prediction efficiency is further improved.
  • the pixel in the lower right part of the prediction block (for example, M ′, P ′, S ′, T ′ in 1080 of FIG. 16 and FIG. 18) Since it is not a pixel, the probability that an error is included is higher than other prediction signals.
  • a ′, B ′, F ′, and G ′ are used to generate the prediction signal T ′ of the pixel T.
  • FIG. 19 is a second embodiment of the present invention, and shows a configuration when the present invention is applied to an encoding apparatus.
  • the input image signal 2010 is divided into blocks and input.
  • the difference between the input signal 2010 and a prediction signal 2200 (to be described later) is calculated for each pixel in the difference circuit 2020.
  • the difference signal 2020 is converted into the signal 2100 by the orthogonal transformation circuit 2030 and the quantization circuit 2040, and then the coding circuit 2050.
  • the signal 2100 is inversely transformed into a differential signal by the inverse quantization circuit 2110 and the inverse orthogonal transform circuit 2120, and then added to the previous prediction signal 2200 for each pixel by the addition circuit 2130 to be obtained by the decoding device.
  • An identical image signal local decoded image
  • the local decoded image is written in the frame memory 2140, and is used for the subsequent prediction signal 2200 generation processing.
  • the prediction signal 2200 is generated in the prediction mode determination circuit 2150 as follows.
  • the input image signal (encoded block) 2010 is input to the prediction mode determination circuit 2150.
  • the prediction mode determination circuit 2150 prepares a plurality of prediction vectors that are candidates for the prediction signal of the corresponding coding block, and sequentially inputs these as prediction candidate vectors 2220 to the prediction signal generation circuit 2240.
  • the prediction signal generation circuit performs the same processing as the prediction signal generation circuits 1040 and 1041 already described in the previous embodiment, and the pixel signal in the encoded area of the frame memory (corresponding to the decoded area in the previous embodiment) Then, a prediction signal 2230 based on the designated prediction candidate vector is generated.
  • the prediction mode determination circuit 2150 calculates a prediction error by taking a difference between the input signal 2010 (encoded block signal) and the prediction block signal (2230) for each pixel. Then, after calculating the prediction errors of all the prediction candidate vectors, the prediction vector 2160 having the smallest (most similar) prediction error is output, and a prediction signal 2200 corresponding to the prediction vector 2160 is output. Note that the prediction vector 2160 is superimposed on the data stream 2060 in the encoding circuit 2050.
  • the prediction signal 2200 needs to be generated from the local decoded image in order to prevent accumulation of errors in the decoding device.
  • the generation of the local decoded image of the block encoded immediately before the completion is completed, that is, the encoding processing of the immediately preceding block is all completed.
  • the next block vector search cannot be started.
  • the next vector search can be started without waiting for the encoding process of the previous block to be completed, so that the vector search process and the subsequent encoding processes can be executed in parallel. Therefore, the allowable processing time allowed for each processing becomes long (for example, if the vector search processing and the subsequent encoding processing take the same time, the processing allowable time is doubled by processing these in parallel). .
  • the same processing can be executed at a lower clock frequency, so that power consumption is reduced and the number of circuits can be reduced.
  • more pixels can be processed per unit time, so that processing of images with higher resolution, processing of images with higher frame rates, or simultaneous processing of multiple images, or these Can be realized.
  • FIG. 20 is a configuration example of the data stream 2060 generated by the encoding device 2001 in FIG. 19, and corresponds to the input data stream 1010 in FIG.
  • the data stream is hierarchical, and in the highest hierarchy, frame data is arranged following the information 4000 related to the entire stream.
  • Frame data for example, frame data 4002 is composed of macroblock (MB) data 4100 to 4104 as shown in the middle of FIG. 20, and frame information 4100 is arranged at the head.
  • MB data, for example, 4102 starts from macroblock mode information MB mode information 4200 as shown in the lower part of FIG.
  • a predetermined number of vector information for generating a prediction signal is arranged (4201 to 4204). For example, when the macroblock is divided into 16 as shown in FIG. 15, the number of vectors is 16 vectors. The number of divisions is specified by MB information. Subsequent to the predetermined number of vectors, macroblock difference information is arranged.
  • FIG. 21 is an example of a device to which the present invention is applied, and is a block diagram of an optical disc reproducing apparatus that records video.
  • the data stream generated according to the present invention is recorded on the optical disc 1.
  • the optical disk drive 2 supplies a video data stream 1010 read from the optical disk 1 to the decoder 1001.
  • the decoder 1001 outputs video information reproduced from the input data stream 1010 by the method described above as an output signal 1150.
  • the outputted output signal 1150 is reproduced on the monitor 3.
  • the present invention includes cases where the following modifications or combinations of the following modifications are applied to the embodiments already described and the modifications of each embodiment.
  • this embodiment shows an example applied to intraframe coding, it can also be applied to coding and decoding in which interframe coding and intraframe coding are mixed.
  • the present invention can be applied to a block in an intraframe coding mode in interframe coding. That is to say, in interframe coding, a block (or macroblock) that is determined to be suitable for intraframe vector prediction according to the present invention is more suitable than intraframe vector prediction than prediction based on motion compensated interframe prediction.
  • the method shown in the embodiment of the present invention After adding the information selected for prediction to the data stream, the method shown in the embodiment of the present invention generates a prediction signal using the pixels of the area already encoded on the same screen, and the difference Convert and code the signal. As a result, it is possible to encode the corresponding block with a smaller code amount than in the case of performing normal intraframe encoding.
  • the encoding method described in the section of FIG. 15 can be applied.
  • the corresponding block can be decoded as in the present embodiment.
  • the fact that the corresponding block has been encoded by intra-screen vector prediction is shown in the MB mode 4200 of FIG.
  • the present invention can be applied not only to moving picture coding but also to still picture coding.
  • image indicates a frame image or a field image.
  • the present invention In encoding or decoding in units of frame images, it is also possible to combine the present invention with frame / field adaptive encoding that performs processing by switching the frame mode and the field mode for each block (macroblock).
  • the embodiment can be applied as it is by switching between a frame vector (a vector indicating a block in units of frames) / a field vector (a vector indicating a block in units of fields) as an in-screen vector of the present invention.
  • the signal for switching the frame vector / field vector may be given for each block (sub-block), or one switching signal may be designated for the entire macro block. Further, it is linked to the coding mode information of the macro block. It doesn't matter.
  • the screen is configured by arranging one field image with different time for each line. Therefore, if there is movement on the screen, the edge portion etc. in the screen are alternately arranged for each line. The image shifts to a comb shape. In the present invention, since such a periodic pattern can be predicted efficiently, the encoding efficiency becomes higher than that of the conventional method that does not support the periodic pattern.
  • the prediction block is used as a prediction signal as it is, but the following cases are also included in the present invention.
  • the prediction block signal is multiplied by a coefficient to obtain a prediction signal. This corresponds to a luminance change in the screen. For example, even when an image of a periodic pattern is gradually darkened due to illumination, the prediction efficiency is not lowered. Further, by applying this process to the prediction pixels in the overlapping portion, higher prediction efficiency can be realized.
  • the prediction block signal is subjected to enlargement or reduction processing to obtain a prediction signal. It is necessary to change the size of the prediction block in accordance with the enlargement / reduction ratio (when the image is enlarged twice, the size of the prediction block may be 1 ⁇ 2 of the normal size). Enlargement / reduction of a prediction block can achieve higher encoding efficiency when the width (line width) of an object in an image is changed. In addition, since it is possible to cope with image conversion even if processing is performed with a larger block, the coding efficiency is not lowered, and the overhead for coding the prediction vector is reduced, and the coding efficiency is improved.
  • the prediction block signal is rotated to be a prediction signal.
  • the rotation can be performed at an arbitrary angle or rotation with a limited angle. For example, by limiting the angle to 90 degrees, 180 degrees, and 270 degrees, the rotation process is easier than an arbitrary angle, and the code amount of information representing the degree of rotation is also reduced.
  • the rotation of the prediction block is effective for encoding an image including a combination of vertical and horizontal complicated patterns and an image including an irregularly shaped object such as a fine leaf of a tree.
  • the present invention can be widely applied to encoding / decoding techniques for moving images and still images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

 データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっているため、効率の良い復号処理が行える。

Description

画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
 本発明は動画像又は静止画のフレーム内を復号するフレーム内復号装置、さらにはその復号手法をフレーム内の予測符号化に適用したフレーム内符号化装置などの符号化・復号技術に関する。
 従来、動画像符号化の分野の技術では、MPEG(Moving Picture Experts Group)により規格化されたMPEG-2、MPEG-4や、ITU-T(International Telecommunication Union、Telecommunication  Standardization Sector)が規格化したH.264(上記MPEG-4 Part.10と共通文書)規格に代表される符号化方式が知られている。
 動画像の符号化は、大きく分けて、時間的に前後の画像(以下、符号化あるいは復号処理における、動画像を構成する1枚の画面を「画像」と称する。「画像」は、プログレッシブ信号、インターレース信号における「フレーム」、「フィールド」のいずれをも示すことができ、例えば、符号化がフレーム単位で行われているときは「画像」は「フレーム」を示し、処理がフィールド単位の場合は「フィールド」を示す。なお、符号化分野において一般名称化している「フレーム間」、「フレーム間」、「フレームメモリ」は、このまま用いるが、インターレース信号の「フレーム」に特定したものではなく、その時の処理モードによって「フレーム」「フィールド」いずれをも意味する)からの差分を符号化するフレーム間符号化と、1つの画像を単独で符号化するフレーム内符号化がある。一般に、フレーム内符号化した画像の符号量は、フレーム間符号化した画像の符号量よりも大きくなる。しかし、フレーム内符号化は、映像コンテンツ(シーケンス)の先頭に必要な他、再生時のランダムアクセス性の向上や、エラー時の復帰用に必要な方式であり、通常、0.5秒から2秒間隔、すなわち15フレームから60フレームごとに周期的に選択される。
 符号化処理は画像を細分化したブロック(通常16画素×16ライン、MPEGでは「マクロブロック」と呼ぶ。以下、「ブロック」は、本発明の処理を行う処理単位の総称として用いる。もし、本発明の処理単位が、MPEGにおけるマクロブロックのサイズと異なる場合は、マクロブロックと明確に区別するために上記定義のブロックを「サブブロック」と称することもある)が処理単位となる。フレーム内符号化では、ブロック毎に、同一画像内にありかつ既に符号化された画像信号(画素)の値を用いて予測信号が生成され、符号化するブロックの信号と予測信号との差分値が、直交変換および量子化され、符号に変換されて、符号化処理が行われる。同時に、予測信号を生成する上での識別信号があわせて符号化される。
 下記非特許文献1および2には、予測信号の生成方法として図1に示す8種類の方法と、符号化するブロックの周囲画素の平均値を用いる方法との、9種類の方法が示されている。図1に示された方法では、これから符号化される符号化ブロック200の予測信号として、画像の内容の方向に応じて8方向の予測方法を定義している。例えば図1の(1)は画像の内容が縦方向に相関が強い、すなわち縦線の場合に好適な方法であり、符号化ブロック200に隣接する符号化済みである信号211をコピー方向212の方向に繰返しコピーすることによって予測信号を生成する。ここで、予測に用いる画素信号211は縦方向が1画素幅、横方向がブロックの横方向と同一画素数の領域である。同様に、図1の(2)~(8)は符号化済みである信号(それぞれ斜線部分)から矢印の方向に画素信号値をコピーすることにより予測信号を生成する。図1の(2)~(8)のいずれの予測に用いる画素信号(斜線部)の領域は1画素幅であり、符号化済みの画素信号の領域に属し、かつ、未符号化領域と接している(該当画素の8近傍のいずれかに、未復号領域に属する画素が存在する)。符号化のこれらの処理にあわせて、どの方向の予測を用いたかを示す識別信号を符号化する。
 特許文献1及び特許文献2には、予測方法として、ベクトル(以下、特に指定のない場合、画面内の画素位置を示す情報を単に「ベクトル」あるいは「予測ベクトル」と称する。いわゆる動き補償フレーム間符号化に用いる「動きベクトル」と区別することが必要な場合は「画面内ベクトル」と称する)を用いて予測信号を生成する位置を指示する方法が示されている。図2において、1画像が符号化済み領域130と未符号化領域140からなり、符号化ブロック100を符号化するときに、予測信号とするに好適なブロック信号(予測ブロック110)を符号化済み領域130から選択し、その位置を符号化ブロック100からの2次元相対位置(予測ベクトル120)にて示す。図ではブロックの左上の画素(小さな四角にて図示)の相対位置にてベクトル120を示している。このとき、符号化ブロック100内の各画素信号は、対応する予測ブロック120内の画素信号との差分がとられ、この差分信号が直交変換・量子化された信号と、予測ベクトルとが符号化される。復号処理の場合もそれと同様であり、未符号化領域140を未復号領域とし、符号化ブロック100を復号対象とする復号化ブロックとし、符号化済み領域130を復号済み領域とし、ベクトル情報によって復号済み領域から得られる予測信号に、差分情報を加えて再生画像を形成すればよい。
 また、特許文献1及び特許文献2では、図3に示すように、予測ブロック110と符号化ブロック100が重なっている場合の予測方法を示している。このとき、予測ブロック110の右下部分(重複部200)は符号化処理が済んでいないため、予測信号となるデータが存在しない。特許文献1では、この重複部200の信号として、固定値(例えば、灰色を表す信号値)、周囲画素210の画素値の平均値、周囲画素210から予測した信号値(例えば図1(2)の方法)を示している。ここで、周囲画素210は、符号化済み領域130に属し、かつ、重複部200と接している(該当画素の8近傍のいずれかに、重複部画素に属する画素が存在する)。図3において復号処理の場合には、復号済み領域130の予測ブロック110と未復号領域140における復号対象の符号化ブロック100との重なり部分200は、復号処理が済んでいないため、予測信号となるデータが存在しないことになる。
ITU-T H.264、 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video、 Advanced video coding for generic audiovisualservices ISO/IEC 14496-10、Information technology - Coding of audio-visual objects - Part 10: Advanced Video Coding (非特許文献1と同一の内容) 米国特許出願公開第2003/0202588号明細書 特開平6-351001号公報
 上記、非特許文献1,2の予測手法は、符号化済み領域(復号済み領域)の画像と符号化ブロック内の画像が連続しており(例えば、符号化済み領域(復号済み領域)の画像と符号化ブロック内を結ぶ直線やエッジの画像)、かつ、その方向が図1の8方向と一致した時に予測効率が向上する。逆に、例えば周期的な離散パターンのように連続でない画像や、連続の方向が図1の8方向に一致しない場合には符号化効率圧縮率が向上しない問題があった。
 一方、特許文献1の手法においては、画像に周期的なバターンが存在した場合にも対応ができ、また、その方向も細かく指定することができるが、以下の課題がある。すなわち、図3のように符号化ブロック100と予測ブロック110が重複した場合に、重複部の処理が非特許文献1,2の手法と同様の手法をとっているため、符号化効率(圧縮率)が向上しない。一般に、画像信号は画素間の距離が近い程、相関が高くなっており、符号化ブロック100の近傍に最適な予測ブロック110が存在する確率が高いが、特許文献1の手法、あるいは、特許文献1の手法と非特許文献1,2を組み合わせた手法では、予測ベクトル120の大きさが小さくなるほど、予測があたらない重複領域200が大きくなるという問題があった。
 本発明の目的は、予測ベクトルを用いて、符号化ブロックの近傍から予測信号を生成した場合においても、予測効率を低下させない画像符号化及び復号技術を提供することにある。
 更に具体的な目的は、予測ブロックと符号化ブロックとの重なり部分に対する予測効率を向上させることができ、画質の向上に資することができる画像符号化及び復号技術を提供することにある。
 本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
 本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。
 すなわち、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。この手段は、画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっている、という点に着眼している。
 本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
 すなわち、フレーム内符号化の予測効率を向上させることができ、その結果、差分信号のデータ量(例えば予測誤差電力)を低減し、該当画像の符号量を低減させることがでる。一般に、フレーム内符号化はフレーム間符号化に比べ符号量が多いため、映像ストリーム全体としても、符号量を削減することができ、一定の画質を得るための符号量が減少する効果、あるいは一定の符号量により高画質な映像を再生する効果がある。
図1は従来のフレーム内予測を示す図である。 図2は従来のベクトルを用いたフレーム内予測を示す図である。 図3はベクトルと用いたフレーム内予測において、符号化ブロックと予測ブロックに重複があることを示す図である。 図4は本発明における、符号化ブロックと予測ブロックとの重複部の処理を示す図である。 図5は本発明における、予測ベクトルの位置による分類を示す図である。 図6は本発明における、予測ベクトルの位置に応じた重複部の処理を示す図である。 図7は本発明の第1の実施形態による画像復号装置のブロック構成図である。 図8は図7における予測信号生成回路1040の詳細ブロック構成図である。 図9は図8の予測信号生成回路1040の変形例の詳細ブロック構成図である。 図10は本発明の第2の実施形態による予測信号生成アルゴリズムのフローチャートである。 図11は本発明における、予測ベクトルの位置による他の1つの分類を示す図である。 図12は図11における領域(F)(G)における予測信号生成処理を示す図である。 図13は本発明における、復号済み領域の変形例を示す図である。 図14は図13における領域(F’)(G’)(D’)における予測信号生成処理を示す図である。 図15は本発明の処理を行うブロックの処理順を示す図である。 図16は本発明のハーフペル予測を示す図である。 図17は図16の処理を実現する予測信号生成回路のブロック構成図である。 図18は図17の処理のタイミングチャートである。 図19は第3の実施形態による画像符号化装置のブロック構成図である。 図21は本発明によるストリームの構成図である。 図20は本発明を適用した光ディスク再生装置のブロック構成図である。
符号の説明
 100 符号化ブロック
 110 予測ブロック
 120 予測ベクトル
 130 復号済み領域
 140 未復号領域
 200 重複領域
 1001 画像復号装置
 1010 入力データストリーム
 1020 復号回路
 1030 予測ベクトル
 1040 予測信号生成回路
 1080 予測信号
 1200 ベクトル逓倍回路
 1250 制御回路
 1460 ブロックメモリ
 3000 ハーフペル処理回路
1.実施の形態の概要
 先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
 〔1〕本発明の代表的な実施の形態に係る画像処理装置(図7,8,9)は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する。
 上記によれば、予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、復号未済みの当該重なり部分に代えて、復号処理が終了している部分の画素情報を、予測信号として用いるから、予測効率の向上、符号量の低減、及び高画質化を可能にする。また、前記ベクトル情報による距離の逓倍によって復号処理が終了している部分の画素情報を取得するからその制御が容易である。復号だけでなく、符号化のローカルデコードにも容易に適用できる。
 〔2〕本発明の代表的な実施の形態に係るデコード方法(図10)は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含む。
 〔3〕本発明の別の実施の形態に係るフレーム内復号装置(図7,8,9)は、データストリーム(1010)より予測ブロックを示すベクトル情報を抽出する抽出部(1020)と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部(1250)と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部(1300,1320,1400,1420)と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部(1450,1460)と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
 〔4〕項3のフレーム内復号装置は、前記ベクトル情報によるベクトルを逓倍する逓倍部(1200)を更に有し、前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する。
 〔5〕項3のフレーム内復号装置において、前記予測信号生成部(1461,3000)は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して予測画像データを生成する(図17、ハーフペル)。
 〔6〕項3のフレーム内復号装置において、前記画素位置計算部は、所定の範囲内で画素位置を計算する(図14、アクセス範囲の制限)。
 〔7〕項6のフレーム内復号装置において、所定の範囲は、前記データストリームから抽出された信号に基づいて設定される(データストリームによるアクセス範囲の指定)。
 〔8〕項3のフレーム内復号装置において、前記データストリームは静止画又は動画のデータストリームである。
 〔9〕本発明の別の実施の形態に係るデコード方法(図10)は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含む。
 〔10〕更に具体的なデコード方法(図10)は、データストリームより予測ブロックを示すベクトル情報を抽出する第1処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第2処理と、前記ベクトル情報によるベクトルを逓倍する第3処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域のある画素位置を計算する第4処理と、前記第4処理により計算された画素位置の画素データと、前記第2処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第5処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第6処理と、を含む。
 〔11〕本発明の更に別の実施の形態に係る画像符号化装置(図19、エンコーダ)は、画像データを複数のブロックに分割し、符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する。この画像符号化装置は、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備える。
 〔12〕本発明の更に別の実施の形態に係るフレーム内復号装置は、フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在する装置である。このフレーム間復号装置は、データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
 〔13〕本発明の更に別の実施の形態に係るフレーム内復号装置(予測信号の変形を可能にする)は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
 2.実施の形態の詳細
 実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
 実施形態の詳細な説明に先立ち、本発明の原理を概説する。以下においてはフレーム内の復号を主体として説明する。
 図4は、本発明の原理を説明するために、図3の予測ブロック110と、符号化されている復号対象としての符号化ブロック(以下単に符号化ブロックとも称する)100を分離して、さらに、生成する予測信号130とあわせて描いたものである。予測ブロック110のうち210の領域は未復号領域に属する欠損領域である。欠損領域は、すなわち、符号化領域の左上部の領域220と同一の領域である。従って、予測ブロックによる予測が正しく行われているとすると、符号化ブロックの中の領域220の予測信号は予測ブロック内の領域200に該当する。すなわち、領域220と領域200の画素毎の差分信号が小さく、2つの領域のデータが類似している。一方、先に説明したように、欠損領域210の信号と領域220の信号は同一であることから、欠損領域210と予測ブロック内の領域200が類似していることになる。本発明では、これらの性質を利用して、以下のように予測信号130を生成する。(1)復号済み領域の信号が存在する領域(領域200および領域230)は該当する画素信号を予測信号とする、(2)未復号領域に該当する領域(領域220)は領域200の信号をコピーして予測信号とする。
 これは、すなわち、予測ブロック内の領域220は、ベクトル121により示されるように本来のベクトル120の2倍のベクトルの位置からの予測に該当する。
 図5、6はベクトルの指し示す位置と、その時の予測信号の生成方法を図示したものである。符号化ブロックを水平W画素、垂直W画素としたときに、ベクトルの指し示す位置が、図5の領域500、510、520、530、540にあるときに、予測ブロック内に欠損領域が生じる。これらの領域を順に(A),(B),(C),(D),(E)とした時の、それぞれの領域における予測信号の生成例を示したものが図6である。なお、図5ではベクトルの指し示す位置として、符号化ブロックの左上の画素(四角にて図示)に対応する画素の位置として表示している。なお、ベクトルが領域590(H)を示しているときには予測ブロックに欠損領域は生じないため、従来の予測方法が適用できる。
 図6の(A)(B)(E)は、ベクトルが図5領域500、510、540を示している場合の例である。この例では、予測信号は201、211、212の3つの領域に別れる。領域201は予測ブロック内の復号済み領域部の画素信号111。領域211は、領域211の位置から本来の予測ベクトル120を2倍にした動きベクトル121により指し示される位置、すわなち、領域111の該当部分。領域212は同様に領域212の位置から予測ベクトル120の3倍のベクトル122により指し示される領域111の該当部分である。領域211および領域212の予測信号は、それぞれ、予測ブロック上記例では本来の予測ベクトルの3倍までのベクトルを使用する例を示したが、3倍ベクトルの位置の画素が未復号領域である場合には、以下、4倍、5倍と逓倍数を増やして行き、復号済み領域の画素に該当する最小の逓倍数を使用する。
 ここで、図6において、(C)(D)のパターンの場合は、(A)(B)(E)の場合と特性が異なる。(A)(B)(E)の場合は、予測ブロックの領域211、領域212を生成するときに、それぞれベクトルを2倍、3倍した画素を使用したが、実質的には予測ブロックの領域201の信号を利用することができた。しかし、(C)(D)の場合は、領域200の信号はそのまま使用することはできず、復号済み領域の該当する領域112および領域113の信号を取得する必要がある。これは、予測ベクトルが図5の領域520、530に該当する場合であり、符号化ブロックの右側すなわち図5領域530の下部が未復号領域であることに起因する。
 図7は本発明によるフレーム内画像復号装置の一実施の形態の構成を示すブロック図である。
 入力されるデータストリーム1010には、画像を構成する各ブロック毎に予測ベクトルと、予測信号に対する差分信号の情報が含まれている。復号回路1020ではデータストリーム1010より予測ベクトル1030と、差分情報1100を抽出する。差分情報1100は逆量子化回路1110、逆直交変換回路1120にて差分信号1125に変換される。これと並行して、本発明による予測信号生成回路1040では、予測ベクトル1030をもとに、フレームメモリ1070の復号済み領域の指定アドレス1050を生成し、該当アドレスの画素信号1060を取得し、図5,6を用いて説明した原理に従い予測ブロックの画素信号1080を生成する。生成した予測ブロックの画素信号1080は画像再生回路1130において、差分信号1125に加算され、該当するブロックの画像が再生される。再生された画像はフレームメモリ1070に書き込まれ、以降のブロックの画像再生時の予測画像生成の候補として使用される。1画面分の復号処理が終了したのち、生成された画像の信号は出力信号1150として出力され、テレビなどの表示装置などに表示される。
 図8は図7における予測信号生成回路1040の詳細回路である。予測信号生成回路1040内では、画素位置情報生成回路1300により、符号化ブロック内におけるこれから処理を行う画素の画素位置情報1310が生成される。ここで生成される位置情報1310は、ブロック内の水平画素位置Xと垂直画素位置Yの情報であり、たとえば、ブロック左上の画素ではX=0、Y=0となる。ベクトル逓倍回路1200では、入力された予測ベクトル1030を信号1210により指示される倍数(N倍)にした逓倍ベクトル1230を生成する。初期状態でのNの値は1である。逓倍ベクトル1230(初期状態では予測ベクトル1030と同じ)は加算回路1320にて画素位置情報1310と加算され、予測ブロックの画素位置1330が計算される。このとき、予測ベクトルの水平成分をVx、垂直成分をVyとすると、逓倍ベクトルの水平成分N×Vxと水平画素位置情報X、垂直成分N×Vyと垂直画素位置情報Yが、それぞれ独立に加算され、予測ブロックの画素位置は、符号化ブロックの左上の画素を基準に、水平X+N×Vx、垂直Y+N×Vy となる。なお、これらの値は負の値にもなり得る。
 一方で、制御回路1250は、初期状態では逓倍信号1210として1(N=1)を出力している。制御回路1250は逓倍ベクトル1230と画素位置情報1310から、該当する予測ブロックの画素が復号済み領域にあるか否かを判定する。判定は以下の方法にて行う。
X+N×Vx<0 かつ Y+N×Vy<Wy-1 の時、復号済み領域、
X+N×Vx>=0 かつ Y+N×Vy<0     の時、復号済み領域、
上記以外の時、未復号領域、
ここでWxはブロックの水平方向の大きさ、Wyは垂直方向の大きさである。
 判定結果が「未復号領域」であった場合、制御回路1250は、判定結果が「復号済み領域」となるまで逓倍信号1210を歩進させる。すなわち、例えば図6において、(A)~(E)いずれの場合においても、画素が領域211にあるときにはN=2を、画素が領域212にあるときにはN=3を出力する。
 予測ブロックの画素位置1330は、画面内における該当ブロックのブロック位置生成回路1400の生成するブロック位置1410と、アドレス生成回路1420において加算され、さらに、フレームメモリ上の該当アドレス1050に変換される。変換されたアドレス1050の指し示す画素信号1060が入力されると、画素信号は一旦バッファ1450に蓄えられた後、適切なタイミングに予測信号1080として出力される。
 1つの画素の処理が終了すると、画素位置情報生成回路1300は、符号化ブロック内におけるこれから処理を行う画素の画素位置情報1310を次の画素位置へ歩進させ、制御回路1250は逓倍信号1210を1(N=1)にリセットし、次の画素の処理を行う。
 ブロック内の全ての画素の処理が終了すると、ブロック位置生成回路1400は、ブロック位置1410を次のブロック位置に歩進させる。
 図8の説明において、逓倍回路1200において、動きベクトルのN倍の計算をすると説明したが、逓倍回路1200に乗算器を備える必要はない、なぜならば、逓倍(Nの値)は1,2,3と1ずつ歩進するため、逓倍回路内に、一旦予測ベクトルを保持しておき、逓倍数が1増えたときには、保持しているベクトル値に、予測ベクトルを加算することにより実現できる。これにより回路の低減を図ることができる。
 また、逓倍回路1200部の代わりに、ベースとなるベクトルの大きさと逓倍数Nを入力とし、入力に該当する新しいベクトルを出力する変換テーブルを配置してもよい。変換テーブルを用いることにより非線形処理、すなわち、ある一定範囲ではベースのベクトルを逓倍し、それ以外の範囲では異なる倍率や固定値(クリッピング)する処理を行うことも可能となる。
 なお、予測信号を生成するための画素位置が、画面外の位置を指す場合は、以下の方法のいずれかを予め定めておくことにより対応する。
 (1)画面外の画素を参照する予測を禁止する(符号化側にて制限を行い、復号側は特別な対応は行わない)。
 (2)画面外の画素を参照する場合は、予め定められた所定の方法により該当画素を生成する。例えば、MPEG-4のように、参照する座標(x、y)がx<0となった(画面左端外)時には、(0、y)の画素を用いる。
 (3)画面外の画素を参照する状態では、別の予測画素生成方法を用いる(図14(D’)の説明参照)。
 図9は図7の予測信号生成回路1040の別の実施の形態である。図8の予測信号生成回路と異なる点は、バッファ1450の変わりに、ブロックメモリ1460が設置されている点である。図6の説明において、図6(A)(B)(E)において説明した、欠損領域の予測信号生成のときに、予測ブロックの領域201の信号を利用する実施の形態である。すなわち、予測ブロックの信号をブロックメモリ1460に蓄え、予測ブロック内の画素アクセスにて済む予測の場合には、フレームメモリ1070のアクセスを行わずに、ブロックメモリ1460に蓄えられた信号を出力するものである。
 図9において、フレームメモリ1070にアクセスして得られた信号、すなわち復号済み領域から取得する信号1060は、ブロックメモリ1460のブロック内の位置に対応したアドレスに格納される。このとき、制御回路1301は逓倍信号1210として0(N=0)を出力することにより、ブロックメモリのアドレス1330は、ブロック内の画素位置情報1310と同一になり、所定の位置に信号1060を書き込むことができる。
 一方読み出しのとき、復号済み領域から取得された画素の場合は、上記書き込み時と同様にN=0としてブロックメモリより読み出す。未復号領域の画素を出力する場合は、本来フレームメモリから読み出す時のNの値より1減じた値を逓倍数1210としてブロックメモリのアドレス1330を生成することにより、一旦読み込んだ画素、すなわち図7領域211の該当位置のデータを読み出すことができる。これにより、フレームメモリ1070へのアクセス数を低減することができ、フレームメモリのアクセスに伴う電力削減や、フレームメモリのバス幅の低減を図ることができる。また、ブロックメモリへのアクセスが、フレームメモリのアクセスに比べて高速である場合には、処理時間の短縮あるいは、動作周波数の低周波数化を行うことができ、さらに電力低減に寄与する。
 なお、図6の(C)(D)の場合は、該当データがブロックメモリ内に存在しないため、一部条件を除いて図9におけるフレームメモリ1070へのアクセスは省略できない。
 以上の実施の形態の説明は本発明をハードウェアにて実装した例であるが、本発明はソフトウェアにて実装することも可能である。図10により、本発明による予測画素生成アルゴリズムを説明する。
 図10は本発明における1つのブロックの予測画素信号を生成するためのアルゴリズムのフローチャートである。ブロック内の1つの画素を処理するにあたり、1500にて変数VECに入力された予測ベクトルの値を保持する。1510において、変数VECの値(ベクトル値)と該当画素の位置を加算し予測信号位置を得る。このとき、画素位置、予測信号位置いずれも2次元の座標であり、ベクトル値との加算においては、水平成分、垂直成分それぞれ独立に計算される。計算された予測画素位置を用いて予測画素位置が復号済み領域であるか否かを調査する。調査の方法は図8の説明時に示した不等式により実施する。予測画素位置が復号済み領域内でなければ、1540にて変数VECに予測ベクトル値を加える。すなわち、ハードウェアの説明時に用いた逓倍数NをN+1に歩進させる処理に対応する。新たなVECを用いて、再度、復号済み領域内外の判定を行い、予測画素位置が復号済み領域内になるまで処置1540にてVECを変更続ける(Nを歩進する)。予測画素位置が復号済み領域内になったと判定処理1530にて判定されると、1550において、予測画素位置の信号を読出し、読み出した画素を該当画素の予測信号とする。これらの処理をブロック内の全ての画素に対して実施し、判定1560において、ブロック内全画素の処理が終了した時点で、1つのブロックの予測画素信号生成処理を終了する。
 図11および図12は、本発明の変形例を説明する図である。図11では、図5では対応していなかった、図11領域600(F)および領域610(G)の処理を許可する変形例である。(F)(G)においては、予測ベクトルが図の下方向となるため、既に説明した予測ベクトルを逓倍する方法では対応ができない。
 図12は、予測ベクトルが下方向を向いた時、すなわち、予測ベクトルが図11領域600および領域610を指し示した時の処理の説明図である。図12において、丸印は復号済み領域の画素を、四角印は符号化ブロック内の画素の位置を表す。図12の(F)の場合、図の符号化ブロック100のAからMに対応する予測画像は、復号済み領域の画素aからl(エル)にて生成可能である。しかし、符号化ブロック100のP,Q,R,Sに対応する画素を求めるときには、復号済み領域を指し示すようになるまで、予測ベクトルを下記の式に従い縮退していく。
   Vx’=max(Vx/(2^N)、1)
   Vy’=Vy/(2^N)
ここで、max(u、v)はuとvの大きい方の値を返し、”/”は少数を0方向に切り捨てる除算、2^Nは2のN乗である。
 なお、図11において、水平方向右がXのプラス方向、垂直方向下がYのプラス方向とする。すなわち、領域600および領域610を示す予測ベクトルの場合は、Vx<0、Vy>0となる。
 Nの値を1から1つずつ歩進して行き、Vx’、Vy’により指し示す画素が復号済み領域の画素を示すようになったときの画素信号を予測信号とする。たとえば、図12の(F)の画素Pの例では、初期の予測ベクトル120が(Vx,Vy)=(-3、1)とすると、N=1のときに縮退ベクトル141は(Vx’,Vy’)=(1,0)となり、画素l(エル)を指し示すため、画素lの値を予測値とする。
予測ベクトルが領域610の場合も、図12の(G)に示すように、同様な処理にて予測信号を生成する。図12の(G)の例では、予測ベクトル120が(Vx,Vy)=(-5、2)とすると、画素KはN=1のときに縮退ベクトル142が(Vx’,Vy’)=(-2,1)となり、画素hが予測画素となり、画素PはN=2の時に縮退ベクトル143が(Vx’,Vy’)=(-1,0)となり、画素tが予測画素となる。
 このように、縮退させたベクトルを使用することにより、予測ベクトルが図11領域600および領域610を指し示した時、周期的な画像パターンへの対応はできなくなるが、画面右上方向に向いた連続性のある画像(直線等)の予測は正しく行うことができ、先の実施の形態よりも、より高い符号化効率が得られる。
 図13および図14は本発明の別の実施の形態を説明する図である。図5、図11では、符号化ブロック左側では、符号化ブロック下辺と復号済み領域の境界は垂直方向にて同じ高さで、また、右方向では復号済み領域は無限に連続していると仮定していた。しかし、実際の符号化・復号においては、図13に示すように、符号化ブロック下辺と復号済み領域の境界の垂直位置が異なったり、復号済み領域右側が制限される場合がある。左側垂直位置ずれは、例えば、図13の符号化ブロックを符号化100した次に、符号化ブロックの下部分を先に符号化した場合に該当する(この場合、図10のdY=Wとなる)。また、右側制限は画面端に該当する。
 図14の(F’)(G’)は予測ベクトルが領域620および領域630の時の例である。この場合は以下の方法により予測ブロックの画素信号を計算する。
 ステップ1: 下記式に従いN0を1、2、・・・と歩進させ、該当する画素が復号済み領域の画素であるか否かを判定する。復号済み領域に属する画素であれば、その画素の信号値を予測値とし、以下の全てのステップ2を省略する。
Vx’=N0×Vx
Vy’=N0×Vy
ステップ1にて、N0が下記の不等式を満たしたとき、ステップ1を終了してステップ2に移行する。
N0×Vy+Y > W+dY 
ここで、Xは処理画素の符号化ブロック内におけるブロック左上画素からの水平相対位置、Yは垂直相対位置である。
 ステップ2:上記不等式を満たすN0に対して、ブロック左上画素から相対的に以下の位置の画素値を予測値とする。
(-1、min(W+dY-1、Y+(Vy×(1+X))/(-Vx)))
 ここで、min(a,b)はa,bのうちの小さい方の値を返す。また、領域(F’)(G’)ではVx<0である。
 上記式は、図14の(F’)(G’)において、例えば、符号化ブロック内画素151の場合、画素151から予測ベクトル120の方向に延長した点が、復号済み領域と最初に交差する画素153に該当する。また、符号化ブロック内画素152の予測画素信号は、画素152から予測ベクトル120の延長方向に復号済み領域が存在しない、すなわち、上記式のminの()内にてW+dY-1の項が選択され、画素154が用いられる。
 図14の(D’)は動きベクトルが領域(D’)にあるときの予測画素信号生成を説明している。図14の(D’)の例では、本来、領域211および領域212の予測として使われる領域215および領域216が未復号領域に属している。この場合は、領域211および領域212に、領域110の画素値を予測値として用いる。
 図14の(D’)は、画面右端がある場合など不可抗力にて右側の復号済み領域が制限される場合を説明したが、画面右方向への画素アクセスを制限するために、図13における右側境界660を仮想的に設けることも可能である。図13において、dXの値を常に固定値(例えば8)とすることにより、1つのブロックに対する、予測信号の生成に用いる画素の範囲を制限することができ、メモリアクセスの付加を軽減することができる。
 予測信号の生成に用いる画素の制限範囲は、例えば入力されるデータストリームに記述される。復号の処理に先立ち、ストリームより制限範囲の情報が抽出され、抽出された制限範囲の情報が以降のストリームの復号処理にて用いられる。このように、データストリームに制限範囲を記述することにより、データストリームを復号する装置の処理能力に応じて、制限範囲を変えることができる。例えば、処理能力の高い復号装置にて再生されるデータストリームでは、より広い制限範囲を設定し符号化効率を向上させることが可能となる。なお、制限範囲の情報は、図20のストリーム情報4000あるいはフレーム情報4100に記述さる。ストリーム情報4000に記述された場合は、該当ストリーム全体において同じ制限範囲がとられ、フレーム情報4100に記述された場合は、フレーム毎に制限範囲を変えることができる。
 図15は、ブロック予測の順序を示した図である。MPEG等の画像符号化では、輝度信号が16画素×16ラインのマクロブロックが符号化処理単位となる。図15は本発明による画面内ベクトル予測を行うブロック(サブブロック)サイズがマクロブロックよりも小さい場合の処理順序を示している。図15は、サブブロックサイズがマクロブロックの縦横1/4、すなわち4画素×4ラインの例を示している。図15の(1)では、マクロブロック内のサブブロックを図中に示したように、左上から右方向にスキャンする例である。また、図15の(2)はサブブロックの処理を8画素×8ライン毎に完結させるスキャン順であり、それぞれ、サブブロック4,8,12が終了した時点でこれらを含む8画素×8ラインのデータが揃うため、8画素×8ライン単位の処理と併用したときの処理効率が高くなる。一方、図15の(1)、例えばサブブロック5の予測信号を作成する場合、該当サブブロックの右方向(図13領域650(D’))に該当する部分はサブブロック2,3、となるのに対し、図15の(2)の同位置サブブロック3の予測信号を作成する場合、領域D’に該当する領域はサブブロック2の左端1画素幅の領域のみとなり、図15の(2)の方が、高い予測効率を実現可能である。
 予測ベクトルの情報はサブブロック毎に復号される。隣接したサブブロックでは予測ベクトルも類似していることが多いため、予測ベクトル情報は、隣接したサブブロックの予測ベクトルとの差分が送られる。例えば、図15の(1)のサブブロック6においては、隣接し、かつ、既に復号済みのサブブロックとしてサブブロック5、サブブロック2、サブブロック3のベクトルが用いられる。これら3つのサブブロックのベクトルをそれぞれ(Vax,Vay)(Vbx,Vby)(Vcx,Vcy)とした時に、これから復号するサブブロック6のべクトルの予測信号(Vpx,Vpy)は以下となる。
Vpx=Median(Vax、Vbx、Vcx)
Vpy=Median(Vay、Vby、Vcy)
ここでMedian(a,b,c)はa,b,cを大きい順に並べたときの2番目(中央)の値である。
 このベクトルの予測信号(Vpx,Vpy)に、復号された差分信号を加えて予測ベクトル信号が得られる。なお、サブブロックがマクロブロックの境界に位置する場合(例、サブブロック1)は、周辺マクロブロックのサブブロックの予測ベクトルを保持しておき、それらを用いてベクトルの予測信号を生成して予測ベクトル値を得る。また、マクロブロックが画面境界に接しており、該当する位置のサブブロックが存在しない場合は、存在しないベクトル値を(0,0)とすることにより同様に求められる。なお、該当する位置のサブブロックが存在しない場合は、存在しないサブブロック数が1つの場合は存在しないベクトルを(0,0)とし、存在しないサブブロック数が2の時は存在するサブブロック(1つ)のベクトルを予測信号とし、存在しないサブブロック数が3(1つも存在しない)場合は予測信号を(0、0)にしてもよい。
 図16および図17は、予測ブロックの信号値を計算する変形例である。図16および図17では、MPEG等の動き補償フレーム間予測において使用されるハーフペル予測に相当する予測、すなわち画素間隔の1/2の精度のベクトルを使用する例である。
 図16は、画面内ベクトルがハーフペル精度の場合の処理の例である。ベクトル120は図においては(-2.5、-1.5)に相当し、例えば符号化ブロック100内の画素Aの予測画素の位置は画素位置700になる。このときの予測信号値A’は以下となる。
A’=(a+b+f+g+2)>>2
ここで、a,b,f,gはそれぞれ図16に示した画素の信号値、>>はビットシフト演算である。>>2は2ビット右シフト即ち1/4の演算を意味する。上式における+2は1/4の除算を行ったときその商が(a+b+f+g)>>2に対して四捨五入されるようにするためのものである。
 ブロックの重複部では、例えば画素位置701、すなわち画素Tの予測信号値T’は以下となる。
T’=(A’+B’+F’+G’+2)>>2
A’,B’,F’,G’は画素A,B,F,Gの各画素の予測値である。
 ハーフペル予測を行う場合、予測に必要な画素は、整数精度のベクトルを用いた予測の場合に比べ、水平あるいは垂直あるいは水平垂直双方において、1画素幅分多くの画素を用いる。このため、先に説明した予測画素生成方法の各種判定においては、1つの予測画素を生成するために必要な画素がすべて復号済み領域内にあることを判定基準とする必要がある。
 図17は図16の処理を行う予測信号生成回路1041のブロック図、図18は図16の処理を行う時の図予測信号生成回路1041の動作タイミングチャートである。画素位置情報生成回路1301は図18タイミングチャートの信号1310に示す画素位置情報を出力する。図16の例の場合、符号化ブロックのサイズは4画素×4ラインであるため、図8、図9の回路の場合は画素位置情報1310は水平・垂直成分ともに0から3の範囲の値となるが、ハーフペル予測処理を行うためには、図16に図示したように符号化ブロックのサイズよりも水平・垂直それぞれ1画素大きい領域の情報が必要となる。この入力により予測信号生成回路1041は、先に図8、図9において説明した処理と同様な処理を行い、その結果、図16の予測信号生成に係わる復号済み領域の画素、すなわち、画素a、b、c、d、e、f、g、h、i、j、k、l、m、q、r、s、u、w、zを図18の1060に示したタイミングに得る。これらの画素信号1060はブロックメモリ1461に格納される。ブロックメモリ1461は、例の場合5画素×5ラインの25画素分の容量を持ち、2系統の入力(1060、3021)のうちいずれかの信号を書き込み、独立した2系統の信号(3040、3070)を同時に出力する。なお、2系統の入力のいずれの情報を書き込みかを選択する信号線等は省略してある。また、ここで「同時」との意味は、たとえば図18の時刻3100から時刻3110の処理単位期間において、読出しあるいは書き込みの処理が完了するとの意味であり、上記の単位期間を複数の期間(例えば3期間)に区切り、それぞれの期間において、書き込み、読出し1、読出し2を順次に行っても構わない。
 ブロックメモリ1461からは、図18の3040および3070に示したタイミングにて書き込まれた2つの画素信号が読み出される、例えば時刻3100においては、信号3040には、図16の画素aの信号、図3070には画素fの信号が読み出される。これらの信号は遅延回路3050、3080にてそれぞれ処理単位期間遅延され、信号3060、3090になる。すなわち、時刻3110には、信号3060、3040、3090、3070には、それぞれ画素a,b,f,gの信号が出力されており、ハーフペル処理回路3000においてはこの4画素を用いて、図16の画素Aの予測に用いる予測信号A’が予測信号1080として生成される。なお、予測ベクトルの水平、垂直いずれか一方の成分がちょうど整数精度の値であった場合、上記4画素のうち必要な2画素が使われ、また、水平・垂直双方が整数精度であった場合は信号3060のみが使用される。このように予測ベクトルの水平・垂直の一方あるいは双方が整数精度の信号であった場合は、予測信号生成に使用しない画素が存在するためこれらの画素はフレームメモリから読み出さなくても構わない。
 生成された予測信号1080は、予測信号として出力されるとともに、そのうち、他の予測信号の生成に必要な信号は遅延回路3020において必要な時間(この例では処理単位期間の5倍)遅延された後に信号3021として、ブロックメモリ1461に書き込まれる。書き込まれるタイミングは図18の3021に示すタイミングであり、画素mに引き続きき、ちょうど図16の画面上で連続する画素位置のタイミングとして書き込まれる。なお、信号3021から書き込まれる信号は画素A’、B’、F’、G’、K’、L’である。これらの信号3021経由で書き込まれた信号も、信号1060経由で書き込まれた信号と同様に以降の予測信号生成処理に用いられる。
 こうしたハーフペル予測では、予測位置としてより正確な精度を指定できるため、予測効率がより向上する。また、符号化ブロックと予測ブロックの重複部分が大きい場合、予測ブロックの右下部分の画素(例えば、図16、図18の1080ではM’、P’、S’、T’)は、実在の画素ではないため他の予測信号に比べ誤差が含まれる確率が高くなるが、本発明の手法では、例えば画素Tの予測信号T’の生成にはA’、B’、F’、G’が用いられ、さらに、これらの信号を生成には画素a、b、c、f、g、h、k、l、mの9画素の信号が用いられるため、個々の画素による予測の誤差が低減され、予測効率の低下を防止している。
 図19は本発明の第2の実施の形態であり、本発明を符号化装置に適用した時の構成を示している。
 入力された画像信号2010はブロックに分割され入力される。入力された信号2010は、差分回路2020において、後述する予測信号2200と画素毎に差分がとられ、以降、直交変換回路2030、量子化回路2040にて信号2100に変換された後、符号回路2050にて符号に変換されデータストリーム2060として出力される。同時に、信号2100は、逆量子化回路2110、逆直交変換回路2120にて差分信号に逆変換された後、加算回路2130において、先の予測信号2200と画素毎に加算され、復号装置で得られるものと同一の画像信号(ローカルデコード画像)が得られる。ローカルデコード画像はフレームメモリ2140に書き込まれ、以降の予測信号2200生成処理に用いる。
 予測信号2200は、予測モード決定回路2150において、以下のように生成される。入力された画像信号(符号化ブロック)2010は予測モード決定回路2150に入力される。予測モード決定回路2150は、該当する符号化ブロックの予測信号の候補となる予測ベクトルを複数用意し、これらを予測候補ベクトル2220として順次、予測信号生成回路2240に入力する。予測信号生成回路は既に先の実施の形態において説明した予測信号生成回路1040、1041と同じ処理を行い、フレームメモリの符号化済み領域(先の実施の形態の復号済み領域に相当)の画素信号から、指定された予測候補ベクトルによる予測信号2230を生成する。予測モード決定回路2150は入力信号2010(符号化ブロック信号)と、予測ブロック信号(2230)を画素毎に差分をとり、予測誤差を計算する。そして、全ての予測候補ベクトルの予測誤差を計算した後に、最も予測誤差の小さい(最も類似した)ものを予測ベクトル2160とするとともに、予測ベクトル2160に対応する予測信号2200を出力する。なお、予測ベクトル2160は符号回路2050において、データストリーム2060に情報が重畳される。
 なお、最も予測誤差の小さい予測ベクトル2160を計算する際に、予測信号はフレームメモリ2140に格納されたローカルデコード画像を用いたが、ローカルデコード画像のかわりに、入力された画像信号2010を用いても構わない。ただし、この場合も、予測信号2200は、復号装置における誤差の蓄積を防止するために、ローカルデコード画像から生成する必要がある。入力画像を用いて最適なベクトルの探索方法は、高画質の符号化であるほど、ローカルデコード画像と入力画像が近くなるため予測の効率が高くなる。また、あるブロックを処理する場合、ベクトルの探索にローカルデコード画像を使用すると、その直前に符号化処理されたブロックのローカルデコード画像生成が完了、すなわち、直前のブロックの符号化処理が全て完了するまで、次のブロックのベクトルの探索を開始できない。一方、ベクトルの探索に入力画像を使用すると、直前のブロックの符号化処理完了を待つことなく、次のベクトル探索を開始できるため、ベクトル探索処理と、それ以降の符号化処理の並列実行が可能となり、各処理に許容される処理許容時間が長くなる(例えばベクトル探索処理とそれ以降の符号化処理が同じ時間かかるとすると、これらを並列処理することにより、処理許容時間は2倍になる)。処理許容時間が長くなると、同一の処理をより低いクロック周波数で実行できるため、消費電力が小さくなり、また、回路の削減が可能となる。また、同じクロック周波数で実行すると、単位時間により多くの画素を処理できるため、より解像度の高い画像の処理、あるいは、よりフレームレートの高い画像の処理、あるいは、複数の画像の同時処理、あるいはこれらの組み合わせを実現することができる。
 図20は図19の符号化装置2001の生成するデータストリーム2060の構成例であり、図7の入力データストリーム1010に該当する。データストリームは階層的になっており、最上位階層ではストリーム全体にかかわる情報4000に引き続き、フレームデータが配置される。フレームデータ、例えばフレームデータ4002は、図20中段にあるようにマクロブロック(MB)データ4100~4104から構成され、先頭にフレーム情報4100が配置される。MBデータ、例えば4102は図20下段にあるように、マクロブロックのモード情報 MBモード情報4200から始まる。MBモードが本発明で示した方法のモードである場合には、予測信号を生成するためのベクトル情報が所定数配置される(4201~4204)。このベクトルの数は、例えば図15のようにマクロブロックが16分割されている場合には16個のベクトルとなる。分割数はMB情報にて指定される。所定数のベクトルに引き続き、マクロブロックの差分情報が配置される。
 図21は本発明を適用した機器の例であり、映像を記録した光ディクスの再生装置のブロック図である。本発明により生成されたデータストリームは光ディスク1に記録されている。光ディスクドライブ2は光ディスク1から読み出された映像のデータストリーム1010をデコーダ1001に供給する。デコーダ1001は先に示した方法により入力データストリーム1010から再生した映像情報を、出力信号1150として出力する。出力された出力信号1150はモニタ3にて再生される。
 以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
 既に説明した実施の形態、および各実施の形態の変形例に対して、下記の変形例、あるいは下記の変形例の組み合わせを適用する場合も本発明に含まれる。
 本実施の形態は、フレーム内符号化に適用した例を示しているが、フレーム間符号化とフレーム内符号化が混在する符号化および復号にも適用可能である。
 さらに、フレーム間符号化における、フレーム内符号化モードのブロックにも適用可能である。すなわち、フレーム間符号化において、あるブロック(またはマクロブロック)が、動き補償フレーム間予測による予測よりも、本発明による画面内ベクトル予測の方が好適であると判断されたブロックは、画面内ベクトル予測を選択した情報をデータストリームに付加した上で、本発明の実施の形態に示した方法にて、同一画面にて既に符号化された領域の画素を用いて予測信号を生成し、その差分信号を変換・符号処理する。これにより、該当ブロックを通常のフレーム内符号化する場合に比べ、少ない符号量にて符号化することが可能になる。この場合、ベクトルの予測信号生成において、隣接するブロックの予測ベクトルが存在しない場合は図15の項にて説明した符号方法が適用できる。
 また、復号処理においては、画面内ベクトル予測を選択した情報をデータストリームから抽出して判定した後、該当ブロックを本実施の形態と同様に復号処理することができる。この時、該当ブロックが画面内ベクトル予測により符号化されたことは、図20のMBモード4200に示される。
 本発明は、動画像符号化だけでなく、静止画符号化にも適用することができる。
 本発明の実施の形態では、プログレッシブ画像を前提に説明したが、インターレース信号へも適用可能である。このとき、実施の形態において「画像」がフレーム画像、あるいはフィールド画像を示すこととなる。
 フレーム画像単位の符号化、あるいは復号において、ブロック(マクロブロック)毎に、フレームモードとフィールドモードを切り替えて処理をするフレーム/フィールド適応符号化と、本発明を組み合わせることも可能である。本発明の画面内ベクトルとして、フレームベクトル(フレーム単位のブロックを示すベクトル)/フィールドベクトル(フィールド単位のブロックを示すベクトル)を切り替えて使用することにより実施の形態をそのまま適用することが可能である。フレームベクトル/フィールドベクトルを切り替える信号は、ブロック(サブブロック)毎につけても構わないし、マクロブロック全体で1つの切替信号を指定しても構わない、さらに、マクロブロックの符号化モード情報に連動しても構わない。
 インターレース信号におけるフレーム画像では、時刻の異なる1つのフィールド画像を1ライン毎に配置して画面を構成しているため、画面に動きがあると、画面内のエッジ部等が1ライン毎に交互に櫛型にずれる画像となる。本発明では、こうした周期的なパターンを効率よく予測することができるため、周期的パターンに対応していない従来方法に比べ、より符号化効率が高くなる。
 先の実施の形態では、予測ブロックは、そのまま予測信号として使用することを前提としているが、以下の場合も本発明に含まれる。
 (1)予測ブロックの信号に係数を掛け予測信号とする。これは、画面内での輝度変化に対応するもので、例えば、周期的パターンの画像が照明の関係で徐々に暗くなっている画像の場合においても、予測効率を落とすことがない。また、この処理を重複部の予測画素に適用することにより、より高い予測効率を実現することができる。
 (2)予測ブロックの信号に拡大あるいは縮小の処理を施し予測信号とする。拡大・縮小の倍率に従って、予測ブロックのサイズを変える必要がある(2倍に拡大する場合は、予測ブロックの大きさは通常の1/2でよい)。予測ブロックの拡大・縮小は、画像内の物体の幅(線幅)等が変化している場合に、より高い符号化効率が得られる。また、より大きなブロックで処理を行っても画像の変換に対応できるため、符号化効率が低下することなく、逆に予測ベクトルを符号化するオーバーヘッドが小さくなり、符号化効率が向上する。
 (3)予測ブロックの信号を回転して予測信号とする。回転は任意角度の回転と、角度を限定した回転が可能である。例えば角度を、90度、180度、270度に限定することにより、回転処理は任意角度に比べ容易となり、また、回転の度数を表す情報の符号量も小さくなる。予測ブロックの回転は、縦横複雑な模様が組み合わさった画像や、樹木の細かい葉のような様々な方向を向いた不定形の物体が含まれる画像の符号化に対して有効である。
 本発明は動画や静止画に対する符号化・復号技術に広く適用することができる。

Claims (13)

  1.  データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する、画像処理装置。
  2.  データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、
     前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含むデコード方法。
  3.  データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
     前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
     前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
  4.  前記ベクトル情報によるベクトルを逓倍する逓倍部を更に有し、
     前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する、請求項3記載のフレーム内復号装置。
  5.  前記予測信号生成部は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して、前記予測画像データを生成する請求項3記載のフレーム内復号装置。
  6.  前記画素位置計算部は、所定の範囲内で画素位置を計算する請求項3記載のフレーム内復号装置。
  7.  所定の範囲は、前記データストリームから抽出された信号に基づいて設定される請求項6記載のフレーム内復号装置。
  8.  前記データストリームは静止画又は動画のデータストリームである、請求項3記載のフレーム内画像復号装置。
  9.  データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、
     前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、
     前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含むフレーム内復号方法。
  10.  データストリームより予測ブロックを示すベクトル情報を抽出する第1処理と、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第2処理と、
     前記ベクトル情報によるベクトルを逓倍する第3処理と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する第4処理と、
     前記第4処理により計算された画素位置の画素データと、前記第2処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第5処理と、
     前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第6処理と、を含むフレーム内復号方法。
  11.  画像データを複数のブロックに分割し、
    符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、
    前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、
    前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する画像符号化装置において、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
     前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備えるフレーム内符号化装置。
  12.  フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在するフレーム間復号装置において、
     データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
     前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
     前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
  13.  データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
     前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
     前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
     前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
     前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、
     前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
PCT/JP2009/000122 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 WO2010082231A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN200980154636.9A CN102282851B (zh) 2009-01-15 2009-01-15 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
EP09838201.3A EP2378776B1 (en) 2009-01-15 2009-01-15 Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder
EP18158522.5A EP3376768B1 (en) 2009-01-15 2009-01-15 Image decoding method and apparatus
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
KR1020117016414A KR101605220B1 (ko) 2009-01-15 2009-01-15 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
US13/144,546 US9503728B2 (en) 2009-01-15 2009-01-15 Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder
KR1020167001770A KR101683434B1 (ko) 2009-01-15 2009-01-15 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
JP2010546448A JP5170800B2 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
TW098139721A TWI521948B (zh) 2009-01-15 2009-11-23 Image processing apparatus, decoding method, intra-frame decoding apparatus, intra-frame decoding method, and intra-frame coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Publications (1)

Publication Number Publication Date
WO2010082231A1 true WO2010082231A1 (ja) 2010-07-22

Family

ID=42339501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Country Status (7)

Country Link
US (1) US9503728B2 (ja)
EP (2) EP2378776B1 (ja)
JP (1) JP5170800B2 (ja)
KR (2) KR101605220B1 (ja)
CN (1) CN102282851B (ja)
TW (1) TWI521948B (ja)
WO (1) WO2010082231A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056140A1 (en) * 2009-11-05 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Prediction of pixels in image coding
CN102447894A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 视频图像编码方法、解码方法和装置
WO2012098776A1 (ja) 2011-01-19 2012-07-26 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
WO2013105367A1 (ja) * 2012-01-13 2013-07-18 ルネサスエレクトロニクス株式会社 画像データの復号方法、画像データの復号装置、画像データの符号化方法、及び画像データの符号化装置
JP2015144324A (ja) * 2013-12-27 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2020256102A1 (ja) * 2019-06-20 2021-10-21 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP7451131B2 (ja) 2019-10-08 2024-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151663A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 立体音響生成装置及び立体音響生成方法
HUE066386T2 (hu) 2011-05-31 2024-07-28 Jvckenwood Corp Mozgókép-kódoló eszköz, mozgókép-kódoló eljárás és mozgókép-kódoló program, valamint mozgókép-dekódoló eszköz, mozgókép-dekódoló eljárás és mozgókép-dekódoló program
WO2015032350A1 (zh) * 2013-09-07 2015-03-12 同济大学 一种使用块匹配的图像压缩方法和装置
CN110636292B (zh) * 2013-10-18 2022-10-25 松下控股株式会社 图像编码方法以及图像解码方法
US10171834B2 (en) * 2013-11-29 2019-01-01 Mediatek Inc. Methods and apparatus for intra picture block copy in video compression
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
WO2018070661A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN114792104B (zh) * 2021-01-26 2024-07-23 中国科学院沈阳自动化研究所 一种环型编码点的识别解码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351001A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2006311603A (ja) * 2006-06-26 2006-11-09 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
CN101385356B (zh) * 2006-02-17 2011-01-19 汤姆森许可贸易公司 采用帧内预测模式的图像编码方法
US7912129B2 (en) * 2006-03-16 2011-03-22 Sony Corporation Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
CN101491096B (zh) * 2006-07-12 2012-05-30 Lg电子株式会社 信号处理方法及其装置
WO2008126843A1 (ja) 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
CN101690220B (zh) * 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
US9008174B2 (en) * 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351001A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2006311603A (ja) * 2006-06-26 2006-11-09 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897585B2 (en) 2009-11-05 2014-11-25 Telefonaktiebolaget L M Ericsson (Publ) Prediction of pixels in image coding
WO2011056140A1 (en) * 2009-11-05 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Prediction of pixels in image coding
CN102447894A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 视频图像编码方法、解码方法和装置
KR101912059B1 (ko) * 2011-01-19 2018-10-25 르네사스 일렉트로닉스 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
US9787981B2 (en) 2011-01-19 2017-10-10 Renesas Electronics Corporation Image coding device and image decoding device
JP5625073B2 (ja) * 2011-01-19 2014-11-12 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
US10306236B2 (en) 2011-01-19 2019-05-28 Renesas Electronics Corporation Image coding device and image decoding device
JP2015027095A (ja) * 2011-01-19 2015-02-05 ルネサスエレクトロニクス株式会社 画像符号化方法及び画像復号方法
WO2012098776A1 (ja) 2011-01-19 2012-07-26 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
CN103329534B (zh) * 2011-01-19 2017-03-08 瑞萨电子株式会社 图像编码装置及图像解码装置
CN103329534A (zh) * 2011-01-19 2013-09-25 瑞萨电子株式会社 图像编码装置及图像解码装置
KR101811090B1 (ko) * 2011-01-19 2017-12-20 르네사스 일렉트로닉스 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
WO2013105367A1 (ja) * 2012-01-13 2013-07-18 ルネサスエレクトロニクス株式会社 画像データの復号方法、画像データの復号装置、画像データの符号化方法、及び画像データの符号化装置
JP2015144324A (ja) * 2013-12-27 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2020256102A1 (ja) * 2019-06-20 2021-10-21 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US11936849B2 (en) 2019-06-20 2024-03-19 Jvckenwood Corporation Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program
JP7451131B2 (ja) 2019-10-08 2024-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Also Published As

Publication number Publication date
KR101605220B1 (ko) 2016-03-21
EP3376768A1 (en) 2018-09-19
EP2378776B1 (en) 2018-03-21
EP2378776A4 (en) 2013-10-16
US20110280305A1 (en) 2011-11-17
JPWO2010082231A1 (ja) 2012-06-28
KR101683434B1 (ko) 2016-12-06
JP5170800B2 (ja) 2013-03-27
KR20110117082A (ko) 2011-10-26
EP3376768B1 (en) 2020-09-30
TW201031221A (en) 2010-08-16
KR20160014108A (ko) 2016-02-05
CN102282851B (zh) 2015-04-29
CN102282851A (zh) 2011-12-14
TWI521948B (zh) 2016-02-11
EP2378776A1 (en) 2011-10-19
US9503728B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP5170800B2 (ja) 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
US10306236B2 (en) Image coding device and image decoding device
RU2603539C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
KR102430225B1 (ko) 모션 벡터 정제를 위한 검색 영역
US20100166073A1 (en) Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US20030128753A1 (en) Optimal scanning method for transform coefficients in coding/decoding of image and video
JP2012135033A (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
JP2009188996A (ja) 動画像コーデック装置及びその方法
US20180376147A1 (en) Encoding device, decoding device, and program
US20060072669A1 (en) Efficient repeat padding for hybrid video sequence with arbitrary video resolution
JP2009010492A (ja) 画像復号化装置及び画像変換回路
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2006508584A (ja) ベクトル予測のための方法
JP2022186939A (ja) 符号化装置、復号装置及びプログラム
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
WO2013125171A1 (ja) イントラ予測モード判定装置、方法、プログラム記憶媒体
US9788025B2 (en) Reproduction device, encoding device, and reproduction method
JP2017212555A (ja) 符号化装置、復号装置及びプログラム
JP6071618B2 (ja) 画像処理装置及びプログラム
JP2006054760A (ja) 画像処理装置及び画像処理方法
JP2012095252A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2000036961A (ja) 画像符号化装置、画像符号化方法および画像復号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980154636.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09838201

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010546448

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009838201

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117016414

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13144546

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE