WO2010082231A1 - 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 - Google Patents

画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 Download PDF

Info

Publication number
WO2010082231A1
WO2010082231A1 PCT/JP2009/000122 JP2009000122W WO2010082231A1 WO 2010082231 A1 WO2010082231 A1 WO 2010082231A1 JP 2009000122 W JP2009000122 W JP 2009000122W WO 2010082231 A1 WO2010082231 A1 WO 2010082231A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
prediction
completed
block
area
Prior art date
Application number
PCT/JP2009/000122
Other languages
English (en)
French (fr)
Inventor
望月誠二
船橋豊
木村淳一
江浜真和
Original Assignee
ルネサスエレクトロニクス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルネサスエレクトロニクス株式会社 filed Critical ルネサスエレクトロニクス株式会社
Priority to CN200980154636.9A priority Critical patent/CN102282851B/zh
Priority to EP09838201.3A priority patent/EP2378776B1/en
Priority to EP18158522.5A priority patent/EP3376768B1/en
Priority to PCT/JP2009/000122 priority patent/WO2010082231A1/ja
Priority to KR1020117016414A priority patent/KR101605220B1/ko
Priority to US13/144,546 priority patent/US9503728B2/en
Priority to KR1020167001770A priority patent/KR101683434B1/ko
Priority to JP2010546448A priority patent/JP5170800B2/ja
Priority to TW098139721A priority patent/TWI521948B/zh
Publication of WO2010082231A1 publication Critical patent/WO2010082231A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/583—Motion compensation with overlapping blocks

Definitions

  • the present invention relates to an intra-frame decoding apparatus that decodes a frame of a moving image or a still image, and further relates to an encoding / decoding technique such as an intra-frame encoding apparatus that applies the decoding technique to predictive encoding within a frame.
  • MPEG-2 and MPEG-4 standardized by MPEG (Moving Picture Experts Group) and H standardized by ITU-T (International Telecommunication Union, Telecommunication Standardization Sector) Encoding methods represented by the .264 (common document with MPEG-4 Part.10) standard are known.
  • Encoding of moving images is roughly divided into temporally preceding and following images (hereinafter, one screen constituting a moving image in encoding or decoding processing is referred to as an “image”.
  • Image is a progressive signal.
  • both “frame” and “field” can be indicated.
  • image indicates “frame”
  • processing is in units of fields.
  • inter-frame”, “inter-frame”, and “frame memory”, which are generally named in the coding field, are used as they are, but they are not specified as “frames” of interlaced signals.
  • Inter-frame encoding for encoding a difference from “frame” and “field” depending on the processing mode at that time), and 1
  • intra-frame coding to encode the image by itself.
  • the code amount of an intra-frame encoded image is larger than the code amount of an inter-frame encoded image.
  • in-frame coding is a method necessary for improving the random accessibility during reproduction and for returning from an error in addition to being necessary at the beginning of video content (sequence). Periodically selected every second interval, that is, every 15 to 60 frames.
  • the encoding process is a block obtained by segmenting an image (usually 16 pixels ⁇ 16 lines, referred to as a “macroblock” in MPEG.
  • block is used as a general term for a processing unit for performing the processing of the present invention.
  • the above-defined block may be referred to as a “subblock” in order to clearly distinguish it from the macroblock).
  • intra-frame coding for each block, a prediction signal is generated using the value of an image signal (pixel) that is already coded in the same image, and the difference value between the signal of the block to be coded and the prediction signal Are orthogonally transformed and quantized, converted into codes, and subjected to encoding processing.
  • the identification signal for generating the prediction signal is encoded together.
  • Non-Patent Documents 1 and 2 below show nine types of prediction signal generation methods, that is, the eight types shown in FIG. 1 and the method using the average value of surrounding pixels of the block to be encoded. Yes.
  • an 8-direction prediction method is defined as a prediction signal of an encoding block 200 to be encoded in accordance with the direction of image content.
  • (1) in FIG. 1 is a method suitable for the case where the image content has a strong correlation in the vertical direction, that is, a vertical line, and an encoded signal 211 adjacent to the encoding block 200 is copied in the copy direction 212.
  • a prediction signal is generated by repeatedly copying in the direction.
  • the pixel signal 211 used for prediction is a region having the same number of pixels as the horizontal direction of the block in the vertical direction by one pixel width.
  • the prediction signal is generated by copying the pixel signal value in the direction of the arrow from the encoded signal (each hatched portion).
  • the area of the pixel signal (shaded area) used for prediction in any of (2) to (8) in FIG. 1 is 1 pixel wide, belongs to the area of the encoded pixel signal, and is in contact with the uncoded area. (There are pixels belonging to the undecoded area in any of the eight neighborhoods of the corresponding pixel).
  • an identification signal indicating which direction prediction is used is encoded.
  • a vector (hereinafter, unless otherwise specified, information indicating a pixel position in a screen is simply referred to as “vector” or “predicted vector”.
  • a method for indicating a position where a prediction signal is generated using a “motion vector” used for encoding is referred to as an “in-screen vector” when it is necessary to distinguish it.
  • one image includes an encoded region 130 and an unencoded region 140, and a block signal (prediction block 110) suitable for use as a prediction signal when the encoded block 100 is encoded has been encoded.
  • a region 130 is selected and its position is indicated by a two-dimensional relative position (predicted vector 120) from the coding block 100.
  • the vector 120 is shown at the relative position of the upper left pixel (illustrated by a small square) of the block.
  • each pixel signal in the encoding block 100 is subjected to a difference from the corresponding pixel signal in the prediction block 120, and a signal obtained by orthogonal transformation / quantization of the difference signal and a prediction vector are encoded. Is done.
  • the unencoded area 140 is set as an undecoded area
  • the encoded block 100 is set as a decoding block to be decoded
  • the encoded area 130 is set as a decoded area
  • decoding is performed using vector information. What is necessary is just to add difference information to the prediction signal obtained from the completed region and form a reproduced image.
  • Patent Document 1 and Patent Document 2 show a prediction method when the prediction block 110 and the encoding block 100 overlap as shown in FIG. At this time, since the lower right part (overlapping part 200) of the prediction block 110 has not been encoded, there is no data serving as a prediction signal.
  • a signal of the overlapping portion 200 a fixed value (for example, a signal value representing gray), an average value of pixel values of the surrounding pixels 210, and a signal value predicted from the surrounding pixels 210 (for example, FIG. 1 (2)). Method).
  • the surrounding pixel 210 belongs to the encoded region 130 and is in contact with the overlapping portion 200 (a pixel belonging to the overlapping portion pixel exists in any of the eight neighborhoods of the pixel).
  • the overlapping portion 200 between the prediction block 110 in the decoded area 130 and the coding block 100 to be decoded in the undecoded area 140 becomes a prediction signal because the decoding process has not been completed. There will be no data.
  • an image in an encoded area (decoded area) and an image in an encoded block are continuous (for example, an image in an encoded area (decoded area)) And a straight line or an edge image connecting the inside of the coding block) and the direction thereof coincides with the eight directions in FIG.
  • the encoding efficiency compression rate is not improved when the image is not continuous, such as a periodic discrete pattern, or when the continuous direction does not match the eight directions in FIG.
  • Patent Document 1 it is possible to cope with a case where a periodic pattern exists in an image, and the direction can be specified in detail, but there are the following problems. That is, when the encoding block 100 and the prediction block 110 overlap as shown in FIG. 3, the processing of the overlapping part takes the same method as the methods of Non-Patent Documents 1 and 2, so that the encoding efficiency (compression rate) ) Does not improve. In general, the closer the distance between pixels in an image signal, the higher the correlation, and there is a high probability that an optimal prediction block 110 exists in the vicinity of the coding block 100. However, the method of Patent Document 1 or Patent Document In the method combining the method 1 and Non-Patent Documents 1 and 2, there is a problem that the overlap region 200 where the prediction is not performed increases as the size of the prediction vector 120 decreases.
  • An object of the present invention is to provide an image encoding and decoding technique that does not reduce prediction efficiency even when a prediction signal is generated from the vicinity of an encoding block using a prediction vector.
  • a more specific object is to provide an image encoding and decoding technique that can improve the prediction efficiency for the overlapping portion of the prediction block and the encoding block and contribute to the improvement of the image quality.
  • a decoder that uses the pixel information of the portion where the decoding process has been completed as a prediction signal and adds the prediction signal to the difference image data obtained from the data stream to generate reproduction image data is employed.
  • This decoder is employed in an intra-frame decoding device, a local decoder of an encoding device, and the like. This means pays attention to the fact that the pixel at the multiplied position is a similar pixel from the principle of the repetitive pattern of the image.
  • intra-frame coding has a larger amount of code than inter-frame coding, so that the amount of code can be reduced even for the entire video stream, and the effect of reducing the amount of code to obtain a constant image quality, or constant There is an effect of reproducing a high-quality video depending on the code amount.
  • FIG. 1 is a diagram illustrating conventional intraframe prediction.
  • FIG. 2 is a diagram showing intra-frame prediction using a conventional vector.
  • FIG. 3 is a diagram showing that there is an overlap between an encoded block and a prediction block in intra-frame prediction using a vector.
  • FIG. 4 is a diagram showing the process of the overlapping part between the encoded block and the predicted block in the present invention.
  • FIG. 5 is a diagram showing classification according to the position of the prediction vector in the present invention.
  • FIG. 6 is a diagram showing the processing of the overlapping portion according to the position of the prediction vector in the present invention.
  • FIG. 7 is a block diagram of an image decoding apparatus according to the first embodiment of the present invention.
  • FIG. 8 is a detailed block diagram of the prediction signal generation circuit 1040 in FIG. FIG.
  • FIG. 9 is a detailed block diagram of a modified example of the prediction signal generation circuit 1040 of FIG.
  • FIG. 10 is a flowchart of a prediction signal generation algorithm according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing another classification according to the position of the prediction vector in the present invention.
  • FIG. 12 is a diagram showing a prediction signal generation process in the regions (F) and (G) in FIG.
  • FIG. 13 is a diagram showing a modification of the decoded area in the present invention.
  • FIG. 14 is a diagram illustrating a prediction signal generation process in the regions (F ′), (G ′), and (D ′) in FIG. 13.
  • FIG. 15 is a diagram showing the processing order of blocks that perform the processing of the present invention.
  • FIG. 10 is a flowchart of a prediction signal generation algorithm according to the second embodiment of the present invention.
  • FIG. 11 is a diagram showing another classification according to the position of the prediction vector in the present invention.
  • FIG. 12 is
  • FIG. 16 is a diagram showing the half-pel prediction of the present invention.
  • FIG. 17 is a block diagram of a prediction signal generation circuit that implements the processing of FIG.
  • FIG. 18 is a timing chart of the processing of FIG.
  • FIG. 19 is a block diagram of an image encoding device according to the third embodiment.
  • FIG. 21 is a block diagram of a stream according to the present invention.
  • FIG. 20 is a block diagram of an optical disk reproducing apparatus to which the present invention is applied.
  • An image processing apparatus (FIGS. 7, 8, and 9) performs pixel conversion between a prediction block indicated by vector information extracted from a data stream and a decoding target block.
  • the pixel information of the portion that is located at a multiple of the distance from the overlap portion by the vector information and has been decoded is used as a prediction signal and obtained from the data stream.
  • a decoder for generating reproduced image data by adding the prediction signal to the difference image data.
  • the pixel information of the part where the decoding process has been completed is used as the prediction signal instead of the overlapping part that has not been decoded. Therefore, it is possible to improve the prediction efficiency, reduce the code amount, and improve the image quality. Moreover, since the pixel information of the part where the decoding process has been completed is acquired by multiplying the distance by the vector information, the control is easy.
  • the present invention can be easily applied not only to decoding but also to local decoding.
  • the decoding method according to the representative embodiment of the present invention is performed when pixels overlap between the prediction block indicated by the vector information extracted from the data stream and the decoding target block.
  • a process of setting the pixel information of a portion at a position multiplied by the distance from the overlapped portion by the vector information and having been decoded, as a prediction signal, and a difference obtained from the data stream And processing for generating reproduced image data by adding the prediction signal to the image data.
  • An intra-frame decoding apparatus (FIGS. 7, 8, and 9) according to another embodiment of the present invention includes an extraction unit (1020) that extracts vector information indicating a prediction block from a data stream (1010), A determination unit (1250) for determining whether each pixel data indicated by the vector information is included in an area where the decoding process has been completed or an area where the decoding process has not been completed; A pixel position calculation unit (1300) that calculates a pixel position that is located at a position multiplied by the size of the vector information from the pixel data determined to be included in the area that has not been completed and that has been decoded.
  • an image reproducing unit that generates the reproduced image data by adding the difference image data.
  • the intra-frame decoding apparatus further includes a multiplication unit (1200) that multiplies the vector based on the vector information, and the pixel position calculation unit ends the decoding process using the multiplied vector.
  • the pixel position of the pixel data in the area being calculated is calculated.
  • the prediction signal generation unit (1461, 3000) finishes the decoding process among the pixel data at the calculated pixel position and the pixel data indicated by the vector information.
  • Predictive image data is generated by calculating pixel data that interpolates between a plurality of pixels with respect to the pixel data of the area being processed (FIG. 17, half pel).
  • the pixel position calculation unit calculates a pixel position within a predetermined range (FIG. 14, access range restriction).
  • the predetermined range is set based on a signal extracted from the data stream (designation of an access range by the data stream).
  • the data stream is a still image or moving image data stream.
  • a decoding method (FIG. 10) includes an extraction process for extracting vector information indicating a prediction block from a data stream, and each pixel data indicated by the vector information is decoded.
  • a determination process for determining whether the area is included in an area for which the decoding process has not been completed, and an area for which the decoding process has not been completed, and pixel data determined to be included in an area for which the decoding process has not been completed.
  • a pixel position calculation process for calculating a pixel position in a region where the size is multiplied by the vector information and in the region where the decoding process has been completed, and the pixel position with respect to the pixel data indicated by the vector information Based on the pixel data of the pixel position calculated by the calculation process and the pixel data determined to be included in the region where the decoding process has been completed
  • FIG. 10 In a more specific decoding method (FIG. 10), a first process for extracting vector information indicating a prediction block from a data stream, and a decoding process for each pixel data indicated by the vector information has been completed. A second process for determining which of the area and an area where the decoding process has not been completed, a third process for multiplying the vector based on the vector information, and an area where the decoding process has not been completed.
  • An image encoding apparatus (FIG. 19, encoder) according to still another embodiment of the present invention divides image data into a plurality of blocks, and blocks similar to the block to be encoded are displayed on the same screen data.
  • Vector information indicating the relative position between the block similar to the block to be encoded and the prediction signal, and similar to the block to be encoded
  • the difference signal between the processed block and the prediction signal is encoded.
  • the image encoding device includes: a determination unit that determines whether each pixel data indicated by the vector information is included in a region where the decoding process has been completed or a region where the decoding process has not been completed A pixel for calculating a pixel position in a position multiplied by the size of the vector information from the pixel data determined to be included in the area where the decoding process has not been completed and in the area where the decoding process has been completed A pixel that is determined to be included in the position calculation unit, the pixel data of the pixel position calculated by the pixel position calculation unit with respect to the pixel data indicated by the vector information, and the region where the decoding process has been completed And a prediction signal generation unit that generates prediction image data based on the data as a local decoder.
  • An intra-frame decoding apparatus is an apparatus in which inter-frame encoded blocks and intra-frame encoded blocks coexist.
  • the inter-frame decoding device extracts the vector information indicating the prediction block from the data stream, and each pixel data indicated by the vector information Are determined to be included in an area where the decoding process has been completed and an area where the decoding process has not been completed, and a determination unit which determines whether the area is included in the area where the decoding process has not been completed.
  • a pixel position calculation unit for calculating a pixel position in a region where the size is multiplied by the vector information and in the region where the decoding process has been completed from the obtained pixel data, and for the pixel data indicated by the vector information It is determined that the pixel data at the pixel position calculated by the pixel position calculation unit is included in the area where the decoding process has been completed.
  • a prediction signal generation unit that generates predicted image data based on the pixel data, and an image reproduction unit that generates reproduction image data by adding difference image data obtained from the data stream to the prediction image data.
  • An intra-frame decoding apparatus (which enables prediction signal modification) according to still another embodiment of the present invention includes an extraction unit that extracts vector information indicating a prediction block from a data stream, and the vector information.
  • a determination unit that determines whether each of the pixel data shown is included in an area where the decoding process has ended or an area where the decoding process has not ended; and an area where the decoding process has not ended
  • a pixel position calculation unit for calculating a pixel position in a region where the size is multiplied by the vector information from the pixel data determined to be included and in which the decoding process has been completed; and indicated by the vector information
  • pixel data at the pixel position calculated by the pixel position calculation unit and pixel data determined to be included in the area where the decoding process has been completed A prediction signal generation unit that generates prediction image data based on the prediction signal conversion unit, a prediction signal conversion unit that converts prediction image data generated by the prediction signal generation unit by a method indicated by a data stream, and the prediction signal conversion unit
  • FIG. 4 separates the prediction block 110 of FIG. 3 and the encoded block (hereinafter also simply referred to as the encoded block) 100 as a decoding target, This is drawn together with the prediction signal 130 to be generated.
  • area 210 is a missing area belonging to the undecoded area.
  • the missing region is the same region as the region 220 at the upper left of the encoding region. Therefore, if the prediction by the prediction block is correctly performed, the prediction signal in the region 220 in the encoded block corresponds to the region 200 in the prediction block. That is, the difference signal for each pixel in the region 220 and the region 200 is small, and the data in the two regions are similar.
  • the prediction signal 130 is generated as follows using these properties. (1) The region (region 200 and region 230) where the signal of the decoded region exists has the corresponding pixel signal as the prediction signal, and (2) the region (region 220) corresponding to the undecoded region is the signal of the region 200. Copy to make a prediction signal.
  • the region 220 in the prediction block corresponds to the prediction from the position of the vector twice the original vector 120 as indicated by the vector 121.
  • FIG. 5 and 6 illustrate the position indicated by the vector and the prediction signal generation method at that time.
  • the encoded block is a horizontal W pixel and a vertical W pixel
  • FIG. 6 shows an example of generation of a prediction signal in each region when these regions are sequentially designated as (A), (B), (C), (D), and (E).
  • the position indicated by the vector is displayed as the position of the pixel corresponding to the upper left pixel (illustrated by a square) of the encoded block. Note that when the vector indicates the region 590 (H), no missing region is generated in the prediction block, and thus a conventional prediction method can be applied.
  • FIG. 6 are examples when the vectors indicate the regions 500, 510, and 540 in FIG.
  • the prediction signal is divided into three areas 201, 211, and 212.
  • a region 201 is a pixel signal 111 of a decoded region portion in the prediction block.
  • the region 211 is a position indicated by the motion vector 121 obtained by doubling the original prediction vector 120 from the position of the region 211, that is, a corresponding portion of the region 111.
  • the region 212 is a corresponding portion of the region 111 indicated by the vector 122 that is three times the prediction vector 120 from the position of the region 212.
  • the prediction signals of the region 211 and the region 212 in the above example of the prediction block, a vector up to three times the original prediction vector is used, but the pixel at the position of the triple vector is an undecoded region.
  • the multiplication number is increased to 4 times and 5 times, and the minimum multiplication number corresponding to the pixel in the decoded area is used.
  • the characteristics of the patterns (C) and (D) are different from those of the patterns (A), (B), and (E).
  • the predicted block areas 211 and 212 are generated, pixels that are twice or three times the vector are used. 201 signals could be used.
  • the signal of the area 200 cannot be used as it is, and it is necessary to acquire the signals of the areas 112 and 113 corresponding to the decoded areas. This is a case where the prediction vector corresponds to the areas 520 and 530 in FIG. 5, and is due to the fact that the right side of the encoded block, that is, the lower part of the area 530 in FIG.
  • FIG. 7 is a block diagram showing a configuration of an embodiment of an intra-frame image decoding apparatus according to the present invention.
  • the input data stream 1010 includes a prediction vector for each block constituting the image and information on a difference signal with respect to the prediction signal.
  • the decoding circuit 1020 extracts a prediction vector 1030 and difference information 1100 from the data stream 1010.
  • the difference information 1100 is converted into a difference signal 1125 by an inverse quantization circuit 1110 and an inverse orthogonal transform circuit 1120.
  • the prediction signal generation circuit 1040 according to the present invention generates the designated address 1050 of the decoded area of the frame memory 1070 based on the prediction vector 1030 and acquires the pixel signal 1060 of the corresponding address.
  • the pixel signal 1080 of the prediction block is generated according to the principle described with reference to FIGS.
  • the generated pixel signal 1080 of the prediction block is added to the difference signal 1125 in the image reproduction circuit 1130, and the image of the corresponding block is reproduced.
  • the reproduced image is written into the frame memory 1070 and used as a candidate for predictive image generation at the time of image reproduction of subsequent blocks.
  • the generated image signal is output as an output signal 1150 and displayed on a display device such as a television.
  • FIG. 8 is a detailed circuit of the prediction signal generation circuit 1040 in FIG.
  • the pixel position information generation circuit 1300 generates pixel position information 1310 of a pixel to be processed in the coding block.
  • the vector multiplication circuit 1200 generates a multiplication vector 1230 obtained by multiplying the input prediction vector 1030 by a multiple (N times) indicated by the signal 1210. The value of N in the initial state is 1.
  • the multiplication vector 1230 (same as the prediction vector 1030 in the initial state) is added to the pixel position information 1310 in the addition circuit 1320, and the pixel position 1330 of the prediction block is calculated.
  • the horizontal component of the prediction vector is Vx and the vertical component is Vy
  • the horizontal component N ⁇ Vx and horizontal pixel position information X of the multiplication vector, and the vertical component N ⁇ Vy and vertical pixel position information Y are added independently.
  • the pixel position of the prediction block is horizontal X + N ⁇ Vx and vertical Y + N ⁇ VyV with reference to the upper left pixel of the coding block. Note that these values can be negative values.
  • Wx is the horizontal size of the block, and Wy is the vertical size.
  • the pixel position 1330 of the prediction block is added in the block position 1410 generated by the block position generation circuit 1400 of the corresponding block in the screen and the address generation circuit 1420, and further converted into the corresponding address 1050 in the frame memory.
  • the pixel signal 1060 indicated by the converted address 1050 is input, the pixel signal is temporarily stored in the buffer 1450 and then output as the prediction signal 1080 at an appropriate timing.
  • the block position generation circuit 1400 advances the block position 1410 to the next block position.
  • the multiplication circuit 1200 calculates N times the motion vector, but the multiplication circuit 1200 does not need to include a multiplier because the multiplication (value of N) is 1, 2, Since the step is incremented by 3 and 1, the prediction circuit is temporarily held in the multiplication circuit. When the multiplication number increases by 1, this can be realized by adding the prediction vector to the held vector value. As a result, the number of circuits can be reduced.
  • a conversion table that receives the size of the base vector and the multiplication number N and outputs a new vector corresponding to the input may be arranged.
  • non-linear processing that is, processing of multiplying the base vector in a certain range and different magnifications and fixed values (clipping) in other ranges can be performed.
  • the corresponding pixel is generated by a predetermined method. For example, when the coordinate (x, y) to be referenced is x ⁇ 0 (outside the left end of the screen) as in MPEG-4, the pixel (0, y) is used.
  • FIG. 9 shows another embodiment of the prediction signal generation circuit 1040 of FIG. A difference from the prediction signal generation circuit of FIG. 8 is that a block memory 1460 is installed instead of the buffer 1450.
  • the signal of the prediction block region 201 is used when generating the prediction signal of the defective region described in FIGS. 6A, 6B, and 6E. That is, the prediction block signal is stored in the block memory 1460, and in the case of prediction that only requires pixel access in the prediction block, the signal stored in the block memory 1460 is output without accessing the frame memory 1070. It is.
  • a signal obtained by accessing the frame memory 1070 that is, a signal 1060 obtained from the decoded area is stored at an address corresponding to a position in the block of the block memory 1460.
  • N 0 is read out from the block memory as in the above writing.
  • a value obtained by subtracting 1 from the value of N when originally reading from the frame memory is set to a multiplication number 1210 to generate a block memory address 1330, so that the pixel once read, that is, FIG. Data at the corresponding position in the area 211 can be read.
  • the number of accesses to the frame memory 1070 can be reduced, and it is possible to reduce the power associated with accessing the frame memory and reduce the bus width of the frame memory.
  • the processing time can be shortened or the operating frequency can be lowered, which further contributes to the reduction of power.
  • FIG. 10 is a flowchart of an algorithm for generating a prediction pixel signal of one block in the present invention.
  • the value of the prediction vector input to the variable VEC is held at 1500.
  • the value (vector value) of the variable VEC and the position of the corresponding pixel are added to obtain the predicted signal position.
  • both the pixel position and the predicted signal position are two-dimensional coordinates, and in addition to the vector value, the horizontal component and the vertical component are calculated independently. It is investigated whether the predicted pixel position is a decoded region using the calculated predicted pixel position. The investigation method is implemented by the inequality shown in the explanation of FIG.
  • the predicted vector value is added to the variable VEC at 1540. That is, it corresponds to the process of incrementing the multiplication number N used when explaining the hardware to N + 1.
  • VEC is continuously changed (step N is incremented) in step 1540 until the predicted pixel position is within the decoded area.
  • the determination process 1530 determines that the predicted pixel position is within the decoded region, in 1550, the predicted pixel position signal is read, and the read pixel is used as the predicted signal of the corresponding pixel.
  • FIG. 11 and FIG. 12 are diagrams for explaining a modification of the present invention.
  • FIG. 11 is a modification example that permits the processing of the area 600 (F) and the area 610 (G) in FIG. 11 that are not supported in FIG. In (F) and (G), since the prediction vector is downward in the figure, it cannot be handled by the method of multiplying the prediction vector already described.
  • FIG. 12 is an explanatory diagram of processing when the prediction vector is directed downward, that is, when the prediction vector indicates the region 600 and the region 610 in FIG.
  • circles indicate the pixels in the decoded area
  • squares indicate the positions of the pixels in the coding block.
  • the prediction images corresponding to A to M of the coding block 100 in the figure can be generated from pixels a to l (el) in the decoded area.
  • the prediction vector is degenerated according to the following equation until the decoded area is indicated.
  • max (u, v) returns the larger value of u and v
  • “/” is a division to round off the decimal number in the 0 direction
  • 2 ⁇ N is 2 to the Nth power.
  • the right in the horizontal direction is the plus direction of X, and the lower direction is the plus direction of Y. That is, in the case of prediction vectors indicating the region 600 and the region 610, Vx ⁇ 0 and Vy> 0.
  • N The value of N is incremented one by one, and a pixel signal when a pixel indicated by Vx ′ and Vy ′ indicates a pixel in a decoded area is used as a prediction signal.
  • a prediction signal is generated by the same processing as shown in FIG. In the example of FIG.
  • FIG. 13 and FIG. 14 are diagrams for explaining another embodiment of the present invention. 5 and 11, on the left side of the coding block, it is assumed that the boundary between the lower side of the coding block and the decoded area is the same height in the vertical direction, and that the decoded area is infinitely continuous in the right direction.
  • the vertical position of the boundary between the lower side of the encoded block and the decoded area may be different, or the right side of the decoded area may be restricted.
  • the right limit corresponds to the screen edge.
  • (F ′) (G ′) in FIG. 14 is an example when the prediction vectors are the region 620 and the region 630.
  • the pixel signal of the prediction block is calculated by the following method.
  • Step 1 N0 is incremented by 1, 2,... According to the following formula to determine whether or not the corresponding pixel is a pixel in the decoded area. If the pixel belongs to the decoded area, the signal value of the pixel is set as the predicted value, and all the following Step 2 is omitted.
  • step 1 when N0 satisfies the following inequality, step 1 is terminated and the process proceeds to step 2.
  • X is a horizontal relative position from the upper left pixel of the processing pixel in the encoded block
  • Y is a vertical relative position.
  • Step 2 For N0 satisfying the above inequality, the pixel values at the following positions relative to the upper left pixel of the block are set as predicted values. ( ⁇ 1, min (W + dY ⁇ 1, Y + (Vy ⁇ (1 + X)) / ( ⁇ Vx)))
  • min (a, b) returns the smaller value of a and b.
  • Vx In the region (F ′) (G ′), Vx ⁇ 0.
  • (D ′) in FIG. 14 illustrates generation of a predicted pixel signal when the motion vector is in the region (D ′).
  • the region 215 and the region 216 that are originally used for prediction of the region 211 and the region 212 belong to the undecoded region.
  • the pixel values of the region 110 are used as the predicted values for the regions 211 and 212.
  • 14D illustrates the case where the right-side decoded area is restricted due to force majeure, such as when there is the right edge of the screen, but in order to restrict pixel access in the right direction of the screen, the right side in FIG. It is also possible to provide the boundary 660 virtually.
  • dX a fixed value (for example, 8)
  • the range of pixels used for generating a prediction signal for one block can be limited, and the addition of memory access can be reduced. it can.
  • the limited range of pixels used for generating the prediction signal is described in the input data stream, for example.
  • information on the limited range is extracted from the stream, and the extracted information on the limited range is used in the subsequent stream decoding process.
  • the restriction range can be changed according to the processing capability of the device that decodes the data stream. For example, in a data stream reproduced by a decoding device having a high processing capability, it is possible to set a wider limit range and improve encoding efficiency.
  • the restriction range information is described in the stream information 4000 or the frame information 4100 in FIG. When described in the stream information 4000, the same limited range is taken for the entire corresponding stream, and when described in the frame information 4100, the limited range can be changed for each frame.
  • FIG. 15 is a diagram showing the order of block prediction.
  • a macroblock having a luminance signal of 16 pixels ⁇ 16 lines is an encoding processing unit.
  • FIG. 15 shows the processing order when the block (subblock) size for performing intra-screen vector prediction according to the present invention is smaller than the macroblock.
  • FIG. 15 shows an example in which the sub-block size is 1/4 of the length and width of the macroblock, that is, 4 pixels ⁇ 4 lines.
  • (1) in FIG. 15 is an example in which the sub-blocks in the macro block are scanned from the upper left to the right as shown in the figure. Further, (2) in FIG.
  • Prediction vector information is decoded for each sub-block. Since prediction vectors are often similar in adjacent sub-blocks, the difference between the prediction vector information and the prediction vectors of adjacent sub-blocks is sent. For example, in the sub-block 6 of (1) in FIG. 15, the vectors of sub-block 5, sub-block 2, and sub-block 3 are used as sub-blocks that are adjacent and have already been decoded. When the vectors of these three sub-blocks are respectively (Vax, Vay) (Vbx, Vby) (Vcx, Vcy), the vector prediction signals (Vpx, Vpy) of sub-block 6 to be decoded are as follows.
  • Vpx Median (Vax, Vbx, Vcx)
  • Vpy Median (Vay, Vby, Vcy)
  • Median (a, b, c) is the second (center) value when a, b, c are arranged in descending order.
  • the prediction vector signal is obtained by adding the decoded difference signal to the prediction signal (Vpx, Vpy) of this vector.
  • a sub-block is located at a macro-block boundary (for example, sub-block 1)
  • the prediction vector of the sub-block of the neighboring macro block is stored, and a vector prediction signal is generated using the prediction vector. Get a vector value. Further, when the macro block is in contact with the screen boundary and there is no sub-block at the corresponding position, it can be obtained in the same manner by setting the non-existing vector value to (0, 0).
  • the prediction signal may be (0, 0) when the number of sub-blocks that do not exist is three (no one).
  • FIG. 16 and FIG. 17 are modified examples for calculating the signal value of the prediction block.
  • FIG. 16 and FIG. 17 show an example of using a prediction equivalent to half-pel prediction used in motion compensation interframe prediction such as MPEG, that is, using a vector with an accuracy of 1/2 of the pixel interval.
  • FIG. 16 is an example of processing when the in-screen vector has half-pel accuracy.
  • the vector 120 corresponds to ( ⁇ 2.5, ⁇ 1.5) in the figure.
  • the position of the predicted pixel of the pixel A in the coding block 100 is the pixel position 700.
  • the predicted signal value A ′ at this time is as follows.
  • a ′ (a + b + f + g + 2) >> 2
  • a, b, f, and g are pixel signal values shown in FIG. 16, respectively, and >> is a bit shift operation.
  • >> 2 means 2-bit right shift, that is, 1/4 operation.
  • +2 is for rounding off the quotient with respect to (a + b + f + g) >> 2 when 1/4 division is performed.
  • the predicted signal value T ′ of the pixel position 701 that is, the pixel T is as follows.
  • T ′ (A ′ + B ′ + F ′ + G ′ + 2) >> 2
  • a ′, B ′, F ′, and G ′ are predicted values of the pixels A, B, F, and G, respectively.
  • the pixels required for prediction use a larger number of pixels by one pixel width in both horizontal, vertical, and horizontal / vertical directions than in the case of prediction using integer precision vectors. For this reason, in the various determinations of the prediction pixel generation method described above, it is necessary to use a determination criterion that all pixels necessary for generating one prediction pixel are in the decoded region.
  • FIG. 17 is a block diagram of the prediction signal generation circuit 1041 that performs the processing of FIG. 16, and FIG. 18 is an operation timing chart of the prediction signal generation circuit 1041 when the processing of FIG. 16 is performed.
  • the pixel position information generation circuit 1301 outputs pixel position information indicated by a signal 1310 in the timing chart of FIG.
  • the pixel position information 1310 is a value in the range of 0 to 3 for both horizontal and vertical components.
  • information on an area that is one pixel larger in horizontal and vertical than the size of the coding block is required.
  • the prediction signal generation circuit 1041 performs the same processing as the processing described above with reference to FIGS. 8 and 9, and as a result, the pixels in the decoded region related to the prediction signal generation in FIG. b, c, d, e, f, g, h, i, j, k, l, m, q, r, s, u, w, z are obtained at the timing indicated by 1060 in FIG.
  • These pixel signals 1060 are stored in the block memory 1461.
  • the block memory 1461 has a capacity of 25 pixels of 5 pixels ⁇ 5 lines, writes one of the two inputs (1060, 3021), and two independent signals (3040, 3070). ) At the same time.
  • a signal line or the like for selecting which information of the two systems of input is to be written is omitted.
  • the meaning of “simultaneous” means that the reading or writing process is completed in the processing unit period from time 3100 to time 3110 in FIG. 18, for example. 3 periods), and writing, reading 1 and reading 2 may be sequentially performed in each period.
  • Two pixel signals written at the timings indicated by 3040 and 3070 in FIG. 18 are read from the block memory 1461.
  • the signal 3040 includes the signal of the pixel a in FIG.
  • the signal of the pixel f is read out.
  • These signals are delayed by processing unit periods in delay circuits 3050 and 3080, respectively, and become signals 3060 and 3090. That is, at time 3110, signals 3060, 3040, 3090, and 3070 are output as signals of pixels a, b, f, and g, respectively, and the half-pel processing circuit 3000 uses these four pixels as shown in FIG.
  • a prediction signal A ′ used for prediction of the pixel A is generated as a prediction signal 1080.
  • both horizontal and vertical components of the prediction vector When either one of the horizontal and vertical components of the prediction vector is an integer precision value, the required two pixels of the above four pixels are used, and both horizontal and vertical are integer precision. Only signal 3060 is used. As described above, when one or both of the horizontal and vertical prediction vectors are signals of integer precision, there are pixels that are not used for generating the prediction signal, so these pixels may not be read from the frame memory.
  • the generated prediction signal 1080 is output as a prediction signal.
  • signals necessary for generating other prediction signals are delayed by a delay circuit 3020 for a necessary time (in this example, five times the processing unit period).
  • the signal 3021 is written into the block memory 1461.
  • the timing of writing is the timing indicated by 3021 in FIG. 18, and is written as the timing of pixel positions that continue from the pixel m and continue on the screen of FIG.
  • Signals written from the signal 3021 are the pixels A ′, B ′, F ′, G ′, K ′, and L ′.
  • the signals written via these signals 3021 are also used for the subsequent prediction signal generation processing in the same manner as the signals written via the signal 1060.
  • the prediction efficiency is further improved.
  • the pixel in the lower right part of the prediction block (for example, M ′, P ′, S ′, T ′ in 1080 of FIG. 16 and FIG. 18) Since it is not a pixel, the probability that an error is included is higher than other prediction signals.
  • a ′, B ′, F ′, and G ′ are used to generate the prediction signal T ′ of the pixel T.
  • FIG. 19 is a second embodiment of the present invention, and shows a configuration when the present invention is applied to an encoding apparatus.
  • the input image signal 2010 is divided into blocks and input.
  • the difference between the input signal 2010 and a prediction signal 2200 (to be described later) is calculated for each pixel in the difference circuit 2020.
  • the difference signal 2020 is converted into the signal 2100 by the orthogonal transformation circuit 2030 and the quantization circuit 2040, and then the coding circuit 2050.
  • the signal 2100 is inversely transformed into a differential signal by the inverse quantization circuit 2110 and the inverse orthogonal transform circuit 2120, and then added to the previous prediction signal 2200 for each pixel by the addition circuit 2130 to be obtained by the decoding device.
  • An identical image signal local decoded image
  • the local decoded image is written in the frame memory 2140, and is used for the subsequent prediction signal 2200 generation processing.
  • the prediction signal 2200 is generated in the prediction mode determination circuit 2150 as follows.
  • the input image signal (encoded block) 2010 is input to the prediction mode determination circuit 2150.
  • the prediction mode determination circuit 2150 prepares a plurality of prediction vectors that are candidates for the prediction signal of the corresponding coding block, and sequentially inputs these as prediction candidate vectors 2220 to the prediction signal generation circuit 2240.
  • the prediction signal generation circuit performs the same processing as the prediction signal generation circuits 1040 and 1041 already described in the previous embodiment, and the pixel signal in the encoded area of the frame memory (corresponding to the decoded area in the previous embodiment) Then, a prediction signal 2230 based on the designated prediction candidate vector is generated.
  • the prediction mode determination circuit 2150 calculates a prediction error by taking a difference between the input signal 2010 (encoded block signal) and the prediction block signal (2230) for each pixel. Then, after calculating the prediction errors of all the prediction candidate vectors, the prediction vector 2160 having the smallest (most similar) prediction error is output, and a prediction signal 2200 corresponding to the prediction vector 2160 is output. Note that the prediction vector 2160 is superimposed on the data stream 2060 in the encoding circuit 2050.
  • the prediction signal 2200 needs to be generated from the local decoded image in order to prevent accumulation of errors in the decoding device.
  • the generation of the local decoded image of the block encoded immediately before the completion is completed, that is, the encoding processing of the immediately preceding block is all completed.
  • the next block vector search cannot be started.
  • the next vector search can be started without waiting for the encoding process of the previous block to be completed, so that the vector search process and the subsequent encoding processes can be executed in parallel. Therefore, the allowable processing time allowed for each processing becomes long (for example, if the vector search processing and the subsequent encoding processing take the same time, the processing allowable time is doubled by processing these in parallel). .
  • the same processing can be executed at a lower clock frequency, so that power consumption is reduced and the number of circuits can be reduced.
  • more pixels can be processed per unit time, so that processing of images with higher resolution, processing of images with higher frame rates, or simultaneous processing of multiple images, or these Can be realized.
  • FIG. 20 is a configuration example of the data stream 2060 generated by the encoding device 2001 in FIG. 19, and corresponds to the input data stream 1010 in FIG.
  • the data stream is hierarchical, and in the highest hierarchy, frame data is arranged following the information 4000 related to the entire stream.
  • Frame data for example, frame data 4002 is composed of macroblock (MB) data 4100 to 4104 as shown in the middle of FIG. 20, and frame information 4100 is arranged at the head.
  • MB data, for example, 4102 starts from macroblock mode information MB mode information 4200 as shown in the lower part of FIG.
  • a predetermined number of vector information for generating a prediction signal is arranged (4201 to 4204). For example, when the macroblock is divided into 16 as shown in FIG. 15, the number of vectors is 16 vectors. The number of divisions is specified by MB information. Subsequent to the predetermined number of vectors, macroblock difference information is arranged.
  • FIG. 21 is an example of a device to which the present invention is applied, and is a block diagram of an optical disc reproducing apparatus that records video.
  • the data stream generated according to the present invention is recorded on the optical disc 1.
  • the optical disk drive 2 supplies a video data stream 1010 read from the optical disk 1 to the decoder 1001.
  • the decoder 1001 outputs video information reproduced from the input data stream 1010 by the method described above as an output signal 1150.
  • the outputted output signal 1150 is reproduced on the monitor 3.
  • the present invention includes cases where the following modifications or combinations of the following modifications are applied to the embodiments already described and the modifications of each embodiment.
  • this embodiment shows an example applied to intraframe coding, it can also be applied to coding and decoding in which interframe coding and intraframe coding are mixed.
  • the present invention can be applied to a block in an intraframe coding mode in interframe coding. That is to say, in interframe coding, a block (or macroblock) that is determined to be suitable for intraframe vector prediction according to the present invention is more suitable than intraframe vector prediction than prediction based on motion compensated interframe prediction.
  • the method shown in the embodiment of the present invention After adding the information selected for prediction to the data stream, the method shown in the embodiment of the present invention generates a prediction signal using the pixels of the area already encoded on the same screen, and the difference Convert and code the signal. As a result, it is possible to encode the corresponding block with a smaller code amount than in the case of performing normal intraframe encoding.
  • the encoding method described in the section of FIG. 15 can be applied.
  • the corresponding block can be decoded as in the present embodiment.
  • the fact that the corresponding block has been encoded by intra-screen vector prediction is shown in the MB mode 4200 of FIG.
  • the present invention can be applied not only to moving picture coding but also to still picture coding.
  • image indicates a frame image or a field image.
  • the present invention In encoding or decoding in units of frame images, it is also possible to combine the present invention with frame / field adaptive encoding that performs processing by switching the frame mode and the field mode for each block (macroblock).
  • the embodiment can be applied as it is by switching between a frame vector (a vector indicating a block in units of frames) / a field vector (a vector indicating a block in units of fields) as an in-screen vector of the present invention.
  • the signal for switching the frame vector / field vector may be given for each block (sub-block), or one switching signal may be designated for the entire macro block. Further, it is linked to the coding mode information of the macro block. It doesn't matter.
  • the screen is configured by arranging one field image with different time for each line. Therefore, if there is movement on the screen, the edge portion etc. in the screen are alternately arranged for each line. The image shifts to a comb shape. In the present invention, since such a periodic pattern can be predicted efficiently, the encoding efficiency becomes higher than that of the conventional method that does not support the periodic pattern.
  • the prediction block is used as a prediction signal as it is, but the following cases are also included in the present invention.
  • the prediction block signal is multiplied by a coefficient to obtain a prediction signal. This corresponds to a luminance change in the screen. For example, even when an image of a periodic pattern is gradually darkened due to illumination, the prediction efficiency is not lowered. Further, by applying this process to the prediction pixels in the overlapping portion, higher prediction efficiency can be realized.
  • the prediction block signal is subjected to enlargement or reduction processing to obtain a prediction signal. It is necessary to change the size of the prediction block in accordance with the enlargement / reduction ratio (when the image is enlarged twice, the size of the prediction block may be 1 ⁇ 2 of the normal size). Enlargement / reduction of a prediction block can achieve higher encoding efficiency when the width (line width) of an object in an image is changed. In addition, since it is possible to cope with image conversion even if processing is performed with a larger block, the coding efficiency is not lowered, and the overhead for coding the prediction vector is reduced, and the coding efficiency is improved.
  • the prediction block signal is rotated to be a prediction signal.
  • the rotation can be performed at an arbitrary angle or rotation with a limited angle. For example, by limiting the angle to 90 degrees, 180 degrees, and 270 degrees, the rotation process is easier than an arbitrary angle, and the code amount of information representing the degree of rotation is also reduced.
  • the rotation of the prediction block is effective for encoding an image including a combination of vertical and horizontal complicated patterns and an image including an irregularly shaped object such as a fine leaf of a tree.
  • the present invention can be widely applied to encoding / decoding techniques for moving images and still images.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっているため、効率の良い復号処理が行える。

Description

画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
　本発明は動画像又は静止画のフレーム内を復号するフレーム内復号装置、さらにはその復号手法をフレーム内の予測符号化に適用したフレーム内符号化装置などの符号化・復号技術に関する。
　従来、動画像符号化の分野の技術では、MPEG（Moving Picture Experts Group）により規格化されたMPEG-2、MPEG-4や、ITU-T（International Telecommunication Union、Telecommunication  Standardization Sector）が規格化したH.264（上記MPEG-4 Part.10と共通文書）規格に代表される符号化方式が知られている。
　動画像の符号化は、大きく分けて、時間的に前後の画像（以下、符号化あるいは復号処理における、動画像を構成する１枚の画面を「画像」と称する。「画像」は、プログレッシブ信号、インターレース信号における「フレーム」、「フィールド」のいずれをも示すことができ、例えば、符号化がフレーム単位で行われているときは「画像」は「フレーム」を示し、処理がフィールド単位の場合は「フィールド」を示す。なお、符号化分野において一般名称化している「フレーム間」、「フレーム間」、「フレームメモリ」は、このまま用いるが、インターレース信号の「フレーム」に特定したものではなく、その時の処理モードによって「フレーム」「フィールド」いずれをも意味する）からの差分を符号化するフレーム間符号化と、１つの画像を単独で符号化するフレーム内符号化がある。一般に、フレーム内符号化した画像の符号量は、フレーム間符号化した画像の符号量よりも大きくなる。しかし、フレーム内符号化は、映像コンテンツ（シーケンス）の先頭に必要な他、再生時のランダムアクセス性の向上や、エラー時の復帰用に必要な方式であり、通常、０．５秒から２秒間隔、すなわち１５フレームから６０フレームごとに周期的に選択される。
　符号化処理は画像を細分化したブロック（通常１６画素×１６ライン、ＭＰＥＧでは「マクロブロック」と呼ぶ。以下、「ブロック」は、本発明の処理を行う処理単位の総称として用いる。もし、本発明の処理単位が、ＭＰＥＧにおけるマクロブロックのサイズと異なる場合は、マクロブロックと明確に区別するために上記定義のブロックを「サブブロック」と称することもある）が処理単位となる。フレーム内符号化では、ブロック毎に、同一画像内にありかつ既に符号化された画像信号（画素）の値を用いて予測信号が生成され、符号化するブロックの信号と予測信号との差分値が、直交変換および量子化され、符号に変換されて、符号化処理が行われる。同時に、予測信号を生成する上での識別信号があわせて符号化される。
　下記非特許文献１および２には、予測信号の生成方法として図１に示す８種類の方法と、符号化するブロックの周囲画素の平均値を用いる方法との、９種類の方法が示されている。図１に示された方法では、これから符号化される符号化ブロック２００の予測信号として、画像の内容の方向に応じて８方向の予測方法を定義している。例えば図１の（１）は画像の内容が縦方向に相関が強い、すなわち縦線の場合に好適な方法であり、符号化ブロック２００に隣接する符号化済みである信号２１１をコピー方向２１２の方向に繰返しコピーすることによって予測信号を生成する。ここで、予測に用いる画素信号２１１は縦方向が１画素幅、横方向がブロックの横方向と同一画素数の領域である。同様に、図１の（２）～（８）は符号化済みである信号（それぞれ斜線部分）から矢印の方向に画素信号値をコピーすることにより予測信号を生成する。図１の（２）～（８）のいずれの予測に用いる画素信号（斜線部）の領域は１画素幅であり、符号化済みの画素信号の領域に属し、かつ、未符号化領域と接している（該当画素の８近傍のいずれかに、未復号領域に属する画素が存在する）。符号化のこれらの処理にあわせて、どの方向の予測を用いたかを示す識別信号を符号化する。
　特許文献１及び特許文献２には、予測方法として、ベクトル（以下、特に指定のない場合、画面内の画素位置を示す情報を単に「ベクトル」あるいは「予測ベクトル」と称する。いわゆる動き補償フレーム間符号化に用いる「動きベクトル」と区別することが必要な場合は「画面内ベクトル」と称する）を用いて予測信号を生成する位置を指示する方法が示されている。図２において、１画像が符号化済み領域１３０と未符号化領域１４０からなり、符号化ブロック１００を符号化するときに、予測信号とするに好適なブロック信号（予測ブロック１１０）を符号化済み領域１３０から選択し、その位置を符号化ブロック１００からの２次元相対位置（予測ベクトル１２０）にて示す。図ではブロックの左上の画素（小さな四角にて図示）の相対位置にてベクトル１２０を示している。このとき、符号化ブロック１００内の各画素信号は、対応する予測ブロック１２０内の画素信号との差分がとられ、この差分信号が直交変換・量子化された信号と、予測ベクトルとが符号化される。復号処理の場合もそれと同様であり、未符号化領域１４０を未復号領域とし、符号化ブロック１００を復号対象とする復号化ブロックとし、符号化済み領域１３０を復号済み領域とし、ベクトル情報によって復号済み領域から得られる予測信号に、差分情報を加えて再生画像を形成すればよい。
　また、特許文献１及び特許文献２では、図３に示すように、予測ブロック１１０と符号化ブロック１００が重なっている場合の予測方法を示している。このとき、予測ブロック１１０の右下部分（重複部２００）は符号化処理が済んでいないため、予測信号となるデータが存在しない。特許文献１では、この重複部２００の信号として、固定値（例えば、灰色を表す信号値）、周囲画素２１０の画素値の平均値、周囲画素２１０から予測した信号値（例えば図１（２）の方法）を示している。ここで、周囲画素２１０は、符号化済み領域１３０に属し、かつ、重複部２００と接している（該当画素の８近傍のいずれかに、重複部画素に属する画素が存在する）。図３において復号処理の場合には、復号済み領域１３０の予測ブロック１１０と未復号領域１４０における復号対象の符号化ブロック１００との重なり部分２００は、復号処理が済んでいないため、予測信号となるデータが存在しないことになる。
ITU-T H.264、 SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video、 Advanced video coding for generic audiovisualservices ISO/IEC 14496-10、Information technology － Coding of audio-visual objects － Part 10: Advanced Video Coding （非特許文献１と同一の内容） 米国特許出願公開第２００３／０２０２５８８号明細書 特開平６－３５１００１号公報
　上記、非特許文献１，２の予測手法は、符号化済み領域（復号済み領域）の画像と符号化ブロック内の画像が連続しており（例えば、符号化済み領域（復号済み領域）の画像と符号化ブロック内を結ぶ直線やエッジの画像）、かつ、その方向が図１の８方向と一致した時に予測効率が向上する。逆に、例えば周期的な離散パターンのように連続でない画像や、連続の方向が図１の８方向に一致しない場合には符号化効率圧縮率が向上しない問題があった。
　一方、特許文献１の手法においては、画像に周期的なバターンが存在した場合にも対応ができ、また、その方向も細かく指定することができるが、以下の課題がある。すなわち、図３のように符号化ブロック１００と予測ブロック１１０が重複した場合に、重複部の処理が非特許文献１，２の手法と同様の手法をとっているため、符号化効率（圧縮率）が向上しない。一般に、画像信号は画素間の距離が近い程、相関が高くなっており、符号化ブロック１００の近傍に最適な予測ブロック１１０が存在する確率が高いが、特許文献１の手法、あるいは、特許文献１の手法と非特許文献１，２を組み合わせた手法では、予測ベクトル１２０の大きさが小さくなるほど、予測があたらない重複領域２００が大きくなるという問題があった。
　本発明の目的は、予測ベクトルを用いて、符号化ブロックの近傍から予測信号を生成した場合においても、予測効率を低下させない画像符号化及び復号技術を提供することにある。
　更に具体的な目的は、予測ブロックと符号化ブロックとの重なり部分に対する予測効率を向上させることができ、画質の向上に資することができる画像符号化及び復号技術を提供することにある。
　本発明の前記並びにその他の目的と新規な特徴は本明細書の記述及び添付図面から明らかになるであろう。
　本願において開示される発明のうち代表的なものについて簡単に説明すれば下記のとおりである。
　すなわち、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり、且つ、復号処理が終了している部分の画素情報を予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを採用する。このデコーダはフレーム内復号装置、符号化装置のローカルデコーダなどに採用される。この手段は、画像の繰り返しパターンの原理から逓倍の位置の画素は類似の画素となっている、という点に着眼している。
　本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
　すなわち、フレーム内符号化の予測効率を向上させることができ、その結果、差分信号のデータ量（例えば予測誤差電力）を低減し、該当画像の符号量を低減させることがでる。一般に、フレーム内符号化はフレーム間符号化に比べ符号量が多いため、映像ストリーム全体としても、符号量を削減することができ、一定の画質を得るための符号量が減少する効果、あるいは一定の符号量により高画質な映像を再生する効果がある。
図１は従来のフレーム内予測を示す図である。 図２は従来のベクトルを用いたフレーム内予測を示す図である。 図３はベクトルと用いたフレーム内予測において、符号化ブロックと予測ブロックに重複があることを示す図である。 図４は本発明における、符号化ブロックと予測ブロックとの重複部の処理を示す図である。 図５は本発明における、予測ベクトルの位置による分類を示す図である。 図６は本発明における、予測ベクトルの位置に応じた重複部の処理を示す図である。 図７は本発明の第１の実施形態による画像復号装置のブロック構成図である。 図８は図７における予測信号生成回路１０４０の詳細ブロック構成図である。 図９は図８の予測信号生成回路１０４０の変形例の詳細ブロック構成図である。 図１０は本発明の第２の実施形態による予測信号生成アルゴリズムのフローチャートである。 図１１は本発明における、予測ベクトルの位置による他の１つの分類を示す図である。 図１２は図１１における領域（Ｆ）（Ｇ）における予測信号生成処理を示す図である。 図１３は本発明における、復号済み領域の変形例を示す図である。 図１４は図１３における領域（Ｆ’）（Ｇ’）（Ｄ’）における予測信号生成処理を示す図である。 図１５は本発明の処理を行うブロックの処理順を示す図である。 図１６は本発明のハーフペル予測を示す図である。 図１７は図１６の処理を実現する予測信号生成回路のブロック構成図である。 図１８は図１７の処理のタイミングチャートである。 図１９は第３の実施形態による画像符号化装置のブロック構成図である。 図２１は本発明によるストリームの構成図である。 図２０は本発明を適用した光ディスク再生装置のブロック構成図である。
符号の説明
　１００　符号化ブロック
　１１０　予測ブロック
　１２０　予測ベクトル
　１３０　復号済み領域
　１４０　未復号領域
　２００　重複領域
　１００１　画像復号装置
　１０１０　入力データストリーム
　１０２０　復号回路
　１０３０　予測ベクトル
　１０４０　予測信号生成回路
　１０８０　予測信号
　１２００　ベクトル逓倍回路
　１２５０　制御回路
　１４６０　ブロックメモリ
　３０００　ハーフペル処理回路
１．実施の形態の概要
　先ず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
　〔１〕本発明の代表的な実施の形態に係る画像処理装置（図７，８，９）は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する。
　上記によれば、予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、復号未済みの当該重なり部分に代えて、復号処理が終了している部分の画素情報を、予測信号として用いるから、予測効率の向上、符号量の低減、及び高画質化を可能にする。また、前記ベクトル情報による距離の逓倍によって復号処理が終了している部分の画素情報を取得するからその制御が容易である。復号だけでなく、符号化のローカルデコードにも容易に適用できる。
　〔２〕本発明の代表的な実施の形態に係るデコード方法（図１０）は、データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報による距離の逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含む。
　〔３〕本発明の別の実施の形態に係るフレーム内復号装置（図７，８，９）は、データストリーム（１０１０）より予測ブロックを示すベクトル情報を抽出する抽出部（１０２０）と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部（１２５０）と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部（１３００，１３２０，１４００，１４２０）と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部（１４５０，１４６０）と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
　〔４〕項３のフレーム内復号装置は、前記ベクトル情報によるベクトルを逓倍する逓倍部（１２００）を更に有し、前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する。
　〔５〕項３のフレーム内復号装置において、前記予測信号生成部（１４６１，３０００）は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して予測画像データを生成する（図１７、ハーフペル）。
　〔６〕項３のフレーム内復号装置において、前記画素位置計算部は、所定の範囲内で画素位置を計算する（図１４、アクセス範囲の制限）。
　〔７〕項６のフレーム内復号装置において、所定の範囲は、前記データストリームから抽出された信号に基づいて設定される（データストリームによるアクセス範囲の指定）。
　〔８〕項３のフレーム内復号装置において、前記データストリームは静止画又は動画のデータストリームである。
　〔９〕本発明の別の実施の形態に係るデコード方法（図１０）は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含む。
　〔１０〕更に具体的なデコード方法（図１０）は、データストリームより予測ブロックを示すベクトル情報を抽出する第１処理と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第２処理と、前記ベクトル情報によるベクトルを逓倍する第３処理と、前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域のある画素位置を計算する第４処理と、前記第４処理により計算された画素位置の画素データと、前記第２処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第５処理と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第６処理と、を含む。
　〔１１〕本発明の更に別の実施の形態に係る画像符号化装置（図１９、エンコーダ）は、画像データを複数のブロックに分割し、符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する。この画像符号化装置は、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備える。
　〔１２〕本発明の更に別の実施の形態に係るフレーム内復号装置は、フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在する装置である。このフレーム間復号装置は、データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
　〔１３〕本発明の更に別の実施の形態に係るフレーム内復号装置（予測信号の変形を可能にする）は、データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備える。
　２．実施の形態の詳細
　実施の形態について更に詳述する。なお、発明を実施するための形態を説明するための全図において、同一の機能を有する要素には同一の符号を付して、その繰り返しの説明を省略する。
　実施形態の詳細な説明に先立ち、本発明の原理を概説する。以下においてはフレーム内の復号を主体として説明する。
　図４は、本発明の原理を説明するために、図３の予測ブロック１１０と、符号化されている復号対象としての符号化ブロック（以下単に符号化ブロックとも称する）１００を分離して、さらに、生成する予測信号１３０とあわせて描いたものである。予測ブロック１１０のうち２１０の領域は未復号領域に属する欠損領域である。欠損領域は、すなわち、符号化領域の左上部の領域２２０と同一の領域である。従って、予測ブロックによる予測が正しく行われているとすると、符号化ブロックの中の領域２２０の予測信号は予測ブロック内の領域２００に該当する。すなわち、領域２２０と領域２００の画素毎の差分信号が小さく、２つの領域のデータが類似している。一方、先に説明したように、欠損領域２１０の信号と領域２２０の信号は同一であることから、欠損領域２１０と予測ブロック内の領域２００が類似していることになる。本発明では、これらの性質を利用して、以下のように予測信号１３０を生成する。（１）復号済み領域の信号が存在する領域（領域２００および領域２３０）は該当する画素信号を予測信号とする、（２）未復号領域に該当する領域（領域２２０）は領域２００の信号をコピーして予測信号とする。
　これは、すなわち、予測ブロック内の領域２２０は、ベクトル１２１により示されるように本来のベクトル１２０の２倍のベクトルの位置からの予測に該当する。
　図５、６はベクトルの指し示す位置と、その時の予測信号の生成方法を図示したものである。符号化ブロックを水平Ｗ画素、垂直Ｗ画素としたときに、ベクトルの指し示す位置が、図５の領域５００、５１０、５２０、５３０、５４０にあるときに、予測ブロック内に欠損領域が生じる。これらの領域を順に（Ａ）,（Ｂ），（Ｃ），（Ｄ），（Ｅ）とした時の、それぞれの領域における予測信号の生成例を示したものが図６である。なお、図５ではベクトルの指し示す位置として、符号化ブロックの左上の画素（四角にて図示）に対応する画素の位置として表示している。なお、ベクトルが領域５９０（Ｈ）を示しているときには予測ブロックに欠損領域は生じないため、従来の予測方法が適用できる。
　図６の（Ａ）（Ｂ）（Ｅ）は、ベクトルが図５領域５００、５１０、５４０を示している場合の例である。この例では、予測信号は２０１、２１１、２１２の３つの領域に別れる。領域２０１は予測ブロック内の復号済み領域部の画素信号１１１。領域２１１は、領域２１１の位置から本来の予測ベクトル１２０を２倍にした動きベクトル１２１により指し示される位置、すわなち、領域１１１の該当部分。領域２１２は同様に領域２１２の位置から予測ベクトル１２０の３倍のベクトル１２２により指し示される領域１１１の該当部分である。領域２１１および領域２１２の予測信号は、それぞれ、予測ブロック上記例では本来の予測ベクトルの３倍までのベクトルを使用する例を示したが、３倍ベクトルの位置の画素が未復号領域である場合には、以下、４倍、５倍と逓倍数を増やして行き、復号済み領域の画素に該当する最小の逓倍数を使用する。
　ここで、図６において、（Ｃ）（Ｄ）のパターンの場合は、（Ａ）（Ｂ）（Ｅ）の場合と特性が異なる。（Ａ）（Ｂ）（Ｅ）の場合は、予測ブロックの領域２１１、領域２１２を生成するときに、それぞれベクトルを２倍、３倍した画素を使用したが、実質的には予測ブロックの領域２０１の信号を利用することができた。しかし、（Ｃ）（Ｄ）の場合は、領域２００の信号はそのまま使用することはできず、復号済み領域の該当する領域１１２および領域１１３の信号を取得する必要がある。これは、予測ベクトルが図５の領域５２０、５３０に該当する場合であり、符号化ブロックの右側すなわち図５領域５３０の下部が未復号領域であることに起因する。
　図７は本発明によるフレーム内画像復号装置の一実施の形態の構成を示すブロック図である。
　入力されるデータストリーム１０１０には、画像を構成する各ブロック毎に予測ベクトルと、予測信号に対する差分信号の情報が含まれている。復号回路１０２０ではデータストリーム１０１０より予測ベクトル１０３０と、差分情報１１００を抽出する。差分情報１１００は逆量子化回路１１１０、逆直交変換回路１１２０にて差分信号１１２５に変換される。これと並行して、本発明による予測信号生成回路１０４０では、予測ベクトル１０３０をもとに、フレームメモリ１０７０の復号済み領域の指定アドレス１０５０を生成し、該当アドレスの画素信号１０６０を取得し、図５，６を用いて説明した原理に従い予測ブロックの画素信号１０８０を生成する。生成した予測ブロックの画素信号１０８０は画像再生回路１１３０において、差分信号１１２５に加算され、該当するブロックの画像が再生される。再生された画像はフレームメモリ１０７０に書き込まれ、以降のブロックの画像再生時の予測画像生成の候補として使用される。１画面分の復号処理が終了したのち、生成された画像の信号は出力信号１１５０として出力され、テレビなどの表示装置などに表示される。
　図８は図７における予測信号生成回路１０４０の詳細回路である。予測信号生成回路１０４０内では、画素位置情報生成回路１３００により、符号化ブロック内におけるこれから処理を行う画素の画素位置情報１３１０が生成される。ここで生成される位置情報１３１０は、ブロック内の水平画素位置Ｘと垂直画素位置Ｙの情報であり、たとえば、ブロック左上の画素ではＸ＝０、Ｙ＝０となる。ベクトル逓倍回路１２００では、入力された予測ベクトル１０３０を信号１２１０により指示される倍数（Ｎ倍）にした逓倍ベクトル１２３０を生成する。初期状態でのＮの値は１である。逓倍ベクトル１２３０（初期状態では予測ベクトル１０３０と同じ）は加算回路１３２０にて画素位置情報１３１０と加算され、予測ブロックの画素位置１３３０が計算される。このとき、予測ベクトルの水平成分をＶｘ、垂直成分をＶｙとすると、逓倍ベクトルの水平成分Ｎ×Ｖｘと水平画素位置情報Ｘ、垂直成分Ｎ×Ｖｙと垂直画素位置情報Ｙが、それぞれ独立に加算され、予測ブロックの画素位置は、符号化ブロックの左上の画素を基準に、水平Ｘ＋Ｎ×Ｖｘ、垂直Ｙ＋Ｎ×Ｖｙ となる。なお、これらの値は負の値にもなり得る。
　一方で、制御回路１２５０は、初期状態では逓倍信号１２１０として１（Ｎ＝１）を出力している。制御回路１２５０は逓倍ベクトル１２３０と画素位置情報１３１０から、該当する予測ブロックの画素が復号済み領域にあるか否かを判定する。判定は以下の方法にて行う。
Ｘ＋Ｎ×Ｖｘ＜０ かつ Ｙ＋Ｎ×Ｖｙ＜Ｗｙ－１ の時、復号済み領域、
Ｘ＋Ｎ×Ｖｘ＞＝０ かつ Ｙ＋Ｎ×Ｖｙ＜０     の時、復号済み領域、
上記以外の時、未復号領域、
ここでＷｘはブロックの水平方向の大きさ、Ｗｙは垂直方向の大きさである。
　判定結果が「未復号領域」であった場合、制御回路１２５０は、判定結果が「復号済み領域」となるまで逓倍信号１２１０を歩進させる。すなわち、例えば図６において、（Ａ）～（Ｅ）いずれの場合においても、画素が領域２１１にあるときにはＮ＝２を、画素が領域２１２にあるときにはＮ＝３を出力する。
　予測ブロックの画素位置１３３０は、画面内における該当ブロックのブロック位置生成回路１４００の生成するブロック位置１４１０と、アドレス生成回路１４２０において加算され、さらに、フレームメモリ上の該当アドレス１０５０に変換される。変換されたアドレス１０５０の指し示す画素信号１０６０が入力されると、画素信号は一旦バッファ１４５０に蓄えられた後、適切なタイミングに予測信号１０８０として出力される。
　１つの画素の処理が終了すると、画素位置情報生成回路１３００は、符号化ブロック内におけるこれから処理を行う画素の画素位置情報１３１０を次の画素位置へ歩進させ、制御回路１２５０は逓倍信号１２１０を１（Ｎ＝１）にリセットし、次の画素の処理を行う。
　ブロック内の全ての画素の処理が終了すると、ブロック位置生成回路１４００は、ブロック位置１４１０を次のブロック位置に歩進させる。
　図８の説明において、逓倍回路１２００において、動きベクトルのＮ倍の計算をすると説明したが、逓倍回路１２００に乗算器を備える必要はない、なぜならば、逓倍（Ｎの値）は１，２，３と１ずつ歩進するため、逓倍回路内に、一旦予測ベクトルを保持しておき、逓倍数が１増えたときには、保持しているベクトル値に、予測ベクトルを加算することにより実現できる。これにより回路の低減を図ることができる。
　また、逓倍回路１２００部の代わりに、ベースとなるベクトルの大きさと逓倍数Ｎを入力とし、入力に該当する新しいベクトルを出力する変換テーブルを配置してもよい。変換テーブルを用いることにより非線形処理、すなわち、ある一定範囲ではベースのベクトルを逓倍し、それ以外の範囲では異なる倍率や固定値（クリッピング）する処理を行うことも可能となる。
　なお、予測信号を生成するための画素位置が、画面外の位置を指す場合は、以下の方法のいずれかを予め定めておくことにより対応する。
　（１）画面外の画素を参照する予測を禁止する（符号化側にて制限を行い、復号側は特別な対応は行わない）。
　（２）画面外の画素を参照する場合は、予め定められた所定の方法により該当画素を生成する。例えば、ＭＰＥＧ－４のように、参照する座標（ｘ、ｙ）がｘ＜０となった（画面左端外）時には、（０、ｙ）の画素を用いる。
　（３）画面外の画素を参照する状態では、別の予測画素生成方法を用いる（図１４（Ｄ’）の説明参照）。
　図９は図７の予測信号生成回路１０４０の別の実施の形態である。図８の予測信号生成回路と異なる点は、バッファ１４５０の変わりに、ブロックメモリ１４６０が設置されている点である。図６の説明において、図６（Ａ）（Ｂ）（Ｅ）において説明した、欠損領域の予測信号生成のときに、予測ブロックの領域２０１の信号を利用する実施の形態である。すなわち、予測ブロックの信号をブロックメモリ１４６０に蓄え、予測ブロック内の画素アクセスにて済む予測の場合には、フレームメモリ１０７０のアクセスを行わずに、ブロックメモリ１４６０に蓄えられた信号を出力するものである。
　図９において、フレームメモリ１０７０にアクセスして得られた信号、すなわち復号済み領域から取得する信号１０６０は、ブロックメモリ１４６０のブロック内の位置に対応したアドレスに格納される。このとき、制御回路１３０１は逓倍信号１２１０として０（Ｎ＝０）を出力することにより、ブロックメモリのアドレス１３３０は、ブロック内の画素位置情報１３１０と同一になり、所定の位置に信号１０６０を書き込むことができる。
　一方読み出しのとき、復号済み領域から取得された画素の場合は、上記書き込み時と同様にＮ＝０としてブロックメモリより読み出す。未復号領域の画素を出力する場合は、本来フレームメモリから読み出す時のＮの値より１減じた値を逓倍数１２１０としてブロックメモリのアドレス１３３０を生成することにより、一旦読み込んだ画素、すなわち図７領域２１１の該当位置のデータを読み出すことができる。これにより、フレームメモリ１０７０へのアクセス数を低減することができ、フレームメモリのアクセスに伴う電力削減や、フレームメモリのバス幅の低減を図ることができる。また、ブロックメモリへのアクセスが、フレームメモリのアクセスに比べて高速である場合には、処理時間の短縮あるいは、動作周波数の低周波数化を行うことができ、さらに電力低減に寄与する。
　なお、図６の（Ｃ）（Ｄ）の場合は、該当データがブロックメモリ内に存在しないため、一部条件を除いて図９におけるフレームメモリ１０７０へのアクセスは省略できない。
　以上の実施の形態の説明は本発明をハードウェアにて実装した例であるが、本発明はソフトウェアにて実装することも可能である。図１０により、本発明による予測画素生成アルゴリズムを説明する。
　図１０は本発明における１つのブロックの予測画素信号を生成するためのアルゴリズムのフローチャートである。ブロック内の１つの画素を処理するにあたり、１５００にて変数ＶＥＣに入力された予測ベクトルの値を保持する。１５１０において、変数ＶＥＣの値（ベクトル値）と該当画素の位置を加算し予測信号位置を得る。このとき、画素位置、予測信号位置いずれも２次元の座標であり、ベクトル値との加算においては、水平成分、垂直成分それぞれ独立に計算される。計算された予測画素位置を用いて予測画素位置が復号済み領域であるか否かを調査する。調査の方法は図８の説明時に示した不等式により実施する。予測画素位置が復号済み領域内でなければ、１５４０にて変数ＶＥＣに予測ベクトル値を加える。すなわち、ハードウェアの説明時に用いた逓倍数ＮをＮ＋１に歩進させる処理に対応する。新たなＶＥＣを用いて、再度、復号済み領域内外の判定を行い、予測画素位置が復号済み領域内になるまで処置１５４０にてＶＥＣを変更続ける（Ｎを歩進する）。予測画素位置が復号済み領域内になったと判定処理１５３０にて判定されると、１５５０において、予測画素位置の信号を読出し、読み出した画素を該当画素の予測信号とする。これらの処理をブロック内の全ての画素に対して実施し、判定１５６０において、ブロック内全画素の処理が終了した時点で、１つのブロックの予測画素信号生成処理を終了する。
　図１１および図１２は、本発明の変形例を説明する図である。図１１では、図５では対応していなかった、図１１領域６００（Ｆ）および領域６１０（Ｇ）の処理を許可する変形例である。（Ｆ）（Ｇ）においては、予測ベクトルが図の下方向となるため、既に説明した予測ベクトルを逓倍する方法では対応ができない。
　図１２は、予測ベクトルが下方向を向いた時、すなわち、予測ベクトルが図１１領域６００および領域６１０を指し示した時の処理の説明図である。図１２において、丸印は復号済み領域の画素を、四角印は符号化ブロック内の画素の位置を表す。図１２の（Ｆ）の場合、図の符号化ブロック１００のＡからＭに対応する予測画像は、復号済み領域の画素ａからｌ（エル）にて生成可能である。しかし、符号化ブロック１００のＰ，Ｑ，Ｒ，Ｓに対応する画素を求めるときには、復号済み領域を指し示すようになるまで、予測ベクトルを下記の式に従い縮退していく。
   Ｖｘ’＝ｍａｘ（Ｖｘ／（２＾Ｎ）、１）
   Ｖｙ’＝Ｖｙ／（２＾Ｎ）
ここで、ｍａｘ（ｕ、ｖ）はｕとｖの大きい方の値を返し、”／”は少数を０方向に切り捨てる除算、２＾Ｎは２のＮ乗である。
　なお、図１１において、水平方向右がＸのプラス方向、垂直方向下がＹのプラス方向とする。すなわち、領域６００および領域６１０を示す予測ベクトルの場合は、Ｖｘ＜０、Ｖｙ＞０となる。
　Ｎの値を１から１つずつ歩進して行き、Ｖｘ’、Ｖｙ’により指し示す画素が復号済み領域の画素を示すようになったときの画素信号を予測信号とする。たとえば、図１２の（Ｆ）の画素Ｐの例では、初期の予測ベクトル１２０が（Ｖｘ，Ｖｙ）＝（－３、１）とすると、Ｎ＝１のときに縮退ベクトル１４１は（Ｖｘ’，Ｖｙ’）＝（１，０）となり、画素ｌ（エル）を指し示すため、画素ｌの値を予測値とする。
予測ベクトルが領域６１０の場合も、図１２の（Ｇ）に示すように、同様な処理にて予測信号を生成する。図１２の（Ｇ）の例では、予測ベクトル１２０が（Ｖｘ，Ｖｙ）＝（－５、２）とすると、画素ＫはＮ＝１のときに縮退ベクトル１４２が（Ｖｘ’，Ｖｙ’）＝（－２，１）となり、画素ｈが予測画素となり、画素ＰはＮ＝２の時に縮退ベクトル１４３が（Ｖｘ’，Ｖｙ’）＝（－１，０）となり、画素ｔが予測画素となる。
　このように、縮退させたベクトルを使用することにより、予測ベクトルが図１１領域６００および領域６１０を指し示した時、周期的な画像パターンへの対応はできなくなるが、画面右上方向に向いた連続性のある画像（直線等）の予測は正しく行うことができ、先の実施の形態よりも、より高い符号化効率が得られる。
　図１３および図１４は本発明の別の実施の形態を説明する図である。図５、図１１では、符号化ブロック左側では、符号化ブロック下辺と復号済み領域の境界は垂直方向にて同じ高さで、また、右方向では復号済み領域は無限に連続していると仮定していた。しかし、実際の符号化・復号においては、図１３に示すように、符号化ブロック下辺と復号済み領域の境界の垂直位置が異なったり、復号済み領域右側が制限される場合がある。左側垂直位置ずれは、例えば、図１３の符号化ブロックを符号化１００した次に、符号化ブロックの下部分を先に符号化した場合に該当する（この場合、図１０のｄＹ＝Ｗとなる）。また、右側制限は画面端に該当する。
　図１４の（Ｆ’）（Ｇ’）は予測ベクトルが領域６２０および領域６３０の時の例である。この場合は以下の方法により予測ブロックの画素信号を計算する。
　ステップ１： 下記式に従いＮ0を１、２、・・・と歩進させ、該当する画素が復号済み領域の画素であるか否かを判定する。復号済み領域に属する画素であれば、その画素の信号値を予測値とし、以下の全てのステップ２を省略する。
Ｖｘ’＝Ｎ0×Ｖｘ
Ｖｙ’＝Ｎ0×Ｖｙ
ステップ１にて、Ｎ0が下記の不等式を満たしたとき、ステップ１を終了してステップ２に移行する。
Ｎ0×Ｖｙ＋Ｙ ＞ Ｗ＋ｄＹ 
ここで、Ｘは処理画素の符号化ブロック内におけるブロック左上画素からの水平相対位置、Ｙは垂直相対位置である。
　ステップ２：上記不等式を満たすＮ0に対して、ブロック左上画素から相対的に以下の位置の画素値を予測値とする。
（－１、ｍｉｎ（Ｗ＋ｄＹ－１、Ｙ＋（Ｖｙ×（１＋Ｘ））／（－Ｖｘ）））
　ここで、ｍｉｎ（ａ，ｂ）はａ，ｂのうちの小さい方の値を返す。また、領域（Ｆ’）（Ｇ’）ではＶｘ＜０である。
　上記式は、図１４の（Ｆ’）（Ｇ’）において、例えば、符号化ブロック内画素１５１の場合、画素１５１から予測ベクトル１２０の方向に延長した点が、復号済み領域と最初に交差する画素１５３に該当する。また、符号化ブロック内画素１５２の予測画素信号は、画素１５２から予測ベクトル１２０の延長方向に復号済み領域が存在しない、すなわち、上記式のｍｉｎの（）内にてＷ＋ｄＹ－１の項が選択され、画素１５４が用いられる。
　図１４の（Ｄ’）は動きベクトルが領域（Ｄ’）にあるときの予測画素信号生成を説明している。図１４の（Ｄ’）の例では、本来、領域２１１および領域２１２の予測として使われる領域２１５および領域２１６が未復号領域に属している。この場合は、領域２１１および領域２１２に、領域１１０の画素値を予測値として用いる。
　図１４の（Ｄ’）は、画面右端がある場合など不可抗力にて右側の復号済み領域が制限される場合を説明したが、画面右方向への画素アクセスを制限するために、図１３における右側境界６６０を仮想的に設けることも可能である。図１３において、ｄＸの値を常に固定値（例えば８）とすることにより、１つのブロックに対する、予測信号の生成に用いる画素の範囲を制限することができ、メモリアクセスの付加を軽減することができる。
　予測信号の生成に用いる画素の制限範囲は、例えば入力されるデータストリームに記述される。復号の処理に先立ち、ストリームより制限範囲の情報が抽出され、抽出された制限範囲の情報が以降のストリームの復号処理にて用いられる。このように、データストリームに制限範囲を記述することにより、データストリームを復号する装置の処理能力に応じて、制限範囲を変えることができる。例えば、処理能力の高い復号装置にて再生されるデータストリームでは、より広い制限範囲を設定し符号化効率を向上させることが可能となる。なお、制限範囲の情報は、図２０のストリーム情報４０００あるいはフレーム情報４１００に記述さる。ストリーム情報４０００に記述された場合は、該当ストリーム全体において同じ制限範囲がとられ、フレーム情報４１００に記述された場合は、フレーム毎に制限範囲を変えることができる。
　図１５は、ブロック予測の順序を示した図である。ＭＰＥＧ等の画像符号化では、輝度信号が１６画素×１６ラインのマクロブロックが符号化処理単位となる。図１５は本発明による画面内ベクトル予測を行うブロック（サブブロック）サイズがマクロブロックよりも小さい場合の処理順序を示している。図１５は、サブブロックサイズがマクロブロックの縦横１／４、すなわち４画素×４ラインの例を示している。図１５の（１）では、マクロブロック内のサブブロックを図中に示したように、左上から右方向にスキャンする例である。また、図１５の（２）はサブブロックの処理を８画素×８ライン毎に完結させるスキャン順であり、それぞれ、サブブロック４，８，１２が終了した時点でこれらを含む８画素×８ラインのデータが揃うため、８画素×８ライン単位の処理と併用したときの処理効率が高くなる。一方、図１５の（１）、例えばサブブロック５の予測信号を作成する場合、該当サブブロックの右方向（図１３領域６５０（Ｄ’））に該当する部分はサブブロック２，３、となるのに対し、図１５の（２）の同位置サブブロック３の予測信号を作成する場合、領域Ｄ’に該当する領域はサブブロック２の左端１画素幅の領域のみとなり、図１５の（２）の方が、高い予測効率を実現可能である。
　予測ベクトルの情報はサブブロック毎に復号される。隣接したサブブロックでは予測ベクトルも類似していることが多いため、予測ベクトル情報は、隣接したサブブロックの予測ベクトルとの差分が送られる。例えば、図１５の（１）のサブブロック６においては、隣接し、かつ、既に復号済みのサブブロックとしてサブブロック５、サブブロック２、サブブロック３のベクトルが用いられる。これら３つのサブブロックのベクトルをそれぞれ（Ｖａｘ，Ｖａｙ）（Ｖｂｘ，Ｖｂｙ）（Ｖｃｘ，Ｖｃｙ）とした時に、これから復号するサブブロック６のべクトルの予測信号（Ｖｐｘ，Ｖｐｙ）は以下となる。
Ｖｐｘ＝Ｍｅｄｉａｎ（Ｖａｘ、Ｖｂｘ、Ｖｃｘ）
Ｖｐｙ＝Ｍｅｄｉａｎ（Ｖａｙ、Ｖｂｙ、Ｖｃｙ）
ここでＭｅｄｉａｎ（ａ，ｂ，ｃ）はａ，ｂ，ｃを大きい順に並べたときの２番目（中央）の値である。
　このベクトルの予測信号（Ｖｐｘ，Ｖｐｙ）に、復号された差分信号を加えて予測ベクトル信号が得られる。なお、サブブロックがマクロブロックの境界に位置する場合（例、サブブロック１）は、周辺マクロブロックのサブブロックの予測ベクトルを保持しておき、それらを用いてベクトルの予測信号を生成して予測ベクトル値を得る。また、マクロブロックが画面境界に接しており、該当する位置のサブブロックが存在しない場合は、存在しないベクトル値を（０，０）とすることにより同様に求められる。なお、該当する位置のサブブロックが存在しない場合は、存在しないサブブロック数が１つの場合は存在しないベクトルを（０，０）とし、存在しないサブブロック数が２の時は存在するサブブロック（１つ）のベクトルを予測信号とし、存在しないサブブロック数が３（１つも存在しない）場合は予測信号を（０、０）にしてもよい。
　図１６および図１７は、予測ブロックの信号値を計算する変形例である。図１６および図１７では、ＭＰＥＧ等の動き補償フレーム間予測において使用されるハーフペル予測に相当する予測、すなわち画素間隔の１／２の精度のベクトルを使用する例である。
　図１６は、画面内ベクトルがハーフペル精度の場合の処理の例である。ベクトル１２０は図においては（－２．５、－１．５）に相当し、例えば符号化ブロック１００内の画素Ａの予測画素の位置は画素位置７００になる。このときの予測信号値Ａ’は以下となる。
Ａ’＝（ａ＋ｂ＋ｆ＋ｇ＋２）＞＞２
ここで、ａ，ｂ，ｆ，ｇはそれぞれ図１６に示した画素の信号値、＞＞はビットシフト演算である。＞＞２は２ビット右シフト即ち１／４の演算を意味する。上式における＋２は１／４の除算を行ったときその商が（ａ＋ｂ＋ｆ＋ｇ）＞＞２に対して四捨五入されるようにするためのものである。
　ブロックの重複部では、例えば画素位置７０１、すなわち画素Ｔの予測信号値Ｔ’は以下となる。
Ｔ’＝(Ａ’＋Ｂ’＋Ｆ’＋Ｇ’＋２)＞＞２
Ａ’，Ｂ’，Ｆ’，Ｇ’は画素Ａ，Ｂ，Ｆ，Ｇの各画素の予測値である。
　ハーフペル予測を行う場合、予測に必要な画素は、整数精度のベクトルを用いた予測の場合に比べ、水平あるいは垂直あるいは水平垂直双方において、１画素幅分多くの画素を用いる。このため、先に説明した予測画素生成方法の各種判定においては、１つの予測画素を生成するために必要な画素がすべて復号済み領域内にあることを判定基準とする必要がある。
　図１７は図１６の処理を行う予測信号生成回路１０４１のブロック図、図１８は図１６の処理を行う時の図予測信号生成回路１０４１の動作タイミングチャートである。画素位置情報生成回路１３０１は図１８タイミングチャートの信号１３１０に示す画素位置情報を出力する。図１６の例の場合、符号化ブロックのサイズは４画素×４ラインであるため、図８、図９の回路の場合は画素位置情報１３１０は水平・垂直成分ともに０から３の範囲の値となるが、ハーフペル予測処理を行うためには、図１６に図示したように符号化ブロックのサイズよりも水平・垂直それぞれ１画素大きい領域の情報が必要となる。この入力により予測信号生成回路１０４１は、先に図８、図９において説明した処理と同様な処理を行い、その結果、図１６の予測信号生成に係わる復号済み領域の画素、すなわち、画素ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉ、ｊ、ｋ、ｌ、ｍ、ｑ、ｒ、ｓ、ｕ、ｗ、ｚを図１８の１０６０に示したタイミングに得る。これらの画素信号１０６０はブロックメモリ１４６１に格納される。ブロックメモリ１４６１は、例の場合５画素×５ラインの２５画素分の容量を持ち、２系統の入力（１０６０、３０２１）のうちいずれかの信号を書き込み、独立した２系統の信号（３０４０、３０７０）を同時に出力する。なお、２系統の入力のいずれの情報を書き込みかを選択する信号線等は省略してある。また、ここで「同時」との意味は、たとえば図１８の時刻３１００から時刻３１１０の処理単位期間において、読出しあるいは書き込みの処理が完了するとの意味であり、上記の単位期間を複数の期間（例えば３期間）に区切り、それぞれの期間において、書き込み、読出し１、読出し２を順次に行っても構わない。
　ブロックメモリ１４６１からは、図１８の３０４０および３０７０に示したタイミングにて書き込まれた２つの画素信号が読み出される、例えば時刻３１００においては、信号３０４０には、図１６の画素ａの信号、図３０７０には画素ｆの信号が読み出される。これらの信号は遅延回路３０５０、３０８０にてそれぞれ処理単位期間遅延され、信号３０６０、３０９０になる。すなわち、時刻３１１０には、信号３０６０、３０４０、３０９０、３０７０には、それぞれ画素ａ，ｂ，ｆ，ｇの信号が出力されており、ハーフペル処理回路３０００においてはこの４画素を用いて、図１６の画素Ａの予測に用いる予測信号Ａ’が予測信号１０８０として生成される。なお、予測ベクトルの水平、垂直いずれか一方の成分がちょうど整数精度の値であった場合、上記４画素のうち必要な２画素が使われ、また、水平・垂直双方が整数精度であった場合は信号３０６０のみが使用される。このように予測ベクトルの水平・垂直の一方あるいは双方が整数精度の信号であった場合は、予測信号生成に使用しない画素が存在するためこれらの画素はフレームメモリから読み出さなくても構わない。
　生成された予測信号１０８０は、予測信号として出力されるとともに、そのうち、他の予測信号の生成に必要な信号は遅延回路３０２０において必要な時間（この例では処理単位期間の５倍）遅延された後に信号３０２１として、ブロックメモリ１４６１に書き込まれる。書き込まれるタイミングは図１８の３０２１に示すタイミングであり、画素ｍに引き続きき、ちょうど図１６の画面上で連続する画素位置のタイミングとして書き込まれる。なお、信号３０２１から書き込まれる信号は画素Ａ’、Ｂ’、Ｆ’、Ｇ’、Ｋ’、Ｌ’である。これらの信号３０２１経由で書き込まれた信号も、信号１０６０経由で書き込まれた信号と同様に以降の予測信号生成処理に用いられる。
　こうしたハーフペル予測では、予測位置としてより正確な精度を指定できるため、予測効率がより向上する。また、符号化ブロックと予測ブロックの重複部分が大きい場合、予測ブロックの右下部分の画素（例えば、図１６、図１８の１０８０ではＭ’、Ｐ’、Ｓ’、Ｔ’）は、実在の画素ではないため他の予測信号に比べ誤差が含まれる確率が高くなるが、本発明の手法では、例えば画素Ｔの予測信号Ｔ’の生成にはＡ’、Ｂ’、Ｆ’、Ｇ’が用いられ、さらに、これらの信号を生成には画素ａ、ｂ、ｃ、ｆ、ｇ、ｈ、ｋ、ｌ、ｍの９画素の信号が用いられるため、個々の画素による予測の誤差が低減され、予測効率の低下を防止している。
　図１９は本発明の第２の実施の形態であり、本発明を符号化装置に適用した時の構成を示している。
　入力された画像信号２０１０はブロックに分割され入力される。入力された信号２０１０は、差分回路２０２０において、後述する予測信号２２００と画素毎に差分がとられ、以降、直交変換回路２０３０、量子化回路２０４０にて信号２１００に変換された後、符号回路２０５０にて符号に変換されデータストリーム２０６０として出力される。同時に、信号２１００は、逆量子化回路２１１０、逆直交変換回路２１２０にて差分信号に逆変換された後、加算回路２１３０において、先の予測信号２２００と画素毎に加算され、復号装置で得られるものと同一の画像信号（ローカルデコード画像）が得られる。ローカルデコード画像はフレームメモリ２１４０に書き込まれ、以降の予測信号２２００生成処理に用いる。
　予測信号２２００は、予測モード決定回路２１５０において、以下のように生成される。入力された画像信号（符号化ブロック）２０１０は予測モード決定回路２１５０に入力される。予測モード決定回路２１５０は、該当する符号化ブロックの予測信号の候補となる予測ベクトルを複数用意し、これらを予測候補ベクトル２２２０として順次、予測信号生成回路２２４０に入力する。予測信号生成回路は既に先の実施の形態において説明した予測信号生成回路１０４０、１０４１と同じ処理を行い、フレームメモリの符号化済み領域（先の実施の形態の復号済み領域に相当）の画素信号から、指定された予測候補ベクトルによる予測信号２２３０を生成する。予測モード決定回路２１５０は入力信号２０１０（符号化ブロック信号）と、予測ブロック信号（２２３０）を画素毎に差分をとり、予測誤差を計算する。そして、全ての予測候補ベクトルの予測誤差を計算した後に、最も予測誤差の小さい（最も類似した）ものを予測ベクトル２１６０とするとともに、予測ベクトル２１６０に対応する予測信号２２００を出力する。なお、予測ベクトル２１６０は符号回路２０５０において、データストリーム２０６０に情報が重畳される。
　なお、最も予測誤差の小さい予測ベクトル２１６０を計算する際に、予測信号はフレームメモリ２１４０に格納されたローカルデコード画像を用いたが、ローカルデコード画像のかわりに、入力された画像信号２０１０を用いても構わない。ただし、この場合も、予測信号２２００は、復号装置における誤差の蓄積を防止するために、ローカルデコード画像から生成する必要がある。入力画像を用いて最適なベクトルの探索方法は、高画質の符号化であるほど、ローカルデコード画像と入力画像が近くなるため予測の効率が高くなる。また、あるブロックを処理する場合、ベクトルの探索にローカルデコード画像を使用すると、その直前に符号化処理されたブロックのローカルデコード画像生成が完了、すなわち、直前のブロックの符号化処理が全て完了するまで、次のブロックのベクトルの探索を開始できない。一方、ベクトルの探索に入力画像を使用すると、直前のブロックの符号化処理完了を待つことなく、次のベクトル探索を開始できるため、ベクトル探索処理と、それ以降の符号化処理の並列実行が可能となり、各処理に許容される処理許容時間が長くなる（例えばベクトル探索処理とそれ以降の符号化処理が同じ時間かかるとすると、これらを並列処理することにより、処理許容時間は２倍になる）。処理許容時間が長くなると、同一の処理をより低いクロック周波数で実行できるため、消費電力が小さくなり、また、回路の削減が可能となる。また、同じクロック周波数で実行すると、単位時間により多くの画素を処理できるため、より解像度の高い画像の処理、あるいは、よりフレームレートの高い画像の処理、あるいは、複数の画像の同時処理、あるいはこれらの組み合わせを実現することができる。
　図２０は図１９の符号化装置２００１の生成するデータストリーム２０６０の構成例であり、図７の入力データストリーム１０１０に該当する。データストリームは階層的になっており、最上位階層ではストリーム全体にかかわる情報４０００に引き続き、フレームデータが配置される。フレームデータ、例えばフレームデータ４００２は、図２０中段にあるようにマクロブロック（MB）データ４１００～４１０４から構成され、先頭にフレーム情報４１００が配置される。MBデータ、例えば４１０２は図２０下段にあるように、マクロブロックのモード情報 MBモード情報４２００から始まる。MBモードが本発明で示した方法のモードである場合には、予測信号を生成するためのベクトル情報が所定数配置される（４２０１～４２０４）。このベクトルの数は、例えば図１５のようにマクロブロックが１６分割されている場合には１６個のベクトルとなる。分割数はMB情報にて指定される。所定数のベクトルに引き続き、マクロブロックの差分情報が配置される。
　図２１は本発明を適用した機器の例であり、映像を記録した光ディクスの再生装置のブロック図である。本発明により生成されたデータストリームは光ディスク１に記録されている。光ディスクドライブ２は光ディスク１から読み出された映像のデータストリーム１０１０をデコーダ１００１に供給する。デコーダ１００１は先に示した方法により入力データストリーム１０１０から再生した映像情報を、出力信号１１５０として出力する。出力された出力信号１１５０はモニタ３にて再生される。
　以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
　既に説明した実施の形態、および各実施の形態の変形例に対して、下記の変形例、あるいは下記の変形例の組み合わせを適用する場合も本発明に含まれる。
　本実施の形態は、フレーム内符号化に適用した例を示しているが、フレーム間符号化とフレーム内符号化が混在する符号化および復号にも適用可能である。
　さらに、フレーム間符号化における、フレーム内符号化モードのブロックにも適用可能である。すなわち、フレーム間符号化において、あるブロック（またはマクロブロック）が、動き補償フレーム間予測による予測よりも、本発明による画面内ベクトル予測の方が好適であると判断されたブロックは、画面内ベクトル予測を選択した情報をデータストリームに付加した上で、本発明の実施の形態に示した方法にて、同一画面にて既に符号化された領域の画素を用いて予測信号を生成し、その差分信号を変換・符号処理する。これにより、該当ブロックを通常のフレーム内符号化する場合に比べ、少ない符号量にて符号化することが可能になる。この場合、ベクトルの予測信号生成において、隣接するブロックの予測ベクトルが存在しない場合は図１５の項にて説明した符号方法が適用できる。
　また、復号処理においては、画面内ベクトル予測を選択した情報をデータストリームから抽出して判定した後、該当ブロックを本実施の形態と同様に復号処理することができる。この時、該当ブロックが画面内ベクトル予測により符号化されたことは、図２０のMBモード４２００に示される。
　本発明は、動画像符号化だけでなく、静止画符号化にも適用することができる。
　本発明の実施の形態では、プログレッシブ画像を前提に説明したが、インターレース信号へも適用可能である。このとき、実施の形態において「画像」がフレーム画像、あるいはフィールド画像を示すこととなる。
　フレーム画像単位の符号化、あるいは復号において、ブロック（マクロブロック）毎に、フレームモードとフィールドモードを切り替えて処理をするフレーム／フィールド適応符号化と、本発明を組み合わせることも可能である。本発明の画面内ベクトルとして、フレームベクトル（フレーム単位のブロックを示すベクトル）／フィールドベクトル（フィールド単位のブロックを示すベクトル）を切り替えて使用することにより実施の形態をそのまま適用することが可能である。フレームベクトル／フィールドベクトルを切り替える信号は、ブロック（サブブロック）毎につけても構わないし、マクロブロック全体で１つの切替信号を指定しても構わない、さらに、マクロブロックの符号化モード情報に連動しても構わない。
　インターレース信号におけるフレーム画像では、時刻の異なる１つのフィールド画像を１ライン毎に配置して画面を構成しているため、画面に動きがあると、画面内のエッジ部等が１ライン毎に交互に櫛型にずれる画像となる。本発明では、こうした周期的なパターンを効率よく予測することができるため、周期的パターンに対応していない従来方法に比べ、より符号化効率が高くなる。
　先の実施の形態では、予測ブロックは、そのまま予測信号として使用することを前提としているが、以下の場合も本発明に含まれる。
　（１）予測ブロックの信号に係数を掛け予測信号とする。これは、画面内での輝度変化に対応するもので、例えば、周期的パターンの画像が照明の関係で徐々に暗くなっている画像の場合においても、予測効率を落とすことがない。また、この処理を重複部の予測画素に適用することにより、より高い予測効率を実現することができる。
　（２）予測ブロックの信号に拡大あるいは縮小の処理を施し予測信号とする。拡大・縮小の倍率に従って、予測ブロックのサイズを変える必要がある（２倍に拡大する場合は、予測ブロックの大きさは通常の１／２でよい）。予測ブロックの拡大・縮小は、画像内の物体の幅（線幅）等が変化している場合に、より高い符号化効率が得られる。また、より大きなブロックで処理を行っても画像の変換に対応できるため、符号化効率が低下することなく、逆に予測ベクトルを符号化するオーバーヘッドが小さくなり、符号化効率が向上する。
　（３）予測ブロックの信号を回転して予測信号とする。回転は任意角度の回転と、角度を限定した回転が可能である。例えば角度を、９０度、１８０度、２７０度に限定することにより、回転処理は任意角度に比べ容易となり、また、回転の度数を表す情報の符号量も小さくなる。予測ブロックの回転は、縦横複雑な模様が組み合わさった画像や、樹木の細かい葉のような様々な方向を向いた不定形の物体が含まれる画像の符号化に対して有効である。
　本発明は動画や静止画に対する符号化・復号技術に広く適用することができる。

Claims (13)

  1. 　データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とし、前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成するデコーダを有する、画像処理装置。
  2. 　データストリームから抽出されたベクトル情報により示される予測ブロックと復号対象ブロックとの間で画素に重なりがある場合に、当該重なり部分に代えて、重なり部分から前記ベクトル情報によるベクトルの逓倍の位置にあり且つ復号処理が終了している部分の画素情報を、予測信号とする処理と、
    　前記データストリームより得られる差分画像データに前記予測信号を加えて再生画像データを生成する処理と、を含むデコード方法。
  3. 　データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
    　前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
    　前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
  4. 　前記ベクトル情報によるベクトルを逓倍する逓倍部を更に有し、
    　前記画素位置計算部は、前記逓倍されたベクトルを用いて、復号処理が終了している領域の画素データの画素位置を計算する、請求項３記載のフレーム内復号装置。
  5. 　前記予測信号生成部は、前記計算された画素位置の画素データと、前記ベクトル情報により示される画素データのうち前記復号処理が終了している領域の画素データとに対し、複数の画素の間を補間する画素データを演算して、前記予測画像データを生成する請求項３記載のフレーム内復号装置。
  6. 　前記画素位置計算部は、所定の範囲内で画素位置を計算する請求項３記載のフレーム内復号装置。
  7. 　所定の範囲は、前記データストリームから抽出された信号に基づいて設定される請求項６記載のフレーム内復号装置。
  8. 　前記データストリームは静止画又は動画のデータストリームである、請求項３記載のフレーム内画像復号装置。
  9. 　データストリームより予測ブロックを示すベクトル情報を抽出する抽出処理と、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定処理と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算処理と、
    　前記ベクトル情報により示される画素データに対して、前記画素位置計算処理によって前記計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成処理と、
    　前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生処理と、を含むフレーム内復号方法。
  10. 　データストリームより予測ブロックを示すベクトル情報を抽出する第１処理と、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する第２処理と、
    　前記ベクトル情報によるベクトルを逓倍する第３処理と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記逓倍されたベクトルの位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する第４処理と、
    　前記第４処理により計算された画素位置の画素データと、前記第２処理によって前記復号処理が終了していると判定された領域に含まれる画素データと、に基づいて予測画像データを生成する第５処理と、
    　前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する第６処理と、を含むフレーム内復号方法。
  11. 　画像データを複数のブロックに分割し、
    符号化処理を行うブロックに類似したブロックを同一画面データ内の既に符号化した領域から選択して予測信号とし、
    前記符号化処理を行うブロックに類似したブロックと予測信号との相対的な位置を示すベクトル情報と、
    前記符号化処理を行うブロックに類似したブロックと予測信号との差分信号と、を符号化する画像符号化装置において、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
    　前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、をローカルデコーダとして備えるフレーム内符号化装置。
  12. 　フレーム間符号化されたブロックとフレーム内符号化されたブロックが混在するフレーム間復号装置において、
    　データストリームにより生ずるブロックがフレーム内モードであることが判定された場合、データストリームから予測ブロックを示すベクトル情報を抽出する抽出部と、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
    　前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
    　前記予測画像データに、前記データストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
  13. 　データストリームより予測ブロックを示すベクトル情報を抽出する抽出部と、
    　前記ベクトル情報により示される各画素データが、復号処理が終了している領域と、復号処理が終了していない領域と、の何れに含まれるかを判定する判定部と、
    　前記復号処理が終了していない領域に含まれると判定された画素データから前記ベクトル情報による大きさの逓倍の位置にあり且つ前記復号処理が終了している領域にある画素位置を計算する画素位置計算部と、
    　前記ベクトル情報により示される画素データに対して、前記画素位置計算部で計算された画素位置の画素データと、前記復号処理が終了している領域に含まれると判定された画素データと、に基づいて予測画像データを生成する予測信号生成部と、
    　前記予測信号生成部で生成された予測画像データをデータストリームによって示される方法により変換する予測信号変換部と、
    　前記予測信号変換部で変換された予測画像データに、ストリームより得られる差分画像データを加えて再生画像データを生成する画像再生部と、を備えるフレーム内復号装置。
PCT/JP2009/000122 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置 WO2010082231A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN200980154636.9A CN102282851B (zh) 2009-01-15 2009-01-15 图像处理装置、解码方法、帧内解码装置、帧内解码方法以及帧内编码装置
EP09838201.3A EP2378776B1 (en) 2009-01-15 2009-01-15 Image processing device, decoding method, intra-frame decoder, intra-frame decoding method, and intra-frame encoder
EP18158522.5A EP3376768B1 (en) 2009-01-15 2009-01-15 Image decoding method and apparatus
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
KR1020117016414A KR101605220B1 (ko) 2009-01-15 2009-01-15 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
US13/144,546 US9503728B2 (en) 2009-01-15 2009-01-15 Image processing device, decoding method, intra-frame decoder, method of decoding intra-frame and intra-frame encoder
KR1020167001770A KR101683434B1 (ko) 2009-01-15 2009-01-15 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
JP2010546448A JP5170800B2 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
TW098139721A TWI521948B (zh) 2009-01-15 2009-11-23 Image processing apparatus, decoding method, intra-frame decoding apparatus, intra-frame decoding method, and intra-frame coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Publications (1)

Publication Number Publication Date
WO2010082231A1 true WO2010082231A1 (ja) 2010-07-22

Family

ID=42339501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/000122 WO2010082231A1 (ja) 2009-01-15 2009-01-15 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置

Country Status (7)

Country Link
US (1) US9503728B2 (ja)
EP (2) EP2378776B1 (ja)
JP (1) JP5170800B2 (ja)
KR (2) KR101605220B1 (ja)
CN (1) CN102282851B (ja)
TW (1) TWI521948B (ja)
WO (1) WO2010082231A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011056140A1 (en) * 2009-11-05 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Prediction of pixels in image coding
CN102447894A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 视频图像编码方法、解码方法和装置
WO2012098776A1 (ja) 2011-01-19 2012-07-26 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
WO2013105367A1 (ja) * 2012-01-13 2013-07-18 ルネサスエレクトロニクス株式会社 画像データの復号方法、画像データの復号装置、画像データの符号化方法、及び画像データの符号化装置
JP2015144324A (ja) * 2013-12-27 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2020256102A1 (ja) * 2019-06-20 2021-10-21 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP7451131B2 (ja) 2019-10-08 2024-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012151663A (ja) * 2011-01-19 2012-08-09 Toshiba Corp 立体音響生成装置及び立体音響生成方法
HUE066386T2 (hu) 2011-05-31 2024-07-28 Jvckenwood Corp Mozgókép-kódoló eszköz, mozgókép-kódoló eljárás és mozgókép-kódoló program, valamint mozgókép-dekódoló eszköz, mozgókép-dekódoló eljárás és mozgókép-dekódoló program
WO2015032350A1 (zh) * 2013-09-07 2015-03-12 同济大学 一种使用块匹配的图像压缩方法和装置
CN110636292B (zh) * 2013-10-18 2022-10-25 松下控股株式会社 图像编码方法以及图像解码方法
US10171834B2 (en) * 2013-11-29 2019-01-01 Mediatek Inc. Methods and apparatus for intra picture block copy in video compression
US20160112707A1 (en) * 2014-10-15 2016-04-21 Intel Corporation Policy-based image encoding
WO2018070661A1 (ko) 2016-10-11 2018-04-19 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
CN114792104B (zh) * 2021-01-26 2024-07-23 中国科学院沈阳自动化研究所 一种环型编码点的识别解码方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351001A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2006311603A (ja) * 2006-06-26 2006-11-09 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5428396A (en) * 1991-08-03 1995-06-27 Sony Corporation Variable length coding/decoding method for motion vectors
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
CN101385356B (zh) * 2006-02-17 2011-01-19 汤姆森许可贸易公司 采用帧内预测模式的图像编码方法
US7912129B2 (en) * 2006-03-16 2011-03-22 Sony Corporation Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
CN101491096B (zh) * 2006-07-12 2012-05-30 Lg电子株式会社 信号处理方法及其装置
WO2008126843A1 (ja) 2007-04-09 2008-10-23 Ntt Docomo, Inc. 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法および画像予測復号プログラム
CN101690220B (zh) * 2007-04-25 2013-09-25 Lg电子株式会社 用于解码/编码视频信号的方法和装置
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
US9008174B2 (en) * 2008-01-10 2015-04-14 Thomson Licensing Methods and apparatus for illumination compensation of intra-predicted video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06351001A (ja) 1993-06-08 1994-12-22 Matsushita Electric Ind Co Ltd 動きベクトル検出方法および動き補償予測方法並びにその装置
US20030202588A1 (en) 2002-04-29 2003-10-30 Divio, Inc. Intra-prediction using intra-macroblock motion compensation
JP2006311603A (ja) * 2006-06-26 2006-11-09 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8897585B2 (en) 2009-11-05 2014-11-25 Telefonaktiebolaget L M Ericsson (Publ) Prediction of pixels in image coding
WO2011056140A1 (en) * 2009-11-05 2011-05-12 Telefonaktiebolaget Lm Ericsson (Publ) Prediction of pixels in image coding
CN102447894A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 视频图像编码方法、解码方法和装置
KR101912059B1 (ko) * 2011-01-19 2018-10-25 르네사스 일렉트로닉스 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
US9787981B2 (en) 2011-01-19 2017-10-10 Renesas Electronics Corporation Image coding device and image decoding device
JP5625073B2 (ja) * 2011-01-19 2014-11-12 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
US10306236B2 (en) 2011-01-19 2019-05-28 Renesas Electronics Corporation Image coding device and image decoding device
JP2015027095A (ja) * 2011-01-19 2015-02-05 ルネサスエレクトロニクス株式会社 画像符号化方法及び画像復号方法
WO2012098776A1 (ja) 2011-01-19 2012-07-26 ルネサスエレクトロニクス株式会社 画像符号化装置及び画像復号装置
CN103329534B (zh) * 2011-01-19 2017-03-08 瑞萨电子株式会社 图像编码装置及图像解码装置
CN103329534A (zh) * 2011-01-19 2013-09-25 瑞萨电子株式会社 图像编码装置及图像解码装置
KR101811090B1 (ko) * 2011-01-19 2017-12-20 르네사스 일렉트로닉스 가부시키가이샤 화상 부호화 장치 및 화상 복호 장치
WO2013105367A1 (ja) * 2012-01-13 2013-07-18 ルネサスエレクトロニクス株式会社 画像データの復号方法、画像データの復号装置、画像データの符号化方法、及び画像データの符号化装置
JP2015144324A (ja) * 2013-12-27 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2020256102A1 (ja) * 2019-06-20 2021-10-21 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
US11936849B2 (en) 2019-06-20 2024-03-19 Jvckenwood Corporation Moving picture coding device, moving picture coding method, moving picture coding program, moving picture decoding device, moving picture decoding method, and moving picture decoding program
JP7451131B2 (ja) 2019-10-08 2024-03-18 キヤノン株式会社 画像符号化装置、画像符号化方法、及びプログラム

Also Published As

Publication number Publication date
KR101605220B1 (ko) 2016-03-21
EP3376768A1 (en) 2018-09-19
EP2378776B1 (en) 2018-03-21
EP2378776A4 (en) 2013-10-16
US20110280305A1 (en) 2011-11-17
JPWO2010082231A1 (ja) 2012-06-28
KR101683434B1 (ko) 2016-12-06
JP5170800B2 (ja) 2013-03-27
KR20110117082A (ko) 2011-10-26
EP3376768B1 (en) 2020-09-30
TW201031221A (en) 2010-08-16
KR20160014108A (ko) 2016-02-05
CN102282851B (zh) 2015-04-29
CN102282851A (zh) 2011-12-14
TWI521948B (zh) 2016-02-11
EP2378776A1 (en) 2011-10-19
US9503728B2 (en) 2016-11-22

Similar Documents

Publication Publication Date Title
JP5170800B2 (ja) 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
US10306236B2 (en) Image coding device and image decoding device
RU2603539C2 (ru) Способ и устройство для кодирования видео и способ и устройство для декодирования видео
KR102430225B1 (ko) 모션 벡터 정제를 위한 검색 영역
US20100166073A1 (en) Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US20030128753A1 (en) Optimal scanning method for transform coefficients in coding/decoding of image and video
JP2012135033A (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
JP2009188996A (ja) 動画像コーデック装置及びその方法
US20180376147A1 (en) Encoding device, decoding device, and program
US20060072669A1 (en) Efficient repeat padding for hybrid video sequence with arbitrary video resolution
JP2009010492A (ja) 画像復号化装置及び画像変換回路
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP4580880B2 (ja) 画像符号化装置、画像復号装置及び画像処理システム
JP2006508584A (ja) ベクトル予測のための方法
JP2022186939A (ja) 符号化装置、復号装置及びプログラム
JP2000036963A (ja) 画像符号化装置、画像符号化方法および画像復号化装置
WO2013125171A1 (ja) イントラ予測モード判定装置、方法、プログラム記憶媒体
US9788025B2 (en) Reproduction device, encoding device, and reproduction method
JP2017212555A (ja) 符号化装置、復号装置及びプログラム
JP6071618B2 (ja) 画像処理装置及びプログラム
JP2006054760A (ja) 画像処理装置及び画像処理方法
JP2012095252A (ja) 動画像復号装置、動画像復号方法及び動画像復号プログラム
JP2000036961A (ja) 画像符号化装置、画像符号化方法および画像復号化装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980154636.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09838201

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2010546448

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2009838201

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20117016414

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13144546

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE