WO2011074197A1 - 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法 - Google Patents

画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法 Download PDF

Info

Publication number
WO2011074197A1
WO2011074197A1 PCT/JP2010/007019 JP2010007019W WO2011074197A1 WO 2011074197 A1 WO2011074197 A1 WO 2011074197A1 JP 2010007019 W JP2010007019 W JP 2010007019W WO 2011074197 A1 WO2011074197 A1 WO 2011074197A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
signal
transition
reduced
prediction
Prior art date
Application number
PCT/JP2010/007019
Other languages
English (en)
French (fr)
Inventor
上田　基晴
Original Assignee
Ｊｖｃ・ケンウッド・ホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｊｖｃ・ケンウッド・ホールディングス株式会社 filed Critical Ｊｖｃ・ケンウッド・ホールディングス株式会社
Priority to US13/509,759 priority Critical patent/US8606026B2/en
Priority to EP10837234A priority patent/EP2515540A1/en
Priority to CN201080057037.8A priority patent/CN102656889B/zh
Publication of WO2011074197A1 publication Critical patent/WO2011074197A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an image signal encoding and decoding technique, and uses an in-screen prediction process that generates a prediction signal for a target image signal from an encoded image and encodes a difference signal from the prediction signal.
  • the present invention relates to an encoding device, an image decoding device, an image encoding method, and an image decoding method.
  • High-efficiency coding of images includes, for example, MPEG2 and MPEG4-AVC (Advanced Video Coding), the correlation between spatially adjacent pixels in the same frame of a moving image signal, and temporally adjacent frames. And a method of compressing the amount of information using the correlation between fields.
  • MPEG2 and MPEG4-AVC Advanced Video Coding
  • MPEG4-AVC ISO / IEC 14496-10 Advanced Video Coding
  • an image is divided into a plurality of two-dimensional blocks, and a prediction signal is generated using correlation within the same frame or between frames in units of blocks.
  • High encoding efficiency is realized by encoding the difference information.
  • Prediction processing using correlation within the same frame in MPEG4-AVC is called intra prediction, and as shown in FIG. 11, a prediction image of a block to be encoded is decoded from an encoded portion adjacent to the target block. Generate using images.
  • intra prediction a plurality of (9 types when prediction is performed in units of 4 ⁇ 4 pixel blocks) assuming that adjacent decoded images have high correlation in a certain direction as shown in FIG.
  • a prediction mode with the smallest error from the encoding target block is selected from the generated prediction image, and is encoded together with the prediction mode information.
  • Intra prediction is a prediction process that uses only the correlation with the adjacent area, and the prediction effect decreases when the correlation at the boundary with the encoding target block is small.
  • Japanese Patent Application Laid-Open No. 2004-228561 presents a method for performing prediction processing using image correlation at a position distant from the target block. Specifically, as shown in FIG. 12, the error between the encoded decoded image and the encoding target block at the position moved by the amount of transition in the screen (hereinafter referred to as a transition vector) from the target block is calculated, A reference image referred to by a transition vector with the least error is set as a predicted image, and is encoded together with the transition vector.
  • Patent Document 2 proposes a technique for specifying a shift vector without transmitting it in order to reduce the amount of code required for the shift vector.
  • an encoded decoded image adjacent to a target block is used as a template, an encoded decoded image at a position moved by a shift vector, and an encoded decoded image adjacent to the target block
  • the shift vector with the smallest error is regarded as the shift vector of the encoding target block
  • the reference image referred to by the shift vector is set as the predicted image.
  • the decoding side can be calculated without receiving the transition vector by detecting the transition vector using the encoded decoded image, so that the amount of code increases due to the additional information. Does not happen.
  • high-efficiency encoding can be realized by performing motion compensation prediction processing based on decoded image signals of different frames in the time direction for temporally continuous image signals.
  • the reference frame for which compensation prediction processing is performed needs to be encoded using only intra prediction within the same frame, and the prediction effect decreases when there is little correlation at the boundary with the block to be encoded There is. This problem appears as a decrease in coding efficiency due to the performance limit of intra prediction because motion compensated prediction does not function even when the video signal is not temporally continuous.
  • Patent Document 1 there is a problem that the efficiency decreases when a prediction signal having an effect exceeding the code amount of the transition vector cannot be calculated.
  • Patent Document 2 an adjacent image of the encoding target block is used as a template. Therefore, when the correlation between the adjacent image and the target block is low, or when the correlation with the adjacent image of the reference block referenced by the transition vector generated in Patent Document 1 is low, etc. Therefore, there is a problem that a highly accurate transition vector cannot be obtained and the efficiency is not improved.
  • an object of the present invention is to realize an intra-frame prediction method that more effectively uses the image correlation at a position away from the target block in order to greatly improve the prediction efficiency within the frame.
  • the image coding apparatus uses a locally decoded image of a block in the same image signal that has already been coded for the coding target block to correlate with the coding target block.
  • a transition vector detection unit that searches for a signal having a high correlation and calculates a transition vector that is a transition within the screen between the coding target block and the transition prediction signal, using a signal having the highest correlation as a transition prediction signal;
  • a signal highly correlated with the encoding target block using a signal that has been reduced in at least one of horizontal and vertical with respect to the local decoded image of the block within the same image signal that has already been encoded with respect to the encoding target block
  • a transition vector that is a transition in the screen between the reduced coding target block and the reduced transition prediction signal is obtained using the most correlated signal as the reduced transition prediction signal.
  • the image decoding apparatus includes a prediction signal generated from a decoded image of a block in the same image signal that has already been decoded, with respect to a decoding target block, from an encoded stream that has been encoded in units of blocks.
  • a transition vector / mode that decodes a transition vector that is a transition in the screen with the decoding target block and information indicating whether to generate a prediction signal by reducing the decoded image specified in the transition vector
  • a transition prediction signal generation unit that generates a prediction signal from the decoded image according to information indicating whether or not to generate a prediction signal by reducing the decoded vector and the decoded image;
  • a decoded image is calculated by adding the prediction signal and the decoded residual signal.
  • the image encoding method of the present invention searches for a signal having a high correlation with the encoding target block using the local decoded image of the block in the same image signal that has already been encoded with respect to the encoding target block, A signal having the highest correlation is used as a transition prediction signal, a step of calculating a transition vector that is a transition in the screen between the encoding target block and the transition prediction signal, and the encoding target block is already encoded.
  • a signal highly correlated with the block to be encoded is searched using a signal reduced to at least one of horizontal and vertical, and the signal with the highest correlation is obtained.
  • a reduced transition prediction signal obtaining a transition vector that is a transition in a screen between the reduced encoding target block and the reduced transition prediction signal; the transition prediction signal; and Selecting a signal highly correlated with the encoding target block from the small transition prediction signal, and outputting a transition vector used for the selected signal and information indicating the selected result as a prediction signal,
  • the difference signal between the prediction signal and the encoding target block, the transition vector, and information indicating the selected result are encoded.
  • the image decoding method of the present invention includes a prediction signal generated from a decoded image of a block in the same image signal that has already been decoded with respect to a decoding target block from an encoded stream that has been encoded in units of blocks.
  • the decoded image is calculated by addition.
  • the image encoding device and the image decoding device by generating a reference image reduced as a template signal for predicting a texture component and reducing the encoded decoded image, and using it as a predicted image
  • the accuracy of image signal prediction within a frame in the conventional method can be improved.
  • the filter characteristics when creating a reduced image it is possible to make the signal characteristics of the reduced image closer to the input image by evaluating the characteristics of the input image at the time of encoding, and more predictive accuracy. Can be raised. By combining these, the coding efficiency can be improved.
  • FIG. 1 is a block diagram showing the configuration of an image encoding apparatus according to the first embodiment of the present invention.
  • the image coding apparatus according to the present embodiment includes an input terminal 100, an input image buffer 101, a block division unit 102, a transition vector detection unit 103, a reduced image transition vector detection unit 104, a transition prediction mode.
  • transition vector detection unit 103 the reduced image transition vector detection unit 104, the transition prediction mode determination / signal generation unit 105, the reduced image generation unit 113, and the reduced decoded image memory 114 are provided, and the operations in these processing blocks are as follows.
  • the other processing blocks are processing blocks constituting an intra-frame encoding process in an image encoding apparatus such as MPEG4-AVC.
  • the digital image signal input from the input terminal 100 is stored in the input image buffer 101.
  • the digital image signal stored in the input image buffer 101 is supplied to the block dividing unit 102, and is cut out as an encoding target block in units of two-dimensional macroblocks composed of 16 ⁇ 16 pixels.
  • the block division unit 102 supplies the extracted encoding target block to the transition vector detection unit 103, the reduced image transition vector detection unit 104, the transition prediction mode determination / signal generation unit 105, and the subtractor 106.
  • the subtractor 106 calculates a difference between a coding target block supplied from the block dividing unit 102 and a prediction image block supplied from a transition prediction mode determination / signal generation unit 105 described later, and orthogonalizes the result as a difference block. This is supplied to the conversion unit 107.
  • the orthogonal transform unit 107 generates DCT coefficients corresponding to the orthogonally transformed frequency component signal by performing DCT transform on the difference block in units of a predetermined two-dimensional block (for example, horizontal 8 pixels ⁇ vertical 8 pixels). To do. Further, the orthogonal transform unit 107 collects the generated DCT coefficients in units of two-dimensional macroblocks and outputs them to the quantization unit 108. The quantization unit 108 performs the quantization process by dividing the DCT coefficient by a different value for each frequency component. The quantization unit 108 supplies the quantized DCT coefficient to the inverse quantization unit 109 and the entropy coding unit 115.
  • the inverse quantization unit 109 performs inverse quantization by multiplying the quantized DCT coefficient input from the quantization unit 108 by a value divided at the time of quantization, and the result of the inverse quantization is obtained.
  • the decoded DCT coefficient is output to the inverse orthogonal transform unit 110.
  • the inverse orthogonal transform unit 110 performs inverse DCT processing to generate a decoded difference block.
  • the inverse orthogonal transform unit 110 supplies the decoded difference block to the adder 111.
  • the adder 111 adds the prediction image block supplied from the transition prediction mode determination / signal generation unit 105 and the decoded difference block supplied from the inverse orthogonal transform unit 110 to generate a local decoding block.
  • the local decoded block generated by the adder 111 is stored in the intra-frame decoded image memory 112 in a form subjected to inverse block conversion.
  • the transition vector detection unit 103 calculates a transition vector between the image signal of the block to be encoded input from the block division unit 102 and the local decoded image signal stored in the intra-frame decoded image memory 112. Specifically, the local decoded image signal corresponding to the transition vector DV in which the entire reference block is arranged at the position of the encoded partial decoded image shown in FIG.
  • the correlation value between the blocks to be encoded is calculated using an evaluation formula defined by the sum of absolute value errors, the sum of square errors, etc., and the transition vector with the smallest value shown in the evaluation formula is used for transition prediction. It is a vector value.
  • the transition vector detection unit 103 outputs a local decoded image signal corresponding to the detected transition vector value as a transition predicted image to the transition prediction mode determination / signal generation unit 105 together with the detected transition vector value.
  • the local decoding block generated by the adder 111 is input to the reduced image generation unit 113 together with the intra-frame decoded image memory 112, and the local decoding block is subjected to reduction processing, and the reduced local decoding block is reduced.
  • the decoded image memory 114 is output.
  • the reduction direction and the filter coefficient are defined as fixed.
  • the reduction processing is reduced to 1/2 in both horizontal and vertical directions, and the filter coefficient is defined to apply a 3-tap one-dimensional filter 1.2.1 (/ 4) in the order of horizontal / vertical.
  • the reduced local decoding block output from the reduced image generating unit 113 is stored in the reduced decoded image memory 114 and is used as a reduced decoded image in the shift vector detection in the reduced image shift vector detecting unit 104.
  • the relationship between the reduced local decoding block and the encoding target block is as follows: the position in the screen of the encoding target block when the encoding target block is virtually reduced, and the predicted image
  • the amount of shift from the position in the screen of the reference block that is a candidate is defined as a shift vector.
  • the reduced image transition vector detection unit 104 inputs a two-dimensional block having the same block size as that of the encoding target block from the reduced decoded image memory 114 with reference to the position in the screen indicated by the transition vector.
  • the correlation value between them is calculated with an evaluation formula defined by the sum of absolute value errors, the sum of square errors, etc., and the transition vector with the smallest value indicated by the evaluation formula is detected as the transition vector value used for reduced transition prediction To do.
  • the reduced image transition vector detection unit 104 outputs the reduced decoded image corresponding to the detected transition vector value as a reduced transition predicted image to the transition prediction mode determination / signal generation unit 105 together with the detected transition vector value.
  • the transition prediction mode determination / signal generation unit 105 includes a transition vector value and a transition prediction image input from the transition vector detection unit 103, and a transition vector value and a reduction transition prediction image input from the reduced image transition vector detection unit 104.
  • the optimum prediction mode is selected, the selected prediction image is output to the subtractor 106 and the adder 111, and information indicating the selected prediction mode and the transition vector is output to the entropy encoding unit 115.
  • the detailed operation of the transition prediction mode determination / signal generation unit 105 will be described later.
  • the entropy encoding unit 115 receives the quantized DCT coefficient supplied from the quantization unit 108 and the information indicating the selected prediction mode and transition vector supplied from the transition prediction mode determination / signal generation unit 105. Then, variable length coding of the shift vector information and prediction mode information and the quantized DCT coefficient is performed. Information subjected to variable length coding is output to the stream buffer 116.
  • the encoded stream stored in the stream buffer 116 is output to a recording medium or a transmission path via an output terminal 117.
  • the code amount control unit 118 is supplied with the code amount of the bit stream stored in the stream buffer 116, and is compared with the target code amount to obtain the target code. In order to approximate the amount, the quantization level (quantization scale) of the quantization unit 108 is controlled.
  • FIG. 2 is a block diagram showing the configuration of the image decoding apparatus according to the first embodiment of the present invention.
  • the image decoding apparatus includes an input terminal 200, a stream buffer 201, an entropy decoding unit 202, a transition vector / mode decoding unit 203, a transition prediction signal generation unit 204, and an inverse quantization unit. 205, an inverse orthogonal transform unit 206, an adder 207, an intra-frame decoded image memory 208, an output terminal 209, and a reduced image generation unit 210.
  • transition vector / mode decoding unit 203 the transition prediction signal generation unit 204, and the reduced image generation unit 210 are provided, and the operations in these processing blocks are the features of the first embodiment of the present invention, and other processing blocks Is a processing block constituting an intra-frame decoding process in an image encoding device such as MPEG4-AVC.
  • the encoded bit stream input from the input terminal 200 is stored in the stream buffer 201.
  • the stored encoded bit stream is supplied from the stream buffer 201 to the entropy decoding unit 202, and the entropy decoding unit 202 is input.
  • Variable-length decoding is performed on the encoded transition vector information and prediction mode information, and the quantized DCT coefficient from the bitstream, and the DCT coefficient quantized by the inverse quantization unit 205 is converted into the transition vector / mode decoding.
  • the shift vector information and the prediction mode information are output to the unit 203.
  • the same processing as the local decoding processing of the moving image coding apparatus according to the first embodiment is performed.
  • the decoded image stored in the intra-frame decoded image memory 208 is displayed as a decoded image signal on the display device via the output terminal 209.
  • the transition vector / mode decoding unit 203 determines whether the transition vector value and the transition prediction signal are prediction signals subjected to normal transition prediction processing based on the transition vector information and the prediction mode information input from the entropy decoding unit 202, or a reduced image. A function of calculating a selection signal as to whether the prediction signal has been subjected to the transition prediction process using, and outputting it to the transition prediction signal generation unit 204.
  • the transition prediction signal generation unit 204 generates a prediction image based on the transition vector value output from the transition vector / mode decoding unit 203 and the selection signal.
  • the selection signal indicates normal transition prediction
  • a decoded image signal at a position shifted from the decoding target block by the shift vector value is input from the intra-frame decoded image memory 208, and a prediction signal is generated.
  • the selection signal indicates a transition prediction using a reduced image
  • a transition vector value is output to the reduced image generation unit 210, and the generated reduced image is received.
  • the reduced image generation unit 210 receives the in-screen of the encoding target block when the encoding target block is virtually reduced as illustrated in FIG. 3.
  • a decoded image at a position indicated by a vector value obtained by correcting the transition vector to a transition before reduction is obtained as an intra-frame decoded image.
  • the result input from the memory 208 and subjected to the reduction filter process is output to the transition prediction signal generation unit 204.
  • the transition prediction signal generation unit 204 outputs the generated or input predicted image to the adder 207.
  • the reduced image generating unit 210 generates the reference block indicated by the shift vector only when the reduced shift prediction is performed, using the reduced filter.
  • the local decoding process in the image encoding apparatus according to the first embodiment it is also possible to adopt a configuration in which a reduction process is always performed on the decoded two-dimensional block and stored in the reduced image memory. is there.
  • the flowchart shown in FIG. 4 shows the operation of the transition prediction mode determination process in units of slices defined by a plurality of coding blocks.
  • the target coding block Cur is input (S400), and the transition vector DV and the transition prediction image DVref corresponding to the coding target block are received from the transition vector detection unit 103 (S401). Subsequently, the reduced transition vector DVss and the reduced transition predicted image DVrefss corresponding to the encoding target block are received from the reduced image transition vector detection unit 104 (S402).
  • the error value for each pixel between the encoding block Cur and the transition prediction image DVref is integrated, and the error evaluation value ErrNorm (DV) is calculated, and error values for each pixel between Cur and the reduced transition predicted image DVrefss are integrated to calculate an error evaluation value ErrSS (DVss) (S403).
  • a code amount necessary for encoding the shift vector value as information is calculated. Specifically, a transition vector is predicted from the predicted value DVpred and the difference value is encoded. For the calculation of the predicted value DVpred, a configuration used for motion vector prediction in MPEG4-AVC as shown in FIG. 13 is used. As the adjacent blocks, three blocks of the block A that is the left adjacent to the target block, the block B that is the upper adjacent, and the block C that is the upper right are selected. However, when the block C such as the image end is invalid, the block D at the upper left is used instead of the block C.
  • the predicted transition vector values PDVx, PDVy are expressed as horizontal components as shown in Equation 1 below.
  • PDMVx Median (DVAx, DVBx, DVCx)
  • PDMVy Median (DVAy, DVBy, DVCy)
  • a difference value DiffDV between the predicted value DVpred of the shift vector and the shift vector DV is obtained, and a vector assumed code amount at the time of encoding is calculated and added to ErrNorm (DV) (S405).
  • the assumed code amount of the vector for example, assuming that DiffDV is encoded as a Golomb code, the necessary code amount can be calculated.
  • a difference value DiffDVss between a value obtained by reducing the predicted value DVpred of the shift vector and the reduced shift vector DVss is obtained, and a vector assumed code amount at the time of encoding is calculated and added to ErrSS (DVss) (S406).
  • an image signal having a similar texture component in an object different from the encoding target block is extracted as a prediction signal, so that the reduced-decoded image and the image at the same position in the decoded image signal not reduced are used.
  • the transition vector subjected to correction according to the reduction ratio is stored as the transition vector value of the adjacent block in FIG. Take the configuration.
  • the value obtained by reducing DVpred to 1/2 horizontally and vertically is used.
  • the difference value from DVss is DiffDVss.
  • the assumed vector code amount at the time of encoding DiffDVss is calculated in the same manner as DiffDV.
  • the error evaluation values ErrNorm (DV) and ErrSS (DVss) calculated in this way are compared (S407). If ErrSS (DVss)> ErrNorm (DV) (S407: YES), the prediction mode is changed.
  • DVsel and DVresult are output to the entropy encoding unit 115 (S412), and the process for each block to be encoded is terminated.
  • this encoding target block is not the last block of the slice (S413: NO)
  • the encoding target block is updated (S414), and the process returns to S400. If it is the last block of the slice (S413: YES), the transition prediction mode determination process in units of slices ends.
  • the point of the present invention in the first embodiment is that a block in which the reference image is reduced is added as a prediction target signal in order to fully utilize the self-similarity and texture similarity of the image signal as compared with the conventional method.
  • a prediction block having a higher correlation with the encoded block is generated.
  • the transition vector value in the normal transition prediction mode and the reduced transition prediction mode, by correcting the prediction value of the transition vector according to the reduction ratio, it is possible to appropriately perform the transition vector prediction from the adjacent block. An increase in the code amount of information can be avoided.
  • the locally decoded image serving as the reference image has an increase in distortion components that do not exist in the input image and a decrease in high-frequency components due to the influence of encoding deterioration, and the correlation with the block to be encoded is reduced.
  • the distortion component is cut as a high-frequency component, and the high-frequency component remains on the pixel basis of the reduced image even after encoding. And is used for prediction processing as a prediction block having higher correlation with the encoded block.
  • the first embodiment is an embodiment of an image encoding / decoding device that uses only the correlation within a frame.
  • the second embodiment is a moving image that uses a correlation within a frame and a correlation between frames.
  • 1 is an example of an image encoding / decoding device that can utilize the time correlation of
  • FIG. 5 is a block diagram showing the configuration of an image encoding apparatus according to the second embodiment of the present invention.
  • the image coding apparatus according to the present exemplary embodiment has an input terminal 100, an input image buffer 101, a block dividing unit 102, a transition vector detecting unit 103, which have the same functions as those in the first exemplary embodiment.
  • the decoded image memory 112, the reduced decoded image memory 114, the entropy encoding unit 115, the stream buffer 116, the output terminal 117, the code amount control unit 118, and a reduced image generation unit 513 having additional processing with respect to the first embodiment.
  • an intra prediction unit 519, a deblock filter 520, a reference image memory 521, a motion vector which are added processing blocks.
  • the intra prediction unit 519 receives the encoding target block from the block division unit 102 and receives the intra-frame decoded image memory 112. Intra prediction processing performed in MPEG4-AVC is performed using a decoded image in an adjacent encoded area.
  • the intra prediction unit 519 selects an intra prediction mode having the highest correlation between the prediction image and the encoding target block, and outputs the intra prediction image, the intra prediction mode signal, and the error evaluation value to the mode determination unit 524.
  • the motion vector detection unit 522 performs motion estimation between the encoding target block image acquired from the block division unit 102 and the reference image stored in the reference image memory 521.
  • a reference image at a position moved by a predetermined movement amount from the same position on the screen is cut out, and a movement amount that minimizes a prediction error when the image is used as a prediction block is determined as a motion vector.
  • a value a block matching process that is obtained while changing the movement amount is used.
  • the motion vector detection unit 522 requires a code amount necessary for encoding the difference between the motion vector value calculated from the motion vector value used for the adjacent block as shown in FIG. 13 and the motion vector value. In consideration of the above, the optimal motion vector value is detected.
  • the motion vector value obtained by the motion vector detection unit 522 is supplied to the motion compensation prediction unit 523, selects a prediction signal with the least difference information to be encoded from the prediction signals for a plurality of reference images, and selects the selected motion compensation
  • the prediction mode and the prediction signal are output to the mode determination unit 524.
  • the processing block described above is configured to apply the conventional method of intra prediction and motion compensation prediction.
  • the operations of the image analysis unit 525, the reduced image generation unit 513, and the mode determination unit 524 which are processing blocks that perform the operations showing the characteristics in the second embodiment of the present invention, are the same as those in the encoding process shown in FIG. This will be described with reference to a flowchart.
  • the flowchart shown in FIG. 6 shows the operation of one-screen encoding processing defined by a plurality of encoding blocks.
  • the image data of one screen stored in the input image buffer 101 is input to the image analysis unit 525, and the horizontal and vertical frequency components in one screen are measured (S600).
  • the measurement method it is possible to use frequency analysis by Fourier transform, frequency analysis by wavelet transform, etc., but in this example, discrete Fourier transform FFT (Fast Fourier Transfer) is applied one-dimensionally separately in horizontal and vertical directions. The result is accumulated, and the value obtained by adding the results in the entire screen is taken as the measured value.
  • the unit of the FFT is, for example, 32 pixels, and the analysis position is moved every 16 pixels in order to reduce the influence due to the boundary of the analysis unit.
  • a low-pass filter coefficient set capable of performing band limitation in a plurality of bands is prepared in advance.
  • the design method of the filter coefficient it is possible to use an existing digital filter design method.
  • horizontal and vertical filter coefficients having a band limiting characteristic capable of forming a reduced image closest to the frequency distribution obtained as a result of measuring the frequency components are selected (S601).
  • a selection method it is also possible to use a method of selecting a filter coefficient having the widest passband among filters having a frequency component distribution equal to or higher than the corresponding frequency as a stop band at a frequency that falls below a certain threshold. It is also possible to actually measure the frequency components in the horizontal and vertical directions on one screen for a reduced image obtained by reducing the input image by the coefficient, and select the filter coefficient whose frequency characteristics are most approximate.
  • the image analysis unit 525 outputs the selected filter coefficient or a parameter designating the coefficient to the entropy encoding unit 115 and the reduced image generation unit 513.
  • the entropy encoding unit 115 adds, for example, MPEG-4 AVC (ISO / IEC 14496-10 Advanced Video Coding) PPS (Picture Parameter Set) defined in MPEG4-AVC (ISO / IEC 14496-10 Advanced ⁇ Video Coding) as additional information related to the encoding of the entire screen. Then, the selected filter coefficient or a parameter designating the coefficient is encoded (S602).
  • MPEG-4 AVC ISO / IEC 14496-10 Advanced Video Coding
  • PPS Picture Parameter Set
  • MPEG4-AVC ISO / IEC 14496-10 Advanced ⁇ Video Coding
  • the encoding process of one screen is started using the filter coefficient selected in this way.
  • an encoding target block is cut out from the input image (S603). If it is not an I slice (S604: NO), motion vector detection / motion compensation prediction is performed (S605), and intra prediction is performed in parallel (S606). Then, transition vector detection is performed (S607), and reduced transition vector detection is performed (S608). Subsequently, in order to select which of the transition prediction and the reduced transition prediction is used as the transition prediction, transition mode determination / transition prediction is performed (S609). Regarding the determination method, the method described in the first embodiment is used.
  • the mode determination unit 524 selects an optimal prediction mode, generates a prediction image, and outputs the prediction image to the subtractor 106 and the adder 111 (S610).
  • the prediction mode / motion vector / transition vector and information indicating whether or not the reduced image in the transition prediction is used are output to the entropy encoding unit 115.
  • a difference signal between the encoding target block and the predicted image is calculated, orthogonal transformation / quantization is performed (S611), and the quantized orthogonal transformation coefficient, the reduction in the prediction mode / motion vector / transition vector, and transition prediction are performed.
  • Information indicating whether or not an image has been used is encoded (S612).
  • the quantized coefficient is subjected to inverse quantization / inverse orthogonal transform, the output signal is added to the predicted image (S613), and the generated local decoded image is stored in the intra-frame decoded image memory 112 (S614). .
  • the reduced image generating unit 513 performs horizontal and vertical reduction processing based on the locally decoded image input from the adder 111 and the selected filter coefficient or parameter specifying the coefficient input from the image analysis unit 525. A filter coefficient is set, and the locally decoded image is reduced using the filter coefficient (S615).
  • the reduced image generation unit 513 stores the reduced local reduced image in the reduced decoded image memory 114 (S616), and ends the encoding process for the target encoding block.
  • the deblocking filter 520 When the target encoding block is the last block of one screen (S617: YES), the deblocking filter 520 performs the deblocking filter on the entire screen and stores it in the reference image memory 521 (S618). The screen encoding process ends. If it is not the last block of one screen (S617: NO), the encoding target block is updated (S619), and the process returns to S603.
  • FIG. 7 is a block diagram showing the configuration of the image decoding apparatus according to the second embodiment of the present invention.
  • the image decoding apparatus according to the present embodiment has an input terminal 200, a stream buffer 201, an entropy decoding unit 202, a transition vector / mode decoding unit 203, which have the same functions as in the first example.
  • the intra prediction mode decoding unit 714, the intra prediction unit 715, the motion vector decoding unit 716, the deblock filter 717, the reference image memory 718, and the motion compensated prediction unit 719 are the second in FIG. Similar to the description of the image coding apparatus in the embodiment, this is a configuration for decoding intra prediction and motion compensated prediction in the MPEG4-AVC standard, and is not a processing block having the features of the present invention, and therefore will not be described.
  • the operations of the reduced filter coefficient decoding unit 711, the prediction mode decoding unit 712, the prediction signal selection unit 713, and the reduced image generation unit 710 which are processing blocks that perform the operation indicating the characteristics in the second embodiment of the present invention, are described. This will be described with reference to the flowchart of the encoding process shown in FIG.
  • the flowchart shown in FIG. 8 shows the operation of one-screen encoding processing defined by a plurality of encoding blocks.
  • the entropy decoding unit 202 detects additional information related to encoding of the entire screen from the encoded bit stream stored in the stream buffer 201, and inputs it to the reduced filter coefficient decoding unit 711.
  • the reduced filter coefficient decoding unit 711 decodes parameter information related to one screen, and decodes the filter coefficient used in the screen or information designating the filter coefficient (S800).
  • the decoding process for one screen is started.
  • quantized coefficients for the decoding target block are output from the entropy decoding unit 202 to the inverse quantization unit 205, and additional information regarding the decoding target block is output to the prediction mode decoding unit 712.
  • the prediction mode decoding unit 712 decodes information on the decoding target block (S801), outputs the decoded prediction mode to the prediction signal selection unit 713, and when the decoded prediction mode is intra prediction (S802). : YES), the intra prediction mode decoding unit 714 decodes the intra prediction mode, and using the decoded intra prediction mode, the intra prediction unit 715 receives the intra from the decoded adjacent pixels stored in the intra-frame decoded image memory 208. Prediction is performed (S803), and the intra prediction result is output to the prediction signal selection unit 713.
  • the motion compensation prediction unit 719 performs motion compensation from the reference image stored in the reference image memory 718 (S805), and the motion compensation prediction result is used as a prediction signal selection unit. To 713.
  • the transition vector / mode decoding unit 203 decodes information indicating the transition prediction mode and the transition vector, and outputs the decoded prediction mode and the transition vector signal to the transition prediction signal generation unit 204.
  • the decoded transition prediction mode is reduced transition prediction (S806: YES)
  • the reduced image generation unit 710 receives the reduced filter coefficient information input from the reduced filter coefficient decoding unit 711 and the changed prediction signal generation unit 204.
  • a filter specified by the reduced filter coefficient information is input from the intra-frame decoded image memory 208 using the information indicating the input transition vector and the decoded image at the position indicated by the vector value obtained by correcting the transition vector to the transition before reduction.
  • reduction filter processing is performed to perform reduction transition prediction (S807), and the reduction transition prediction result is output to the transition prediction signal generation unit 204.
  • the transition prediction signal generation unit 204 uses the information indicating the transition vector input from the transition vector / mode decoding unit 203 to perform intra-frame prediction.
  • a decoded image signal at a position shifted from the decoding target block by the shift vector value is input from the decoded image memory 208, and a shift prediction signal is generated (S808).
  • the transition prediction signal generation unit 204 outputs, to the prediction signal selection unit 713, a signal generated in the decoding target block among the transition prediction signal and the reduced transition prediction signal input from the reduced image generation unit 710.
  • the prediction signal selection unit 713 stores the prediction signal input from any of the intra prediction unit 715, the motion compensation prediction unit 719, and the transition prediction signal generation unit 204 (S809), and outputs the prediction signal to the adder 207.
  • the quantized coefficient output from the entropy decoding unit 202 is subjected to inverse quantization / inverse orthogonal transformation, and the output signal and the prediction signal are added by the adder 207 (S810), and a decoded image is generated.
  • the generated decoded image is stored in the intra-frame decoded image memory 208 (S811), and the decoding process for the decoding target block ends.
  • the deblocking filter 717 applies a deblocking filter to the entire screen and stores it in the reference image memory 718 (S813). Ends.
  • the characteristics of the band limiting filter for reducing the encoded decoded image used as the template are set based on the result of measuring the band characteristics of the input image, and selected from a plurality of definable filter parameters.
  • a template approximating the signal characteristics of the input image can be generated as a reduced image, and even when the decoded image is greatly degraded, the components stored when the reduced image is generated are the middle and low frequency components before reduction. Therefore, it is possible to generate a prediction signal that is less affected by coding deterioration, maintains the quality of a signal used as a template, and is less affected by a decrease in prediction efficiency due to coding deterioration. Therefore, the prediction efficiency is improved as compared with the conventional method, and the encoding efficiency is increased.
  • the information for generating the reduced filter can be controlled with a small amount of information by selecting it on a screen basis from a preset filter set corresponding to the band limiting characteristic, and the increase in additional information can be suppressed. I can do it.
  • the characteristic information of the input apparatus is input to the image analysis unit 525 and reduced. It is also possible to set a reduction filter coefficient when generating an image, and the same effect can be exhibited.
  • the third embodiment does not specify the reduced filter coefficient by frequency analysis, but measures the prediction efficiency accompanied by the transition between the reduced image and the input image, so that the optimum reduction is achieved.
  • a filter coefficient is set and used for encoding / decoding processing. Therefore, since the image decoding apparatus in the third embodiment can be realized with the same configuration as the image decoding apparatus in the second embodiment, only the encoding apparatus will be described.
  • FIG. 9 is a block diagram showing the configuration of an image encoding apparatus according to the third embodiment of the present invention.
  • the configuration of the image encoding device of the third embodiment is different from the configuration of the image encoding device of the second embodiment shown in FIG. 5 in that a reduced filter selection unit 925 and a reduced image correlation detection are used instead of the image analysis unit 525. The difference is that the portion 926 is used.
  • the encoding process flowchart of the third embodiment shown in FIG. 10 is different from the encoding process flowchart of the second embodiment shown in FIG. 6 in that the processes of S1000, S1001, and S1002 are replaced with the processes of S600 and S601. The flow will be applied.
  • the image data of one screen stored in the input image buffer 101 is input to the reduction filter selection unit 925, and a plurality of reduced images are generated using a plurality of filters having different band characteristics prepared in advance (S1000). ).
  • the reduced images of the input image and the input images generated by the respective reduced filters are output from the reduced filter selection unit 925 to the reduced image correlation detection unit 926, and the reduced image correlation detection unit 926 inputs the respective reduced images and inputs.
  • Correlation is measured by detecting the transition vector of the image and integrating the prediction error values at the time of detection (S1001).
  • the processing unit for detecting the transition vector can be the same as or different from the block unit of the transition prediction used at the time of encoding, and it is also possible to detect the transition vector for the entire area of one screen. It is possible to detect a transition vector by determining a region, or to extract a block having a small adjacent correlation with a target block in an input image and detect a transition vector for the extracted block.
  • the integrated value of the prediction error when each reduced filter coefficient is used is output from the reduced image correlation detecting unit 926 to the reduced filter selecting unit 925, and the reduced filter selecting unit 925 compares the integrated values to minimize the integrated value.
  • a reduction filter coefficient is selected and set as a filter coefficient (S1002).
  • the reduced filter selection unit 925 outputs the selected filter coefficient or a parameter designating the coefficient to the entropy encoding unit 115 and the reduced image generation unit 513.
  • the entropy encoding unit 115 as additional information related to the encoding of the entire screen, for example, PPS (defined in MPEG4-AVC (ISO / IEC 14496-10 Advanced Video Coding))
  • PPS defined in MPEG4-AVC (ISO / IEC 14496-10 Advanced Video Coding)
  • S602 Picture Parameter Set
  • the characteristics of the band limiting filter for reducing the encoded decoded image used as the template are the reduced image obtained by band-limiting the input image and the input image with a plurality of definable filter parameters.
  • the degree of correlation between images is measured in the form of detecting a transition vector, and filter parameters are selected based on the measured results, reducing the correlation that is high when performing actual transition prediction on the input image. An image can be generated.
  • a template more suitable as a prediction signal in the encoding process can be generated from the reduced image, and the prediction accuracy can be further improved.
  • the reduced image transition vector detection unit 926 when the unit of the two-dimensional block for detecting the transition vector is the same as the encoding target block, the reduced image transition vector detection unit. By outputting to 104, it can be used as a shift vector value using a reduced decoded image as it is, and it is used as a reference value when detecting a shift vector (prediction error for N pixels around this vector value). It is also possible to measure the value and detect the displacement vector).
  • the image encoding device and the image decoding device presented as the first, second, and third embodiments are physically a CPU (Central Processing Unit), a recording device such as a memory, a display such as a display.
  • the present invention can be realized by a computer provided with a device and a communication means for a transmission path, and the means provided with each function can be realized as a program on the computer and executed.
  • the present invention can be used for image signal encoding and decoding techniques.

Abstract

　画像符号化装置は、既に符号化されたブロックの局部復号画像を用いて符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として変移ベクトルを算出する変移ベクトル検出部１０３と、既に符号化されたブロックの局部復号画像に対して水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと縮小変移予測信号との画面内の変移である変移ベクトルを求める縮小画像変移ベクトル検出部１０４と、変移予測信号と縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号とする変移予測モード判定／信号生成部１０５とを有する。

Description

画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
　本発明は、画像信号の符号化及び復号化技術に関し、対象となる画像信号に対する予測信号を符号化済み画像より生成し、予測信号との差分信号を符号化する画面内予測処理を用いる、画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法に関するものである。
　近年、デジタル化された画像・音声コンテンツを、衛星や地上波等の放送波やネットワークを介して配信するサービスが実用化されており、膨大な情報量を持つ画像・音声の情報を効率的に記録・伝送するための高能率符号化が必要となっている。コンテンツの高精細化・多様化に伴い、符号化される画像の数及びデータ量は更に増大しており、将来のコンテンツサービスを想定した、更なる画像信号の高効率な符号化が要求されている。
　画像の高能率符号化としては、ＭＰＥＧ２やＭＰＥＧ４－ＡＶＣ（Advanced Video Coding）に代表される、動画像信号の同一フレーム内で空間的に隣接する画素間の相関および、時間的に隣接するフレーム間やフィールド間の相関を利用して情報量を圧縮する方式が用いられている。
　ＭＰＥＧ４－ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０　Advanced Video Coding）では、画像を複数の２次元ブロックに分割し、ブロック単位で同一フレーム内やフレーム間の相関を用いて予測信号を生成し、予測信号との差分情報を符号化する事で高い符号化効率を実現している。ＭＰＥＧ４－ＡＶＣにおける同一フレーム内の相関を用いた予測処理はイントラ予測と呼ばれ、図１１に示すように、符号化対象であるブロックの予測画像を、対象ブロックに隣接する符号化済み部分の復号画像を用いて生成する。イントラ予測では、隣接する復号画像が図１１に示すような一定の方向に対して相関が高い事を想定した複数（４×４画素ブロック単位で予測を行う場合には９種類）の予測モードで生成した予測画像より、最も符号化対象ブロックと誤差の少ない予測モードを選択し、予測モード情報と合わせて符号化される。
　イントラ予測は隣接した領域との相関性のみを利用した予測処理となり、符号化対象ブロックとの境界における相関性が少ない場合には、予測効果が減少する。
　画像信号においては、対象としたブロックより離れた位置においても、物体の形状や模様・背景等の類似した画像成分を有する信号が存在する。特許文献１においては対象ブロックより離れた位置における画像相関性を利用して、予測処理を行う手法が提示されている。具体的には、図１２に示すように対象ブロックより画面内の変移量（以降変移ベクトルと表記する）だけ移動した位置の、符号化済み復号画像と符号化対象ブロックとの誤差を算出し、最も誤差の少ない変移ベクトルで参照される参照画像を予測画像とし、変移ベクトルと合わせて符号化する。
　変移ベクトルを伝送する符号量を上回る、相関性が高い予測画像が生成できる場合には、イントラ予測に対して高い符号化効率を実現出来るが、変移ベクトル量の伝送量が大きい場合には、十分な予測効率を発揮出来ない。
　特許文献２においては、上記変移ベクトルに要する符号量を削減するために、変移ベクトルを伝送せずに特定する手法が提示されている。特許文献２においては、対象ブロックに隣接した符号化済みの復号画像をテンプレートとして用いて、変移ベクトルだけ移動した位置の符号化済み復号画像と、前記対象ブロックに隣接した符号化済みの復号画像との誤差を算出し、最も誤差の少ない変移ベクトルを、符号化対象ブロックの変移ベクトルと見立て、変移ベクトルで参照される参照画像を予測画像とする。この方式においては、復号側では符号化側と同様に、符号化済みの復号画像を用いて変移ベクトルを検出することで、変移ベクトルを受信せずに算出できるため、付加情報による符号量の増大は起こらない。
特開２００５－１５９９４７号公報 特開２００７－０４３６５１号公報
　ＭＰＥＧ４－ＡＶＣにおいて、時間的に連続性のある画像信号に対しては、時間方向で異なるフレームの復号済み画像信号を基準に動き補償予測処理を行う事で高い符号化効率を実現出来るが、動き補償予測処理を行う基準フレームは同一フレーム内でのイントラ予測のみを使用して符号化を行う必要があり、符号化対象ブロックとの境界における相関性が少ない場合には、予測効果が減少する課題がある。この課題は、動画像信号が時間的に連続性のない場合においても、動き補償予測が機能しないためにイントラ予測の性能限界による、符号化効率低下となって現れる。
　特許文献１及び特許文献２で提示されているような、対象ブロックとの変移ベクトルを伝送もしくは自己生成して、対象ブロックと離れた位置における画像相関性を利用する場合には、画像信号に対する隣接領域では無い部分の自己相似性や、同一なテクスチャ成分を有する、異なる物体からの予測を行うために、画面内に存在している物体の形状変化や輝度変化等の影響があり、画像信号が有する自己相似性やテクスチャの相似性を十分に活用できていない。
　特許文献１においては、変移ベクトルの符号量を上回る効果を有する予測信号を算出できない場合に、効率が低下する課題を有しており、特許文献２においては、符号化対象ブロックの隣接画像をテンプレートにして変移ベクトルを算出するため、隣接画像と対象ブロックの間で相関性が低い場合や、特許文献１で生成される変移ベクトルで参照される参照ブロックの隣接画像との相関性が低い場合等、精度の高い変移ベクトルを求める事が出来ず、効率が向上しない課題を有している。
　そこで、本発明はフレーム内での予測効率を大幅に向上させるために、対象ブロックと離れた位置における画像相関性を更に有効に利用した、フレーム内予測手法を実現させる事を目的とする。
　上記目的を達成するため、本発明の画像符号化装置は、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出する、変移ベクトル検出部と、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求める、縮小画像変移ベクトル検出部と、前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力する、変移予測モード判定／信号生成部とを有し、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化する。
　本発明の画像復号化装置は、ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号する、変移ベクトル／モード復号部と、前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、前記予測信号と、復号された残差信号とを加算することで復号画像を算出する。
　本発明の画像符号化方法は、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出するステップと、符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求めるステップと、前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力するステップとを含み、前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化する。
　本発明の画像復号化方法は、ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号するステップと、前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成するステップとを含み、前記予測信号と、復号された残差信号とを加算することで復号画像を算出する。
　本発明における、画像符号化装置及び画像復号化装置においては、テクスチャ成分を予測するためのテンプレート信号として用いる、符号化済み復号画像に対して縮小させた参照画像を生成し予測画像として用いる事により、従来方式におけるフレーム内での画像信号予測の精度を向上させる事が出来る。また、縮小画像を作成する際のフィルタ特性に関して、符号化時の入力画像の特性を評価する事で、縮小画像の信号特性が入力画像と近くなるようにする事が可能となり、より予測精度を上げる事が可能となる。これらを合わせる事により、符号化効率を向上する事が出来る。
本発明の第１実施例の画像符号化装置を示す構成図である。 本発明の第１実施例の画像復号化装置を示す構成図である。 本発明の画面内変移予測を説明する概念図である。 本発明の第１実施例における変移予測モード判定信号生成処理を説明するフローチャートである。 本発明の第２実施例の画像符号化装置を示す構成図である。 本発明の第２実施例の符号化処理を説明するフローチャートである。 本発明の第２実施例の画像復号化装置を示す構成図である。 本発明の第２実施例の復号処理を説明するフローチャートである。 本発明の第３実施例の画像符号化装置を示す構成図である。 本発明の第３実施例の符号化処理を説明するフローチャートである。 従来手法のイントラ予測の概念図である。 従来手法の画面内変移予測の概念図である。 ＭＰＥＧ４－ＡＶＣにおける対象ブロックと予測動きベクトル算出に用いる隣接ブロックの関係を示す図である。
　次に、発明を実施するための最良の形態について図面を併せ参照して説明する。
　まず、本発明の第１実施例である画像符号化装置、画像復号化装置の形態について説明する。
　図１は、本発明の第１実施例である画像符号化装置の形態を示す構成図である。図１に示すように、本実施例の形態の画像符号化装置は、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、減算器１０６、直交変換部１０７、量子化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フレーム内復号画像メモリ１１２、縮小画像生成部１１３、縮小復号画像メモリ１１４、エントロピー符号化部１１５、ストリームバッファ１１６、出力端子１１７及び符号量制御部１１８から構成される。
　変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、縮小画像生成部１１３、縮小復号画像メモリ１１４を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４－ＡＶＣ等の画像符号化装置におけるフレーム内符号化処理を構成する処理ブロックとなる。
　入力端子１００より入力されたデジタル画像信号は、入力画像バッファ１０１に格納される。入力画像バッファ１０１に格納されたデジタル画像信号は、ブロック分割部１０２に供給され、１６×１６画素で構成される２次元マクロブロック単位で符号化対象ブロックとして切り出される。ブロック分割部１０２は、切り出した符号化対象ブロックを、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、及び減算器１０６に供給する。減算器１０６は、ブロック分割部１０２から供給された符号化対象ブロックと、後述する変移予測モード判定／信号生成部１０５より供給される予測画像ブロックとの差分を演算し、結果を差分ブロックとして直交変換部１０７に供給する。
　直交変換部１０７は、差分ブロックに対して所定の２次元ブロック（例えば、水平８画素×垂直８画素）単位にＤＣＴ変換を行うことで、直交変換された周波数成分信号に相当するＤＣＴ係数を生成する。また、直交変換部１０７は、生成したＤＣＴ係数を２次元マクロブロック単位に纏めて、量子化部１０８に出力する。量子化部１０８は、ＤＣＴ係数を周波数成分毎に異なった値で除算することにより量子化処理を行う。量子化部１０８は、量子化処理されたＤＣＴ係数を、逆量子化部１０９及びエントロピー符号化部１１５に供給する。逆量子化部１０９は、量子化部１０８より入力した量子化処理されたＤＣＴ係数に対して、量子化時に除算された値を乗算することで逆量子化を行い、逆量子化された結果を復号されたＤＣＴ係数として、逆直交変換部１１０に出力する。逆直交変換部１１０は逆ＤＣＴ処理を行い、復号された差分ブロックを生成する。逆直交変換部１１０は、復号された差分ブロックを加算器１１１に供給する。加算器１１１は、変移予測モード判定／信号生成部１０５より供給される予測画像ブロックと、逆直交変換部１１０より供給される、復号された差分ブロックとを加算し、局部復号ブロックを生成する。加算器１１１で生成された局部復号ブロックは、フレーム内復号画像メモリ１１２に逆ブロック変換された形で格納される。
　変移ベクトル検出部１０３は、ブロック分割部１０２より入力された符号化対象ブロックの画像信号と、フレーム内復号画像メモリ１１２に格納されている局部復号画像信号との間で変移ベクトルを算出する。具体的には、符号化対象ブロックの画面内位置に対して、図１２に示される符号化済み部分復号画像の位置に参照ブロック全体が配置される変移ベクトルＤＶに対応する局部復号画像信号と、符号化対象ブロックの間の相関値を、絶対値誤差の総和、二乗誤差の総和等で定義される評価式で算出し、評価式で示される値が最も小さい変移ベクトルを、変移予測に用いる変移ベクトル値とする。
　変移ベクトル検出部１０３は、検出した変移ベクトル値に対応する局部復号画像信号を
変移予測画像として、検出した変移ベクトル値と共に、変移予測モード判定／信号生成部１０５に出力する。
　加算器１１１で生成された局部復号ブロックは、フレーム内復号画像メモリ１１２と共に、縮小画像生成部１１３にも入力され、局部復号ブロックに対して縮小処理を施し、縮小された局部復号ブロックを、縮小復号画像メモリ１１４に出力する。
　縮小処理に用いるフィルタに関しては、本実施例においては、縮小方向とフィルタ係数を固定に定義する。一例としては、縮小処理は水平・垂直共に１／２に縮小し、フィルタ係数は３タップの１次元フィルタ　１　２　１　（／４）を、水平／垂直の順に施す定義を行う。
　縮小画像生成部１１３より出力された、縮小された局部復号ブロックは、縮小復号画像メモリ１１４に格納され、縮小復号画像として縮小画像変移ベクトル検出部１０４における変移ベクトル検出に用いられる。
　縮小された局部復号ブロックと、符号化対象ブロックとの関係は、図３に示されるように、仮想的に符号化対象ブロックを縮小した場合の符号化対象ブロックの画面内位置と、予測画像の候補である参照ブロックの画面内位置との変移量が変移ベクトルとして定義される。
　縮小画像変移ベクトル検出部１０４は、変移ベクトルで示される画面内位置を基準として、符号化対象ブロックと同一ブロックサイズの２次元ブロックを、縮小復号画像メモリ１１４より入力し、符号化対象ブロックとの間の相関値を、絶対値誤差の総和、二乗誤差の総和等で定義される評価式で算出し、評価式で示される値が最も小さい変移ベクトルを、縮小変移予測に用いる変移ベクトル値として検出する。
　縮小画像変移ベクトル検出部１０４は、検出した変移ベクトル値に対応する縮小復号画像を縮小変移予測画像として、検出した変移ベクトル値と共に、変移予測モード判定／信号生成部１０５に出力する。
　変移予測モード判定／信号生成部１０５は、変移ベクトル検出部１０３より入力された変移ベクトル値及び変移予測画像と、縮小画像変移ベクトル検出部１０４より入力された変移ベクトル値及び縮小変移予測画像より、最適な予測モードを選択し、選択した予測画像を減算器１０６及び加算器１１１に出力すると共に、エントロピー符号化部１１５に選択した予測モード及び変移ベクトルを示す情報を出力する。変移予測モード判定／信号生成部１０５の詳細動作に関しては、後述する。
　エントロピー符号化部１１５は、量子化部１０８より供給された量子化処理されたＤＣＴ係数と、変移予測モード判定／信号生成部１０５より供給された、選択された予測モードと変移ベクトルを示す情報より、変移ベクトル情報及び予測モード情報と、量子化されたＤＣＴ係数の可変長符号化を行う。可変長符号化を施した情報は、ストリームバッファ１１６に出力される。
　ストリームバッファ１１６に蓄えられた符号化ストリームは、出力端子１１７を介して、記録媒体もしくは伝送路に出力される。符号化ストリームの符号量制御に関しては、符号量制御部１１８に、ストリームバッファ１１６に蓄えられているビットストリームの符号量が供給され、目標とする符号量との間で比較がとられ、目標符号量に近づけるために量子化部１０８の量子化の細かさ（量子化スケール）が制御される。
　続いて、本発明の第１実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。
　図２は、本発明の第１実施例である画像復号化装置の形態を示す構成図である。図２に示すように、本実施の形態の画像復号化装置は、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、変移予測信号生成部２０４、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８、出力端子２０９及び縮小画像生成部２１０から構成される。
　変移ベクトル／モード復号部２０３、変移予測信号生成部２０４及び縮小画像生成部２１０を設けた点と、これらの処理ブロックにおける動作が、本発明の第１実施例における特徴であり、他の処理ブロックに関してはＭＰＥＧ４－ＡＶＣ等の画像符号化装置におけるフレーム内復号化処理を構成する処理ブロックとなる。
　入力端子２００より入力された符号化ビットストリームは、ストリームバッファ２０１に格納される、格納された符号化ビットストリームは、ストリームバッファ２０１よりエントロピー復号部２０２に供給され、エントロピー復号部２０２は、入力されたビットストリームより、符号化された変移ベクトル情報と予測モード情報、及び量子化されたＤＣＴ係数に関して可変長復号を行い、逆量子化部２０５に量子化されたＤＣＴ係数を、変移ベクトル／モード復号部２０３に変移ベクトル情報と予測モード情報を出力する。逆量子化部２０５、逆直交変換部２０６、加算器２０７及びフレーム内復号画像メモリ２０８に関しては、第１実施例の動画像符号化装置の局部復号処理と同様の処理が行われる。フレーム内復号画像メモリ２０８に蓄えられた復号画像は、出力端子２０９を介して、表示装置に復号画像信号として表示される。
　変移ベクトル／モード復号部２０３は、エントロピー復号部２０２より入力された変移ベクトル情報と予測モード情報より、変移ベクトル値と変移予測信号が通常の変移予測処理を施した予測信号であるか、縮小画像を用いた変移予測処理を施した予測信号であるかの選択信号を算出し、変移予測信号生成部２０４に出力する機能を有する。
　変移予測信号生成部２０４は、変移ベクトル／モード復号部２０３より出力された変移ベクトル値及び選択信号を元に、予測画像を生成する。選択信号が通常の変移予測を示している場合には、フレーム内復号画像メモリ２０８より復号対象ブロックから変移ベクトル値だけ移動した位置の復号画像信号を入力し、予測信号を生成する。一方、選択信号が縮小画像を用いた変移予測を示している場合には、縮小画像生成部２１０に対して、変移ベクトル値を出力し、生成された縮小画像を受け取る。
　縮小画像生成部２１０は、変移予測信号生成部２０４より変移ベクトル値を入力されると、図３に示されるように、仮想的に符号化対象ブロックを縮小した場合の符号化対象ブロックの画面内位置と、予測画像の候補である参照ブロックの画面内位置に相当する参照ブロックを生成するために、変移ベクトルを縮小前の変移に補正したベクトル値が示す位置の復号画像を、フレーム内復号画像メモリ２０８より入力し、縮小フィルタ処理を施した結果を、変移予測信号生成部２０４に出力する。
　変移予測信号生成部２０４は、生成もしくは入力した予測画像を加算器２０７に出力する。
　本発明の第１実施例である画像復号化装置においては、縮小画像生成部２１０において、縮小変移予測が施された場合にのみ変移ベクトルにより示される参照ブロックを縮小フィルタにより生成しているが、第１実施例である画像符号化装置における局部復号処理で行っているように、常に復号された２次元ブロックに対して縮小処理を施し、縮小画像メモリに蓄えておく構成を採ることも可能である。
　続いて、本発明の第１実施例である画像符号化装置における、変移予測モード判定／信号生成部１０５の詳細動作を、図４に示すフローチャートを用いて説明する。
　図４に示すフローチャートは、複数の符号化ブロックで定義されるスライス単位における変移予測モード判定処理の動作を示している。
　まず、対象となる符号化ブロックCurを入力し（Ｓ４００）、符号化対象ブロックに対応する変移ベクトルDV及び変移予測画像DVrefを変移ベクトル検出部１０３より受信する（Ｓ４０１）。続いて、符号化対象ブロックに対応する縮小変移ベクトルDVssと縮小変移予測画像DVrefssを縮小画像変移ベクトル検出部１０４より受信する（Ｓ４０２）。次に、各々の予測モードによる符号化対象ブロックと予測画像との誤差評価値を算出するため、符号化ブロックCurと変移予測画像DVrefとの間の画素毎の誤差値を積算し、誤差評価値ErrNorm(DV)を算出すると共に、Curと縮小変移予測画像DVrefssとの間の画素毎の誤差値を積算し、誤差評価値ErrSS(DVss)を算出する（Ｓ４０３）。
　次に、変移ベクトル値を情報として符号化する際に必要となる符号量を算出する。具体的には、変移ベクトルを予測値DVpredより予測して、その差分値を符号化する形態を取る。予測値DVpredの算出に関しては、図１３に示されるようなＭＰＥＧ４－ＡＶＣにおいて動きベクトルの予測に用いられる構成を用いる。隣接ブロックは、対象ブロックに対して、左隣であるブロックＡ、上隣であるブロックＢ、右上であるブロックＣの３ブロックが選択される。しかしながら、画像端であるようなブロックＣが無効である場合には、ブロックＣの代わりに左上であるブロックＤが用いられる。選択された３ブロックの変移ベクトルの水平方向成分をＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ、垂直方向成分をＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙとすると、予測変移ベクトル値ＰＤＶｘ、ＰＤＶｙは、下記の式１のように水平方向成分、垂直方向成分それぞれに３値の中間値を選択することで生成する。
　（式１）
　ＰＤＭＶｘ＝Ｍｅｄｉａｎ（ＤＶＡｘ、ＤＶＢｘ、ＤＶＣｘ）
　ＰＤＭＶｙ＝Ｍｅｄｉａｎ（ＤＶＡｙ、ＤＶＢｙ、ＤＶＣｙ）
　このようにして、生成されたＰＤＭＶｘ、ＰＤＭＶｙを変移ベクトルの予測値DVpredとして算出する（Ｓ４０４）。
　続いて、変移ベクトルの予測値DVpredと変移ベクトルDVとの差分値DiffDVを求め、符号化時のベクトル想定符号量を計算し、ErrNorm(DV)に加算する（Ｓ４０５）。ベクトル想定符号量に関しては、例えばDiffDVがゴロム符号として符号化される事を想定して、必要となる符号量を算出する事が出来る。
　同様に、変移ベクトルの予測値DVpredを縮小した値と、縮小変移ベクトルDVssとの差分値DiffDVssを求め、符号化時のベクトル想定符号量を計算し、ErrSS(DVss)に加算する（Ｓ４０６）。
　変移予測に関しては、符号化対象ブロックとは異なる対象物における、同じようなテクスチャ成分を有する画像信号を予測信号として抽出するため、縮小復号画像と縮小しない状態の復号画像信号における同位置の画像に関して自己相似性がある場合には、選択対象になる変移ベクトルが近い変移を示す事を想定して、縮小率にあわせた補正を掛けた変移ベクトルを図１３における隣接ブロックの変移ベクトル値として保存する構成を採る。本発明の第１実施例においては、縮小変移ベクトルを水平・垂直共に１／２に縮小した復号画像より検出し、予測画像として用いるため、DVpredを水平・垂直に１／２に縮小した値とDVssとの差分値がDiffDVssとなる。DiffDVssの符号化時のベクトル想定符号量は、DiffDVと同様に算出する。
　このようにして算出された誤差評価値ErrNorm(DV)とErrSS(DVss)とを比較して（Ｓ４０７）、ErrSS(DVss)>ErrNorm(DV)の場合には（Ｓ４０７：ＹＥＳ）、予測モードの選択信号DVsel=0、符号化する変移ベクトル情報Dvresult=DiffDVをセットし、後続する符号化対象ブロックの変移ベクトル予測に用いるベクトル値としてDVを格納する（Ｓ４０８）。続いて、減算器１０６、加算器１１１に予測画像としてDVrefを出力する（Ｓ４０９）。
　一方、ErrSS(DVss)>ErrNorm(DV)でない場合には（Ｓ４０７：ＮＯ）、DVsel=1、DVresult=DiffDVssをセットし、後続する符号化対象ブロックの変移ベクトル予測に用いるベクトル値としてDVssを水平・垂直に２倍した値を格納する（Ｓ４１０）。続いて、減算器１０６、加算器１１１に予測画像としてDVrefssを出力する（Ｓ４１１）。
　最後にDVsel及びDVresultをエントロピー符号化部１１５に出力し（Ｓ４１２）、符号化対象ブロック単位の処理を終了する。この符号化対象ブロックがスライス最後のブロックでない場合（Ｓ４１３：ＮＯ）には、符号化対象ブロックを更新し（Ｓ４１４）、Ｓ４００に戻る。スライス最後のブロックである場合（Ｓ４１３：ＹＥＳ）には、スライス単位における変移予測モード判定処理が終了する。
　第１実施例における本発明のポイントは、従来手法に比べてより画像信号が有する自己相似性やテクスチャの相似性を十分に活用するために、参照画像を縮小させたブロックを予測対象信号として追加し、縮小したか否かを示す情報と共に符号化する事で、より符号化ブロックとの相関性の高い予測ブロックを生成している点である。結果として、従来方式におけるフレーム内での画像信号予測の精度を向上させる事が可能である。変移ベクトル値に関しては、通常変移予測モードと縮小変移予測モードにおいて、縮小率に応じて変移ベクトルの予測値を補正することで、隣接ブロックからの変移ベクトル予測を適切に行う事が出来、変移ベクトル情報の符号量増大を避けることが出来る。
　また、参照画像となる局部復号画像は、符号化劣化の影響により入力画像には存在しない歪成分の増加や、高周波成分の減少が生じ、符号化対象ブロックとの相関性を低下させているが、縮小画像を生成するプロセスにおいて、歪成分は高周波成分としてカットされると共に、縮小画像の画素基準での周波数成分としては、高周波成分が符号化後においても多く残っているため、相関性の低下が抑えられ、より符号化ブロックとの相関性の高い予測ブロックとして、予測処理に用いられる。
　結果として、特に高圧縮時のフレーム内予測効率を向上させ、高い符号化効率を実現する事が可能となる。
　次に、本発明の第２実施例である画像符号化装置、画像復号化装置の形態について説明する。第１実施例は、フレーム内の相関のみを利用する画像符号化・復号化装置の実施例であったが、第２実施例は、フレーム内の相関及びフレーム間の相関を利用する、動画像の時間相関を活用可能な画像符号化・復号化装置の実施例である。
　図５は、本発明の第２実施例である画像符号化装置の形態を示す構成図である。図５に示すように、本実施例の形態の画像符号化装置は、第１実施例と同様の機能を有する、入力端子１００、入力画像バッファ１０１、ブロック分割部１０２、変移ベクトル検出部１０３、縮小画像変移ベクトル検出部１０４、変移予測モード判定／信号生成部１０５、減算器１０６、直交変換部１０７、量子化部１０８、逆量子化部１０９、逆直交変換部１１０、加算器１１１、フレーム内復号画像メモリ１１２、縮小復号画像メモリ１１４、エントロピー符号化部１１５、ストリームバッファ１１６、出力端子１１７及び符号量制御部１１８と、第１実施例に対して追加の処理を有する、縮小画像生成部５１３及び、追加された処理ブロックである、イントラ予測部５１９、デブロックフィルタ５２０、参照画像メモリ５２１、動きベクトル検出部５２２、動き補償予測部５２３、モード判定部５２４及び画像解析部５２５から構成される。
　追加された処理ブロックにおいて、ＭＰＥＧ４－ＡＶＣで定義される処理を施す処理ブロックの動作を説明すると、イントラ予測部５１９は、ブロック分割部１０２から符号化対象ブロックが入力され、フレーム内復号画像メモリ１１２内にある、隣接する符号化済み領域の復号画像を用いて、ＭＰＥＧ４－ＡＶＣで行われるイントラ予測処理を行う。イントラ予測部５１９は、予測画像と符号化対象ブロックの相関性が最も高いイントラ予測モードを選択し、イントラ予測画像及びイントラ予測モード信号、及び誤差評価値をモード判定部５２４に出力する。また、加算器１１１より出力された局部復号画像は、デブロックフィルタ５２０において符号化処理単位のブロック境界の歪を除去するためのフィルタ処理が施され、参照画像メモリ５２１に格納される。動きベクトル検出部５２２は、ブロック分割部１０２から取得した符号化対象ブロック画像と、参照画像メモリ５２１に格納されている参照画像との間で、動き推定を行う。一般的な動き推定処理としては、画面内の同一位置より所定の移動量だけ移動させた位置の参照画像を切り出し、その画像を予測ブロックとした際の予測誤差が最も少なくなる移動量を動きベクトル値として、移動量を変化させながら求めるブロックマッチング処理が用いられる。動きベクトル検出部５２２は、図１３で示されるような隣接するブロックに用いられた動きベクトル値より算出した動きベクトル予測値と、動きベクトル値との差分を符号化する際に必要となる符号量を加味して、最適な動きベクトル値を検出する。
　動きベクトル検出部５２２によって求められた動きベクトル値は、動き補償予測部５２３に供給され、複数の参照画像に対する予測信号より最も符号化する差分情報が少ない予測信号を選択し、選択された動き補償予測モードと予測信号をモード判定部５２４に出力する。上述した処理ブロックに関しては、従来手法のイントラ予測及び動き補償予測を適用するための構成となる。
　続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、画像解析部５２５、縮小画像生成部５１３及び、モード判定部５２４の動作を、図６で示す符号化処理のフローチャートを用いて説明する。
　図６に示すフローチャートは、複数の符号化ブロックで定義される１画面の符号化処理の動作を示している。
　先ず、入力画像バッファ１０１に格納された１画面の画像データを画像解析部５２５に入力し、１画面における水平・垂直方向の周波数成分を測定する（Ｓ６００）。測定手法に関しては、フーリエ変換による周波数解析、ウェーブレット変換による周波数解析等を用いる事が可能であるが、本実施例では離散フーリエ変換FFT（Fast　Fourier　Transfer）を水平・垂直別々に１次元に施した結果を蓄積して、画面内全体の結果を加算した値を測定値とする。FFTの単位は例えば32画素単位とし、解析単位の境界による影響を低減するために、16画素毎で解析位置を移動させる。
　画像解析部５２５には、予め複数帯域での帯域制限を施す事が可能な低域通過フィルタの係数セットを用意しておく。フィルタ係数の設計手法に関しては、既存のデジタルフィルタ設計手法を用いる事が可能である。
　続いて、周波数成分を測定した結果の周波数分布にもっとも近い縮小画像を構成できる帯域制限特性を持つ水平・垂直用のフィルタ係数を選択する（Ｓ６０１）。選択手法としては、該当周波数以上の周波数成分分布がある閾値以下になる周波数を阻止域にするフィルタの中で最も通過帯域が広いフィルタ係数を選択する方式を用いる事も可能であるが、各フィルタ係数によって入力画像を縮小した縮小画像に対して、１画面における水平・垂直方向の周波数成分を実際に測定し、その周波数特性が最も近似しているフィルタ係数を選択する事も可能である。
　続いて、画像解析部５２５は選択したフィルタ係数もしくは係数を指定するパラメータを、エントロピー符号化部１１５及び縮小画像生成部５１３に出力する。
　エントロピー符号化部１１５は、１画面全体の符号化に関連する付加情報として、例えばＭＰＥＧ４－ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０　Advanced Video Coding）において定義されているＰＰＳ（Picture Parameter Set）等に追加する形で、選択したフィルタ係数もしくは係数を指定するパラメータを符号化（Ｓ６０２）する。
　このようにして選択されたフィルタ係数を用いて、１画面の符号化処理を開始する。先ず、入力画像より符号化対象ブロックを切り出し（Ｓ６０３）、Ｉスライスでない場合（Ｓ６０４：ＮＯ）には、動きベクトル検出・動き補償予測を行い（Ｓ６０５）、平行してイントラ予測を行い（Ｓ６０６）、変移ベクトル検出を行い（Ｓ６０７）、縮小変移ベクトル検出を行う（Ｓ６０８）。続いて、変移予測と縮小変移予測のどちらを変移予測として用いるかを選択するために、変移モード判定・変移予測を行う（Ｓ６０９）。判定手法に関しては、第１実施例にて説明した手法が用いられる。
　この結果で算出された動きベクトル予測、イントラ予測、変移予測より、モード判定部５２４で最適な予測モードを選択し、予測画像を生成し、減算器１０６及び加算器１１１に出力する（Ｓ６１０）と共に、予測モード・動きベクトル・変移ベクトルや変移予測における縮小画像を使用したか否かを示す情報をエントロピー符号化部１１５に出力する。続いて、符号化対象ブロックと予測画像の差分信号を算出して直交変換・量子化を行い（Ｓ６１１）、量子化された直交変換係数、及び予測モード・動きベクトル・変移ベクトルや変移予測における縮小画像を使用したか否かを示す情報を符号化する（Ｓ６１２）。
　次に、量子化された係数を逆量子化・逆直交変換を施し、出力信号を予測画像と加算すし（Ｓ６１３）、生成された局部復号画像をフレーム内復号画像メモリ１１２に格納する（Ｓ６１４）。
　縮小画像生成部５１３は、加算器１１１より入力された局部復号画像と、画像解析部５２５より入力された選択されたフィルタ係数もしくは係数を指定するパラメータを元に、水平・垂直に縮小処理を施す際のフィルタ係数を設定し、そのフィルタ係数を用いて局部復号画像を縮小する（Ｓ６１５）。縮小画像生成部５１３は、縮小した局部縮小画像を縮小復号画像メモリ１１４に格納し（Ｓ６１６）、対象となる符号化ブロックに対する符号化処理を終了する。
　対象となる符号化ブロックが１画面の最終ブロックである場合には（Ｓ６１７：ＹＥＳ）、デブロックフィルタ５２０が、画面全体に対するデブロックフィルタを施し、参照画像メモリ５２１に格納し（Ｓ６１８）、１画面の符号化処理を終了する。１画面の最終ブロックでない場合には（Ｓ６１７：ＮＯ）、符号化対象ブロックを更新し（Ｓ６１９）、Ｓ６０３に戻る。
　続いて、本発明の第２実施例である画像符号化装置により生成された符号化ビットストリームを復号する、画像復号化装置の形態について説明する。
　図７は、本発明の第２実施例である画像復号化装置の形態を示す構成図である。図７に示すように、本実施の形態の画像復号化装置は、第１実施例と同様の機能を有する、入力端子２００、ストリームバッファ２０１、エントロピー復号部２０２、変移ベクトル／モード復号部２０３、逆量子化部２０５、逆直交変換部２０６、加算器２０７、フレーム内復号画像メモリ２０８及び出力端子２０９と、第１実施例に対して追加の処理を有する、縮小画像生成部７１０及び、追加された処理ブロックである、縮小フィルタ係数復号部７１１、予測モード復号部７１２、予測信号選択部７１３、イントラ予測モード復号部７１４、イントラ予測部７１５、動きベクトル復号部７１６、デブロックフィルタ７１７、参照画像メモリ７１８及び動き補償予測部７１９から構成される。
　追加された処理ブロックの内、イントラ予測モード復号部７１４、イントラ予測部７１５、動きベクトル復号部７１６、デブロックフィルタ７１７、参照画像メモリ７１８及び動き補償予測部７１９に関しては、図５での第２実施例における画像符号化装置の説明と同様に、ＭＰＥＧ４－ＡＶＣ標準におけるイントラ予測及び動き補償予測を復号するための構成であり、本発明の特徴を有する処理ブロックではないため、説明を割愛する。
　続いて、本発明の第２実施例における特徴を示す動作を行う処理ブロックである、縮小フィルタ係数復号部７１１、予測モード復号部７１２、予測信号選択部７１３、及び縮小画像生成部７１０の動作を、図８で示す符号化処理のフローチャートを用いて説明する。
　図８に示すフローチャートは、複数の符号化ブロックで定義される１画面の符号化処理の動作を示している。
　入力端子２００より、ストリームバッファ２０１に格納された符号化ビットストリームより、エントロピー復号部２０２で１画面全体の符号化に関連する付加情報を検出し、縮小フィルタ係数復号部７１１に入力する。縮小フィルタ係数復号部７１１は、１画面に関連するパラメータ情報を復号し、その中より用いられたフィルタ係数もしくはフィルタ係数を指定する情報を復号する（Ｓ８００）。
　続いて、１画面の復号処理を開始する。先ず、エントロピー復号部２０２から復号対象ブロックに対する量子化された係数が逆量子化部２０５に出力されると共に、復号対象ブロックに関する付加情報が予測モード復号部７１２に出力される。予測モード復号部７１２は、復号対象ブロックに関する情報を復号し（Ｓ８０１）、復号された予測モードを予測信号選択部７１３に出力すると共に、復号された予測モードがイントラ予測である場合には（Ｓ８０２：ＹＥＳ）、イントラ予測モード復号部７１４でイントラ予測モードを復号し、復号したイントラ予測モードを用いて、イントラ予測部７１５がフレーム内復号画像メモリ２０８に格納されている復号済みの隣接画素よりイントラ予測を行い（Ｓ８０３）、イントラ予測結果を予測信号選択部７１３に出力する。
　復号された予測モードがイントラ予測でない場合には（Ｓ８０２：ＮＯ）、復号された予測モードが動き補償予測であるかどうかを確認し（Ｓ８０４）、動き補償予測である場合（Ｓ８０４：ＹＥＳ）、動きベクトル復号部７１６で復号した動きベクトルを用いて、動き補償予測部７１９で、参照画像メモリ７１８に格納されている参照画像より動き補償を行い（Ｓ８０５）、動き補償予測結果を予測信号選択部７１３に出力する。
　復号された予測モードが動き補償予測でない場合には（Ｓ８０４：ＮＯ）、変移ベクトル／モード復号部２０３で、変移予測モード及び変移ベクトルを示す情報を復号し、変移予測信号生成部２０４に出力する。復号された変移予測モードが縮小変移予測である場合には（Ｓ８０６：ＹＥＳ）、縮小画像生成部７１０は、縮小フィルタ係数復号部７１１より入力された縮小フィルタ係数情報と、変移予測信号生成部２０４より入力された変移ベクトルを示す情報を用いてフレーム内復号画像メモリ２０８より、変移ベクトルを縮小前の変移に補正したベクトル値が示す位置の復号画像入力し、縮小フィルタ係数情報で指定されるフィルタ係数を用いて、縮小フィルタ処理を施し縮小変移予測を行い（Ｓ８０７）、縮小変移予測結果を変移予測信号生成部２０４に出力する。
　復号された変移予測モードが縮小変移予測でない場合（Ｓ８０６：ＮＯ）には、変移予測信号生成部２０４は、変移ベクトル／モード復号部２０３より入力された変移ベクトルを示す情報を用いて、フレーム内復号画像メモリ２０８より復号対象ブロックから変移ベクトル値だけ移動した位置の復号画像信号を入力し、変移予測信号を生成する（Ｓ８０８）。変移予測信号生成部２０４は、変移予測信号と縮小画像生成部７１０から入力された縮小変移予測信号の内、復号対象ブロックにおいて生成された信号を予測信号選択部７１３に出力する。
　予測信号選択部７１３は、イントラ予測部７１５、動き補償予測部７１９、変移予測信号生成部２０４の何れかから入力された予測信号を格納し（Ｓ８０９）、加算器２０７に出力する。
　エントロピー復号部２０２より出力された量子化された係数は、逆量子化・逆直交変換を施され、出力信号と予測信号が加算器２０７で加算され（Ｓ８１０）、復号画像が生成される。生成された復号画像はフレーム内復号画像メモリ２０８に格納され（Ｓ８１１）、復号対象ブロックに対する復号処理は終了する。
　復号対象ブロックが１画面最後のブロックである場合には（Ｓ８１２：ＹＥＳ）、デブロックフィルタ７１７で画面全体に対するデブロックフィルタを施し、参照画像メモリ７１８に格納され（Ｓ８１３）、１画面の復号処理が終了する。
　一方、復号対象ブロックが１画面最後のブロックでない場合には（Ｓ８１２：ＮＯ）、復号対象ブロックの位置を更新し（Ｓ８１４）、Ｓ８０１に戻る。
　第２実施例においては、テンプレートとして用いる符号化済みの復号画像を縮小させる帯域制限フィルタの特性を、入力画像の帯域特性を測定した結果を元に設定し、複数の定義可能なフィルタパラメータより選択する事で、入力画像の信号特性と近似したテンプレートを縮小画像で生成できると共に、復号画像の劣化が大きい場合においても、縮小画像生成時に保存される成分は、縮小前の中・低域成分であるため、符号化劣化の影響が少なく、テンプレートとして用いる信号の品質が保たれ、符号化劣化による予測効率低下の影響が少ない予測信号を生成する事が可能となる。よって、予測効率が従来手法よりも向上し、符号化効率が高くなる効果を有する。
　また、縮小フィルタを生成する為の情報は、帯域制限特性に応じた予め設定したフィルタセットより画面単位で選択する事で、少ない情報で制御する事が可能であり、付加情報の増加を押さえる事が出来る。
　尚、本発明の第２実施例の符号化装置をデジタルカメラやカムコーダ等の光学特性が特定できる装置において用いる場合には、画像解析部５２５において入力装置（カメラ）の特性情報を入力し、縮小画像を生成する際の縮小フィルタ係数を設定する事も可能であり、同様の効果を発揮できる。
　続いて、本発明の第３実施例である画像符号化装置の形態について説明する。第３実施例は第２実施例の構成に対して、周波数解析による縮小フィルタ係数の特定を行うのではなく、縮小画像と入力画像の変移を伴った予測効率を測定する事で、最適な縮小フィルタ係数を設定し、符号化・復号処理に用いる構成となる。よって、第３実施例における画像復号化装置は、第２実施例における画像復号化装置と同一構成で実現出来るため、符号化装置のみの説明を行う。
　図９は、本発明の第３実施例である画像符号化装置の形態を示す構成図である。第３実施例の画像符号化装置の構成は、図５で示される第２実施例の画像符号化装置の構成に対して、画像解析部５２５の代わりに縮小フィルタ選択部９２５及び縮小画像相関検出部９２６が用いられている点が異なる。
　縮小フィルタ選択部９２５及び縮小画像相関検出部９２６の動作を、図１０で示す第３実施例の符号化処理フローチャートを用いて説明する。
　図１０に示す第３実施例の符号化処理フローチャートは、図６で示した第２実施例の符号化処理フローチャートに対して、Ｓ６００及びＳ６０１のプロセスに変わって、Ｓ１０００、Ｓ１００１及びＳ１００２のプロセスが施される流れとなる。
　先ず、入力画像バッファ１０１に格納された１画面の画像データを縮小フィルタ選択部９２５に入力し、予め用意された複数の異なる帯域特性を有するフィルタを用いて、複数の縮小画像を生成する（Ｓ１０００）。
　続いて、入力画像と各々の縮小フィルタにより生成された入力画像の縮小画像が縮小フィルタ選択部９２５より縮小画像相関検出部９２６に出力され、縮小画像相関検出部９２６において、それぞれの縮小画像と入力画像の変移ベクトルを検出し、検出時の予測誤差値を積算する（Ｓ１００１）事で相関性を測定する。変移ベクトルを検出する際の処理単位に関しては、符号化時に用いられる変移予測のブロック単位と同一でも、異なっても可能であり、また１画面全部の領域に対する変移ベクトルを検出する事も、特定の領域を決めて変移ベクトルを検出する事も、入力画像において対象ブロックと隣接相関が少ないブロックを抽出して、抽出したブロックに対する変移ベクトルを検出する事も可能である。
　各縮小フィルタ係数を用いた際の予測誤差の積算値は、縮小画像相関検出部９２６より縮小フィルタ選択部９２５に出力され、縮小フィルタ選択部９２５では積算値を比較し、積算値が最小となる縮小フィルタ係数を選択し、フィルタ係数として設定する（Ｓ１００２）。
　縮小フィルタ選択部９２５は選択したフィルタ係数もしくは係数を指定するパラメータを、エントロピー符号化部１１５及び縮小画像生成部５１３に出力する。
　エントロピー符号化部１１５は、第２実施例と同様に、１画面全体の符号化に関連する付加情報として、例えばＭＰＥＧ４－ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０　Advanced Video Coding）において定義されているＰＰＳ（Picture Parameter Set）等に追加する形で、選択したフィルタ係数もしくは係数を指定するパラメータを符号化（Ｓ６０２）する。
　以降の１画面の符号化処理に関しては、第２実施例と同様の処理が施されるため、説明を省略する。
　第３実施例においては、テンプレートとして用いる符号化済みの復号画像を縮小させる帯域制限フィルタの特性を、入力画像と入力画像に対して複数の定義可能なフィルタパラメータにより帯域制限を施した縮小画像との間での相関度を、変移ベクトルを検出する形で測定し、測定した結果を元にフィルタパラメータを選択する事で、入力画像に対して実際に変移予測を施す際の相関性が高い縮小画像を生成できる。
　その為に、より符号化処理における予測信号として適したテンプレートを縮小画像により生成でき、より予測精度を向上させる事が可能になる。
　第３実施例においては、縮小画像相関検出部９２６において求めた変移ベクトル値に関しては、変移ベクトルを検出する２次元ブロックの単位を符号化対象ブロックと同一にした場合に、縮小画像変移ベクトル検出部１０４に出力する事で、そのまま縮小復号画像を用いた変移ベクトル値として使用する事も可能であり、また変移ベクトル検出時の基準値にする（このベクトル値の周辺Ｎ画素に対して、予測誤差値を測定し変移ベクトルを検出する）事も可能である。
　尚、第１、第２、第３の実施例として提示した、画像符号化装置、及び画像復号化装置は、物理的にはＣＰＵ（中央処理装置）、メモリなどの記録装置、ディスプレイ等の表示装置、及び伝送路への通信手段を具備したコンピュータで実現することが可能であり、提示した各々の機能を具備する手段を、コンピュータ上のプログラムとして実現し、実行することが可能である。
　１００　入力端子
　１０１　入力画像バッファ
　１０２　ブロック分割部
　１０３　変移ベクトル検出部
　１０４　縮小画像変移ベクトル検出部
　１０５　変移予測モード判定／信号生成部
　１０６　減算器
　１０７　直交変換部
　１０８　量子化部
　１０９　逆量子化部
　１１０　逆直交変換部
　１１１　加算器
　１１２　フレーム内復号画像メモリ
　１１３　縮小画像生成部
　１１４　縮小復号画像メモリ
　１１５　エントロピー符号化部
　１１６　ストリームバッファ
　１１７　出力端子
　１１８　符号量制御部
　２００　入力端子
　２０１　ストリームバッファ
　２０２　エントロピー復号部
　２０３　変移ベクトル／モード復号部
　２０４　変移予測信号生成部
　２０５　逆量子化部
　２０６　逆直交変換部
　２０７　加算器
　２０８　フレーム内復号画像メモリ
　２０９　出力端子
　２１０　縮小画像生成部
　５１３　縮小画像生成部
　５１９　イントラ予測部
　５２０　デブロックフィルタ
　５２１　参照画像メモリ
　５２２　動きベクトル検出部
　５２３　動き補償予測部
　５２４　モード判定部
　５２５　画像解析部
　７１０　縮小画像生成部
　７１１　縮小フィルタ係数復号部
　７１２　予測モード復号部
　７１３　予測信号選択部
　７１４　イントラ予測モード復号部
　７１５　イントラ予測部
　７１６　動きベクトル復号部
　７１７　デブロックフィルタ
　７１８　参照画像メモリ
　７１９　動き補償予測部
　９２５　縮小フィルタ選択部
　９２６　縮小画像相関検出部
　本発明は、画像信号の符号化及び復号化技術に利用することができる。

Claims (7)

  1. 　符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出する、変移ベクトル検出部と、
    　符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求める、縮小画像変移ベクトル検出部と、
    　前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力する、変移予測モード判定／信号生成部とを有し、
    　前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化することを特徴とする、画像符号化装置。
  2. 　更に、
    　入力画像の画面単位の周波数特性を測定もしくは入力情報として受け取り、縮小画像を生成する際に用いる縮小フィルタ係数として、縮小画像の周波数特性が入力画像の周波数特性に近づくフィルタ係数を選択する、画像解析部と、
    　既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を生成する、縮小画像生成部とを有し、
    　前記縮小画像生成部において、前記画像解析部において選択された縮小フィルタ係数を用いて、縮小した信号を生成することを特徴とする、
    　請求項１に記載の画像符号化装置。
  3. 　更に、
    　入力画像と、前記入力画像を複数の帯域制限特性を持つフィルタにおいて縮小した、縮小画像の間の相関性を示す値を算出する、縮小画像相関検出部と、
    　算出された相関性を示す値より、最も相関の高い縮小画像を生成するフィルタの係数を縮小フィルタ係数として選択する、縮小フィルタ選択部と、
    　既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を生成する、縮小画像生成部とを有し、
    　前記縮小画像生成部において、前記縮小フィルタ選択部において選択された縮小フィルタ係数を用いて、縮小した信号を生成することを特徴とする、
    　請求項１に記載の画像符号化装置。
  4. 　ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号する、変移ベクトル／モード復号部と、
    　前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成する、変移予測信号生成部とを有し、
    　前記予測信号と、復号された残差信号とを加算することで復号画像を算出することを特徴とする、画像復号化装置。
  5. 　更に、縮小画像を生成する際に用いられるフィルタ係数を指定する情報を復号する、縮小フィルタ係数復号部を有し、
    　前記変移予測信号生成部が、前記変移ベクトル、前記復号画像を縮小して予測信号を生成するか否かを示す情報、及び前記縮小画像を生成する際に用いられるフィルタ係数を指定する情報に従って、前記復号画像より予測信号を生成することを特徴とする、請求項４に記載の画像復号化装置。
  6. 　符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を変移予測信号として、前記符号化対象ブロックと前記変移予測信号との画面内の変移である変移ベクトルを算出するステップと、
    　符号化対象ブロックに対して、既に符号化された同一画像信号内のブロックの局部復号画像に対して、水平及び垂直の少なくとも一方に縮小した信号を用いて、符号化対象ブロックと相関性の高い信号を探索し、最も相関性の高い信号を縮小変移予測信号として、縮小された符号化対象ブロックと前記縮小変移予測信号との画面内の変移である変移ベクトルを求めるステップと、
    　前記変移予測信号と前記縮小変移予測信号より、符号化対象ブロックと相関性の高い信号を選択し予測信号として、選択された信号に用いられた変移ベクトル、及び選択した結果を示す情報を出力するステップとを含み、
    　前記予測信号と前記符号化対象ブロックとの差分信号と、前記変移ベクトルと、前記選択した結果を示す情報とを符号化することを特徴とする、画像符号化方法。
  7. 　ブロック単位で符号化が施された符号化ストリームより、復号対象ブロックに対して、既に復号された同一画像信号内のブロックの復号画像より生成される予測信号と、前記復号対象ブロックとの画面内の変移である変移ベクトル及び、前記変移ベクトルにおいて指定される前記復号画像を縮小して予測信号を生成するか否かを示す情報を復号するステップと、
    　前記変移ベクトル、及び前記復号画像を縮小して予測信号を生成するか否かを示す情報に従って、前記復号画像より予測信号を生成するステップとを含み、
    　前記予測信号と、復号された残差信号とを加算することで復号画像を算出することを特徴とする、画像復号化方法。
PCT/JP2010/007019 2009-12-15 2010-12-02 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法 WO2011074197A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/509,759 US8606026B2 (en) 2009-12-15 2010-12-02 Image encoding device, image decoding device, image encoding method, and image decoding method based on reduced-image displacement vector
EP10837234A EP2515540A1 (en) 2009-12-15 2010-12-02 Image encoding device, image decoding device, image encoding method, and image decoding method
CN201080057037.8A CN102656889B (zh) 2009-12-15 2010-12-02 图像编码装置、图像解码装置、图像编码方法及图像解码方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009284017A JP5321439B2 (ja) 2009-12-15 2009-12-15 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
JP2009-284017 2009-12-15

Publications (1)

Publication Number Publication Date
WO2011074197A1 true WO2011074197A1 (ja) 2011-06-23

Family

ID=44166972

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007019 WO2011074197A1 (ja) 2009-12-15 2010-12-02 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法

Country Status (5)

Country Link
US (1) US8606026B2 (ja)
EP (1) EP2515540A1 (ja)
JP (1) JP5321439B2 (ja)
CN (1) CN102656889B (ja)
WO (1) WO2011074197A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104365107A (zh) * 2012-03-26 2015-02-18 Jvc建伍株式会社 图像编码装置、图像编码方法、图像编码程序、发送装置、发送方法、及发送程序、以及图像解码装置、图像解码方法、图像解码程序、接收装置、接收方法、及接收程序

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US20120251012A1 (en) * 2009-12-18 2012-10-04 Tomohiro Ikai Image filter, encoding device, decoding device, and data structure
JP2012151576A (ja) * 2011-01-18 2012-08-09 Hitachi Ltd 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
JP5801614B2 (ja) 2011-06-09 2015-10-28 キヤノン株式会社 画像処理装置、画像処理方法
TW201306568A (zh) * 2011-07-20 2013-02-01 Novatek Microelectronics Corp 移動估測方法
US8842937B2 (en) * 2011-11-22 2014-09-23 Raytheon Company Spectral image dimensionality reduction system and method
US8655091B2 (en) 2012-02-24 2014-02-18 Raytheon Company Basis vector spectral image compression
JP5891916B2 (ja) * 2012-04-09 2016-03-23 大日本印刷株式会社 画像拡大処理装置
WO2014141964A1 (ja) * 2013-03-14 2014-09-18 ソニー株式会社 画像処理装置および方法
JP6643884B2 (ja) * 2015-12-04 2020-02-12 日本放送協会 映像符号化装置およびプログラム
CN117201807A (zh) * 2016-08-01 2023-12-08 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
EP3562158A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
JPH09182082A (ja) * 1995-12-25 1997-07-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法とその装置
JP2005159947A (ja) 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007124408A (ja) * 2005-10-28 2007-05-17 Matsushita Electric Ind Co Ltd 動きベクトル検出装置および動きベクトル検出方法
US20100118940A1 (en) * 2007-04-19 2010-05-13 Peng Yin Adaptive reference picture data generation for intra prediction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113291A (ja) * 1992-09-25 1994-04-22 Olympus Optical Co Ltd 画像符号化及び復号化装置
JPH09182082A (ja) * 1995-12-25 1997-07-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法とその装置
JP2005159947A (ja) 2003-11-28 2005-06-16 Matsushita Electric Ind Co Ltd 予測画像生成方法、画像符号化方法および画像復号化方法
JP2007043651A (ja) 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG(ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6), JVT-C151, 3rd Meeting: Fairfax, Virginia, USA", 6 May 2002, article SIU-LEONG YU ET AL.: "New Intra Prediction using Intra-Macroblock Motion Compensation", pages: 1 - 3, XP008158737 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104365107A (zh) * 2012-03-26 2015-02-18 Jvc建伍株式会社 图像编码装置、图像编码方法、图像编码程序、发送装置、发送方法、及发送程序、以及图像解码装置、图像解码方法、图像解码程序、接收装置、接收方法、及接收程序

Also Published As

Publication number Publication date
CN102656889A (zh) 2012-09-05
EP2515540A1 (en) 2012-10-24
JP5321439B2 (ja) 2013-10-23
JP2011129998A (ja) 2011-06-30
CN102656889B (zh) 2014-12-24
US20120275717A1 (en) 2012-11-01
US8606026B2 (en) 2013-12-10

Similar Documents

Publication Publication Date Title
JP5321439B2 (ja) 画像符号化装置、画像復号化装置、画像符号化方法、及び、画像復号化方法
US11575906B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
EP1797722B1 (en) Adaptive overlapped block matching for accurate motion compensation
CA2452632C (en) Method for sub-pixel value interpolation
KR101228651B1 (ko) 모션 추정을 수행하기 위한 방법 및 장치
US9237354B2 (en) Video coding apparatus, video coding method and video coding program, and video decoding apparatus, video decoding method and video decoding program
US20070098067A1 (en) Method and apparatus for video encoding/decoding
WO2010137323A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、および映像復号方法
JP2005532725A (ja) ビデオ符号化における内挿フィルタタイプの選択方法および選択システム
KR20100113448A (ko) 화상 부호화 방법 및 화상 복호 방법
EP1811789A2 (en) Video coding using directional interpolation
JP2008507190A (ja) 動き補償方法
KR20100099723A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR101700410B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
JP5649296B2 (ja) 画像符号化装置
KR101691380B1 (ko) 시프팅 매트릭스를 이용한 dct 기반의 부화소 단위 움직임 예측 방법
KR20090037288A (ko) 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
KR101934840B1 (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
AU2007237319B2 (en) Method for sub-pixel value interpolation
KR20190004247A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치
KR20190004246A (ko) 인트라 모드를 이용한 쿼터 픽셀 해상도를 갖는 영상 보간 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080057037.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837234

Country of ref document: EP

Kind code of ref document: A1

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10837234

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13509759

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2010837234

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE